(57)【要約】【課題】複数のカメラ画像で検出する同一人物の実際の身長を推定する方法を提供する。【解決手段】カメラ画像の各々において身長が予め設定された人物モデルと照合して人物を検出する。検出人物のカメラ画像上での位置座標を２次元の１つの見取り図上の位置座標に非線形写像学習により変換して位置付ける。隣接する２つのカメラ間の重複視野領域内で各カメラの各々が検出する複数の人物に対して人物間の近接性に基づいて同一人物を判定する。同一人物と判定された２人物の各々に対して見取り図上の検出位置とその人物を検出したカメラ位置とを結ぶ直線を求め、検出位置を中心とし前記直線に沿って延びる等確率楕円を生成する。各等確率楕円の重複部分における確率分布の最大スコアを取った点に対して２人物の各々に対応する等確率楕円の確率分布から２つの推定身長を求め、その平均を同一人物の身長と推定する。【選択図】図１０
2016162307.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラの視野領域が設定される監視領域に対して各カメラで撮像したカメラ画像の各々において身長が予め設定された人物モデルと照合して人物を検出し、
検出された人物のカメラ画像上での位置座標を求め、
前記各カメラ画像上での人物の位置座標を前記監視領域の２次元平面地図となる１つの見取り図上の位置座標に非線形写像学習により変換して前記カメラ画像上の人物を前記見取り図上に位置付け、
隣接する２つのカメラ間では重複する視野領域を有し、
前記重複視野領域内で２つのカメラの各々が検出する複数の人物に対して、前記人物間の近接性に基づいて実際の位置が近い人物同士を同一人物であると判定し、
同一人物と判定された２人物の各々に対して、前記見取り図上の検出位置とその人物を検出したカメラ位置とを結ぶ直線を求め、前記見取り図上の検出位置を中心とし前記直線に沿って延びる等確率楕円を生成し、
前記各等確率楕円の重複部分における確率分布の最大スコアを取った点に対して、前記２人物の各々に対応する等確率楕円の確率分布から２つの推定身長を求め、各推定身長の平均を前記同一人物の身長と推定する身長推定方法。
【請求項２】
請求項１に記載の身長推定方法において、
前記２人物に対応する検出位置とカメラ位置とを結ぶ２直線の交点を求め、前記交点が前記２人物の各々に対応する等確率楕円の重複部分に存在する場合には、前記最大スコアを取った点に代えて前記交点に対して、前記２人物の各々に対応する等確率楕円の確率分布から２つの推定身長を求め、各推定身長の平均を前記同一人物の身長と推定する身長推定方法。
【請求項３】
複数のカメラの視野領域が設定される監視領域に対して各カメラで撮像したカメラ画像の各々において身長が予め設定された人物モデルと照合して人物を検出し、
検出された人物のカメラ画像上での位置座標を求め、
前記各カメラ画像上での人物の位置座標を前記監視領域の２次元平面地図となる１つの見取り図上の位置座標に非線形写像学習により変換して前記カメラ画像上の人物を前記見取り図上に位置付け、
隣接する２つのカメラ間では重複する視野領域を有し、
前記重複視野領域内で２つのカメラの各々が検出する複数の人物に対して、前記人物間の近接性に基づいて実際の位置が近い人物同士を同一人物であると判定し、
同一人物と判定された２人物の各々に対して、前記見取り図上の検出位置とその人物を検出したカメラ位置とを結ぶ直線を求め、前記見取り図上の検出位置を中心とし前記直線に沿って延びる等確率楕円を生成し、
前記等確率楕円の重複部分又は前記等確率楕円を囲う外接矩形領域の重複部分における確率分布の最大スコアを取った点に対して、前記２つのカメラ位置において下記式より２つの推定身長を求め、各推定身長の平均を前記同一人物の身長と推定する身長推定方法。
【数１】
2016162307.tif 000016
(上記式中、ｘは見取り図上で最大スコアを取った点の推定身長、Ｈはカメラの高さ、Ｔは人物モデルの身長、ｄは見取り図上の検出位置からカメラ位置までの距離、△ｄは見取り図上の検出位置から最大スコアを取った点までの距離をそれぞれ示す。)
【請求項４】
請求項３に記載の身長推定方法において、
前記２人物に対応する検出位置とカメラ位置とを結ぶ２直線の交点を求め、前記交点が前記２人物の各々に対応する等確率楕円の重複部分に存在する場合には、前記最大スコアを取った点に代えて前記交点に対して、前記２つのカメラ位置において下記式より２つの推定身長を求め、各推定身長の平均を前記同一人物の身長と推定する身長推定方法。
【数２】
2016162307.tif 000017
(上記式中、ｘは見取り図上の前記交点の推定身長、Ｈはカメラの高さ、Ｔは人物モデルの身長、ｄは見取り図上の検出位置からカメラ位置までの距離、△ｄは見取り図上の検出位置から前記交点までの距離をそれぞれ示す。)
【請求項５】
複数のカメラの視野領域が設定される監視領域に対して隣接する２つのカメラで検出された複数の人物の同一性を判定して同一人物の身長を推定する身長推定システムであって、
隣接する他のカメラとの間で重複する視野領域を有するように配置されるカメラと接続し、前記カメラで撮像したカメラ画像において身長が予め設定された人物モデルと照合して人物を検出し、前記カメラ画像上での人物の位置座標を求める画像処理装置を前記カメラ毎に備えると共に、
前記各画像処理装置の前記各カメラ画像上での人物の位置座標を受け取って、前記監視領域の２次元平面地図となる１つの見取り図上の位置座標に非線形写像学習により変換して前記各カメラ画像上の人物を前記見取り図上に位置付けする人物管理装置を備え、
前記人物管理装置は、
前記非線形写像学習により前記各カメラ画像上での人物の位置座標を前記見取り図上の座標に変換するマッピング手段と、
前記重複視野領域内で隣接する２つのカメラの各々が検出した複数の人物に対して、前記見取り図上の検出位置とその人物を検出したカメラ位置とを結ぶ直線を求め、前記見取り図上の検出位置を中心とし前記直線に沿って延びる等確率楕円を生成して、同一性の度合いを投票する同一人物投票手段と、
同一人物投票手段の結果に基づいて、前記重複視野領域内で検出された複数の人物に対し、前記各等確率楕円の重複部分における確率分布に基づくスコアが最も高い人物同士を前記人物間の近接性に基づいて実際の位置が近い人物同士として紐付けして同一人物と判定する同一人物紐付手段と、
前記各等確率楕円の重複部分における確率分布の最大スコアを取った点に対して、前記２人物の各々に対応する等確率楕円の確率分布から２つの推定身長を求め、各推定身長の平均を前記同一人物の身長と推定する身長推定手段とを有している身長推定システム。
【請求項６】
請求項５に記載の身長推定システムにおいて、
前記身長推定手段は、
前記２人物に対応する検出位置とカメラ位置とを結ぶ２直線の交点を求め、前記交点が前記２人物の各々に対応する等確率楕円の重複部分に存在する場合には、前記最大スコアを取った点に代えて前記交点に対して、前記２人物の各々に対応する等確率楕円の確率分布から２つの推定身長を求め、各推定身長の平均を前記同一人物の身長と推定する身長推定システム。
【請求項７】
複数のカメラの視野領域が設定される監視領域に対して隣接する２つのカメラで検出された複数の人物の同一性を判定して同一人物の身長を推定する身長推定システムであって、
隣接する他のカメラとの間で重複する視野領域を有するように配置されるカメラと接続し、前記カメラで撮像したカメラ画像において身長が予め設定された人物モデルと照合して人物を検出し、前記カメラ画像上での人物の位置座標を求める画像処理装置を前記カメラ毎に備えると共に、
前記各画像処理装置の前記各カメラ画像上での人物の位置座標を受け取って、前記監視領域の２次元平面地図となる１つの見取り図上の位置座標に非線形写像学習により変換して前記各カメラ画像上の人物を前記見取り図上に位置付けする人物管理装置を備え、
前記人物管理装置は、
前記非線形写像学習により前記各カメラ画像上での人物の位置座標を前記見取り図上の座標に変換するマッピング手段と、
前記重複視野領域内で隣接する２つのカメラの各々が検出した複数の人物に対して、前記見取り図上の検出位置とその人物を検出したカメラ位置とを結ぶ直線を求め、前記見取り図上の検出位置を中心とし前記直線に沿って延びる等確率楕円を生成して、同一性の度合いを投票する同一人物投票手段と、
同一人物投票手段の結果に基づいて、前記重複視野領域内で検出された複数の人物に対し、前記各等確率楕円の重複部分又は前記等確率楕円を囲う外接矩形領域の各々の重複部分における確率分布に基づくスコアが最も高い人物同士を前記人物間の近接性に基づいて実際の位置が近い人物同士として紐付けして同一人物と判定する同一人物紐付手段と、
同一人物と判定された２人物の各々に対して、前記見取り図上の検出位置とその人物を検出したカメラ位置とを結ぶ直線を求め、前記見取り図上の検出位置を中心とし前記直線に沿って延びる等確率楕円を生成し、
前記等確率楕円の重複部分又は前記等確率楕円を囲う外接矩形領域の重複部分における確率分布の最大スコアを取った点に対して、前記２つのカメラ位置において下記式より２つの推定身長を求め、各推定身長の平均を前記同一人物の身長と推定する身長推定手段とを有する身長推定システム。
【数３】
2016162307.tif 000018
(上記式中、ｘは見取り図上で最大スコアを取った点の推定身長、Ｈはカメラの高さ、Ｔは人物モデルの身長、ｄは見取り図上の検出位置からカメラ位置までの距離、△ｄは見取り図上の検出位置から最大スコアを取った点までの距離をそれぞれ示す。)
【請求項８】
請求項７に記載の身長推定システムにおいて、
身長推定手段は、
前記２人物に対応する検出位置とカメラ位置とを結ぶ２直線の交点を求め、前記交点が前記２人物の各々に対応する等確率楕円の重複部分に存在する場合には、前記最大スコアを取った点に代えて前記交点に対して、前記２つのカメラ位置において下記式より２つの推定身長を求め、各推定身長の平均を前記同一人物の身長と推定する身長推定システム。
【数４】
2016162307.tif 000019
(上記式中、ｘは見取り図上の前記交点の推定身長、Ｈはカメラの高さ、Ｔは人物モデルの身長、ｄは見取り図上の検出位置からカメラ位置までの距離、△ｄは見取り図上の検出位置から前記交点までの距離をそれぞれ示す。)
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の単眼のカメラを用いて人物の位置を認識して監視する際にできるだけ正確な検出位置と身長を推定することができる身長推定方法及び身長推定システムに関する。
【背景技術】
【０００２】
カメラ画像を用いた人物検出システムは、例えば、店舗の客数カウントなどの用途に用いられ、店舗の来客パターンの分析などに利用される。人物検出システムとして、例えば、カメラで人物を検出する場合、予め人物モデルを設定しておいて、カメラ画像中からこの人物モデルと合致する画像を検出することで人物を検出するようにした人物検出方法が知られている(例えば、特許文献１参照)。また、カメラ画像の３次元座標系を平面地図などの２次元座標系へと位置付ける技術も知られている(例えば、特許文献２参照)。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３４０６５８７号公報
【特許文献２】特開２００６−３３８１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
予め人物モデルを設定しておいて、カメラ画像中からこの人物モデルと合致する画像を検出する方法では、人物モデルとカメラ画像上の人物との照合は、人物モデルの頭部や上半身を基準にして行い、カメラ画像上の人物の身長と人物モデルの身長とが一致しなくても人物モデルの身長と同じ身長を有する人物として検出され、実際の身長が人物モデルと異なっても全て同じ位置に足元があるとして検出される。
【０００５】
ところで、カメラで人物を検出して、カメラ画像上の人物の位置を、店舗などの見取り図上での位置に対応づけることができれば、見取り図上で人物がどのように通行したのかを知ることができる。
【０００６】
しかしながら、カメラ画像から人物モデルと照合して人物を検出しているため、検出された人物の身長が人物モデルの身長と異なる場合には、検出された位置は、実際の位置とは異なってしまい、見取り図上での正確な位置は検出できないことになる。
【０００７】
本発明は、上記事情に鑑みてなされたものであって、カメラで検出した人物の位置をできるだけ正確に捉えると共に、検出人物の身長を推定することができる身長推定方法及び身長推定システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の身長推定方法は、
複数のカメラの視野領域が設定される監視領域に対して各カメラで撮像したカメラ画像の各々において身長が予め設定された人物モデルと照合して人物を検出し、
検出された人物のカメラ画像上での位置座標を求め、
前記各カメラ画像上での人物の位置座標を前記監視領域の２次元平面地図となる１つの見取り図上の位置座標に非線形写像学習により変換して前記カメラ画像上の人物を前記見取り図上に位置付け、
隣接する２つのカメラ間では重複する視野領域を有し、
前記重複視野領域内で２つのカメラの各々が検出する複数の人物に対して、前記人物間の近接性に基づいて実際の位置が近い人物同士を同一人物であると判定し、
同一人物と判定された２人物の各々に対して、前記見取り図上の検出位置とその人物を検出したカメラ位置とを結ぶ直線を求め、前記見取り図上の検出位置を中心とし前記直線に沿って延びる等確率楕円を生成し、
前記各等確率楕円の重複部分における確率分布の最大スコアを取った点に対して、前記２人物の各々に対応する等確率楕円の確率分布から２つの推定身長を求め、各推定身長の平均を前記同一人物の身長と推定するものである。
【０００９】
また、本発明の身長推定システムは、
複数のカメラの視野領域が設定される監視領域に対して隣接する２つのカメラで検出された複数の人物の同一性を判定して同一人物の身長を推定する身長推定システムであって、
隣接する他のカメラとの間で重複する視野領域を有するように配置されるカメラと接続し、前記カメラで撮像したカメラ画像において身長が予め設定された人物モデルと照合して人物を検出し、前記カメラ画像上での人物の位置座標を求める画像処理装置を前記カメラ毎に備えると共に、
前記各画像処理装置の前記各カメラ画像上での人物の位置座標を受け取って、前記監視領域の２次元平面地図となる１つの見取り図上の位置座標に非線形写像学習により変換して前記各カメラ画像上の人物を前記見取り図上に位置付けする人物管理装置を備え、
前記人物管理装置は、
前記非線形写像学習により前記各カメラ画像上での人物の位置座標を前記見取り図上の座標に変換するマッピング手段と、
前記重複視野領域内で隣接する２つのカメラの各々が検出した複数の人物に対して、前記見取り図上の検出位置とその人物を検出したカメラ位置とを結ぶ直線を求め、前記見取り図上の検出位置を中心とし前記直線に沿って延びる等確率楕円を生成して、同一性の度合いを投票する同一人物投票手段と、
同一人物投票手段の結果に基づいて、前記重複視野領域内で検出された複数の人物に対し、前記各等確率楕円の重複部分における確率分布に基づくスコアが最も高い人物同士を前記人物間の近接性に基づいて実際の位置が近い人物同士として紐付けして同一人物と判定する同一人物紐付手段と、
前記各等確率楕円の重複部分における確率分布の最大スコアを取った点に対して、前記２人物の各々に対応する等確率楕円の確率分布から２つの推定身長を求め、各推定身長の平均を前記同一人物の身長と推定する身長推定手段とを有しているものである。
【発明の効果】
【００１０】
本発明の身長推定方法及び身長推定システムによれば、各カメラ画像上で検出した人物を監視領域の２次元見取り図上の位置に対応付ける場合に、複数のカメラ画像から検出した同一人物に対して実際の検出位置と身長を推定することにより、検出人物を見取り図上にできるだけ正確に位置付けすると共に、検出人物の身長も把握できる。従って、人物モデルを用いて人物を検出する場合、人物モデルの身長と実際の人物の身長とが異なっても、検出した人物の実際の検出位置と身長を推定することにより高精度の人物検出及び人物追跡が可能なシステムを構築することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の身長推定方法を用いた身長推定システムを示す全体構成図である。
【図２】本発明の身長推定方法を用いた身長推定システムを示すブロック図である。
【図３】検出人物と人物モデルとの身長の関係を示す説明図である。
【図４】２つのカメラの重複視野領域で複数の人物が認識されて見取り図上に位置付けされて、カメラ毎に認識位置がずれている状態を示す説明図である。
【図５】２つのカメラの重複視野領域で認識された人物の同一性の判定を示すフローチャートである。
【図６】検出された人物の検出位置における等確率楕円を示す説明図である。
【図７】等確率楕円と身長の確率分布の関係を示す説明図である。
【図８】異なるカメラで生成された等確率楕円の重複状態を示す説明図である。
【図９】２つのカメラの重複視野領域で認識された複数の人物の検出位置をカメラ毎に算出した等確率楕円の状態を示す説明図である。
【図１０】２つのカメラの重複視野領域で認識された人物の身長を推定するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下に、本発明に係る身長推定方法を実施する身長推定システムの実施形態について添付図面を参照しながら説明する。
身長推定システム１は、図１に示すように、隣接する２台のカメラＣＡ，ＣＢの視野領域Ｆで設定される監視領域Ｍに対して各カメラＣＡ，ＣＢで検出された人物の同一性を判定して同一人物であれば、検出人物の実際の検出位置と身長を推定するシステムである。
【００１３】
身長推定システム１は、単眼のカメラＣＡ，ＣＢと接続し、カメラＣＡ，ＣＢで撮影したカメラ画像から人物を検出する処理を行う画像処理装置２Ａ，２Ｂをカメラ毎に少なくとも２台備えると共に、各画像処理装置２Ａ，２Ｂで処理した画像データを入手して、例えば監視している店舗の監視領域Ｍの平面地図で表した見取り図上に検出した人物を対応付けする人物管理装置３を備える。
【００１４】
身長推定システム１は、複数台(本実施形態では２台)のカメラＣＡ，ＣＢを協調動作させるのであるが、まず、カメラＣＡ，ＣＢ毎に見取り図上で人物の監視を行う。そして、２つのカメラ間で重複する視野領域Ｖを設けて、重複視野領域Ｖにおいて異なるカメラで検出した人物の同一性を判定した後、実際の検出人物の検出位置と身長を算出する。このように、身長推定システム１により算出された検出位置と身長に基づいて、検出人物の検出位置を補正し、各カメラ画像を複合して形成される単一の見取り図上で同一人物の監視をより正確に行うことができる。
【００１５】
各画像処理装置２Ａ，２Ｂは、図１及び図２に示すように、所定の視野領域Ｆを撮影するカメラＣＡ，ＣＢが取り付けられると共に、撮影したカメラ画像から人物を認識する人物認識手段２１と、カメラ画像上で認識した人物の座標を算出する人物座標算出手段２２と、算出された人物座標を人物管理装置３に出力する人物座標出力手段２３とを備える。
各画像処理装置２Ａ，２Ｂは、図１に示すように、隣り合うカメラＣＡ，ＣＢの視野領域Ｆが重なって重複視野領域Ｖが形成されるように天井に固定される。
【００１６】
また、人物管理装置３は、図１及び図２に示すように、各画像処理装置２Ａ，２Ｂとネットワークで接続されるパーソナルコンピューターから構成されており、人物座標取得手段３１と、マッピング手段３２と、同一人物投票手段３３と、同一人物紐付手段３４と、結果出力手段３５と、身長推定手段３６とを有する。
【００１７】
［人物の検出］
各画像処理装置２Ａ，２Ｂは、人物認識手段２１において、ベクトル焦点法(特許文献１参照)等を用いてカメラ画像中の人物を身長が予め設定されている人物モデルと照合することにより人物を認識して検出する。そして、認識された人物のカメラ画像上での位置座標を人物座標算出手段２２により算出するのであって、この検出人物の位置座標は、検出した位置における人物モデルの足下の位置をカメラ画像上の位置座標として算出して記録する。算出された人物の位置座標は、人物座標出力手段２３からネットワークを介して人物管理装置３の人物座標取得手段３１に出力される。
【００１８】
なお、本実施形態では、図３に示すように、人物モデルとカメラ画像上の人物との照合は、人物モデルの頭部を基準にして行い、カメラ画像上の人物の身長と人物モデルの身長とが一致しなくても人物モデルの身長と同じ身長を有する人物として検出され、身長が人物モデルと異なっても全て同じ位置Ｐに足元があるとして検出される。
【００１９】
［非線形写像による見取り図への位置付け］
本実施形態の身長推定システム１は、まず、人物管理装置３の人物座標取得手段３１によって、各画像処理装置２Ａ，２Ｂから各カメラ画像上での検出人物の位置座標を取得する。
そして、マッピング手段３２により、検出した人物の各カメラ画像上の位置座標を非線形写像により、監視している店舗などの見取り図である２次元平面地図上に位置座標を対応付けして、この見取り図上に検出された人物を位置付けする。
【００２０】
本実施形態の身長推定システム１では、非線形写像として、複数の線形写像で非線形写像を近似させる線形回帰木を用いる(特許文献２参照)。
具体的には、２次元の各カメラ画像と２次元の見取り図の間で複数の対応点を与えて各カメラ画像から見取り図への線形写像を求めて、非線形写像を線形写像で近似して線形回帰木を構築しておく。
線形回帰木を求めるには、近似誤差が許容誤差以上であれば、カメラ画像を２つの領域に分割し、近似誤差が許容誤差以下になるまで領域を分割していく。この分割の状態が回帰木で表現され、近似誤差が許容誤差以下のとき、回帰木の終端ノードにその回帰係数を保存する。
さらに、近似誤差が許容誤差以下となると、分割した領域を併合していくのであって、併合により近似誤差が許容誤差以下となる場合に併合する。
併合したときの各カメラ画像から見取り図への線形写像を求める。併合を繰り返すことにより、最終的な回帰木を構築しておく。
【００２１】
まず、各カメラ画像から見取り図への点の位置付けを行う場合、線形回帰木を用いてマッピング手段３２により、予め各カメラ画像と見取り図との間で数箇所の点で対応付けを行い、大まかな調整を行っておく。
そして、カメラＣＡ，ＣＢ毎にカメラ画像から人物が検出されると、予め対応付けした複数点に基づいて、検出された各カメラ画像上の人物の座標を線形回帰木により見取り図上の座標に変換する。
【００２２】
［検出人物のＩＤ付け］
さらに、カメラＣＡ，ＣＢ毎に検出した人物にＩＤを付与して、ＩＤを有する人物を各カメラＣＡ，ＣＢの視野領域内で監視し続ける。
具体的には、見取り図上において、カメラＣＡ，ＣＢ毎に現時刻で検出された人物と１時刻前に検出された人物との間で、距離が最も近い人物を同一人物とみなして、同じＩＤを付与して人物の追跡を行う。但し、見取り図上で本来ならば通行できない領域に人物データが位置付けされた場合には、後述する身長の算出の過程で得られる実際の検出位置から検出位置を補正し、最も近傍の通行可能領域に位置を修正する。
【００２３】
［重複視野領域での同一人物の判定］
次に、見取り図上へ位置付けされた検出人物について、異なるカメラＣＡ，ＣＢで検出された人物の近接性を見取り図上の重複視野領域Ｖ内で評価することで、同一人物であることを判定する。
具体的には、同一人物投票手段３３及び同一人物紐付手段３４により、各カメラ画像の視野領域Ｆ内でＩＤが付与された人物が、２つのカメラＣＡ，ＣＢ間で同一のＩＤとなるようにＩＤを対応付けする。
【００２４】
例えば、図１に示すように、画像処理装置２ＡのカメラＣＡと画像処理装置２ＢのカメラＣＢの重複視野領域Ｖで検出された人物が複数（図１では３人）いる場合、図４に示すように、画像処理装置２Ａで検出された人物をＡ１，Ａ２，Ａ３とし、画像処理装置２Ｂで検出された人物をＢ１，Ｂ２，Ｂ３とする。
【００２５】
図４に示すように、見取り図上の重複視野領域Ｖに対応する部分を矩形領域として設定し、この矩形領域を同一性を判定するための仮想ゲートＶとする。この仮想ゲートＶ内において、同一人物であるか否かを判定して、同一人物のＩＤの対応付けを行う。
【００２６】
同一人物の対応付けについて図５のフローチャートと図６から図９の同一判定のための説明図に基づいて説明する。
まず、図４に示す仮想ゲートＶ内において、認識された人物が存在するか否かの判定が行われる（図５のステップＳ１１）。人物が存在しない場合には（ステップＳ１１でＮｏ）、重複視野領域Ｖにおいて異なるカメラＣＡ，ＣＢで人物が検出されていないと判定されて同一人物の対応付けは終了する。
【００２７】
また仮想ゲートＶに認識された人物が存在する場合には（ステップＳ１１でＹｅｓ）、実際の人物位置の近さを計算し、仮想ゲートＶで認識された各カメラＣＡ，ＣＢの人物が同一人物であるか否かの判定を行う。
まず、図６に示すように、認識された人物それぞれに対して、人物位置Ｐとカメラ位置（図６ではＣとする）とを結ぶ直線に沿って延びる等確率楕円を生成して、検出位置Ｐを中心とするガウス関数により、実際の人物位置の近さを計算する（ステップＳ１２）。
【００２８】
等確率楕円は、図６のように標準偏差σ１，σ２と単位ベクトルφ１，φ２によって表される。これらのパラメータを求めることにより、等確率楕円を生成することができる。
【００２９】
そして、標準身長に対する身長の変動幅が高低とも等しい場合には、それを床面に射影するとカメラに近い方の変化幅は小さく、遠い方は大きいため、等確率楕円はこの近似になる。σ１，φ１は身長による検出位置のズレが起こりうる範囲を表している。ここで、人間の身長の分布が平均μＴ、標準偏差σＴのガウス関数になると仮定する。
【００３０】
等確率楕円と身長のガウス関数は、図７のような関係になると考えられる。この図７の概念図において、Ｐ(x)は、位置Ｐにいる身長ｘの人物が検出される位置を示している。つまり、σ１は、身長ｘ＝μＴ＋ｎσＴの人物に関する検出位置のズレ量に等しいと考えることができる。ここで、ｎは等確率楕円の長さに関するパラメータである。
【００３１】
［身長差による検出位置のズレ］
ところで、画像処理装置２Ａ，２Ｂで検出される人物は、図３に示すように、身長の大きさに関係なく人物モデルの身長と同じ身長を有する人物として検出されて、全て同じ位置Ｐに足元があると検出されてしまう。
具体的に説明すると、実際の人物の身長が、人物モデルの身長と異なる場合には、人物モデルと同じ身長を有する人物の頭部Ｈ２とカメラ位置Ｃとを結ぶ直線上に、実際の人物の頭部Ｈ１又はＨ３が位置することになる。その結果、検出された人物と人物モデルの身長が異なる場合には、検出位置Ｐが実際の人物の位置からずれてしまうことになる。
【００３２】
このずれは、次の式(１)で表される。なお、Ｈはカメラの高さ、Ｔは人物モデルの身長、ｘは実際の人物の身長、ｄはカメラ位置Ｃと人物モデルの検出位置Ｐの見取り図上における距離を示す。
【００３３】
【数１】
2016162307.tif 000003
【００３４】
そして、人物モデルと実際の検出人物との身長差による検出位置の実際の位置ズレを考慮して、等確率楕円のσ１及びφ１は、前述の式(１)を用いて式(２)及び式(３)のように表すことができる。
【００３５】
【数２】
2016162307.tif 000004
【００３６】
【数３】
2016162307.tif 000005
【００３７】
なお、σ2，φ2は、φ１方向以外の検出位置のズレの範囲を表している。これには、見取り図への位置付けの精度が影響し、単純には計算できない。そのため、σ2はσ１よりも小さい任意の定数とする。また、φ2は、φ１φ2＝0を満たし、||φ2||＝１である。
以上のパラメータを用いて、この等確率楕円を持つ２次元ガウス関数g(x)を次の式(４)及び式(５)で計算する。
【００３８】
【数４】
2016162307.tif 000006
【００３９】
【数５】
2016162307.tif 000007
【００４０】
このように、人物の検出位置は、人物モデルと検出人物との身長差により実際の位置よりもずれることがあるので、この位置ズレを考慮して、実際の位置が近い人物同士を同一人物とみなす。
同一人物の判定にあたり、仮想ゲートＶから出た人物（Ａ１又はＡ２又はＡ３）に対して、仮想ゲートＶ内にいた間、その人物（Ａ１又はＡ２又はＡ３）と他のカメラＣＢで検出した人物（Ｂ１又はＢ２又はＢ３）の実際の位置が、どの程度近かったかを計算する。
【００４１】
そのために、異なるカメラＣＡ，ＣＢで検出された人物毎に等確率楕円が重なるか否かの判定を行う（ステップＳ１３）。
図８に示すように、仮想ゲートＶにおいて、等確率楕円が重なる場合には（ステップＳ１３でＹｅｓ）、同一人物投票手段３３を用いて等確率楕円の重なりから人物間のスコア（２人物がどれだけ同一人物かを表す指標）を計算して、近接する人物座標に対して相互に投票を行う（ステップＳ１４）。
【００４２】
例えば、図８に示すように、カメラＣＡで検出された人物（ＩＤ：ｘ＝Ａ１）が仮想ゲートＶから出たとき、以下の式(６)の条件を満足するカメラＣＡ以外のカメラＣＢで検出された人物のＩＤ：ｙ(x)＝Ｂ１を求めて、ＩＤ：ｘ＝Ａ１の人物にＩＤ：y(x)＝Ｂ１の人物を対応付ける。
【００４３】
【数６】
2016162307.tif 000008
【００４４】
但し、Ｓは、人物(ＩＤ：ｘ)が仮想ゲートＶの内部で検出された全ての人物のＩＤの集合を示す。
また、Ｇ(ｉｄ,ｔ)は、時刻ｔにおける人物(ＩＤ:ｉｄ)に関する確率分布を示す。Ｓｃｏｒｅ(Ｇ(ａ,ｔ),Ｇ(ｂ,ｔ))は、異なるカメラで検出された２人物（ＩＤ:ａ,ｂ）間のスコアを示し、次の式(７)及び式(８)で計算される。
【００４５】
【数７】
2016162307.tif 000009
【００４６】
【数８】
2016162307.tif 000010
【００４７】
特に式(８)は、ある１点xにおける時刻tでの２人物(ＩＤ:ａ,ｂ)間のスコアを示している。
ここで、ｇ(ｘ;ｉｄ,ｔ)は、時刻tにおける人物(ＩＤ:ｉｄ)の位置Ｐidを平均ベクトルとするガウス関数であり、式(４)から求められる。スコアは、ガウス関数の積を時間毎に足した式(７)で表されるのであって、図７の下部分の正規分布のグラフで表される確率となる。即ち、スコアとは、ガウス関数の積を時間毎に足した合計である。
【００４８】
また、図８に示す領域Ｄは、スコアを計算する領域であり、等確率楕円の重なりに相当する。本実施形態では、等確率楕円を囲う外接矩形領域を設定して、２つの外接矩形領域が重なる領域をＤとしている。但し、図８において、ＣＡ，ＣＢは、異なるカメラの位置を示している。
【００４９】
以上により、式(６)は、各時刻について人物(ＩＤ:ｘ)とその他の人物（ＩＤ：y(x)）とのスコアを計算して、最終的に人物(ＩＤ:ｘ)が仮想ゲートＶの内部にいた全ての時刻を通じてスコアの和が最も高かった人物を示すことになる。
本実施形態では、処理速度を上げるために、各人物の等確率楕円の外接矩形領域において、重なっている領域Ｄ内の任意点で確率を掛け合わせて、全ての合計で得られた計算結果をスコアとしている。
【００５０】
仮想ゲートＶ内の全ての人物の投票が終わると（ステップＳ１５でＹｅｓ）、図９に示すように、同一人物投票手段３３による投票結果に基づいて、同一人物紐付手段３４により、スコア(投票数のマッチング度)が高いペアから同一人物として固有のＩＤを付与し（ステップＳ１６）、他に投票されたペアが存在しなくなるまで行う(ステップＳ１７でＹｅｓ)。同一人物の紐付けにより得られたＩＤの人物は、結果出力手段３５により地図上に位置付けするように出力される。
【００５１】
なお、スコア(投票数のマッチング度)の紐付けは次のように行うこともできる。例えば、図４に示すように、カメラＣＡ，ＣＢによってそれぞれ仮想ゲートＶ内に３人分の人物が検出されている場合、図９に示すように、人物（Ａ１、Ａ２、Ａ３、Ｂ１，Ｂ２，Ｂ３）の等確率楕円が重なると、表１に示すような人物（Ａ１、Ａ２、Ａ３）と人物（Ｂ１，Ｂ２，Ｂ３）とのスコア(投票数のマッチング度)が得られたとする。
【００５２】
【表１】
2016162307.tif 000011
【００５３】
表１によれば、まず、人物Ａ２と人物Ｂ２が最もスコア（マッチング度）が高いので、人物Ａ２と人物Ｂ２が同一人物であると判定される。そして、残りの人物に対しては、人物Ａ１と人物Ｂ１とがスコア（マッチング度）が高いので、人物Ａ１と人物Ｂ１とが同一人物であると判定され、人物Ａ３と人物Ｂ３とがマッチング度が高いので、人物Ａ３と人物Ｂ３とが同一人物であると判定される。
【００５４】
また、スコアの最も高い人物の組み合わせから、低いものへと同一人物であると判定していくこともできる。例えば、表１に示すものであれば、最もスコアの高い人物の組み合わせである人物Ａ２と人物Ｂ２（スコア９０）をまず選択し、次に、残りの中でスコアの高い人物の組み合わせである人物Ａ３と人物Ｂ３（スコア６０）を選択し、残った人物Ａ１は、人物Ｂ１と人物Ｂ２とにスコアを有するが、人物Ｂ２は既に人物Ａ２と同一人物であると判定されているので、人物Ａ１は人物Ｂ１と同一人物であると判定することができる。
【００５５】
[身長の推定]
本実施形態の身長推定方法では、第一の推定方法と第二の推定方法がある。
第一の推定方法及び第二の推定方法も、検出位置のズレから人物の実際の検出位置と身長を推定する。
【００５６】
本実施形態では、人物モデルとの照合による身長の不一致により検出位置のズレが生じた場合、異なる２台のカメラＣＡ，ＣＢを用いて重複視野領域Ｖ内で同一人物と特定された人物の検出位置は、見取り図上においてずれが生じることから、この検出位置のずれから人物の実際の検出位置と身長を推定することができる。
実際の検出位置を推定することができれば、検出人物の推定された実際の検出位置から検出位置Ｐのズレを補正することができる。しかもＩＤの対応付けの作業における精度を向上させることができる。
【００５７】
第一の推定方法及び第二の推定方法も、実際の検出位置を推定するまでは、同様な算出を行う。
具体的に説明すると、見取り図上の検出位置Ｐは、人物モデルとの照合による身長の不一致によりカメラ位置と実際の人物の位置とを結ぶ直線上でずれてしまう。そこで、例えば、図９に示すように、カメラＣＡの位置と検出位置ＰＡ１，ＰＡ２，ＰＡ３とを結ぶ３本の直線と、カメラＣＢの位置と検出位置ＰＢ1，ＰＢ２，ＰＢ３とを結ぶ３本の直線との交点Ｘ１，Ｘ２，Ｘ３を求めることで実際の人物位置を推定することができる。
【００５８】
まず、身長推定手段３６により、重複視野領域Ｖにおいて、異なるカメラＣＡ，ＣＢで検出された２人物が同一人物であると判定されると、同一人物である２人物の各々の検出位置に対して生成された２つの等確率楕円の重複部分において、図９に示すように、カメラＣＡの位置と検出位置ＰＡ３とを結ぶ直線と、カメラＣＢの位置と検出位置ＰＢ３とを結ぶ直線との交点Ｘ３がこれら直線に対応する等確率楕円の重複部分に存在する場合には、この交点Ｘ３を実際の検出位置として推定する。また、検出位置ＰＡ1と検出位置ＰＢ１の場合や、検出位置ＰＡ２と検出位置ＰＢ２の場合のように、等確率楕円の重複部分に交点Ｘ１，Ｘ２が存在しない場合には、各等確率楕円の重複部分における確率分布の最大スコアを取った点を実際の検出位置として推定する。
推定された検出位置から、検出された人物の地図上での位置を補正することができる。検出された人物の地図上での位置を補正することにより、より正確な人物検出位置が得られる。
【００５９】
［第一の身長の推定方法］
各々のカメラＣＡ，ＣＢで検出された２人物の検出位置に対応して生成された等確率楕円での推定された検出位置から、推定した検出位置に対応する身長を図７に示す身長毎の誤差の確率分布から推定する。前記２人物の各々に対応する等確率楕円の確率分布から２つの推定身長を求めた後、各推定身長の平均を求めて同一人物の身長と推定する。
【００６０】
具体的に、図１０のフローチャートに基づいて、身長の推定について説明する。
まず、前述の同一人物の判定において、仮想ゲートＶの内において、同一人物として紐付けされたペアが存在するか否かの判定を行う(ステップＳ２１)。
【００６１】
同一人物として紐付けされたペアが存在する場合には（ステップＳ２１でＹｅｓ）例えば図９に示すように、各カメラＣＡ，ＣＢの中心と人物の検出位置（ＰＡ１，ＰＡ２，ＰＡ３，ＰＢ１，ＰＢ２，ＰＢ３）とを結ぶ線の交点（Ｘ１，Ｘ２，Ｘ３）が等確率楕円の重複領域内に存在するか否かを判定する(ステップＳ２２)。
【００６２】
人物検出位置（ＰＡ１，ＰＡ２，ＰＡ３，ＰＢ１，ＰＢ２，ＰＢ３）が、カメラ位置と実際の人物位置とを結ぶ直線上でずれる場合、例えば図９の交点Ｘ３のように、楕円の重複領域内に交点が存在する場合には(ステップＳ２２でＹｅｓ)、原則として２直線の交点Ｘ３の位置座標を求める。まず、検出位置ＰＡ３の等確率楕円の身長毎の誤差の確率分布から交点Ｘ３に対応する人物の身長を推定する計算を行い、次に、検出位置ＰＢ３の等確率楕円の身長毎の誤差の確率分布から交点Ｘ３に対応する人物の身長を推定する計算を行う（ステップＳ２３）。
【００６３】
また、交点は、図９の交点Ｘ１のように、一方の楕円内にのみ存在したり、図９の交点Ｘ２のように楕円から離れた位置に存在したりする場合もあるので、交点だけで単純に推定することはできない。従って、等確率楕円の重複領域内に交点が存在しない場合には(ステップＳ２２でＮｏ)には、等確率楕円の重複領域内の最大スコアとなる地点で推定身長を算出する（ステップＳ２４）。
【００６４】
例えば、図９の人物Ａ２と人物Ｂ２の重複領域において最大スコアを取った点は、同一人物の判定に最も寄与する点であると考えられるので、この点を人物位置ｅとして推定する。したがって、推定した人物位置eは式（８）を用いて次の式(９)で表すことができる。
【００６５】
【数９】
2016162307.tif 000012
【００６６】
この場合も、検出位置ＰＡ２の等確率楕円の身長毎の誤差の確率分布から人物位置ｅに対応する人物の身長を推定する計算を行い、また、検出位置ＰＢ２の等確率楕円の身長毎の誤差の確率分布から人物位置ｅに対応する人物の身長を推定する計算を行う。
【００６７】
カメラＣＡ，ＣＢで検出した検出人物の身長がそれぞれ推定されると、各カメラＣＡ，ＣＢ毎に算出した推定身長の平均を身長として登録する（ステップＳ２５）。
全てのペアの身長推定の算出が終了すると（ステップＳ２６でＹｅｓ）、身長の推定を終了する。
【００６８】
［第二の身長の推定方法］
また、本実施形態の身長推定方法の第二の推定方法としては、第一の推定方法と同様にして実際の検出位置を推定し、これら推定された検出位置に対して、前記２つのカメラＣＡ，ＣＢ位置において下記式(１)に基づいて２つの推定身長を求め、各推定身長の平均を前記同一人物の身長と推定する。
【００６９】
【数１０】
2016162307.tif 000013
上記式(１)中、ｘは見取り図上の等確率楕円の重複部分又は前記外接矩形領域の重複部分で最大スコアを取った点又は交点の推定身長、Ｈは見取り図上におけるカメラＣの位置でのカメラＣの高さ、Ｔは人物モデルの身長、ｄは見取り図上の人物モデルの検出位置ＰからカメラＣの位置までの距離、△ｄは見取り図上の人物モデルＨ２の検出位置Ｐから推定される実際の検出人物Ｈ１の検出位置Ｏまでの距離をそれぞれ示す。
【００７０】
さらに、異なるカメラＣＡ，ＣＢで検出された同一人物(ガウス関数では、それぞれｇ(ｘ；ａ，ｔ),ｇ(ｘ；ｂ，ｔ)とする)に関する図である図８について、式(１)より人物iの身長xiは次の式(１０)及び式(１１)で求めることができる。
【００７１】
【数１１】
2016162307.tif 000014
【００７２】
【数１２】
2016162307.tif 000015
【００７３】
ここで、Ｒは、Ｐｉを通りＰｉ−ｅと直交する直線によって分割される領域である。上記式(１０)に示すように、１つの推定位置に対して２つの推定身長が求まる。そして、各推定身長の平均を前記同一人物の身長と推定する。
さらに、２人物が仮想ゲートＶにいる間、各時刻で身長が推定されるので、ある同一人物に対して時刻経過により複数求められる身長を１つにまとめるためには、時刻毎に平均して算出した推定身長を統合した後に平均してもよいし、時刻毎にスコアによる重みを付けた推定身長を統合した後に平均してもよい。
【００７４】
このように本実施形態の身長推定システム１は、実際の検出人物の検出位置を推定すると共に、第一の推定方法及び第二の推定方法により、推定した実際の検出位置から実際の検出人物の身長を推定することができるので、検出人物のより正確な位置と身長を特定することにより、人物の監視をより正確に行える。
【００７５】
以上のことから、本発明の身長推定方法および身長推定システムによれば、人物モデルと人物を照合する際に、検出された人物の身長によって、検出位置にずれが生じる場合があっても、２つのカメラ間の重複視野領域Ｖで同一人物を判定して、同一人物として推定される人物のカメラ毎に認識される検出位置の誤差から、等確率楕円の確率分布を用いて検出人物の実際の検出位置と身長を推定することができるので、見取り図上での検出位置のズレも補正することができ、安定した人物の監視を行うことができる。
【００７６】
また、非線形写像を、線形回帰木を用いて複数の線形写像から非線形写像を得ることで複数の画像処理装置から同一の見取り図上に人物の位置を対応付けしているので、カメラ画像の座標から見取り図の座標への変換は、レンズ歪を補正することに相当し、検出位置間の距離計算がし易くなり、人物監視がし易くなる。
【００７７】
さらに、２つのカメラ間の重複視野領域Ｖに相当する見取り図上の領域に限定して近接性に基づき追跡対象の人物の同一性を判定するので、カメラ間で連携して同一人物の判定を行う際に不要な計算を省くことができ、カメラ間の人物の受け渡しも確実に行うことができる。
また、本実施形態に係る同一人物検出方法によれば、単眼のカメラＣを用いるので、安価に同一人物検出システムを構築できる。
【００７８】
なお、本発明の身長推定方法及び身長推定システムは、上記実施形態に限定されるものではなく、本発明の技術的範囲において種々の変形が可能である。
【符号の説明】
【００７９】
１  身長推定システム
２Ａ，２Ｂ  画像処理装置
３  人物管理装置
２１  人物認識手段
２２  人物座標算出手段
２３  人物座標出力手段
３１  人物座標取得手段
３２  マッピング手段
３３  同一人物投票手段
３４  同一人物紐付手段
３５  結果出力手段
３６  身長推定手段
ＣＡ，ＣＢ  カメラ
Ｍ  監視領域
Ｆ  視野領域
Ｖ  重複視野領域（仮想ゲート）
【図１】
2016162307.tif 000020
【図２】
2016162307.tif 000021
【図３】
2016162307.tif 000022
【図４】
2016162307.tif 000023
【図５】
2016162307.tif 000024
【図６】
2016162307.tif 000025
【図７】
2016162307.tif 000026
【図８】
2016162307.tif 000027
【図９】
2016162307.tif 000028
【図１０】
2016162307.tif 000029