(57)【要約】【課題】オクル−ジョンにより発生する実空間移動量の誤差を減少させること。【解決手段】推定装置であって、撮影された画像を用いて、被写体が観測された領域内の人数を計測する領域内人数計測部と、撮影された画像から人物の画像上移動量を算出する画像上移動量算出部と、画像上移動量から推定される実空間移動量よりも小さい値を、実空間移動量の推定結果として取得する補正推定値取得部と、を備え、補正推定値取得部は、画像上移動量から実空間移動量を推定する実空間移動量推定部と、実空間移動量推定部が推定した実空間移動量の誤差を補正する補正係数を算出する補正係数算出部と、実空間移動量推定部が推定した実空間移動量を、前記補正係数を用いて補正する実空間移動量補正部と、を備える。【選択図】図２
2013246490.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像を用いて、被写体が観測された領域内の人数を計測する領域内人数計測部と、
前記撮影された画像から人物の画像上移動量を算出する画像上移動量算出部と、
前記画像上移動量から推定される実空間移動量よりも小さい値を、実空間移動量の推定結果として取得する補正推定値取得部と、
を備える推定装置。
【請求項２】
前記補正推定値取得部は、
前記画像上移動量から実空間移動量を推定する実空間移動量推定部と、
前記実空間移動量推定部が推定した実空間移動量の誤差を補正する補正係数を算出する補正係数算出部と、
前記実空間移動量推定部が推定した実空間移動量を、前記補正係数を用いて補正する実空間移動量補正部と、
を備える請求項１に記載の推定装置。
【請求項３】
前記補正推定値取得部は、
前記領域内の人数と、撮影された画像とを用いて、高さ毎投票係数を算出する高さ毎投票係数算出部と、
前記高さ毎投票係数を用いて前記画像上移動量を、実空間移動量に重みづけ投票をする重みづけ投票部と、
前記重みづけ投票により実空間移動量を推定する実空間移動量投票推定部と、  を備える請求項１に記載の推定装置。
【請求項４】
前記補正推定値取得部によって取得された実空間移動量と、前記撮影された画像の前記領域内の人数と、を用いて撮影領域を通過した人数を推定する通過人数推定部をさらに備える請求項１〜３のいずれか１項に記載の推定装置。
【請求項５】
撮影された画像を用いて、被写体が観測された領域内の人数を計測する領域内人数計測ステップと、
前記撮影された画像から人物の画像上移動量を算出する画像上移動量算出ステップと、
前記画像上移動量から推定される実空間移動量よりも小さい値を、実空間移動量の推定結果として取得する補正推定値取得ステップと、
を有する推定方法。
【請求項６】
撮影された画像を用いて、被写体が観測された領域内の人数を計測する領域内人数計測ステップと、
前記撮影された画像から人物の画像上移動量を算出する画像上移動量算出ステップと、
前記画像上移動量から推定される実空間移動量よりも小さい値を、実空間移動量の推定結果として取得する補正推定値取得ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通過人数を推定する技術に関する。
【背景技術】
【０００２】
カメラ画像を利用して通過人数を計測するためには、画像上に人物が現れたこと及び人物が通り過ぎたことを検知する必要がある。これらの検知を実現する様々な画像処理技術が提案されており、大きく２つのアプローチに分けることができる。
１つ目のアプローチは画像上に存在する個々の人物を検出しながらその位置を捕捉・追跡していく人物追跡技術（トラッキング技術）に基づくものである（非特許文献１参照）。しかし、人物追跡技術では、オクルージョンが発生することにより個々の人物の検出、追跡が困難になるという問題がある。このような問題は、例えば、大きな駅のコンコースのように人が多く混雑する場所に適用しようとした場合に、人と人とが画像上で重なり合ってしまうことにより生じる。
【０００３】
２つ目のアプローチは、個々の人物の検出を行わず、人物の集団全体をあたかも流体のようにひとまとまりのものとして捉える手法である（非特許文献２参照）。この手法では瞬間瞬間の領域内の人数と、一定時間内での集団全体の移動量（移動速度）とを算出することで通過人数を推定する。このような個々の人物の検出を必要としないアプローチは混雑時であっても安定に動作することが期待できる。
【０００４】
非特許文献２に記載されている既存手法の具体的なアルゴリズムの概要を簡単に説明する。この手法では、較正された固定カメラ（カメラの各画素が実空間のどこを撮影しているかが指定できるような所謂キャリブレーションが実施されているカメラ）を用い画像を時系列的に取得しながら、以下の値を算出する。
１．瞬間瞬間の画像内の所定領域内の人数（領域内人数）
２．時間的に隣接するフレーム画像間（もしくは０．１秒などの短い時間間隔にある２つのフレーム画像間）における集団の実空間での移動量（実空間移動量）
【０００５】
なお、カメラの較正（キャリブレーション）は、カメラの光学系の特性（焦点距離、アスペクト比、歪パラメータなど）を記述する内部パラメータと、カメラの実空間における位置や角度を指定する外部パラメータとを取得することである。
キャリブレーションは、ドットパターンやチェス盤用パターン等の被写体、特定の３次元構造物など、幾何的な性質（形状やサイズ）が既知である被写体を撮影し、所定の幾何学計算を行うことにより実現することができる。キャリブレーションの具体的な実現方法については、既に様々な方法が提案されており、ＯｐｅｎＣＶなどのオープンソフトの形態でも公開されるなど一般化している。
【０００６】
領域内人数の算出には、既に提案されている様々な手法の適用が可能である。例えば、非特許文献３に記載されている技術を用いて領域内の人数を算出しても良い。
実空間移動量の算出には、既に提案されている様々な手法の適用が可能である。例えば、非特許文献２に記載されている技術を用いて実空間移動量を算出しても良い。
そして、領域内の人数及び実空間移動量を用いて、通過人数を推定する。この手法は、ある密度を持つ流体がある速度で既知の流路（断面積が既知のパイプ等）を流れる場合に、密度、速度および流路の幾何的な情報があれば流量を算出できることと同じ原理を用いている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】大澤達哉、外5名、「ＭＣＭＣ法に基づく対象と環境に三次元モデルを用いた人物追跡」、電子情報通信学会論文誌.Ｄ、情報・システム、社団法人電子情報通信学会、2008年8月1日、J91-D、第8号 p.2137−2147
【非特許文献２】五十嵐勇、外3名、「局所移動量に関する投票に基づく集団移動量を用いた映像からの通過人数測定」、IS3-03、2011年画像センシングシンポジウム、2011年
【非特許文献３】新井啓之、外3名、「幾何モデルに基づく映像からの人数推定」、社団法人映像情報メディア学会技術報告、2008年6月24日、第32巻、第26号、p.33−36
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した非特許文献２の方法では、人物の集団全体を流体としてとらえて、瞬間瞬間の領域内の人数と、集団全体の実空間移動量を算出することで通過人数を推定していた。しかしながら、オクル−ジョンにより人物の足などの下半身の特徴点が検出されず人物の頭など上半身の特徴点ばかりが検出されてしまうことで実空間移動量を推定する際に誤差が発生してしまうことがあった。
【０００９】
上記事情に鑑み、本発明は、オクル−ジョンによる発生する実空間移動量推定の誤差を減少させる技術の提供を目的としている。
【課題を解決するための手段】
【００１０】
本発明の一態様は、撮影された画像を用いて、被写体が観測された領域内の人数を計測する領域内人数計測部と、前記撮影された画像から人物の画像上移動量を算出する画像上移動量算出部と、前記画像上移動量から推定される実空間移動量よりも小さい値を、実空間移動量の推定結果として取得する補正推定値取得部と、を備える推定装置である。
【００１１】
本発明の一態様は、上記の推定装置であって、前記補正推定値取得部は、前記画像上移動量から実空間移動量を推定する実空間移動量推定部と、前記実空間移動量推定部が推定した実空間移動量の誤差を補正する補正係数を算出する補正係数算出部と、前記実空間移動量推定部が推定した実空間移動量を、前記補正係数を用いて補正する実空間移動量補正部と、を備える。
【００１２】
本発明の一態様は、上記の推定装置であって、前記補正推定値取得部は、前記領域内の人数と、撮影された画像とを用いて、高さ毎投票係数を算出する高さ毎投票係数算出部と、前記高さ毎投票係数を用いて前記画像上移動量を、実空間移動量に重みづけ投票をする重みづけ投票部と、前記重みづけ投票により実空間移動量を推定する実空間移動量投票推定部と、を備える。
【００１３】
本発明の一態様は、上記の推定装置であって、前記補正推定値取得部によって取得された実空間移動量と、前記撮影された画像の前記領域内の人数と、を用いて撮影領域を通過した人数を推定する通過人数推定部をさらに備える。
【００１４】
本発明の一態様は、撮影された画像を用いて、被写体が観測された領域内の人数を計測する領域内人数計測ステップと、前記撮影された画像から人物の画像上移動量を算出する画像上移動量算出ステップと、前記画像上移動量から推定される実空間移動量よりも小さい値を、実空間移動量の推定結果として取得する補正推定値取得ステップと、を有する推定方法である。
【００１５】
本発明の一態様は、撮影された画像を用いて、被写体が観測された領域内の人数を計測する領域内人数計測ステップと、前記撮影された画像から人物の画像上移動量を算出する画像上移動量算出ステップと、前記画像上移動量から推定される実空間移動量よりも小さい値を、実空間移動量の推定結果として取得する補正推定値取得ステップと、をコンピュータに実行させるためのコンピュータプログラムである。
【発明の効果】
【００１６】
本発明により、オクル−ジョンにより発生する実空間移動量推定の誤差を減少させることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明における通過人数推定システムのシステム構成を示す図である。
【図２】通過人数推定装置１００の第一実施形態（通過人数推定装置１００ａ）の機能構成を表す概略ブロック図である。
【図３】画像上移動量の具体例を示す図である。
【図４】画像上移動量に基づいて実空間移動量を推定する処理の具体例を示す図である。
【図５】実空間移動量を推定する処理の具体例を示す図である。
【図６】投票の得票数に応じて実空間移動量を推定する具体例を表した図である。
【図７】矩形範囲の具体例を表す図である。
【図８】人物の身体の高さの期待値の概念を表す図である。
【図９】矩形範囲３０６内にＲ人の人物が存在する場合の身体の高さの期待値Ｈ１（Ｒ）を表す図である。
【図１０】本発明の第一実施形態における通過人数推定方法の処理の流れを示すフローチャートである。
【図１１】閑散時に撮影されたフレーム画像を用いて実空間移動量を推定する処理の具体例を示した図である。
【図１２】混雑時に撮影されたフレーム画像を用いて実空間移動量を推定する処理の具体例を示した図である。
【図１３】通過人数推定装置１００の第二実施形態（通過人数推定装置１００ｂ）の機能構成を表す概略ブロック図である。
【図１４】高さ毎投票係数Ｐ（ｈ）の具体例を表す図である。
【図１５】実空間移動量投票推定部２０７の処理の具体例を示す図である。
【図１６】本発明の第二実施形態における通過人数推定方法の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本発明における通過人数推定システムのシステム構成を示す図である。本発明の通過人数推定システムは、固定カメラ１０及び通過人数推定装置１００を備える。
固定カメラ１０は、例えばセキュリティカメラのように斜め下向きに設置されており、撮影領域２０を撮影する。固定カメラ１０が撮影する撮影領域２０は、事前のカメラキャリブレーションによって決定される。
【００１９】
通過人数推定装置１００は、情報処理装置を用いて構成される。通過人数推定装置１００は、固定カメラ１０が撮影したフレーム画像に基づいて画像処理を行うことによって、撮影領域２０を通過した人数を推定する。
撮影領域２０は、固定カメラ１０によって撮影される領域である。
以下、通過人数推定装置１００の具体的な構成例（第一実施形態及び第二実施形態）について説明する。
【００２０】
［第一実施形態］
図２は、通過人数推定装置１００の第一実施形態（通過人数推定装置１００ａ）の機能構成を表す概略ブロック図である。通過人数推定装置１００ａは、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、通過人数推定プログラムを実行する。通過人数推定プログラムの実行によって、通過人数推定装置１００ａは、フレーム画像入力部１０１、領域内人数計測部１０２、画像上移動量算出部１０３、カメラパラメータ記憶部１０４、通過人数推定部１０８、補正推定値取得部１０９を備える装置として機能する。また、補正推定値取得部１０９は、実空間移動量推定部１０５、補正係数算出部１０６及び実空間移動量補正部１０７として機能する。なお、通過人数推定装置１００ａの各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。また、通過人数推定プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、通過人数推定プログラムは、電気通信回線を介して送受信されても良い。
【００２１】
フレーム画像入力部１０１は、固定カメラ１０が撮影したフレーム画像を時系列順に入力する。
領域内人数計測部１０２は、フレーム画像入力部１０１が入力したフレーム画像内の所定領域内の人数を計測する。所定領域とは、フレーム画像内で人物が観測された領域である。
【００２２】
画像上移動量算出部１０３は、フレーム画像入力部１０１が時系列順に入力したフレーム画像内の人物の画像上移動量を算出する。画像上移動量は、時間的に近接する２枚のフレーム画像間において、画像上での人物の移動量を表す。
カメラパラメータ記憶部１０４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。カメラパラメータ記憶部１０４は、固定カメラ１０のキャリブレーションにより設定されたカメラパラメータ（例えば、内部パラメータ及び外部パラメータ）を記憶している。内部パラメータは、カメラの構成に関するパラメータである。例えば、内部パラメータは、焦点距離、アスペクト比、歪みパラメータなどを表す。外部パラメータは、実空間上における固定カメラ１０の位置（高さを含む）や向きに関するパラメータである。
【００２３】
補正推定値取得部１０９は、画像上移動量に基づいて従来の方法で推定される実空間移動量よりも小さな値を、実空間移動量の推定結果として取得する。以下、補正推定値取得部１０９の具体的な構成例について説明する。
実空間移動量推定部１０５は、カメラパラメータ記憶部１０４が記憶しているカメラパラメータと、画像上移動量算出部１０３が算出した画像上移動量とを用いて、実空間移動量を推定する。実空間移動量は、時間的に近接する２枚のフレーム画像間において、実空間上での人物の移動量を表す。実空間移動量推定方法について、図３〜５を用いて説明する。
【００２４】
図３は、画像上移動量の具体例を示す図である。フレーム画像３００−１は、人物の集団が実空間上を同じ速度で移動しているときに撮像された画像である。フレーム画像３００−２は、フレーム画像３００−１から一定時間（例えば、５秒、１０秒など）経過後に撮像された画像である。画像３００−３は、フレーム画像３００−１及びフレーム画像３００−２の各フレーム画像で検出された人物の集団の特徴点を対応付けることによって、人物の集団の画像上での移動をオプティカルフローとして表した画像である。画像３００−３において、一つ一つの矢印（オプティカルフロー）の長さが画像上移動量を表し、矢印の向きが移動方向を表す。
【００２５】
画像３００−３から明らかなように、画像上移動量は、実空間上で人物のいる場所によって異なる。実空間上で固定カメラ１０に近い位置にいる人物について観測される画像上移動量は、固定カメラ１０から遠い位置にいる人物について観測される画像上移動量に比べて大きい。このように、実空間上での移動量が同じであっても、実空間上で人物のいる場所に応じて画像上移動量が異なる。
【００２６】
図４は、画像上移動量に基づいて実空間移動量を推定する処理の具体例を示す図である。図４（Ａ）のフレーム画像３０１−１は、二つのフレーム間画像において検出されたオプティカルフローの具体例である。この時点では、フレーム画像３０１−１のオプティカルフローが表す実空間上の移動量は不明である。さらに、フレーム画像３０１−１のオプティカルフローが人物のどの特徴点におけるオプティカルフローであるかも不明である。そのため、フレーム画像３０１−１のオプティカルフローは、人物の頭の部分におけるオプティカルフローであるかもしれないし、人物の足の部分におけるオプティカルフローであるかもしれない。
【００２７】
しかし、上述したように、オプティカルフローの長さ（画像上移動量）が表す実空間上での移動量は、実空間上でその特徴点が固定カメラ１０から離れている距離に応じて異なる。また、一般的に人物の頭の部分は人物の足の部分に比べて固定カメラ１０に近い。そのため、オプティカルフローから推定される実空間上での移動量は、そのオプティカルフローが人物の頭の部分のオプティカルフローであると仮定した場合と、人物の足の部分のオプティカルフローであると仮定した場合とで異なる。
図４（Ｂ）のフレーム画像３０１−２は、フレーム画像３０１−１のオプティカルフローが表している特徴点を、人物の頭と仮定した場合の状態を表す画像である。図４（Ｃ）のフレーム画像３０１−３は、フレーム画像３０１−１のオプティカルフローが表している特徴点を、人物の足と仮定した場合の状態を表す画像である。同じオプティカルフローであっても、人物の足と仮定した場合に推定される実空間上での移動量は、人物の頭と仮定した場合に推定される実空間上での移動量よりも大きい。
【００２８】
図４（Ｄ）は、画像上移動量から推定される実空間移動量の具体例を表す図である。横軸は、実空間における人物の移動方向の座標を表す。矢印３１３は、図４（Ａ）におけるオプティカルフローが人物の頭におけるオプティカルフローであると仮定した場合の、オプティカルフローが表す人物の移動を示す。すなわち、矢印３１３は、図４（Ｂ）に示される移動の状態を表す。矢印３１４は、図４（Ａ）におけるオプティカルフローが人物の足におけるオプティカルフローであると仮定した場合の、オプティカルフローが表す人物の移動を示す。すなわち、矢印３１４は、図４（Ｃ）に示される移動の状態を表す。このように、画像上では一つのオプティカルフローであっても、そのオプティカルフローが対応する特徴部分が異なると、そのオプティカルフローが表す実空間における移動も異なる。
【００２９】
図５は、実空間移動量を推定する処理の具体例を示す図である。図５（Ａ）は、一つのオプティカルフローから推定される実空間移動量の具体例を表す図である。Ｈは、人物の身体の高さを表す。ｒＨは、人物の頭を特徴点とした場合に推定される実空間移動量を表す。ｒ０は、人物の足を特徴点とした場合に推定される実空間移動量を表す。
【００３０】
図５（Ｂ）は、実空間移動量を推定する際に行われる投票の概念を表す図である。図５（Ａ）から明らかなように、実空間上で固定カメラ１０が撮影する人物の部位の中でカメラに一番近い部位は人物の頭である。そのため、人物の頭を特徴点と仮定した場合のｒＨが実空間移動量の最低値と仮定できる。また、実空間上で固定カメラ１０から一番遠い部位は人物の足（足先）である。そのため、人物の足を特徴点と仮定した場合のｒ０を実空間移動量の最大値と仮定できる。Ｖは、固定カメラ１０が観測する人物の実空間移動量の推定範囲を表す。実空間移動量推定部１０５は、実空間移動量の推定範囲で投票を行い、実空間移動量を推定する。投票は、各オプティカルフローから推定される実空間移動量の推定範囲において、所定の幅毎に一票ずつ票を追加していく処理である。
【００３１】
図５（Ｃ）は、人物の３つの特徴点について得られたオプティカルフローの具体例を表す図である。破線で表されるオプティカルフロー４００−３は、人物の頭を特徴点として得られたオプティカルフローである。一点鎖線で表されるオプティカルフロー４００−２は、人物の高さ方向の中心部分（腕のあたり）を特徴点として得られたオプティカルフローである。二点鎖線で表されるオプティカルフロー４００−１は、人物の足先を特徴点として得られたオプティカルフローである。なお、実際の処理では、３つのオプティカルフローがそれぞれ人物のどの部分を特徴として得られたオプティカルフローであるかは不明である。理解の容易のために、本説明では各オプティカルフローが人物のどの部分を特徴点として得られたかを明らかにしている。
【００３２】
図５（Ｄ）は、図５（Ｃ）に示される３つのオプティカルフローに基づいて行われる投票の結果を表す図である。図５（Ｄ）において、縦軸はオプティカルフローの並びを表し、横軸は実空間移動量Ｍを表す。４０１−１は、オプティカルフロー４００−１に基づいて行われた投票の結果を表す。４０１−２は、オプティカルフロー４００−２に基づいて行われた投票の結果を表す。４０１−３は、オプティカルフロー４００−３に基づいて行われた投票の結果を表す。
【００３３】
図６は、投票の得票数に応じて実空間移動量を推定する具体例を表した図である。縦軸は、得票数Ｔを表す。横軸は実空間移動量Ｍを表す。実空間移動量推定部１０５は、フレーム画像から得られたオプティカルフロー毎に、実空間移動量の推定範囲を取得する。その後、実空間移動量推定部１０５は、オプティカルフロー毎に推定範囲に対して均等に投票を行う。実空間移動量推定部１０５は、得票数が最も高い実空間移動量Ｍｍａｘを推定結果として取得する。
【００３４】
補正係数算出部１０６は、カメラパラメータ記憶部１０４が記憶しているカメラパラメータと、領域内人数計測部１０２が計測した所定領域内の人数と、を用いて補正係数Ｃを算出する。補正係数Ｃの具体的な算出方法について、図７〜９を用いて説明する。
【００３５】
図７は、矩形範囲の具体例を表す図である。以下、図７を用いて矩形範囲について説明する。Ｔｚは、床面から固定カメラ１０までの高さを表す。Ｇは、固定カメラ１０が撮影している撮影領域２０の画像の枠を表す。Ｇ１は、画像Ｇの注目画素を表す。注目画素Ｇ１は、固定カメラ１０のキャリブレーションによって、どの領域を撮影しているか具体的に計算できる。
【００３６】
図７のＰは、注目画素Ｇ１に撮影される空間を直線で表している。直線Ｐは、厳密には遠くに行くほど広がる錐状となるが、簡単化のために直線で表す。３０５−１〜４は、人物を標準的な大きさ（幅をＷ、身体の高さをＨとする）の矩形で近似して表している。矩形３０５−１〜４は、固定カメラ１０から矩形３０５−１〜４を見た場合に、固定カメラ１０に正対する幅Ｗ、身体の高さＨの矩形として見えるように近似して表している。
【００３７】
床面上の矩形範囲３０６は、人物が床面上に立った際の注目画素Ｇ１に人物（矩形）の身体の一部が写る範囲を表している。矩形範囲３０６は、幅Ｗ、長さＬの領域である。長さＬは、Ｐの床面上に対する傾きと矩形３０５−１〜４の高さＨから算出される。
【００３８】
注目画素Ｇ１において被写体が観測された場合の矩形範囲３０６内の人数と、カメラパラメータ記憶部１０４が記憶しているカメラパラメータと、に基づいて、撮影領域２０の人物密度（１平方メートルあたりσ人）を算出することができる。矩形範囲３０６の面積は、Ｗ・Ｌであるから、矩形範囲３０６内にいる人数の期待値はＲ＝σ・Ｗ・Ｌとなる。
【００３９】
図８は、人物の身体の高さの期待値の概念を表す図である。身体の高さの期待値とは、固定カメラ１０の最も近くに位置する人物の身体部分のうち、注目画素Ｇ１に写る身体部分の床面からの高さを表す。身体の高さの期待値は、矩形範囲３０６内に存在する人物の数Ｒに応じて変化する。そこで、身体の高さの期待値をＨ１（Ｒ）と表す。
図８では、縦軸が高さを表し、横軸が矩形範囲３０６の長さ方向（Ｌ）の座標を表す。図８は、矩形範囲３０６に人物が１人観測されている様子を表す。Ｈは、人物の身体の高さを表す。直線Ｐ１及びＰ２は、固定カメラ１０の視点と注目画素Ｇ１とを結ぶ直線である。人物がＸの位置に存在する場合に注目画素Ｇ１に写る人物の部位は、床面から高さＨ１に位置する部位である。
【００４０】
Ｌ１は、矩形範囲３０６内で固定カメラ１０に最も近い位置である。人物がＬ１に位置する場合、注目画素Ｇ１には人物の頭が写る。Ｌ２は、矩形範囲３０６内で固定カメラ１０に最も遠い位置である。人物がＬ２に位置する場合、注目画素Ｇ１には人物の足先が写る。固定カメラ１０が観測する人数が１人の場合、カメラの最も近くに位置する人物が存在する確率は、Ｌ１からＬ２までの範囲で均等である。そのため、身体の高さの期待値Ｈ１（１）＝Ｈ／２となる。
【００４１】
図９は、矩形範囲３０６内にＲ人の人物が存在する場合の身体の高さの期待値Ｈ１（Ｒ）を表す図である。矩形範囲３０６のＸに位置する人物が固定カメラ１０に最も近くに位置している確率は、Ｘに位置する人物が他の（Ｒ−１）人全てよりも固定カメラ１０側に位置する確率Ｐ（Ｘ）と同じ値であり、式（１）のように表される。
【００４２】
【数１】
2013246490.tif 000003
【００４３】
Ｒ人が矩形範囲にいる場合に、固定カメラ１０に最も近い人物の位置を表す期待値Ｘ１は、式１に基づいて式（２）のように表される。
【００４４】
【数２】
2013246490.tif 000004
【００４５】
式（２）を変形することによって、期待値Ｘ１＝Ｌ／（Ｒ＋１）となる。
【００４６】
期待値Ｘ１に位置する人物の身体部分のうち、注目画素Ｇ１に写る部分の高さが、矩形範囲内３０６内にＲ人の人物が存在する場合の身体の高さの期待値Ｈ１（Ｒ）に相当する。Ｈ１（Ｒ）は、底辺をＬ、高さをＨとする直角三角形と相似な直角三角形であって、（Ｌ−Ｘ１）を底辺とする直角三角形の高さに相当する。そのため、Ｈ１（Ｒ）は式（３）のように表される。
【００４７】
【数３】
2013246490.tif 000005
【００４８】
上述した結果により、補正係数Ｃを式（４）のように表す。
【００４９】
【数４】
2013246490.tif 000006
【００５０】
実空間移動量補正部１０７は、補正係数Ｃを用いて実空間移動量を補正する。補正後の実空間移動量Ｄｃは式（５）のように表される。
【００５１】
【数５】
2013246490.tif 000007
【００５２】
式（５）のＤは、実空間移動量推定部１０５によって推定された実空間移動量である。
通過人数推定部１０８は、領域内人数計測部１０２によって計測された所定領域内の人数と、実空間移動量補正部１０７によって補正された実空間移動量と、カメラパラメータ記憶部２０４が記憶しているカメラパラメータと、を用いてフレーム画像間での通過人数を推定する。
【００５３】
図１０は、本発明の第一実施形態における通過人数推定方法の処理の流れを示すフローチャートである。
まず、フレーム画像入力部１０１が画像を時系列順に入力する（ステップＳ１０１）。次に、領域内人数計測部１０２は、フレーム画像入力部１０１が入力したフレーム画像から所定領域内人数を計測する（ステップＳ１０２）
【００５４】
画像上移動量算出部１０３は、フレーム画像入力部１０１が入力した時間的に近接する２つのフレーム画像から人物の特徴点を検出する。画像上移動量算出部１０３は、２つのフレーム画像から人物の特徴点を検出した後、２つのフレーム画像の特徴点を対応付け、オプティカルフローを取得する。画像上移動量算出部１０３は、取得されたオプティカルフローに基づいて、画像上の人物の画像上移動量を算出する（ステップＳ１０３）。
【００５５】
次に、実空間移動量推定部１０５は、画像上移動量算出部１０３が算出した画像上移動量に基づいて投票を行う（ステップＳ１０４）。実空間移動量推定部１０５は、画像上移動量の投票結果に基づいて実空間移動量を推定する（ステップＳ１０５）。
【００５６】
補正係数算出部１０６は、カメラパラメータ記憶部１０４が記憶しているカメラパラメータと、領域内人数計測部１０２が計測した所定領域内の人数と、を用いて補正係数を算出する（ステップＳ１０６）。
【００５７】
実空間移動量補正部１０７は、補正係数算出部１０６が算出した補正係数を用いて、実空間移動量推定部１０５が推定した実空間移動量を補正する（ステップＳ１０７）。
通過人数推定部１０８は、領域内人数計測部１０２が計測した所定領域内の人数と、実空間移動量補正部１０７が補正した実空間移動量と、カメラパラメータ記憶部１０４が記憶しているカメラパラメータと、を用いてフレーム画像間での通過人数を推定する（ステップＳ１０８）。
【００５８】
次に、図１１及び図１２を用いて、第一実施形態における通過人数推定装置１００ａの効果について説明する。
図１１は、閑散時に撮影されたフレーム画像を用いて実空間移動量を推定する処理の具体例を示した図である。図１１（Ａ）は、閑散時に撮影されたフレーム画像の具体例である。図１１（Ｂ）は、閑散時に撮影されたフレーム画像に基づいて行われた投票結果の具体例を示す図である。図１１（Ａ）に示されるように、閑散時には所定領域内にいる人物が少数であるため、人物と人物とが重なりあって撮影されることが少ない。そのため、人物の身体の様々な高さの部分から画像上移動量を得ることが可能である。したがって、様々な高さの部分から得られた画像上移動量に基づいて投票を行うことが可能となり、高精度に実空間移動量を推定できる。
【００５９】
図１２は、混雑時に撮影されたフレーム画像を用いて実空間移動量を推定する処理の具体例を示した図である。図１２（Ａ）は、混雑時に撮影されたフレーム画像の具体例である。図１２（Ｂ）は、混雑時に撮影されたフレーム画像に基づいて行われた投票結果の具体例を示す図である。混雑時に撮影されたフレーム画像では、オクルージョンが多発しており、多くの部分で人と人とが重なり合ってしまっている。そのため、人物の下半身がほとんど撮影されておらず、人物の上半身が多く撮影されてしまう。したがって、上半身の特徴点から得られた画像上移動量に基づいて投票を行うこととなってしまう。一般的に、上半身の特徴点から得られる画像上移動量に基づいた実空間移動量の推定結果は、実際の実空間移動量よりも大きな値となってしまう。そのため、実空間移動量の推定結果の精度が低下してしまう。
このような問題に対し、通過人数推定装置１００ａの補正推定値取得部１０９は、画像上移動量に基づいて従来の方法で推定される実空間移動量よりも小さな値を、実空間移動量の推定結果として取得する。そのため、オクルージョンが発生しているフレーム画像から精度良く実空間移動量を推定することが可能となる。より具体的には、１よりも小さい値の補正係数を実空間移動量に乗算することによって実空間移動量が補正される。そのため、補正後の実空間移動量を精度の高い推定結果として取得することが可能となる。
【００６０】
［第二実施形態］
図１３は、通過人数推定装置１００の第二実施形態（通過人数推定装置１００ｂ）の機能構成を表す概略ブロック図である。通過人数推定装置１００ｂは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、通過人数推定プログラムを実行する。通過人数推定プログラムの実行によって、通過人数推定装置１００ｂは、フレーム画像入力部２０１、領域内人数計測部２０２、画像上移動量算出部２０３、カメラパラメータ記憶部２０４、通過人数推定部２０８、補正推定値取得部２０９を備える装置として機能する。また、補正推定値取得部２０９は、高さ毎投票係数算出部２０５、重みづけ投票部２０６及び実空間移動量投票推定部２０７として機能する。なお、通過人数推定装置１００ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。また、通過人数推定プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、通過人数推定プログラムは、電気通信回線を介して送受信されても良い。
【００６１】
フレーム画像入力部２０１は、固定カメラ１０が撮影したフレーム画像を時系列順に入力する。
領域内人数計測部２０２は、フレーム画像入力部２０１が入力したフレーム画像内の所定領域内の人数を計測する。所定領域とは、フレーム画像内で人物が観測された領域である。
【００６２】
画像上移動量算出部２０３は、フレーム画像入力部２０１が時系列順に入力したフレーム画像内の人物の画像上移動量を算出する。画像上移動量は、時間的に近接する２枚のフレーム画像間において、画像上での人物の移動量を表す。
【００６３】
カメラパラメータ記憶部２０４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。カメラパラメータ記憶部２０４は、固定カメラ１０のキャリブレーションにより設定したカメラパラメータ（例えば、内部パラメータ及び外部パラメータ）を記憶している。
高さ毎投票係数算出部２０５は、カメラパラメータ記憶部２０４が記憶しているカメラパラメータと、領域内人数計測部２０２が計測した所定領域内の人数と、を用いて高さ毎投票係数Ｐ（ｈ）を算出する。高さ毎投票係数Ｐ（ｈ）の具体的な算出方法について、説明する。
【００６４】
図８に示されるように、人物がＸの位置にいる場合に注目画素Ｇ１に写る人物の部分の高さ（ここではｈとする）は、上述したような直角三角形の比に基づいて得られる。Ｘの位置に対応する人物の身体の高さｈは、式（６）のように表される。
【００６５】
【数６】
2013246490.tif 000008
【００６６】
式（１）と式（６）とに基づいて高さ毎投票係数Ｐ（ｈ）が得られる。Ｐ（ｈ）は、注目画素Ｇ１に写る人物の部分の高さがｈである場合の確率を表す。そのため、Ｐ（ｈ）は０〜１の値となる。
【００６７】
図１４は、高さ毎投票係数Ｐ（ｈ）の具体例を表す図である。縦軸は高さ毎投票係数Ｐ（ｈ）を表し、横軸は実空間移動量Ｍを表す。図１４において、ｍ１は、処理対象のオプティカルフローが人物の頭において得られたオプティカルフローであると仮定した場合の実空間移動量を表す。ｍ２は、処理対象のオプティカルフローが人物の足先において得られたオプティカルフローであると仮定した場合の実空間移動量を表す。図１４に示されるように、実空間移動量Ｍがｍ１である場合のＰ（ｈ）は、実空間移動量Ｍがｍ２である場合のＰ（ｈ）に比べて小さい。言い換えれば、オプティカルフローが上半身において得られたと仮定した場合に推定される実空間移動量に対する高さ毎投票係数Ｐ（ｈ）は、オプティカルフローが下半身において得られたと仮定した場合に推定される実空間移動量に対する高さ毎投票係数Ｐ（ｈ）よりも大きい。そのため、一つのオプティカルフローにおける投票結果は、小さい実空間移動量の方が、大きい実空間移動量よりも大きな得票数を得る。
【００６８】
重みづけ投票部２０６は、高さ毎投票係数算出部２０５が算出した高さ毎投票係数Ｐ（ｈ）を用いて、画像上移動量の重みづけ投票を行う。上述したように、高い身体部分のオプティカルフローであると仮定した場合に得られる実空間移動量の推定結果では、Ｐ（ｈ）は高い値（１に近い値）となる。一方、低い身体部分のオプティカルフローであると仮定した場合に得られる実空間移動量の推定結果では、Ｐ（ｈ）は低い値（０に近い値）となる。このように、固定カメラ１０が観測する人物の身体の高さ毎に、投票結果に対して重みづけがなされる。
【００６９】
実空間移動量投票推定部２０７は、実空間移動量を推定する。実空間移動量投票推定部２０７は、重みづけ投票部２０６が重みづけ投票を行った結果に基づいて、実空間移動量を推定する。例えば、実空間移動量投票推定部２０７は、投票結果において重み付けの累積値が最も大きい実空間移動量を推定結果として取得する。
図１５は、実空間移動量投票推定部２０７の処理の具体例を示す図である。図１５（Ａ）は、重み付けがなされた票を表す図である。４０２−１〜４０２−３は、それぞれオプティカルフロー４００−１〜４００−３から得られる票である。図１５（Ａ）に示されるように、各票に重み付けがなされる。そのため、各票は、票数としては同じ１であっても、その重みに差が生じる。図１５（Ｂ）は、投票結果の具体例を表す図である。横軸は実空間移動量Ｍを表し、縦軸は重み付け得票数ＴＷを表す。重み付け得票数ＴＷは、重みの大きさの累積値を表す。実空間移動量投票推定部２０７は、重み付け投票数ＴＷが最も大きい実空間移動量Ｍを推定結果として取得する。
【００７０】
通過人数推定部２０８は、フレーム画像間での通過人数を推定する。通過人数推定部２０８は、領域内人数計測部２０２が計測した所定領域内の人数と、実空間移動量投票推定部２０７が推定した実空間移動量と、カメラパラメータ記憶部２０４が記憶しているカメラパラメータと、を用いることによりフレーム画像間での通過人数を推定する。
図１６は、本発明の第二実施形態における通過人数推定方法の処理の流れを示すフローチャートである。
【００７１】
まず、フレーム画像入力部２０１が画像を時系列順に入力する（ステップＳ２０１）。次に、領域内人数計測部１０２は、フレーム画像入力部２０１が入力したフレーム画像から所定領域内にいる人数を計測する（ステップＳ２０２）。
【００７２】
画像上移動量算出部２０３は、フレーム画像入力部２０１が入力した時間的に近接する２つのフレーム画像から人物の特徴点を検出する。画像上移動量算出部２０３は、２つのフレーム画像から人物の特徴点を検出した後、２つのフレーム画像の特徴点を対応付け、オプティカルフローを取得する。画像上移動量算出部２０３は、取得されたオプティカルフローに基づいて、画像上の人物の画像上移動量を算出する（ステップＳ２０３）。
【００７３】
高さ毎投票係数算出部２０５は、カメラパラメータ記憶部２０４が記憶しているカメラパラメータと、領域内人数計測部２０２が計測した所定領域内の人数と、を用いて高さ毎投票係数Ｐ（ｈ）を算出する（ステップＳ２０４）。
【００７４】
重みづけ投票部２０６は、画像上移動量算出部２０３が算出した画像上移動量に、高さ毎投票係数算出部２０５が算出した高さ毎投票係数Ｐ（ｈ）を用いて、重みづけを行いながら投票を行う（ステップＳ２０５）。
【００７５】
実空間移動量投票推定部２０７は、重みづけ投票部２０６が重みづけ投票を行った結果に基づいて実空間移動量を推定する（ステップＳ２０６）。
通過人数推定部２０８は、領域内人数計測部２０２が計測した所定領域内の人数と、実空間移動量投票推定部２０７が推定した実空間移動量と、カメラパラメータ記憶部２０４が記憶しているカメラパラメータと、を用いてフレーム画像間での通過人数を推定する（ステップＳ２０７）。
【００７６】
以上のように構成された通過人数推定システムによれば、オクル−ジョン発生時に生じる人物の実空間移動量の誤差を補正することができる。第一実施形態では、実空間移動量補正部１０７が、人物の実空間移動量推定後に誤差を見積り、補正係数Ｃを用いて補正をする。そのため、オクル−ジョンによる実空間移動量の誤差を減少できる。その結果、領域内の通過人数をより正確に推定することが可能となる。
また、上記第二実施形態では、実空間移動量推定時に人物の身体の高さ毎に重みづけ投票を行うことで、実空間移動量の誤差を減少できる。すなわち、固定カメラ１０に撮影される人物の身体の高さの偏りを補正することが可能となる。そのため、領域内の通過人数をより正確に計測することが可能となる。
【００７７】
＜変形例＞
上述した実施例では、固定カメラ１０と通過人数推定装置１００とはそれぞれ異なる装置として構成されているが、固定カメラ１０と通過人数推定装置１００とが一体化して構成されても良い。
固定カメラ１０が撮影したフレーム画像を一度ハードディスクなどの記録媒体に記録して、通過人数推定装置１００がフレーム画像を読み出しながら処理を行っても良い。
上記第一実施形態における動作例のステップＳ１０２の処理及びステップＳ１０３の処理、上記第二実施形態における動作例のステップＳ２０２の処理及びステップＳ２０３の処理は、並行して行われても良い。
【００７８】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７９】
１０…固定カメラ，  ２０…撮影領域，  １００…通過人数推定装置，  １０１…フレーム画像入力部，  １０２…領域内人数計測部，  １０３…画像上移動量算出部，  １０４…カメラパラメータ記憶部，  １０５…実空間移動量推定部，  １０６…補正係数算出部，  １０７…実空間移動量補正部，  １０８…通過人数推定部，  １０９…補正推定値取得部，  ２０１…フレーム画像入力部，  ２０２…領域内人数計測部，  ２０３…画像上移動量算出部，  ２０４…カメラパラメータ記憶部，  ２０５…高さ毎投票係数算出部，  ２０６…重みづけ投票部，  ２０７…実空間移動量投票推定部，  ２０８…通過人数推定部，  ２０９…補正推定値取得部，  ３００−１…フレーム画像，  ３００−２…フレーム画像，３００−３…画像  ３０１−１〜３…フレーム画像，  ３１３…矢印，  ３１４…矢印，  ４０１−１〜３…実空間移動量，  ３０５−１〜４…矩形（人物），  ４０４−１…実空間移動量，  ４０４−２…実空間移動量，  ４０２−１〜３…重みづけした投票
【図１】
2013246490.tif 000009
【図２】
2013246490.tif 000010
【図３】
2013246490.tif 000011
【図４】
2013246490.tif 000012
【図５】
2013246490.tif 000013
【図６】
2013246490.tif 000014
【図７】
2013246490.tif 000015
【図８】
2013246490.tif 000016
【図９】
2013246490.tif 000017
【図１０】
2013246490.tif 000018
【図１１】
2013246490.tif 000019
【図１２】
2013246490.tif 000020
【図１３】
2013246490.tif 000021
【図１４】
2013246490.tif 000022
【図１５】
2013246490.tif 000023
【図１６】
2013246490.tif 000024