(57)【要約】【課題】矩形以外の形状（シルエット）を持つ被写体に対しても、画素単位の処理によって被写体数推定を精度良く行う。【解決手段】被写体の形状（シルエット）を任意形状の微小矩形で近似し、当該微小矩形における基準表面積の積算値を求める。そして、この微小矩形における基準表面積の積算値を加算して、被写体における基準表面積の積算値を算出する。その結果、矩形以外の形状を持つ被写体に対しても、画素単位の処理によって被写体数を推定することができ、被写体の表面積算出の際の誤差を低減することが可能となる。【選択図】図１
2012103896.tif 000002
【特許請求の範囲】
【請求項１】
カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置が行う被写体数推定方法であって、
入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出ステップと、
前記個々の被写体をそれぞれ２以上の微小矩形に近似する微小矩形分割ステップと、
前記各微小矩形における基準表面積の積算値を算出する矩形面積算出ステップと、
前景領域内の前記微小矩形における基準表面積の積算値を加算して、前記前景領域内における基準表面積の積算値を算出する前景面積算出ステップと、
前記前景領域内における基準表面積の積算値を、被写体の固有表面積で除算して、被写体数を推定する被写体数算出ステップと、
を有することを特徴とする被写体数推定方法。
【請求項２】
カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置が行う被写体数推定方法であって、
事前に推定対象となる被写体の面積を算出する幾何設定ステップと、入力画像から被写体数を推定する推定処理ステップと、を有し、
前記幾何設定ステップは、
設置されたカメラの各画素と実空間との幾何的な対応関係を示すキャリブレーションデータを計測するキャリブレーションステップと、
前記キャリブレーションデータを用いて、各画素に対応する実空間上の表面積の平均値である基準表面積を、画素毎に算出する基準表面積算出ステップと、
推定したい被写体の形状を指定する被写体形状指定ステップと、
前記被写体を２つ以上の微小矩形に近似する微小矩形分割ステップと、
前記各微小矩形内における基準表面積の積算値である微小矩形の固有表面積を算出する矩形面積算出ステップと、
前記各微小矩形の固有表面積を積算して、被写体の固有表面積を算出する被写体面積算出ステップと、を有し、
前記推定ステップは、
処理対象となる画像系列を入力する画像入力ステップと、
入力された画像データから前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出ステップと、
前記画素毎の基準表面積を参照し、前記前景領域内における当該基準表面積の積算値を算出する前景面積算出ステップと、
前記前景領域内における基準表面積の積算値を、前記被写体の固有表面積で除算して被写体数を推定する被写体数算出ステップと、を有することを特徴とする被写体数推定方法。
【請求項３】
前記各微小矩形における基準表面積の積算値は、下記の各微小矩形と画素毎に設定された基準表面積との間に成り立つ幾何的な関係式により算出することを特徴とする請求項１または２記載の被写体数推定方法。
【数４】
2012103896.tif 000011
【請求項４】
カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置であって、
入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出手段と、
前記個々の被写体をそれぞれ２以上の微小矩形に近似する微小矩形分割手段と、
前記各微小矩形における基準表面積の積算値を算出する矩形面積算出手段と、
前景領域内の前記微小矩形における基準表面積の積算値を加算して、前記前景領域内における基準表面積の積算値を算出する前景面積算出手段と、
前記前景領域内における基準表面積の積算値を、被写体の固有表面積で除算して、被写体数を推定する被写体数算出手段と、
を備えたことを特徴とする被写体数推定装置。
【請求項５】
前記請求項１〜３の何れか１項に記載の被写体数推定方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像監視システム等において、カメラ映像を解析することにより、その場における被写体数を自動的に推定する画像処理技術に関する。
【背景技術】
【０００２】
カメラ映像を用いて、その場所にいる人をカウントする技術については、既に様々な技術が提案されている。
【０００３】
既に実用化されているものとしては、カメラを天井に設置し、真下向きに撮影した映像を用いて人数（その場所を通過した人数）を計測する技術が知られている。このように真下向きに撮影する方式の場合、画像上で人と人が重畳しない映像を得ることができるため、個々の人物の検出や追跡を画像処理で行うことが容易となり、高い精度を実現できるという長所を持っている。
【０００４】
しかし、カメラを真下向きに設置しようとしても天井が低い場合には、ごく狭い範囲しか計測できないという問題点がある。また、建物の構造上の問題や安全管理上の問題から、天井にカメラを設置することができないような場合も多く存在しており、その適用範囲は限定されてしまう。
【０００５】
一方、斜め下向き（もしくは、横向き）に設置されたカメラ映像から人数を計測する技術についても様々な技術が提案されている。具体的には、人物の形状に注目して人物らしい形状を画像内から検出する技術（形状マッチング技術）や、画像内の移動物体を追跡する技術（追跡技術，トラッキング技術）、またこれらを組み合わせた技術、などがある。
【０００６】
ところが、これらは何れも画像内での総当り的な探索や照合を必要とするため、計算コストが大きくなり、これに伴って装置やシステムのコストが大きくなるという問題がある。
【０００７】
この問題に対して、斜め下向きに設置されたカメラの映像から、比較的単純な信号処理のみで人数を計測する方法が非特許文献１において提案されている。この方法では、カメラキャリブレーションされていること（画像の各画素が実空間のどこの映像を撮影しているのかが概知なこと）を前提とし、画像上の画素と人物の表面積（シルエット上の面積）との関係をモデル化することにより、表面積に注目した人数推定を行っている。この方法は、基本的には画素単位の処理で人数を計測（推定）することができる。すなわち、総当り的な探索や照合を行う必要がないため、従来の形状マッチングや追跡技術と比較して大幅に計算コストが小さくなっている。
【先行技術文献】
【特許文献】
【０００８】
【非特許文献１】Ｈｉｒｏｙｕｋｉ  ＡＲＡＩ，Ｉｓａｏ  ＭＩＹＡＧＡＷＡ，Ｈｉｄｅｋｉ  ＫＯＩＫＥ，Ｍｉｋｉ  ＨＡＳＥＹＡＭＡ「Ｅｓｔｉｍａｔｉｎｇ  Ｎｕｍｂｅｒ  ｏｆ  Ｐｅｏｐｌｅ  Ｕｓｉｎｇ  Ｃａｌｉｂｒａｔｅｄ  Ｍｏｎｏｃｕｌａｒ  Ｃａｍｅｒａ  Ｂａｓｅｄ  ｏｎ  Ｇｅｏｍｅｔｒｉｃａｌ  Ａｎａｌｙｓｉｓ  ｏｆ  Ｓｕｒｆａｃｅ  Ａｒｅａ」，ＩＥＩＥＣ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ｏｎ  Ｆｕｎｄａｍｅｎｔａｌｓ  ｏｆ  Ｅｌｅｃｔｒｏｎｉｃｓ，Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ａｎｄ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅｓ  Ｖｏｌ．Ｅ９２−Ａ  Ｎｏ８．ｐｐ１９３２−１９３８（電子情報通信学会英文論文誌）．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、この非特許文献１の方法は、人物の形状（シルエット）を矩形で近似したアルゴリズムとなっており、一方で実物の人物の形状（シルエット）は矩形ではないため、このことが原因で推定結果に誤差が発生してしまうという問題があった。
【００１０】
以上示したようなことから、本発明は、矩形以外の形状（シルエット）を持つ被写体に対しても、画素単位の処理によって被写体数推定を精度良く行うことを主な課題とする。
【課題を解決するための手段】
【００１１】
そこで、本発明は、前記の課題を解決するために、被写体の形状（シルエット）を複数の微小矩形に分割近似して微小矩形の表面積を算出し、任意の形状（シルエット）であっても、画素単位の処理によって被写体数を推定しようとするものである。
【００１２】
なお、以降の説明において「被写体の形状」とは、カメラ方向から見た場合の「被写体のシルエット」を指すものとする。
【００１３】
本発明は、前記従来の問題に鑑み、案出されたもので、その一態様は、カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置が行う被写体数推定方法であって、入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出ステップと、前記個々の被写体をそれぞれ２以上の微小矩形に近似する微小矩形分割ステップと、前記各微小矩形における基準表面積の積算値を算出する矩形面積算出ステップと、前景領域内の前記微小矩形における基準表面積の積算値を加算して、前記前景領域内における基準表面積の積算値を算出する前景面積算出ステップと、前記前景領域内における基準表面積の積算値を、被写体の固有表面積で除算して、被写体数を推定する被写体数算出ステップと、を有することを特徴とする。
【００１４】
本発明の他の態様は、カメラ映像を用いて、その撮影場所における被写体数を推定する被写体数推定装置であって、入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出する前景検出手段と、前記個々の被写体をそれぞれ２以上の微小矩形に近似する微小矩形分割手段と、前記各微小矩形における基準表面積の積算値を算出する矩形面積算出手段と、前景領域内の前記微小矩形における基準表面積の積算値を加算して、前記前景領域内における基準表面積の積算値を算出する前景面積算出手段と、前記前景領域内における基準表面積の積算値を、被写体の固有表面積で除算して、被写体数を推定する被写体数算出手段と、を備えたことを特徴とする。
【００１５】
なお、本発明は、前記方法の各ステップをコンピュータに実行させるプログラムの態様としてもよい。このプログラムは、記録媒体に格納した態様で提供してもよい。
【発明の効果】
【００１６】
本発明によれば、矩形以外の形状（シルエット）を持つ被写体に対しても、画素単位の処理によって被写体数推定を精度良く行う被写体数推定方法を提供することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】実施形態における被写体数推定方法の処理を示すフローチャートである。
【図２】実施形態における被写体数推定装置の構成図である。
【図３】実施形態における被写体数推定装置のハードウェア構成図である。
【図４】画像上と実空間上における実際の被写体と平面図形を示す図である。
【図５】画像上と実空間上におけるカメラと被写体との関係を示す図である。
【図６】画像上の前景画素の集合を示す図である。
【図７】非特許文献１における人数計測方法の概略図である。
【図８】矩形と実際のシルエットとを示す図である。
【図９】微小矩形と、被写体のシルエットを示す図である。
【図１０】画像と実空間との関係を示す図である。
【図１１】被写体の一例を示す概略図である。
【発明を実施するための形態】
【００１８】
本発明は、非特許文献１に示されている人数計測方法をベースにしており、非特許文献１が人物のシルエットを矩形に限定（近似）しているのに対し、これを任意の形状に対しても適用できるように拡張するものである。以下では、非特許文献１を参照しつつ、被写体数推定方法の概要を説明した後、本発明のポイントとなる任意形状への拡張について説明していく。
【００１９】
なお、本明細書では、図４に示すように、平面状の図形を、実際の被写体と同じ位置にカメラＣに正対するように配置した時、画像上の輪郭が同じになるような当該平面図形をその被写体のシルエットと呼ぶこととする。単に「シルエット」と言った場合は、図４に示すように、平面で形状，大きさ，接地位置（床面の高さがどこに相当するか）が指定されたものを指すものとする。
【００２０】
また、本明細書での「表面積」とは、実際の被写体上の３次元的な表面上の面積ではなく、図４に示すようなシルエット上での面積を指すものとする。
【００２１】
＜基本原理＞
〔１〕被写体数推定方法の概要
まず、非特許文献１に基づいて、被写体数推定方法の概要を説明する。非特許文献１は、人物のシルエット（形状と大きさ）が概知の矩形で近似できるという前提で、画面に映った被写体の表面積を算出することにより、人数の推定を行っている。
【００２２】
また、非特許文献１，本願発明共に、カメラが床面に対してキャリブレーションされている状態、すなわち、カメラの各画素が実空間のどこを撮影しているのかがわかっている状態を前提としている。
【００２３】
図５に示すように、画素に対応する実空間の範囲は遠方に向かうに従って広がっていくので、画素は実空間において錐に対応すると見做せる。画像座標系がｘ，ｙ方向の方形状に整列する離散座標系であるとすると、この錐は四角錐となる（より具体的には、非特許文献１参照）。すなわち、キャリブレーションされている状態とは、カメラの画素（ｘ，ｙ：ピクセル座標）に対応する実空間上の錐が床面に対してどのようになっているのかが幾何学的に指定されていることを意味する。
【００２４】
次に、非特許文献１および本発明の基本となる基準表面積（非特許文献１中では、ＳＳＡ：Ｓｔａｎｄａｒｄ  Ｓｕｒｆａｃｅ  Ａｒｅａと称されている）について簡単に説明する。
【００２５】
カメラＣに正対して床面上に直立する高さＨ（人物の平均身長を想定）の平面状の矩形ｍ（ｍ１〜ｍｎ）を想定する。図５には、画素（ｘ，ｙ）が指定された時に、その画素に対応する錐が示されている。この錐が矩形ｍ上でどのような大きさ（断面積の大きさ）に対応するかは、矩形ｍの立ち位置によって変化する。
【００２６】
すなわち、矩形ｍの立ち位置がカメラＣに近い位置であればその断面積は小さく、遠い位置であればその断面積は大きくなる。この矩形ｍの立ち位置が手前から奥に変化する中での断面積の平均値を基準表面積と呼ぶ。基準表面積は、全ての画素に対して１つずつの値が定義される。
【００２７】
画素（ｘ，ｙ）に関する基準表面積を下記（１）式のように表す。
【００２８】
【数１】
2012103896.tif 000003
【００２９】
この基準表面積は、以下に示すような重要な性質を持っている。床面上に、高さＨ（基準表面積の算出に用いた人物の想定身長と同一の高さ），幅Ｄ，表面積Ｓ0＝Ｄ・Ｈの矩形ｍが存在している場合、これをカメラＣで撮影した時の画像（ｉ１〜ｉ４）上の矩形ｍに対応する領域（以下、前景領域と称する）をｆとすると、この前景領域ｆにおける基準表面積の積算値は、下記（２）式となる。なお、下記（２）式のＴｚは、床面からカメラＣまでの高さを示す。
【００３０】
【数２】
2012103896.tif 000004
【００３１】
上記（２）式からわかるように、基準表面積の積算値は、矩形ｍの立ち位置（Ｘ，Ｙ）に依存しない値となっている。すなわち、図６に示すように、矩形ｍがどの位置にあろうとも、矩形ｍ（前景領域ｆ，ｆ´，ｆ″）における基準表面積の積算値は同じ値となる。矩形ｍ内における基準表面積の積算値を、矩形の固有表面積と呼ぶことにする。
【００３２】
非特許文献１では、上記（２）式の高さＨ（Ｈは想定身長），幅Ｄの矩形の固有表面積の性質を用いて、人数の推定値を算出している。具体的には、図７に示すように、まず、与えられた入力画像から前景画素を検出する。なお、ここでは、常にそこに静止している物体に対応する画素を背景画素，一時的にそこに現れた物体に対応する画素を前景画素と呼ぶこととする。前景画素の検出方法については、数多くの方法が提案されているが、ここではどのような方法で前景画素検出を行うかは限定しない。
【００３３】
次に、検出された前景画素の基準表面積を積算し、全前景画素の基準表面積の積算値を算出する。そして、この基準表面積の積算値を、上記（２）式で示される矩形（高さＨ，幅Ｄの矩形）の固有表面積で除算することにより、推定人数を得ている。
【００３４】
なお、非特許文献１においては、さらに、人物同士の重なり（オクルージョン）の影響を加味することにより最終的な人数を算出しているが、この部分は本願発明と直接関係しないため割愛する。
【００３５】
以上が非特許文献１による人数推定方法の概要であるが、図８に示すように、実物の人物のシルエットは矩形とは異なるため、実際のシルエットにおける基準表面積の積算値と、矩形の固有表面積との間には差異が生じる。このため、非特許文献１の方法を、矩形以外の形状の被写体に適用すると、誤差が発生することになる。
【００３６】
〔２〕任意形状への拡張
本発明は、上述した非特許文献１の問題点を解決するために、矩形ではなく任意の形状（シルエット）における固有表面積を算出することにより、人物等の被写体の数を推定しようとするものである。本発明は、非特許文献１と同様に人物のシルエット（形状と大きさ）が概知であることを前提とするが、その形状は限定しない。以下、詳細を示す。
【００３７】
まず、任意の形状（シルエット）に拡張するための理論を以下に示す。非特許文献１に示されている下記（３）式に、非特許文献１に示されている下記（４）式を代入して整理すると、床面上に直立する高さＨ，幅Ｄにおける矩形の基準表面積の積算値は下記（５）式となる。
【００３８】
【数３】
2012103896.tif 000005
【００３９】
上記（５）式中のｕは、矩形の縦方向の座標を示す変数である。床面に平行，垂直な２辺を持った微小矩形を考え、上記（５）式において、実空間上の高さ（積分範囲）をｈ1〜ｕ〜ｈ2，実空間上の幅→ｄとすれば、図９に示すような、下端の高さｈ1，上端の高さｈ2，幅ｄの微小矩形における基準表面積の積算値ｓ（ｄ，ｈ1，ｈ2）を求めることができる。このように、書き換えを行い積分を実行すると、下記（６）式（各微小矩形と画素毎に設定された基準表面積との間に成り立つ幾何的な関係式）となり、微小矩形の固有表面積ｓ（ｄ，ｈ1，ｈ2）を算出することができる。
【００４０】
【数４】
2012103896.tif 000006
【００４１】
図９に示すように、任意のシルエット形状は、微小矩形の集合として表現することができる。シルエットを構成する個々の微小矩形について、実空間上における下端の高さｈ1，実空間上における上端の高さｈ2，および実空間上における幅ｄが指定されれば、これらの個々の微小矩形における固有表面積ｓ（ｄ，ｈ１，ｈ２）を算出することができる。そして、シルエット形状内の全ての微小矩形における固有表面積ｓ（ｄ，ｈ1，ｈ2）を積算することにより、そのシルエット形状における固有表面積を求めることができる。
【００４２】
シルエットを構成するｊ番目の微小矩形の幅をｄｊ，下端高さをｈ1ｊ，上端高さをｈ2ｊとし、その微小矩形における基準表面積の和（固有表面積）をｓｊ（ｄｊ，ｈ1ｊ，ｈ2ｊ）とすると、シルエット全体についての基準表面積の積算値、つまり、シルエット全体についての固有表面積Ｓは、下記（７）式となる。
【００４３】
【数５】
2012103896.tif 000007
【００４４】
上記（６），（７）式により、任意の形状（シルエット）であっても、それを微小な矩形に分割することによって、その形状（シルエット）における固有表面積を求めることができる。
【００４５】
〔３〕具体的な実施形態
次に、図１〜図４，図１０，図１１に基づき本発明の実施形態を説明する。
【００４６】
被写体数推定装置１は、映像監視システム等において、カメラ映像を解析することより、その場における被写体数を自動的に推定するものである。
【００４７】
この被写体数推定装置１は、図３に示すように、計算機（コンピュータ等）により構成され、通常のコンピュータのハードウェアリソース、即ち、ＲＯＭ２１，ＲＡＭ２２，ＣＰＵ２３，通信インターフェイス（Ｉ／Ｆ）２４，ハードディスクドライブ装置２５，記憶媒体読取装置２６，記憶媒体２７などを備えている。
【００４８】
このハードウェアリソースとソフトウェアリソースとの協働の結果、前記被写体数推定装置１は、図２に示すように、事前に推定対象となる被写体の面積を算出する幾何設定手段２と、入力画像から被写体数を推定する推定手段３と、を備える。
【００４９】
前記幾何設定手段２は、設置されたカメラの各画素と実空間との幾何的な対応関係を示すキャリブレーションデータを計測するキャリブレーション手段４と、前記キャリブレーションデータを用いて各画素に対応する実空間上の表面積の平均値である基準表面積を画素毎に算出する基準表面積算出手段５と、推定したい被写体の形状を指定する被写体形状指定手段６と、前記被写体を２つ以上の微小矩形に近似する微小矩形分割手段７と、前記各微小矩形内における基準表面積の積算値である微小矩形の固有表面積を算出する矩形面積算出手段８と、前記各微小矩形の固有表面積を積算して被写体の固有表面積を算出する被写体面積算出手段９と、を備える。
【００５０】
前記推定手段３は、処理対象となる画像系列を入力する画像入力手段１０と、入力された画像データから前景画素を抽出することにより個数を推定したい被写体を検出する前景検出手段１１と、前記画素毎の基準表面積を参照し前記前景領域内における当該基準表面積の積算値を算出する前景面積算出手段１２と、前記前景領域内における基準表面積の積算値を前記被写体の固有表面積で除算して被写体数を推定する被写体数算出手段１３と、終了条件が満たされたか否かを判定する終了判定手段１４と、を備える。
【００５１】
以下、任意の被写体形状（シルエット）が与えられた場合の被写体数推定方法の処理ステップの流れを、図１のフローチャートに基づき、事前の幾何設定処理（Ｓ１１〜Ｓ１６），推定処理（Ｓ２１〜Ｓ２５）の順に説明していく。
【００５２】
〈事前の幾何設定処理：Ｓ１１〜Ｓ１６〉
Ｓ１１（キャリブレーションステップ）：まず、非特許文献１と同様に、キャリブレーション手段４で、カメラＣが接地，固定された時点でカメラキャリブレーションを行う。本実施形態では、カメラＣの高さＴｚ，カメラＣの３次元的な向きを示す３つの角度，カメラＣの焦点距離ｆが必要となる。
【００５３】
広角レンズなど、歪みが大きい光学系の場合は、必要に応じて光学系の歪みに関するパラメータも取得する。これらのパラメータを取得し、カメラＣの各画素が実空間上でどのような錐となっているかを床面座標系で記述できるようにしておく。
【００５４】
Ｓ１２（基準表面積算出ステップ）：次に、Ｓ１１のキャリブレーション結果を利用し、基準表面積算出手段５において、各画素に対する基準表面積を算出する。
【００５５】
ここで、基準表面積の算出方法を図１０に基づいて説明する。画像上の各画素（ｘ，ｙ）に対して、〈１〉画素の実態をｘ±１／２，ｙ±１／２の矩形とし、この４隅の４点について、〈２〉床面で対応する実空間座標と、〈３〉高さＨの平面上で対応する実空間座標と、を求める。透視投影モデルに従うと、画像上で観測される２次元座標（ｘ，ｙ）と実空間上の座標（Ｘ，Ｙ，Ｚ）との間には、下記（８），（９）式の画像−実空間変換式が成り立つ。
【００５６】
【数６】
2012103896.tif 000008
【００５７】
ここで、ｆはカメラの焦点距離であり、Ｒ11，Ｒ12，・・・，Ｒ33はカメラの３×３の回転行列の要素，Ｔ（ＴX，ＴY，ＴZ）はカメラの実空間における位置（視点位置）を示す。
【００５８】
上記（８），（９）式から、Ｚ＝ｈとした場合、画素（ｘ，ｙ）で投影される実空間座標［Ｘh，Ｙh］は下記（１０）式で決定される。
【００５９】
【数７】
2012103896.tif 000009
【００６０】
この上記（１０）式により、〈２〉床面で対応する実空間座標，〈３〉高さＨの平面上で対応する実空間座標を求めることができる。
【００６１】
これら〈２〉床面で対応する実空間座標，〈３〉高さＨの平面上で対応する実空間座標が求まると、〈４〉高さＨ以下の部分立体（四角錐台）の体積Ｖ，〈５〉高さＨ以下の部分立体の長さ（カメラＣの視点方向における床面上の長さ）Ｌを算出することができる。この体積Ｖを長さＬで割ることにより，この部分立体をＬの長さ方向に対する断面積の平均値つまり基準表面積を求めることができる（（１１）式）。この（１１）式により、〈６〉各画素に対する基準表面積を求めることができる。算出された画素毎の基準表面積のデータは後述する計測時の処理で使用するため、一旦、記録媒体に記録しておく。
【００６２】
【数８】
2012103896.tif 000010
【００６３】
Ｓ１３（被写体形状指定ステップ）：次に、被写体形状指定手段６において、計測対象となる被写体のシルエットを指定する。指定方法は、実際に計測した被写体のデータを計算機に入力しても良いし、何らかのデータを参照しながら計算機の画面上で，描画，指定するなどでも良い。いずれにしても、図１１に示すように、実空間における実際のサイズでシルエットを画像化でき、その被写体の接地位置（図１１の場合，下端）が指定されていれば良い。
【００６４】
Ｓ１４（微小矩形分割ステップ）：次に、微小矩形分割手段７において、Ｓ１３で入力された被写体形状（シルエット）を、微小な矩形の集まりに分割していく。分割方法としては、例えば、画像化したシルエットをライン上にスキャンしながら、被写体部分の始点と終点を検出していくことにより、ライン毎に微小矩形を検出していく方法が挙げられる。
【００６５】
検出された個々の微小矩形について、床面から見た場合の下端位置ｈ１および上端位置ｈ２（実空間での高さ）及び幅ｄ（実空間での幅）を記録していく。この際、図９に示すように、横方向にスキャンしても、縦方向にスキャンしても良い。この微小矩形の分割方法は、その他のどんな方法を用いても、微小矩形がどのような形で分割されても、本質的な問題は発生しないため良いものとする。
【００６６】
Ｓ１５（矩形面積算出ステップ）：次に、矩形面積算出手段８において、前記カメラキャリブレーションデータ（カメラの接地高さＴｚ）および上記（６）式を用いて、Ｓ１４で分割された微小矩形毎の固有表面積（微小矩形毎の基準表面積の積算値）を算出する。
【００６７】
Ｓ１６（被写体面積算出ステップ）：最後に、被写体面積算出手段９により、Ｓ１５において算出された全ての微小矩形の固有表面積を積算し、被写体の固有表面積を算出する。この被写体固有表面積は後述の計測時の処理で使用するため，一旦記録媒体に保存しておく。
【００６８】
〈計測時の処理：Ｓ２１〜Ｓ２５〉
次に、計測時の処理について説明する。ここでは、映像データが各瞬間のフレーム画像の系列として順次入力されることを想定して説明していく。
【００６９】
Ｓ２１（画像入力ステップ）：まず、処理対象画像（フレーム画像）を画像入力手段１０により順次読み込む。ここでは、その方法を限定しない。
【００７０】
Ｓ２２（前景検出ステップ）：前景検出手段１１において、Ｓ２１で入力されたフレーム画像における前景画素を検出する。前景画素の検出方法は、既に様々な方法が提案されているが、本実施形態では、その方法を限定しない。また、前景検出の結果において、局所的なノイズの影響などを軽減するために、クロージングなどのモルフォロージー演算を行っても良い。いずれにしても、そのフレーム画像における各画素が、前景なのか背景なのかが判定されている状態を得ることができれば良い。
【００７１】
Ｓ２３（前景面積算出ステップ）：前景面積算出手段１２は、〈事前の幾何設定処理〉のＳ１２において算出された基準表面積を画素毎に参照して、Ｓ２２で検出された全ての前景画素における基準表面積の値を積算し、前景領域内における基準表面積の積算値を算出する。
【００７２】
Ｓ２４（人数算出ステップ）：被写体数算出手段１３は、Ｓ２３で算出された前景領域における基準表面積の積算値を、〈事前の幾何設定処理〉のＳ１６で算出された被写体固有表面積で除算することにより、被写体数（例えば、人数）の推定値を得る。この推定値を被写体数推定データとして出力する。
【００７３】
Ｓ２５（判定処理ステップ）：終了判定手段１４は、終了条件が満たされたか否かを判定する。終了条件が満たされなかった場合は、次の画像フレームに移行してＳ２１〜Ｓ２４の処理が繰り返される。Ｓ２１〜Ｓ２４の処理は、終了条件が満たされるまで順次繰り返し実行される。終了条件としては、終了指示のキーが押された，所定の時間になった，処理対象画像が無くなった等が挙げられる。
【００７４】
以上示したように、本実施形態の被写体数推定方法を行うことにより、複数の任意形状の微小矩形で１つの被写体を近似することができる。そのため、矩形以外の形状（シルエット）を持つ被写体に対しても、画素単位の処理によって被写体数を推定することができ、被写体表面積算出の際の誤差を低減することが可能となる。その結果、被写体数推定データの精度が向上する。
≪プログラムなど≫
本発明は、前記被写体数推定装置１の各手段２（４〜９），３（１０〜１４）の一部もしくは全部として、コンピュータを機能させるプログラムとしても構成することができる。この場合には、Ｓ１１〜Ｓ１６，Ｓ２１〜Ｓ２５の全てのステップあるいは一部のステップをコンピュータに実行させる。
【００７５】
このプログラムは、ｗｅｂサイトや電子メールなどネットワークを通じて提供することができる。また、プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ  Ｄｉｓｋ（登録商標）などの記録媒体に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実行するので、該記録媒体も本発明を実行する。
【００７６】
以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。
【００７７】
例えば、実施形態では、被写体の例として人物を挙げているが、被写体の形状と大きさが概知であれば、被写体はどのような形状であってもよい。さらに、被写体は接地した物体でなくともよい。
【００７８】
また、実施形態では、幾何設定処理と計測時の処理を分けて記載しているが、幾何設定処理は事前に行っておけば計測時の計算コストが小さくなるという利点はあるものの、必ずしも事前に行う必要はなく処理の都度行ってもよい。
【００７９】
例えば、入力画像中から前景画素を抽出することにより、個数を推定したい被写体を検出し、前記個々の被写体をそれぞれ２以上の微小矩形に近似して各微小矩形における基準表面積の積算値を求め、前景領域内の微小矩形における基準表面積の積算値を加算して前記前景領域内における基準表面積の積算値を算出してもよい。この前景領域内における基準表面積の積算値は、被写体の固有表面積で除算され、被写体数推定データとして出力される。
【００８０】
さらに、本実施形態では、理論式（上記（６）式）にしたがって、被写体固有表面積を算出したが、前述したカメラキャリブレーション結果を用い、被写体を床面上の任意の位置に配置した場合の画像をシミュレーションで生成し，そのシミュレーション画像上で，その被写体に属する画素について前述した基準表面積を加算していくことによっても求めることができる。
【符号の説明】
【００８１】
１…被写体数推定装置
２…幾何設定手段
３…推定手段
４…キャリブレーション手段
５…基準表面積算出手段
６…被写体形状指定手段
７…微小矩形分割手段
８…矩形面積算出手段
９…被写体面積算出手段
１０…画像入力手段
１１…前景検出手段
１２…前景面積算出手段
１３…被写体数算出手段
１４…終了判定手段
【図１】
2012103896.tif 000012
【図２】
2012103896.tif 000013
【図３】
2012103896.tif 000014
【図４】
2012103896.tif 000015
【図５】
2012103896.tif 000016
【図６】
2012103896.tif 000017
【図７】
2012103896.tif 000018
【図８】
2012103896.tif 000019
【図９】
2012103896.tif 000020
【図１０】
2012103896.tif 000021
【図１１】
2012103896.tif 000022