(57)【要約】【課題】事前のキャリブレーション作業を削減し、かつ、撮像現場の環境に適応してパラメータを調整し、時系列画像から被写体数を効率的に推定する。【解決手段】撮像パラメータ調整装置１は単眼または複数のカメラ２で取得された画像から被写体の個数を計測するためにカメラ２の撮像パラメータを調整する。物体抽出処理部１２は、カメラ２で取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出し、この抽出された被写体領域の各画素から算出された視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する。パラメータ調整部１４は前記推定された被写体数とカメラ２から取得された標本画像に存在する被写体の数との誤差に基づき前記撮像パラメータの初期集団から最適な撮像パラメータを選択する。具体的には前記誤差を適応度とする遺伝的アルゴリズムによって最適な撮像パラメータを選択する。【選択図】図１
2010136113.tif 000002
【特許請求の範囲】
【請求項１】
単眼または複数の撮像装置で取得された画像から被写体の個数を計測するために前記撮像装置の撮像パラメータを調整する撮像パラメータ調整装置であって、
前記撮像装置から取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出する被写体抽出処理手段と、
前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する被写体数推定手段と、
前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との比較に基づき前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択するパラメータ調整手段と、
を備えることを特徴とする撮像パラメータ調整装置。
【請求項２】
前記パラメータ調整手段は、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによって前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択すること
を特徴とする請求項１に記載の撮像パラメータ調整装置。
【請求項３】
前記撮像パラメータは、前記撮像装置の焦点距離、前記撮像装置の光軸の回転角、前記撮像装置の視点位置であること
を特徴とする請求項１または２に記載の撮像パラメータ調整装置。
【請求項４】
単眼または複数の撮像装置で取得された画像から被写体の個数を計測するために前記撮像装置の撮像パラメータを調整する撮像パラメータ調整方法であって、
被写体抽出処理手段が、前記撮像装置から取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出するステップと、
被写体数推定手段が、前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定するステップと、
パラメータ調整手段が、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との比較に基づき前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択するステップと
を有することを特徴とする撮像パラメータ調整方法。
【請求項５】
前記最適な撮像パラメータを選択するステップでは、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによって前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択すること
を特徴とする請求項４に記載の撮像パラメータ調整方法。
【請求項６】
前記撮像パラメータは、前記撮像装置の焦点距離、前記撮像装置の光軸の回転角、前記撮像装置の視点位置であること
を特徴とする請求項４または５に記載の撮像パラメータ調整方法。
【請求項７】
請求項１から３のいずれか１項に記載の撮像パラメータ調整装置を構成する各手段としてコンピュータを機能させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、単眼または複数の撮像装置で撮影された映像に利用可能であり、前記撮像装置で取得した映像から被写体単体の数を計測するとき、その計測に必要となる撮像装置の焦点距離、姿勢並びに位置を自動的に調整するための技術に関する。
【背景技術】
【０００２】
イベント会場、駅・空港内、あるいは、街中に設置された定点観測カメラから、人の数を計測することは安全上、または、セキュリティ上重要になる。これまでの先行技術として、複数のカメラを使って歩行者の数や移動方向を計測する装置が公知となっている（特許文献１）。この公知技術ではカメラを通じて混雑度を計測するため、事前のカメラキャリブレーションが必要となる。
【０００３】
カメラキャリブレーションとは、校正対象のカメラで何らかの被写体を撮影し、その２次元画像から投影モデルに従って前記カメラの内部パラメータ（焦点距離，画像中心，レンズ歪など）、外部パラメータ（姿勢と位置）を推定する作業である。これまでに、多種多様なアプローチによるカメラキャリブレーションが提案されており、実空間でのカメラパラメータ（スケール倍の不定性が無い）を得るには既知の参照物体を使ったカメラキャリブレーションが常套手段である（非特許文献２）。
【特許文献１】特開平１０−３３４２０７号公報
【非特許文献１】Ｚ．Ｚｈａｎｇ，“Ａ  ｆｌｅｘｉｂｌｅ  ｎｅｗ  ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  ｃａｍｅｒａ  ｃａｌｉｂｒａｔｉｏｎ”，ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２２，Ｎｏ．１１，ｐｐ．１３３０−１３３４，２０００．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
実環境でのカメラ配置や設置条件によっては参照物体を使ったカメラキャリブレーションが期待できない。特に、屋外カメラでは、カメラキャリブレーションに必要な撮影時間と作業時間が確保できない場合がある。例えば、混雑する公共の場所などではキャリブレーション作業のために人の進入を禁止し、参照物体を撮影することが必ずしも保証されていない。また、十分な精度のカメラパラメータを得るには、より多くの参照点を観測することが不可欠であり、対象カメラに対してどのように参照物体を空間中に配置すべきかを決め、それに適した大きさの参照物体を設計・準備しなくてはならない。
【０００５】
本発明は、屋内・屋外に設置された単眼の定点観測カメラを用い、撮影範囲内の被写体の数（人数など）を直接計測するとき、既知の参照物体を使ったカメラキャリブレーションを行わず、その計測に必要なカメラパラメータを自動的に調整することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するための撮像パラメータ調整装置は、画像から被写体の数を推定するアルゴリズムを利用して被写体数の推定に必要な撮像パラメータを自己組織的に調整する。
【０００７】
すなわち、請求項１の撮像パラメータ調整装置は、単眼または複数の撮像装置で取得された画像から被写体の個数を計測するために前記撮像装置の撮像パラメータを調整する撮像パラメータ調整装置であって、前記撮像装置から取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出する被写体抽出処理手段と、前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する被写体数推定手段と、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との比較に基づき前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択するパラメータ調整手段を備える。
【０００８】
請求項２の撮像パラメータ調整装置は、請求項１の撮像パラメータ調整装置において、前記パラメータ調整手段は、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによって前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択する。
【０００９】
請求項３の撮像パラメータ調整装置は、請求項１または２の撮像パラメータ調整装置において、前記撮像パラメータは、前記撮像装置の焦点距離、前記撮像装置の光軸の回転角、前記撮像装置の視点位置である。
【００１０】
請求項４の撮像パラメータ調整方法は、単眼または複数の撮像装置で取得された画像から被写体の個数を計測するために前記撮像装置の撮像パラメータを調整する撮像パラメータ調整方法であって、被写体抽出処理手段が、前記撮像装置から取得された画像データ群から選択した複数の画像から被写体領域を検出して抽出するステップと、被写体数推定手段が、前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定するステップと、パラメータ調整手段が、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との比較に基づき前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択するステップとを有する。
【００１１】
請求項５の撮像パラメータ調整方法は、請求項４の撮像パラメータ調整方法において、前記最適な撮像パラメータを選択するステップでは、前記推定された被写体数と前記撮像装置から取得された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによって前記撮像装置の撮像パラメータの初期集団から最適な撮像パラメータを選択する。
【００１２】
請求項６の撮像パラメータ調整方法は、請求項４または５の撮像パラメータ調整方法において、前記撮像パラメータは、前記撮像装置の焦点距離、前記撮像装置の光軸の回転角、前記撮像装置の視点位置である。
【００１３】
請求項７のプログラムは、請求項１から３のいずれかの撮像パラメータ調整装置を構成する各手段としてコンピュータを機能させるプログラムである。
【００１４】
請求項８の記録媒体は、請求項７のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１５】
以上の発明によれば、事前のキャリブレーション作業を削減し、かつ、撮像現場の環境に適応してパラメータを調整でき、時系列画像から被写体数を効率的に推定できる。
【発明を実施するための最良の形態】
【００１６】
発明の実施の形態について説明するにあたり、発明で取り扱われるカメラパラメータ（撮像パラメータ）について述べる。
【００１７】
図３（ａ）はカメラ（撮像装置）と被写体（人）の配置関係を説明したＹW−ＺW座標面図である。図３（ｂ）はカメラ（撮像装置）と被写体（人）の配置関係を説明したＸW−ＹW座標面図である。
【００１８】
一般的に、定点観測カメラを使って人数を測定する場合、そのカメラは人物の身長より高い位置から俯瞰する姿勢で設置される。図３はカメラと被写体（人物）を模式的に描いたものである。実空間の３次元座標を表現するため、任意に世界座標系ＸwＹwＺwを設定することができる。カメラは固定されており、カメラを通して観測できる画像上の投影点はピンホールカメラと呼ばれる透視投影モデルに従うと仮定する。すなわち、世界座標系上の３次元点をＰj＝（Ｘj，Ｙj，Ｚj）、カメラ視点の位置をＣ＝（Ｔｘ，Ｔｙ，Ｔｚ）とすると、画像上で観測される点Ｐjの２次元座標ｐj＝（ｘj，ｙj）は、単純に式（１），（２）の射影関係で結びつけることができる。
【００１９】
【数１】
2010136113.tif 000003
【００２０】
ここで、ｆは焦点距離であり、Ｒ11，Ｒ12，…，Ｒ３３は３×３の回転行列の要素に対応する。φ，ω，θをそれぞれカメラ座標系ＸＹＺにおけるＸ軸、Ｙ軸、Ｚ軸周りの回転角とすると、各回転要素は式（３）〜（１１）で与えられる。
【００２１】
式（１），（２）で定義される投影モデルにおいて、本発明で扱うカメラパラメータは焦点距離ｆ、ＸＹＺ軸周りの回転角φ，ω，θ、視点位置（Ｔｘ，Ｔｙ，Ｔｚ）である。
【００２２】
本発明は荷重値積算による人数推定アルゴリズムを利用している。そこで、以降の説明を円滑にするため、カメラパラメータに基づいて算出される荷重値の算出方法と、この荷重値を用いた人数推定アルゴリズムについて説明する。
【００２３】
一般的に、定点観測カメラで被写体を撮影するとき、その像を構成する画素の集合ｐj，ｊ＝１，２，…，Ｐを得ることができる。その画素の集合ｐj，ｊ＝１，２，…，Ｐから人数を推定するには、各画素へ投影される実空間中の人の体積を推量することが直接的である。この発想から、画像座標（ｘj，ｙj）が式（１），（２）で表される投影モデルに従うと仮定した上で、各画素に投影される視体積（ｖｉｓｕａｌ  ｈｕｌｌ）を考える。視体積とは視点Ｃから外界へ向かう光束（錐体）の体積を指す。
【００２４】
観測された画像が正方格子の画素から構成されると仮定し、式（１２）〜（１６）で表される、画素ｐj＝（ｘj，ｙj）の４近傍のサブ画像座標を考える。これら４近傍のサブ画素で囲まれた微小領域へ射影される視体積を図４に示す。ここで、人の高さをｈ（一定）とし、図示した視体積のうち、平面Ｚw＝ｈと平面Ｚw＝０で囲まれた四角錘台を実質的な視体積Ｖ（ｘj，ｙj）と考える。
【００２５】
【数２】
2010136113.tif 000004
【００２６】
図４において、４近傍のサブ画素ｐj(n)，ｎ＝１〜４へ射影される平面Ｚw＝ｈ上の点をそれぞれＡj(n)、平面Ｚw＝０上の点をそれぞれＢj(n)、並びに、画素ｐjへ投影される平面Ｚw＝０上の点をＱjとする。これら３次元座標の算出には、式（１），（２）を利用する。
【００２７】
つまり、式（１），（２）において、Ｚj＝ｈとした場合、式（１７）〜式（１９）と書き直すことができるので、対象画素の画像座標ｐj、並びに、その４近傍のサブ画素の画像座標ｐj(n)が与えられれば、式（１７）〜式（１９）によりＱj＝（Ｘj，Ｙj，０）、並びに、位置Ａj(n)＝（Ｘj(n)，Ｙj(n)，ｈ）がそれぞれ求められる（位置Ｂj(n)の算出にはｈ＝０として求める）。
【００２８】
【数３】
2010136113.tif 000005
【００２９】
【数４】
2010136113.tif 000006
【００３０】
これらの点の位置が求まると、四角錐台の体積Ｖ（ｘj，ｙj）は、式（２０）に示すオベリスク公式により算出することができる。Ｓa（ｘj，ｙj）、Ｓb（ｘj，ｙj）はそれぞれＡj(n)で形成される四角形とＢj(n)で形成される四角形の面積である。あるいは、四角錐台の体積Ｖ（ｘj，ｙj）は式（２１）を使っても算出することができるので、どちらを使っても以降の計算結果には影響しないが、実施例では式（２０）を使う場合を記述する。
【００３１】
【数５】
2010136113.tif 000007
【００３２】
式（２０）で得られる視体積Ｖ（ｘj，ｙj）は画素ｐjの４近傍ｐj(n)で囲まれた微小な画像領域内へ射影されるが、Ｖ（ｘj，ｙj）は視点からの見かけ上の視体積であって、人の位置は考慮されていない。荷重値算出には、人の位置を特定するのではなく、以下の“簡易な見えモデル”を導入して、人数を推定するアプローチをとる。
・人の表面積はどの方向からでも面積Ｓ0とする。
・人の位置は平面Ｚw＝０上において一様分布に従う。
【００３３】
この“簡易な見えモデル”の導入は、Ｚw＝０上を一様分布する面積Ｓ0の板を単眼カメラで観測することを意味する。本発明はこのモデルを使って視体積Ｖ（ｘj，ｙj）から人数を推定する。
【００３４】
図５は図４のＹ’w軸（平面Ｚw＝０上での視線方向）に垂直な方向から見た射影図である。図５において、平面Ｚw＝ｈ上の点Ａj(n)，ｎ＝１〜４のうち視点Ｃに最も近い点をＡj、平面Ｚw＝０上の点Ｂj(n)，ｎ＝１〜４のうち視点Ｃから最も遠い点をＢjとする。体積Ｖ（ｘj，ｙj）を視線方向に沿って面積Ｓ0の板でスライスすることを想像すると、視線方向に沿って点Ａjで交差し始め、体積Ｖ（ｘj，ｙj）を順番にスライスして、最後に点Ｂjで交差を終える。ΔＳj(k)は添え字ｋで示した位置での断面積である。面積Ｓ0の板は視線方向に対して一様に分布すると仮定しているので、視線方向に対する視体積の長さをＬ（ｘj，ｙj）とすると、添え字ｋの位置での“見えモデル”の存在確率は全て１／Ｌ（ｘj，ｙj）となる。尚、視点を平面Ｚw＝０上へ射影した点Ｃ’＝（Ｔｘ，Ｔｙ，０）から、平面Ｚw＝０上での３次元座標Ｑj＝（Ｘj，Ｙj，０）への単位ベクトルをｕjとすると、式（２５）〜式（２７）に示すように、長さＬ（ｘj，ｙj）は点Ａjを平面Ｚw＝０へ下した垂線の足Ａ’j＝（Ｘs，Ｙs，０）から点Ｂj＝（Ｘe，Ｙe，０）へのベクトルｂjとｕjの内積で求められる。
【００３５】
【数６】
2010136113.tif 000008
【００３６】
さらに、面積Ｓ0に対する面積比ΔＳj(k)／Ｓ0（＜＜１）は添え字ｋで示した位置での“人数”に該当する。面積Ｓ0に対して各断面ΔＳj(k)が十分に小さければ、この面積比は視線方向に対してのみ変化する。よって、“見えモデル”の一様分布とオクルージョンの影響を考慮すると、画素ｐjから式（２２），（２３）に示す面積比ΔＳj(k)／Ｓ0の期待値を平均の人数として推量することができる。
【００３７】
人物像としてＰ個の画素ｐj，ｊ＝１，２，…，Ｐが抽出されているならば、各画素ｐjに対応するｗ（ｘj，ｙj）を積算して、式（２４）に従って、“見かけ上の人数”が得られる。このように、ｗ（ｘj，ｙj）を積算すれば人数が計測できるという意味から、本明細書ではｗ（ｘj，ｙj）を画素ｐjの“荷重値”と呼ぶ。
【００３８】
ｗ（ｘj，ｙj）は、カメラの焦点距離ｆ、カメラ座標軸での回転角：φ，ω，θ、世界座標系上での視点位置（Ｔｘ，Ｔｙ，Ｔｚ）、並びに、“簡易な見えモデル”のパラメータ：ｈ，Ｓ0によって計算できる物理量であり、時間的に不変である。一般的に人は移動するので、その像として観測される画素ｐjの画像座標（ｘj，ｙj）も時間によって変化する。荷重値ｗ（ｘj，ｙj）は画像座標（ｘj，ｙj）と一対一で結び付けられているので、事前に全ての画像座標に対してｗ（ｘj，ｙj）を求めておけば、それぞれの時間で観測された人物像の各画素に対応するｗ（ｘj，ｙj）を積算するだけで、その画像中の人数を逐次計測することができる。
【００３９】
以上述べた荷重値積算による人数推定は、カメラパラメータ：φ，ω，θ，Ｔｘ，Ｔｙ，Ｔｚ，ｆが既知であるという前提である。本発明はこれらのパラメータを自己組織的に調整するアルゴリズムとして、生物が環境に合わせて進化する過程をモデル化した遺伝的アルゴリズム（Ｇｅｎｅｔｉｃ  Ａｌｇｏｒｉｔｈｍ）に着目している。すなわち、本発明におけるパラメータ調整とは、従来のカメラキャリブレーションのような参照点を一切使わずに、観測画像を利用して人数推定に十分なカメラパラメータを自動的に調整するものである。
【００４０】
以下に本発明の具体的な実施形態について説明する。
【００４１】
図１は発明の第一の実施形態（画像蓄積部を有する場合）に係る撮像パラメータ調整装置の概略構成図である。
【００４２】
撮像パラメータ調整装置１は画像蓄積部１０と画像標本化部１１と物体抽出処理部１２と目標人数設定部１３とパラメータ調整部１４とを備える。撮像パラメータ調整装置１は既知の有線または無線の通信手段によってカメラ２と通信可能となっている（図２に開示された撮像パラメータ調整装置３も同様）。
【００４３】
画像蓄積部１０はカメラ（撮像装置）２から取得された画像を蓄積する。画像蓄積部１０などの記憶装置は撮像パラメータ調整装置１において必ずしもを必要としない。図２に示された発明の第二の実施形態に係る撮像パラメータ調整装置３はリアルタイムで画像処理するような形態となっている。
【００４４】
画像標本化部１１は、画像蓄積部１０から複数の画像を抜き取り、物体抽出処理部１２に供する標本画像を抽出する。
【００４５】
物体抽出処理部１２は発明に係る被写体抽出処理手段と被写体数推定手段の機能を有する。前記被写体抽出処理手段は画像蓄積部１０から取得した画像データ群から選択した複数の画像から被写体領域を検出して抽出する。前記被写体数推定手段は前記抽出された被写体領域の各画素から視体積を算出し、この視体積に基づき算出された荷重値の積算によって標本画像中の被写体数を推定する。
【００４６】
目標人数設定部１３は標本画像中に実際に存在する被写体の数をパラメータ調整部１４に入力するための設定手段である。
【００４７】
パラメータ調整部１４は発明に係るパラメータ調整手段の機能を有する。前記パラメータ調整手段は、物体抽出処理部１２で推定された被写体数と目標人数設定部１３で設定された標本画像に存在する被写体の数との比較に基づきカメラ２の撮像パラメータの初期集団から最適な撮像パラメータを選択する。具体的に、前記パラメータ調整手段は、物体抽出処理部１２で推定された被写体数と目標人数設定部１３で設定された標本画像に存在する被写体の数との間の誤差を適応度とする遺伝的アルゴリズムによってカメラ２の撮像パラメータの初期集団から最適な撮像パラメータを選択する。前記撮像パラメータとしては例えばカメラ２の焦点距離ｆ、光軸の回転角φ，ω，θ、視点位置（Ｔｘ，Ｔｙ，Ｔｚ）が挙げられる。
【００４８】
パラメータ出力部１５はパラメータ調整部１４で選択された最適な撮像パラメータを出力する。
【００４９】
撮像パラメータ調整装置１，３は通常のコンピュータの構成要素、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、メモリ（ＲＡＭ）、ハードディスクドライブ装置、通信デバイスなどのハートウェア資源を備え、このハードウェア資源とインストール済みのソフトウェアとの協働によって前記各機能ブロック１０〜１５に係る処理が実行される。そして、この処理によって得られた画像は図示省略のディスプイ（表示装置）にて表示できるようにしてもよい。特に、画像蓄積部１０はハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用すればよい。または、ネットワークを介してリモートなデータ資源を利用する形態を採ってもよい。尚、撮像パラメータ調整装置１，３はカメラ２本体に具備させてもよい。
【００５０】
図１、図６及び図７を参照しながら撮像パラメータ調整装置１に係る処理フロー（Ｓ１ａ，Ｓ１ｂ〜Ｓ１２）について説明する。
【００５１】
Ｓ１ａでは、図１のカメラ２を経由して図６の画像の入力により取り込まれた画像が逐次的に図１の画像蓄積部１０に格納される。
【００５２】
Ｓ２では、画像標本化部１１が画像蓄積部１０から図６の標本画像の抽出によってＭ枚の画像を抜き取る。
【００５３】
Ｓ３では、図１の物体抽出処理部１２がこの標本画像移動物体または前景と判定された被写体領域を抽出する。この処理は背景差分と呼ばれる画像処理によるものである。
【００５４】
図９はＳ３での対象画素の抽出過程（背景差分による被写体領域検出）を説明する。図９の最初の処理として背景画像を構築する。背景画像は図６の画像の入力（Ｓ１ａ）によって標本画像以外の複数枚の時系列画像の平均値をとることで簡単に得られる。すなわち、静的なシーン以外は移動物体と考えて、時間平均を各画素に対して処理することで、移動する被写体あるいは物体を画像中からキャンセルする（画像観測で混入するランダム雑音を除去する目的にでも使用する）。ただし、屋外では朝と昼と夕方では照明が変化するため、静的シーンの濃淡にも変化が発生する場合がある。そこで、ここでの処理では、このような照明変化の効果を除去するため、背景画像を定期的に更新する。背景画像が構築されていると、Ｍ枚の標本画像から背景画像との差分をとり、移動する被写体領域あるいは前景画素領域を抽出する。以上の処理により、被写体領域を形成する各画素ｐij＝（ｘij，ｙij），ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｐi（各画像あたりに抽出した領域の総画素数がＰi個）を得る。
【００５５】
一方、Ｍ枚の標本画像において、被写体の個数（人数）をＮi，ｉ＝１，２，…，Ｍとする。図６の処理フローでは、各画像あたりに抽出した被写体領域の総画素ｐij＝（ｘij，ｙij），ｉ＝１，２，…，Ｍ，ｊ＝１，２，…，Ｐiと各標本画像中の人数Ｎi，ｉ＝１，２，…，Ｍが入力データとなる。ここで、添え字について補足しておく。
【００５６】
上述のカメラパラメータの説明では、各画素の違いを表すために添え字ｊを使用していたが、本実施形態では１枚以上Ｍ≧１の標本画像を使うため、時系列での画像の違いを表す添え字としてｉも添えた。なお、これまでに使用した図面や数式において、添え字ｊを添え字ｉｊと書き換えるだけで共通的に以降の説明でも利用できる。
【００５７】
そこで、以降の説明では、各時系列画像から前景画素として抽出されたときは時系列画像の違いを表す意味で画素ｐij＝（ｘij，ｙij）と表記し、各時系列画像での人数Ｎi、並びに推定人数をＮi＾と表記する。一方、時系列画像に依存せず、同じ数式を利用できる場合は、添え字をｊのままとする。
【００５８】
本実施形態では遺伝的アルゴリズムを利用してカメラパラメータを調整する。このパラメータ調整にあたり、個体の集団モデルと個体の染色体の構成を図８に示す。本実施形態では、個体数をＸとし、個体内の染色体は、カメラ回転角：φ，ω，θ、カメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）、並びに、焦点距離ｆから構成される。
【００５９】
図６のＳ１ｂでは、この個体を定義する染色体情報に従い、図６の初期集団の発生において、各個体の染色体を構成する遺伝子配列をランダムに決定し、Ｘ個のカメラパラメータのそれぞれ異なる初期集団を生成する。
【００６０】
次に、Ｓ４では、図１の物体抽出処理部１２が、各画像から抽出された画素ｐij＝（ｘij，ｙij）から、式（２１）で記述された数式に従い体積Ｖ（ｘj，ｙj）を計算し、式（２３）の数式に従って荷重値ｗ（ｘj，ｙj）を計算する。
【００６１】
さらに、Ｓ５で、物体抽出処理部１２は前記荷重値算出による人数推定を行う。
【００６２】
図７はＳ５での荷重値算出による人数推定の手順（Ｓ５０１〜Ｓ５１２）を説明したフローチャートである。
【００６３】
Ｓ５０１では、最初に、前景画素として抽出された画素ｐijの画像座標（ｘij，ｙij）が順番に取り出される。この画像座標とは、画面上に設定された２次元座標系であり、画像中心を原点として水平方向にｘ軸、垂直方向にｙ軸が定義されている。以降では、この座標系上の各画素ｐijの座標値（ｘij，ｙij）が順番に処理される。
【００６４】
Ｓ５０２では、各画素ｐijの座標値（ｘij，ｙij）が与えられると、（ｘij，ｙij）を中心とした４近傍のサブ画像座標を式（１２）から式（１６）に従ってｐj(n)，ｎ＝１，２，３，４と設定する。
【００６５】
Ｓ５０３ａ，Ｓ５０３ｂでは、それぞれ４点の平面Ｚ＝０上での位置Ｂj(1)，Ｂj(2)，Ｂj(3)，Ｂj(4)、並びに、高さＺ＝ｈでの平面上での位置Ａj(1)，Ａj(2)，Ａj(3)，Ａj(4)を式（１７）から式（１９）を使って計算する。
【００６６】
Ｓ５０４ａでは、Ａj(n)，ｎ＝１，２，３，４のうち、視点位置から最も近い点を探した結果、点Ａjが該当したとし、その３次元座標をＡj＝（Ｘs，Ｙs，ｈ）とする。Ｓ５０４ｂでは、Ｂj(n)，ｎ＝１，２，３，４のうち、視点位置から最も遠い点を探した結果、点Ｂjが該当したとし、その３次元座標をＢj＝（Ｘe，Ｙe，０）とする。
【００６７】
Ｓ５０５ａでは、面積Ｓaの算出では平面Ｚ＝ｈ上においてＡj(n)，ｎ＝１，２，３，４の４点が形成する四角形の面積を求める。Ｓ５０５ｂでは、面積Ｓbの算出では平面Ｚ＝０上においてＢj(n)，ｎ＝１，２，３，４の４点が形成する四角形の面積を求める。
【００６８】
一方、Ｓ５０６では、各画素ｐijの座標値（ｘij，ｙij）の平面Ｚ＝０上での位置Ｑj＝（Ｘj，Ｙj，０）を式（１７）から式（１９）に従って求める。
【００６９】
Ｓ５０７では、図４に示すように長さＬはＡ’jからＢjへのベクトルｂjの長さを視線方向（ベクトルｕj＝Ｑj−Ｃ’）に射影した長さであり、式（２５）から式（２７）を使って求める。
【００７０】
Ｓ５０８での体積Ｖの算出では、これまで得た面積Ｓa，Ｓb、並びに、被写体の高さｈを式（２０）に代入して算出する。
【００７１】
Ｓ５０９では、長さＬ（ｘj，ｙj）、体積Ｖ（ｘj，ｙj）、対象物の表面積Ｓ0を式（２３）に代入して荷重値ｗ（ｘj，ｙj）を計算する。
【００７２】
Ｓ５１０では、前記算出された荷重値が画素ごとに加算（荷重値積算）される。
【００７３】
次に、Ｓ５１１において処理対象の画素の有無が判断され、処理対象の画素がある場合は、Ｓ５１２で、次の画素の画像座標がセットされて、最初の処理ステップに戻る。
【００７４】
以上の処理（Ｓ５０１〜Ｓ５１１）を抽出された被写体領域の画素全てに対して行うことにより、それぞれの画像における人数Ｎi＾が式（２４）に示す荷重値積算により算出される（図６の荷重値積算による人数推定）。
【００７５】
再び、図６の処理フローに戻って、Ｓ６では、パラメータ調整部１４は、Ｓ５の過程で算出した各画像での推定人数Ｎi＾，ｉ＝１，２，…，Ｍと、目標人数設定部１３で設定された目標人数Ｎi，ｉ＝１，２，…，Ｍの間の推定誤差ΔＮを、環境にどれだけ適応しているかを評価する“適応度”として式（２８）により算出する。
【００７６】
【数７】
2010136113.tif 000009
【００７７】
Ｓ７では、前記算出された適応度に従って全ての個体から“自然選択（淘汰）”を行う。この選択手段にルーレットルールを利用する。集団内の各個体ｊの適応度ΔＮの逆数をｆjとし、各個体について選択確率ｐjを式（２９）により得て、その累積確率ｑjを式（３０）により計算する。
【００７８】
【数８】
2010136113.tif 000010
【００７９】
【数９】
2010136113.tif 000011
【００８０】
そして、次の世代に残す個体を決めるために、各個体について乱数ｒを発生させ、
【００８１】
【数１０】
2010136113.tif 000012
【００８２】
が満たされるとき、ｊ番目の個体を選択する（但し、ｑ0＝０）。このプロセスをＸ回繰り返し、Ｘ個の個体を選択する。
【００８３】
続いて、Ｓ８では、前記のルーレットルールによって選ばれた各個体ｊに対して乱数ｒを発生させｒ＜ＰC（交叉確率）を満たすとき、個体ｊを交叉させる親として選ぶ。これをＸ個の個体に対して繰り返す（選ばれた親の数が奇数のときは、もう一度選択して親の数を偶数にする）。次に、選ばれた順に交叉するペアとし、各ペアの個体を構成する染色体を順番に取り出し乱数を発生させて染色体長での交叉位置を決め各染色体について一点交叉を行う。
【００８４】
Ｓ９では、この新しい集団に含まれる全ての個体に、突然変異の可能性があると仮定する。各個体に対し、どの遺伝子に突然変異を発生させるかを決めるため、各遺伝子の先頭ビットから数えた位置において順番に乱数ｒを発生させｒ＜Ｐm（突然変異率）が満足されたとき、その遺伝子座のビットを反転させる。
【００８５】
パラメータ調整部１４は以上の自然選択（Ｓ７）、交叉（Ｓ８）、突然変異（Ｓ９）のステップを世代数がＧを超えるまで繰り返し実行する（Ｓ１０，Ｓ１１）。そして、Ｇ世代後において式（２８）に最も適応した個体をカメラパラメータとして出力させる（Ｓ１２）。この最適なカメラパラメータはパラメータ出力部１５から出力される。
【００８６】
以上のステップにより、標本画像において、被写体の像を形成する画素に該当する荷重値を積算し、その積算によって得られる推定人数とその画像中の目標とする人数との間の誤差を適応度として遺伝的アルゴリズムを使って評価し、この適応度に最も適応したカメラパラメータを得ることができる。
【００８７】
以上のように撮像パラメータ調整装置１は画像から被写体の数を推定するアルゴリズムを利用して被写体数の推定に必要なカメラパラメータを自己組織的に調整している。したがって、事前のキャリブレーション作業を大幅に削減し、撮影の環境に適応してパラメータを自動調整でき、時系列画像から被写体数を効率的に推定することに効果を発揮する。
【００８８】
尚、本発明は、上述の実施形態に限定されるものでなく、撮像パラメータ装置１，３を構成する各機能ブロック１１〜１４に係る処理としてコンピュータを機能させるプログラムの態様としてもよい。前記プログラムはコンピュータ読み取り可能な既知の記録媒体に格納して提供またはネットワークを通じて提供することもできる。
【図面の簡単な説明】
【００８９】
【図１】発明の第一の実施形態（画像蓄積部を有する場合）に係る撮像パラメータ調整装置の概略構成図。
【図２】発明の第二の実施形態（画像蓄積部を有しない場合）に係る撮像パラメータ調整装置の概略構成図。
【図３】（ａ）カメラ（撮像装置）と被写体（人）の配置関係を説明したＹW−ＺW座標面図、（ｂ）カメラ（撮像装置）と被写体（人）の配置関係を説明したＸW−ＹW座標面図。
【図４】１画素の視体積の説明図。
【図５】視線方向に沿った各断面の説明図。
【図６】発明の実施形態に係る撮像パラメータ調整装置の動作を説明したフローチャート。
【図７】発明の実施形態に係る撮像パラメータ調整装置によって実行される荷重値積算による人数推定の手順を説明したフローチャート。
【図８】遺伝的アルゴリズムを利用する際の集団と個体の構成の説明図。
【図９】背景差分による被写体領域検出の説明図。
【符号の説明】
【００９０】
１，３…撮像パラメータ調整装置
２…カメラ（撮像装置）
１０…画像蓄積部
１１…画像標本化部
１２…物体抽出処理部（被写体抽出処理手段、被写体数推定手段）
１４…パラメータ調整部（パラメータ調整手段）
【図１】
2010136113.tif 000013
【図２】
2010136113.tif 000014
【図３】
2010136113.tif 000015
【図４】
2010136113.tif 000016
【図５】
2010136113.tif 000017
【図６】
2010136113.tif 000018
【図７】
2010136113.tif 000019
【図８】
2010136113.tif 000020
【図９】
2010136113.tif 000021