(57)【要約】【課題】複数の移動体についての差分領域が全カメラにて重なる場合にも複数の移動体の位置および姿勢を正確に推定する。【解決手段】被写界が重なるように配置された複数のカメラＣ１〜Ｃ４で領域Ｈ上の空間を撮影すると、差分画像取得部Ｄ１〜Ｄ４において複数の差分画像ｓｉ１〜ｓｉ４が得られる。そして、位置姿勢推定部２２では、これらの差分画像ｓｉ１〜ｓｉ４に適合する教示画像ｔｉ１−５〜ｔｉ４−５が選択され、これらの教示画像ｔｉ１−５〜ｔｉ４−５に関連付けられた位置および姿勢が人物Ｏ１の位置および姿勢とみなされる。【選択図】      図１
2004213568.tif 000002
【特許請求の範囲】
【請求項１】
姿勢を変え得る移動体が存在し得る空間をカメラで撮影して得られる撮影画像を加工し当該物体が当該撮影画像内に占める領域を表す差分画像を生成し当該差分画像を用いて当該移動体の位置および姿勢を推定する推定方法において、
前記空間内で被写界が重なるよう配置された複数のカメラで撮影を行うことで得られる差分画像を取得する取得ステップと、
１つの移動体の前記空間における位置と当該移動体の姿勢とカメラとの全ての組み合わせ毎に用意され、当該移動体を前記複数のカメラで撮影したならば得られるであろう差分画像と合致する教示画像から、前記取得ステップにて取得された差分画像に適合する教示画像を選択し、選択した教示画像に関連付けられた位置および姿勢を移動体の位置および姿勢とみなす推定ステップとを有することを特徴とする推定方法。
【請求項２】
前記推定ステップでは、教示画像の選択前に全ての教示画像について差分画像との適合度を表す評価値を算出し、算出した評価値に基づいて教示画像を選択することを特徴とする請求項１に記載の推定方法。
【請求項３】
前記推定ステップでは、教示画像の選択前に全ての教示画像について差分画像との適合度を表す評価値を算出し、算出した評価値に基づいて姿勢毎に教示画像を選択し、同一の位置について選択された教示画像が複数でなければ選択した教示画像に関連付けられた位置および姿勢を移動体の位置および姿勢とみなし、複数であれば選択した複数の教示画像について評価値を比較して一つの教示画像を選択し当該教示画像に関連付けられた位置および姿勢を移動体の位置および姿勢とみなすことを特徴とする請求項１に記載の推定方法。
【請求項４】
教示画像を構成するブロックは重み付けされており、
前記推定ステップでは、教示画像の選択前に全ての教示画像について差分画像との適合度を表す評価値を前記ブロックの重みを用いて算出し、算出した評価値に基づいて教示画像を選択することを特徴とする請求項１に記載の推定方法。
【請求項５】
前記推定ステップでは、教示画像の選択前に全ての教示画像について差分画像との適合度を表す評価値を算出し、同一の位置および姿勢に関連付けられた教示画像の評価値の全てが予め定められた範囲内に収まる場合には当該教示画像を選択し、収まらない場合には当該教示画像を選択しないことを特徴とする請求項１に記載の推定方法。
【請求項６】
前記推定ステップでは、教示画像の選択前に全ての教示画像について差分画像との適合度を表す評価値を算出し、同一の位置および姿勢に関連付けられた教示画像の評価値の全てが予め定められた閾値以上となる場合には当該教示画像についての評価値の平均値を当該教示画像に関連付けられた位置および姿勢に対する値とし、いずれか一つでも閾値未満となる場合には０を当該教示画像に関連付けられた位置および姿勢に対する値とし、前者の値および後者の値を位置に対して分布させることで得られる２次元分布における極大値に対する位置および姿勢を移動体の位置および姿勢とみなすことを特徴とする請求項１に記載の推定方法。
【請求項７】
姿勢を変え得る移動体が存在し得る空間をカメラで撮影して得られる撮影画像を加工して得られる画像であって当該物体が当該撮影画像内に占める領域を表す差分画像を用いて当該移動体の位置および姿勢を推定する推定装置において、
１つの移動体の前記空間における位置と当該移動体の姿勢とカメラとの全ての組み合わせ毎に用意される画像であって当該移動体を前記空間内で被写界が重なるよう配置された複数のカメラで撮影したならば得られるであろう差分画像と合致する教示画像を記憶する記憶手段と、
前記複数のカメラで撮影を行うことで得られる差分画像を取得する取得手段と、
前記記憶手段に記憶された教示画像から、前記取得手段により取得された差分画像に適合する教示画像を選択し、選択した教示画像に関連付けられた位置および姿勢を移動体の位置および姿勢とみなす推定手段とを有することを特徴とする推定装置。
【請求項８】
姿勢を変え得る移動体が存在し得る空間をカメラで撮影して得られる撮影画像を加工して得られる画像であって当該物体が当該撮影画像内に占める領域を表す差分画像を用いて当該移動体の位置および姿勢を推定するコンピュータを、
前記空間内で被写界が重なるよう配置された複数のカメラで撮影を行うことで得られる差分画像を取得する取得手段と、
１つの移動体の前記空間における位置と当該移動体の姿勢とカメラとの全ての組み合わせ毎に用意され、当該移動体を前記複数のカメラで撮影したならば得られるであろう差分画像と合致する教示画像から、前記取得手段により取得された差分画像に適合する教示画像を選択し、選択した教示画像に関連付けられた位置および姿勢を移動体の位置および姿勢とみなす推定手段として機能させるプログラム。
【請求項９】
請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、移動体を撮影して得られた撮影画像と背景画像との差分画像を用いて移動体の位置や姿勢を推定する技術に関する。
【０００２】
【従来の技術】
従来より、複数の人物が存在し得る空間を少なくとも一つのカメラを用いて撮影し、これにより得られた撮影画像と背景画像との差分画像を用いて複数の人物の位置や姿勢を推定する差分利用推定方法が提案されている。提案されている差分利用推定方法としては、上記の差分画像と人物を模した楕円体モデルを撮影画像の領域内に投影して得られる投影画像（楕円体モデルのみがカメラの被写界内に存在した場合の差分画像）との適合度を用いて人物の位置を推定する投影利用方法と、互いの被写界が重なり合うよう設置された複数のカメラの各々について差分画像内で差分領域が占める範囲とカメラの位置および向きとに基づいて人物の存在し得る範囲を求め、各存在範囲を重ね合わせて人物の位置を推定する範囲利用方法とがある。
【０００３】
投影利用方法としては、差分画像における人物毎の差分領域をそれぞれ楕円体形状の教示画像として表し、各人物について、前回の推定時における楕円体モデルの存在位置を初期位置として周辺の位置を探索し、教示画像と投影画像との適合度が最大となった位置を人物（楕円体モデル）の存在位置として推定する第１の方法がある（例えば、非特許文献１参照。）。この方法では、人物の教示画像の大きさがカメラから人物までの距離を示す要素として用られるため、カメラが１つであっても複数の人物の位置を推定可能である。
【０００４】
範囲利用方法としては、各カメラについて差分画像内で差分領域が占める範囲とカメラの位置および向きとに基づいて人物の存在し得る範囲を水平面内で求め、各存在範囲が重なり合う領域を幾何学的方法により導出することで人物の位置を推定する第２の方法がある（例えば、非特許文献２参照。）。また、カメラの被写界にあたる三次元空間を三次元ボクセルに分割し、カメラ毎に得られた存在範囲内の三次元ボクセルに投票し、複数のカメラからの投票結果を足し合わせることで、三次元ボクセル毎に人物の存在可能性を算出し、存在可能性の高い隣接するボクセルをブロック化し、三次元空間におけるブロックの大きさとその位置を求めることにより、人物の位置と手の上げ下げ動作の推定を行う第３の方法がある（例えば、非特許文献３参照。）。
【０００５】
【非特許文献１】
加藤博一，  中澤篤志，  井口征士，  “楕円体モデルを用いたリアルタイム人物追跡”，  情処論，  情報処理学会，  Ｎｏｖ．  １９９９，  ｖｏｌ．  ４０，  ｎｏ．  １１，  ｐｐ．  ４０８７
−  ４０９６
【非特許文献２】
寺沢征彦，  山澤一誠，  竹村治雄，  横矢直和，  “複数の全方位画像センサを用いた遠隔監視システムにおける複数移動物体の存在領域推定”，  信学技報，  電子情報通信学会，  Ｆｅｂ．  ２００１，  ＰＲＭＵ２０００−１９５，  ｐｐ．  １７  −  ２２
【非特許文献３】
冨永将史，  “人物動作理解のためのイベント検出”，  Ｔｈｅ  ２ｎｄ  ＡｎｎｕａｌＨＯＩＰ  Ｗｏｒｋｓｈｏｐ，  Ｎｏｖ．  ２００１，  ｐｐ．  ４６  −  ４９
【０００６】
【発明が解決しようとする課題】
第１の方法では、人物の教示画像の大きさはカメラから人物までの距離を示す重要な要素となっている。つまり、人物の教示画像が大きければその人物はカメラの近くに、小さければ遠くに存在していると推定される。しかし、教示画像の大きさのみでは遠近を正しく推定できない場合がある。例えば、人物の座位のモデルは立位のモデルよりも小さくなるから、座位の人物がカメラの近くに存在しているのか立位の人物が遠くに存在しているのか判別困難である。よって、第１の方法では、人物の立位や座位を識別するような姿勢の推定は困難である。
【０００７】
また、第２の方法では、人物の存在範囲が水平面内で求められるため、水平面内の存在範囲に大きな差異が生じない立位や座位を識別するような姿勢の推定は困難である。
【０００８】
また、第２及び第３の方法では、複数の人物の配置によっては人物の位置を正確に推定することができない、という問題がある。例えば、正三角形の各頂点に、正三角形の中心点に向けてカメラを配置したシステムにおいて、この正三角形の第１の辺の中点上に第１の人物が存在し、かつ、第２の辺の中点近傍に第２の人物が存在する場合、各カメラから得られる存在範囲を重ね合わせて得られる領域に、第１の辺と第２の辺とを結ぶ頂点付近の領域も含まれてしまう。この頂点付近には人物が存在していないから、これを人物の位置として検出すると誤検出となってしまう。このような誤検出を避けるために提案されているのが、少なくとも一つのカメラにおいて、存在範囲が不適切に長く伸びないように、「差分領域は一人の人物について得られたものである」と仮定する、ことである。この仮定により、上記の誤検出は回避される。しかし、この誤検出領域に第３の人物が存在する場合であっても、この領域は検出されなくなってしまう。つまり、全カメラにおいて複数の人物についての差分領域が重なる場合に人物の位置を正しく推定することができないという問題が生じる。
【０００９】
本発明は、上述した事情に鑑みて為されたものであり、複数の移動体についての差分領域が全カメラにて重なる場合にも複数の移動体の位置および姿勢を正確に推定することができる技術を提供する。
【００１０】
【課題を解決するための手段】
上述した課題を解決するために、本発明は、姿勢を変え得る移動体が存在し得る空間をカメラで撮影して得られる撮影画像を加工し当該物体が当該撮影画像内に占める領域を表す差分画像を生成し当該差分画像を用いて当該移動体の位置および姿勢を推定する推定方法において、前記空間内で被写界が重なるよう配置された複数のカメラで撮影を行うことで得られる差分画像を取得する取得ステップと、１つの移動体の前記空間における位置と当該移動体の姿勢とカメラとの全ての組み合わせ毎に用意され、当該移動体を前記複数のカメラで撮影したならば得られるであろう差分画像と合致する教示画像から、前記取得ステップにて取得された差分画像に適合する教示画像を選択し、選択した教示画像に関連付けられた位置および姿勢を移動体の位置および姿勢とみなす推定ステップとを有することを特徴とする推定方法を提供する。
【００１１】
また、本発明は、姿勢を変え得る移動体が存在し得る空間をカメラで撮影して得られる撮影画像を加工して得られる画像であって当該物体が当該撮影画像内に占める領域を表す差分画像を用いて当該移動体の位置および姿勢を推定する推定装置において、１つの移動体の前記空間における位置と当該移動体の姿勢とカメラとの全ての組み合わせ毎に用意される画像であって当該移動体を前記空間内で被写界が重なるよう配置された複数のカメラで撮影したならば得られるであろう差分画像と合致する教示画像を記憶する記憶手段と、前記複数のカメラで撮影を行うことで得られる差分画像を取得する取得手段と、前記記憶手段に記憶された教示画像から、前記取得手段により取得された差分画像に適合する教示画像を選択し、選択した教示画像に関連付けられた位置および姿勢を移動体の位置および姿勢とみなす推定手段とを有することを特徴とする推定装置を提供する。
【００１２】
また、本発明は、姿勢を変え得る移動体が存在し得る空間をカメラで撮影して得られる撮影画像を加工して得られる画像であって当該物体が当該撮影画像内に占める領域を表す差分画像を用いて当該移動体の位置および姿勢を推定するコンピュータを、前記空間内で被写界が重なるよう配置された複数のカメラで撮影を行うことで得られる差分画像を取得する取得手段と、１つの移動体の前記空間における位置と当該移動体の姿勢とカメラとの全ての組み合わせ毎に用意され、当該移動体を前記複数のカメラで撮影したならば得られるであろう差分画像と合致する教示画像から、前記取得手段により取得された差分画像に適合する教示画像を選択し、選択した教示画像に関連付けられた位置および姿勢を移動体の位置および姿勢とみなす推定手段として機能させるプログラムを提供する。
【００１３】
また、本発明は、姿勢を変え得る移動体が存在し得る空間をカメラで撮影して得られる撮影画像を加工して得られる画像であって当該物体が当該撮影画像内に占める領域を表す差分画像を用いて当該移動体の位置および姿勢を推定するコンピュータを、前記空間内で被写界が重なるよう配置された複数のカメラで撮影を行うことで得られる差分画像を取得する取得手段と、１つの移動体の前記空間における位置と当該移動体の姿勢とカメラとの全ての組み合わせ毎に用意され、当該移動体を前記複数のカメラで撮影したならば得られるであろう差分画像と合致する教示画像から、前記取得手段により取得された差分画像に適合する教示画像を選択し、選択した教示画像に関連付けられた位置および姿勢を移動体の位置および姿勢とみなす推定手段として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【００１４】
本発明によれば、被写界が重なるように配置された複数のカメラで撮影を行うことで複数の差分画像が得られ、これらの差分画像に適合する教示画像が選択される。教示画像には位置および姿勢が関連付けられており、選択された教示画像に関連付けられた位置および姿勢が移動体の位置および姿勢とみなされる。
【００１５】
【発明の実施の形態】
［１．実施形態］
以下、図面を参照して、この発明の実施の一形態（以後、実施形態という）について説明する。
【００１６】
［１−１．構成］
図１は、本発明の実施形態に係る推定システム１の構成を示す図である。この推定システム１は水平面内の領域Ｈ上を移動する人物の位置および姿勢（立位／座位）を推定するシステムであり、領域Ｈを取り囲む壁面（図示略）に取り付けられた４台のディジタルカメラＣ１〜Ｃ４と、これらのカメラから供給される撮影画像を用いて人物の位置および姿勢を推定する推定装置２とを有する。
【００１７】
カメラＣ１〜Ｃ４は、互いの被写界が領域Ｈ上で重なるように、かつ、領域Ｈ上に人物が存在する場合にはその人物が全てのカメラの被写界に収まるように配置されている。このような位置関係を確保できるのであれば、カメラの台数を２台以上の任意の台数としてもよいし、取り付け位置を、壁面に限らず、天井や床など、任意の位置としてもよいし、広角レンズを備えていない一般的なディジタルカメラを用いてもよい。本実施形態では、各カメラは、周知の全方位視覚センサとして機能し、人物の移動や動作に対して十分に短い一定時間間隔で、矩形の撮影画像（図２参照）を取得し、取得した撮影画像をカメラに固有のカメラＩＤに対応付けて推定装置２へ供給する。なお、カメラＣ１〜Ｃ４のカメラＩＤは“１”〜“４”であり、図２には各カメラにより取得された計４枚の撮影画像ｓｉ１〜ｓｉ４が示されている。
【００１８】
推定装置２は、カメラＣ１〜Ｃ４と同数の差分画像取得部Ｄ１〜Ｄ４と、人物の位置および姿勢の推定に用いられる教示画像を記憶した記憶部２１と、差分画像取得部Ｄ１〜Ｄ４から供給される計４枚の差分画像と記憶部２１に記憶されている教示画像とを用いて人物の位置および姿勢を推定する位置姿勢推定部２２と、これらの各部間での情報の授受に用いられるバス等の伝送部２３とを有する。なお、本実施形態では、推定され得る位置を９箇所とし、推定され得る姿勢を２種類とし、カメラを４台としている。このため、記憶部２１には、９×２×４＝７２枚の教示画像ｔｉ１−１〜ｔｉ１−１８、ｔｉ２−１〜ｔｉ２−１８、ｔｉ３−１〜ｔｉ３−１８及びｔｉ４−１〜ｔｉ４−１８が記憶されている。なお、教示画像ｔｉ１−２はカメラＩＤ“１”に対応した教示画像であり、２番目の位置に立位の人物が存在する場合のものである。また、教示画像ｔｉ１−３はカメラＩＤ“１”に対応した教示画像であり、３番目の位置に立位の人物が存在する場合のものである。また、教示画像ｔｉ３−１０はカメラＩＤ“３”に対応した教示画像であり、１番目の位置に座位の人物が存在する場合のものである。
【００１９】
差分画像取得部は符号の添え字が共通するカメラと有線接続または無線接続されている。ｋを１以上４以下の整数とすると、差分画像取得部Ｃｋは、接続先のカメラから供給された撮影画像ｓｉｋを構成する画素のうち予め記憶している背景画像の画素の画素値を０（黒色）とし他の画素の画素値を１（白色）とする周知の処理を行うことにより、人物領域のみが抽出された差分画像ｄｉｋ（図３参照）を生成し、生成した差分画像ｄｉｋを、当該撮影画像ｓｉｋに対応付けられたカメラＩＤ“ｋ”に対応付けて位置姿勢推定部２２へ供給する。
【００２０】
記憶部２１は、図４に示すように、教示画像をカメラＩＤに対応付けて記憶している。一つのカメラＩＤ“ｋ”には１８枚の教示画像ｔｉｋ−１〜ｔｉｋ−１８が対応付けられており、これら１８枚の教示画像ｔｉｋ−１〜ｔｉｋ−１８の各々には、人物の位置および姿勢の組み合わせが漏れなく対応付けられている。つまり、記憶部２１は、カメラ毎に、さらに位置姿勢条件（人物の位置および姿勢の組み合わせであって本実施形態では１８通り）毎に、教示画像を記憶している。また、教示画像を構成する全ての画素は０以上１以下の画素値を有する。図２および図３の画像が得られる位置姿勢条件と同一の位置姿勢条件に対応して用意された教示画像ｔｉ１−５〜ｔｉ４−５の例を図５に模式的に示す。図５において、黒色でハッチングが付されている部分が画素値が０より大で１より小の画素から構成される部分であり、このハッチングの密度が疎の部分を構成する画素の画素値は１に近い。なお、各教示画像のピクセル数は各撮影画像や各差分画像のピクセル数と同一である。また、教示画像は実際の人物形状を模したものでも、簡易な図形で人物の立位や座位を模したものでもよいが、図５に示されるように、本実施形態では人物形状を長方形の集合体として模した画像を採用している。
【００２１】
位置姿勢推定部２２は、伝送部２３及び差分画像取得部Ｄ１〜Ｄ４を介してカメラＣ１〜Ｃ４へトリガを供給する。カメラＣ１〜Ｃ４は、トリガが供給されたときに撮影動作を開始する。また、位置姿勢推定部２２は、伝送部２３を介して記憶部２１から任意の情報を取得することが可能であり、差分画像取得部Ｄ１〜Ｄ４から差分画像ｄｉ１〜ｄｉ４が供給されると、供給された差分画像ｄｉ１〜ｄｉ４と記憶部２１に記憶された教示画像ｔｉ１−１〜ｔｉ１−１８、ｔｉ２−１〜ｔｉ２−１８、ｔｉ３−１〜ｔｉ３−１８及びｔｉ４−１〜ｔｉ４−１８とを用いて、図６に示す流れの推定処理を行う。
【００２２】
推定処理では、位置姿勢推定部２２は、まず、図７に示す流れの評価値算出処理を行う。評価値算出処理では、位置姿勢推定部２２は、次に示す数式１を用いて、存在可能性の指標となる評価値（ｖ）を教示画像毎に算出する。なお、数式１において、ｄは差分画像を構成する画素の画素値を意味しており、ｍは当該教示画像において画素値が０の画素については０となり０でない画素については１となる。また、ｗは教示画像を構成する画素の画素値、すなわち当該画素の重み（重要度）を意味している。このように、本実施形態では、画素値がそのまま画素の重みを表していることから、数式１からｍを除去してもよい。なお、教示画像の画素に重み付けをしているのは、誤差が推定に与える影響を小さくするためである。
【００２３】
【数１】
2004213568.tif 000003
【００２４】
次に、位置姿勢推定部２２は、同一の位置姿勢条件について算出されたｖと予め定められた判定条件とに基づいて、位置姿勢条件毎に、当該位置における人物の存在可能性の指標となる評価値（ｖｈ）を定める。この判定条件の具体的な内容については動作の説明において触れる。このような評価値算出処理を終えると、位置姿勢推定部２２は、人物の姿勢毎に、人物が存在する位置を推定する。この推定において、異なる姿勢について同一の位置が選ばれた場合、位置姿勢推定部２２は、ｖｈの大きな方の姿勢を推定結果とし、それ以外の場合には位置の推定により必然的に選択される一つの姿勢を推定結果とする。さらに、位置姿勢推定部２２は、推定結果の位置および姿勢を表す情報を記憶する。
【００２５】
なお、推定装置２のハードウェア構成は任意であるが、本実施形態では、差分画像取得部を有する点を除いて、一般的なコンピュータ装置と同様のハードウェア構成となっている。具体的に述べると、記憶部２１はハードディスク等の不揮発性メモリを用いて実現されている。また、位置姿勢推定部２２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、記憶部２１及び伝送部２３が協働することで実現されている。つまり、ＣＰＵは、図示しない電源から電力が供給されると、ＲＯＭに予め記憶された制御プログラムと記憶部２１に予め記憶された推定プログラムとを伝送部２３を介して順に読み出し、ＲＡＭをワークエリアとして実行する。推定プログラムはＣＰＵに実行されることにより、まず、前述のトリガとなる信号を伝送部２３及び差分画像取得部Ｄ１〜Ｄ４経由でカメラＣ１〜Ｃ４へ送信し、以後、差分画像取得部Ｄ１〜Ｄ４から差分画像を表すデータが供給されると前述の推定処理を開始する、という機能を推定装置２に営ませる。つまり、位置姿勢推定部２２は、ＣＰＵが推定プログラムを実行することにより仮想的に実現される。なお、上記の推定プログラムや教示画像は、ネットワークを介してダウンロードしたものであってもよいし、可搬型の記録媒体に記録されていたものであってもよい。
【００２６】
［１−２．動作］
次に、本実施形態の動作について説明する。説明が繁雑になるのを避けるために、まず、領域Ｈ上に存在する人物が人物Ｏ１だけの場合の動作について説明し、次に、領域Ｈ上に存在する人物が人物Ｏ１〜Ｏｎ（ｎは２以上の自然数）の場合の動作について説明する。なお、いずれの場合にも、教示画像ｔｉ１−５は図５に示す通りの、立位に対応した画像となっており、この教示画像ｔｉ１−５に比較してカメラＣ１から単純に遠ざかった位置に対応して立位の教示画像ｔｉ１−９が用意されている。また、いずれの場合にも、既に、推定装置２の電源（図示略）からＣＰＵへ電力が供給されており、位置姿勢推定部２２からカメラＣ１〜Ｃ４へトリガが供給されているものとする。
【００２７】
［１−２−１．領域Ｈ上に人物Ｏ１のみが存在する場合］
トリガが供給されたカメラＣ１は撮影動作を開始する。この結果、図２に示す撮影画像ｓｉ１が得られる。カメラＣ１は、この撮影画像ｓｉ１をカメラに固有のカメラＩＤ“１”に対応付けて差分画像取得部Ｄ１へ供給する。差分画像取得部Ｄ１は、撮影画像ｓｉ１を構成する画素のうち予め記憶している背景画像の画素の画素値を０（黒色）、他の画素の画素値を１（白色）とし、人物領域のみが抽出された差分画像ｄｉ１（図３参照）を生成し、この差分画像ｄｉ１をカメラＩＤ“１”に対応付けて位置姿勢推定部２２へ供給する。これと同様の動作が他のカメラＣ２〜Ｃ４及び差分画像取得部Ｄ２〜Ｄ４でも並行して行われ、カメラＩＤ“２”に対応付けて差分画像ｄｉ２が、カメラＩＤ“３”に対応付けて差分画像ｄｉ３が、カメラＩＤ“４”に対応付けて差分画像ｄｉ４が位置姿勢推定部２２へ供給される。
【００２８】
差分画像ｄｉ１〜ｄｉ４の供給を受けた位置姿勢推定部２２は前述の推定処理を行う。推定処理では、位置姿勢推定部２２は、まず、評価値算出処理を行う（図６のステップＳＡ１）。評価値算出処理では、位置姿勢推定部２２は、前述の数式１を用いて、人物の存在可能性の指標となる評価値（ｖ）を教示画像毎に算出する（図７のステップＳＢ１，ＳＢ２：ＮＯ）。
【００２９】
例えば、位置姿勢推定部２２は、差分画像ｄｉ１については、差分画像ｄｉ１の画素値を式中のｄとし、カメラＩＤ“１”に対応付けて記憶部２１に記憶されている１８枚の教示画像ｔｉ１−１〜ｔｉ１−１８の各々についてｖを算出し、算出結果をｖ１−１〜ｖ１−１８とする。例えば、教示画像ｔｉ１−５についてｖ１−５を算出する際には、式中のｗは教示画像ｔｉ１−５を構成する画素の画素値となり、式中のｍは教示画像ｔｉ１−５において画素値が０の画素については０となり、０でない画素については１となる。他の差分画像ｄｉ２〜ｄｉ４についてもこのような算出が行われ、最終的には、ｖ１−１〜ｖ１−１８、ｖ２−１〜ｖ２−１８、ｖ３−１〜ｖ３−１８、及びｖ４−１〜ｖ４−１８が得られる。
【００３０】
なお、数式１から明らかなように、ｖは、一枚の教示画像内の画素値の大きな画素からなる領域が一枚の差分画像の差分領域に含まれている程度が高いほど大きくなる。例えば、教示画像ｔｉ１−５の画素値の大きな画素からなる領域の多くが差分画像ｄｉ１の差分領域に含まれているからｖ１−５は比較的に大きな値となる。ただし、最大ではなく、教示画像ｔｉ１−９について得られるｖ１−９よりは小さな値となる。この例から明らかなように、数式１を採用したことにより、カメラから遠い位置の人物の差分領域が当該カメラに近い位置の人物の差分領域に完全に含まれたときにも前者の位置は推定の候補から外れない。
【００３１】
全ての教示画像についてｖの算出が終了すると（ＳＢ２：ＹＥＳ）、位置姿勢推定部２２は、１８通りの位置姿勢条件毎に４つのｖと判定条件とに基づいて平均評価値（ｖｈ）を求める（ＳＢ３〜ＳＢ６：ＮＯ）。つまり、カメラＣ１〜Ｃ４のいずれに着目しても必ずｖが予め定められた閾値以上の大きさとなっている位置姿勢条件については（ＳＢ３：ＹＥＳ）、ｖｈの値として４つのｖの平均値を採用し（ＳＢ４）、そうでない位置姿勢条件については（ＳＢ３：ＮＯ）、ｖｈの値として０を採用する（ＳＢ５）。なお、後者について０を採用したのは後者の位置姿勢条件が人物の位置および姿勢として選択されることがないようにするためであり、十分に小さな値であれば、０でなくともよい。
【００３２】
このような、閾値による「足切り」を行うことにより、カメラから遠い位置の人物の差分領域が当該カメラに近い位置の人物の差分領域に完全に含まれたときにも前者の位置を推定の候補から外さないようにしたことに起因して人物が存在しない位置が最終的に選択されてしまう事態を回避することができる。例えば、教示画像ｔｉ１−９に対応する位置には人物が存在しないがｖ１−９の値はｖ１−５よりも大であるから、教示画像ｔｉ１−９、ｔｉ２−９、ｔｉ３−９及びｔｉ４−９についてのｖの平均値が、教示画像ｔｉ１−５、ｔｉ２−５、ｔｉ３−５及びｔｉ４−５についてのｖの平均値以上となる可能性がある。そして、前者が後者以上となる場合、後者に対応する位置が人物の存在する位置として最終的に選択される可能性がある。この位置には実際には人物が存在しないから、このような選択は不適切である。本実施形態では、平均計算を行う前に“足切り”を行うことで、このような不適切な選択を回避し、ｖ１−５、ｖ２−５、ｖ３−５及びｖ４−５から求められたｖｈ−５がｖｈ−１〜ｖｈ−４及びｖｈ−６〜ｖｈ−９よりも確実に大きくなるようにしているのである。
【００３３】
１８通りの位置姿勢条件についてｖｈの算出が終了すると（ＳＢ６：ＹＥＳ）、位置姿勢推定部２２は、人物の姿勢毎に人物の位置を推定する処理である位置推定を行う（ＳＡ２、ＳＡ３：ＮＯ）。この位置推定では、位置姿勢推定部２２は、人物の姿勢毎に、９個のｖｈを対応する位置に基づいて実空間の二次元分布とみなし、隣接するｖｈ同士を比較して極大値探索を行い、極大値となる位置に人物が存在するとする。二次元分布中に存在する極大値が１つでも複数でも極大値探索にかかる計算量は変わらないから、二次元分布とみなす方法は複数の人物が存在し得る場合に好適な方法といえる。
【００３４】
このような推定の結果、立位については、ｖｈ−５に対応する位置のみが人物の存在する位置として推定される。以降の動作は、座位についてのｖｈ−１４に対応する位置が人物の存在する位置として推定されたか否かによって異なる。ｖｈ−５及びｖｈ−１４は同一の位置および異なる姿勢に対応したｖｈであることから、ｖｈ−５及びｖｈ−１４が共に採用されるということは、１人の人物が異なる姿勢を同時にとっているということを意味する。本実施形態では、このような、あり得ない事態を示す推定結果となることを避けるために、以降の動作を異ならせている。
【００３５】
具体的には、ｖｈ−１４が人物の存在する位置として推定されなかった場合（ＳＡ４：ＮＯ）、位置姿勢推定部２２は、ｖｈ−５に対応する位置および姿勢を示す情報を記憶する（ＳＡ５）。逆に、ｖｈ−１４が人物の存在する位置として推定された場合、１人の人物が異なる姿勢を同時にとることは不可能であることから（ＳＡ４：ＹＥＳ）、いずれの姿勢をとっているのかを推定する処理である姿勢推定を行い（ＳＡ６）、推定された姿勢とｖｈ−５及びｖｈ−１４に共通する位置とを示す情報を記憶する（ＳＡ５）。なお、姿勢推定の方法は任意であるが、本実施形態では、両ｖｈを比較し、より大きなｖｈに対応した姿勢を選択するようにしている。
【００３６】
このようにして、人物Ｏ１の位置と姿勢が推定され、これらの位置および姿勢を示す情報が推定装置２に記憶される。
【００３７】
カメラＣ１〜Ｃ４は、それぞれ、一定時間間隔で撮影を続けるため、上述した動作が繰り返し行われる。もちろん、領域Ｈ上で、人物Ｏ１が移動したり、姿勢を変えたりすれば、移動先の位置や変更後の姿勢を示す情報が推定され推定装置２に記憶されることになる。
【００３８】
［１−２−２．領域Ｈ上に人物Ｏ１〜Ｏｎが存在する場合］
領域Ｈ上に存在する人物が人物Ｏ１〜Ｏｎの場合の動作が、領域Ｈ上に人物Ｏ１のみが存在する場合の動作と異なる点は、二次元分布中に存在する極大値がｎ個となる点である。この相違から当然であるが、姿勢推定は最大ｎ回行われ得る。そして、最終的には、人物Ｏ１〜Ｏｎの位置および姿勢を示すｎ組の情報が推定装置２に記憶される。
【００３９】
［１−３．補足］
上述したように、本実施形態によれば、１または複数の人物の位置および姿勢を正確に推定することができる。さらに、必要となる計算量は人物数に依存しないから、複数の人物の位置および姿勢を推定する場合に用いて好適である。さらに、評価値（ｖ）の算出において教示画像を構成する画素に重みを付けたことにより、推定の精度をより安定させることに成功している。さらに、画素値が重みを表す教示画像を用いるようにしたため、評価値（ｖ）の算出アルゴリズムをより単純化することも可能である。
【００４０】
本実施形態により得られる効果は、非特許文献１に記載の第１の方法と対比することでも確かめられる。第１の方法では、１つのカメラが設置されている環境で、カメラに投影される複数の人物の差分領域が重なっている場合でも複数人物の位置推定を実現するために、カメラに投影される人物数が既知である必要がある。そのため、カメラに投影される人物の出現および消滅の管理が必須となる。
したがって、オープンスペースなどの、カメラの視野内のいたるところで人物が頻繁に出入りする場所での位置推定には不向きである。これに対して、本実施形態では、このような出現および消滅の管理は不要である。
【００４１】
［２．変形例］
以上、本発明の実施形態について説明したが、特許請求の範囲に記載された発明特定事項により特定される技術的範囲内で本実施形態を任意に変形することが可能である。以下に変形例を列挙する。
【００４２】
本実施形態では全ての教示画像について評価値（ｖ）を算出してから平均評価値（ｖｈ）を求めているが、１つの平均評価値を求めるのに必須の評価値が算出されたら即座に平均評価値を求めるように変形してもよいし、評価値を算出することなく一挙に平均評価値を求めるように変形してもよい。
【００４３】
また、本実施形態では平均評価値を実空間における２次元分布とみなし極大値を求めることで位置推定を行っているが、計算量を少なく抑えることが要求されていない場合には、他の任意の方法を採用してもよい。例えば、人物の出現および消滅を管理し、出現している人物に関する前回の推定位置の周囲で最大の平均評価値を探索することで位置推定を行うようにしてもよい。
【００４４】
また、本実施形態では教示画像の各画素に重み付けを行って誤差による影響を低減しているが、そのような低減が不要であれば、重み付けを行わずともよい。この場合、教示画像は２値で表現されることになる。
【００４５】
また、本実施形態では画素を単位として重み付けを行っているが、画素よりも広いブロックを単位として重み付けを行うようにしてもよい。この場合、評価値の算出には、２値で表現された教示画像と、教示画像内のブロックの位置を示す情報と当該ブロックの重みを示す情報とを対応付けた情報とのセットが用いられることになる。また、教示画像自体には重みを対応付けず、評価値の算出の際に重みを定めるようにしてもよい。例えば、評価値の算出の際に、教示画像内の人物の領域の中心を求め、中心付近については重い重みを設定し、外縁部分については軽い重みを設定するようにすれば、重み付けを動的に行うことができる。
【００４６】
また、本実施形態では閾値による「足切り」を行うようにしたが、推定精度の安定がさほど必要とされない状況下であれば、「足切り」を行わずに一律して平均評価値を求めるようにしてもよい。この場合でも、「カメラから遠い位置の人物の差分領域が当該カメラに近い位置の人物の差分領域に完全に含まれたときにも前者の位置を推定の候補から外さないようにしたことに起因して人物が存在しない位置が最終的に選択されてしまう事態」を、ある程度は回避することができる。
【００４７】
また、本実施形態では推定された１つの位置で複数の姿勢が得られた場合に姿勢推定を行うようにしているが、推定された全ての位置について一律に姿勢推定を行うように変形してもよい。
【００４８】
また、本実施形態では「足切り」の閾値を全てのカメラについて共通としているが、カメラ毎に異ならせてもよい。
【００４９】
また、本実施形態では全てのカメラの被写界内に領域Ｈが存在するために全てのカメラに関する差分画像を用いて平均評価値を求めてるようにしているが、領域Ｈの一部が特定のカメラの被写界外にあるような場合には、当該一部内の位置に対応する平均評価値を求める際に当該特定のカメラに関する差分画像を除外して平均評価値を求めるように変形すべきである。こうすることで、推定の精度をより安定に保つことができる。
【００５０】
また、本実施形態では予め記憶された教示画像を用いるようにしているが、十分な計算能力を有する装置を用いて実現するのであれば、人物形状のモデルに基づいて必要な教示画像を動的に生成するようにしてもよい。
【００５１】
また、本実施形態ではカメラを４台、姿勢を２種類、位置を９箇所としたが、これに限らないことはいうまでもない。もちろん、カメラが増えれば、差分画像取得部も増える。また、カメラや姿勢、位置が変われば、必要となる教示画像の枚数も変わる。
【００５２】
また、本実施形態では記憶部２１と位置姿勢推定部２２と差分画像取得部Ｄ１〜Ｄ４を一つの装置により実現しているが、複数の装置により実現するように変形してもよい。例えば、図８に示すようにしてもよい。図８に示すシステムでは、ネットワークＮを介した通信の機能を備えたネットワークカメラＮＣ１〜ＮＣｎは、カメラに対応した教示画像を記憶しており、各教示パターンについて評価値（ｖ）を算出しネットワークＮを介して位置姿勢推定用ＰＣサーバ装置Ｓへ送信する（ＳＣ１）。位置姿勢推定用ＰＣサーバ装置Ｓは、これらの評価値を受信し（ＳＣ２）、人物の位置および姿勢を推定し、推定結果をネットワークＮを介して位置姿勢結果利用端末Ｔへ送信する（ＳＣ３）。位置姿勢結果利用端末Ｔは、当該推定結果を受信し（ＳＣ４）、利用する。
【００５３】
また、本実施形態では人物の姿勢を立位および座位に限定しているが、これに限らず、仰臥／うつ伏せ／倒立などの任意の姿勢をも推定するように変形してもよい。
また、本実施形態では位置および姿勢の推定対象を人物に限定しているが、これに限らず、犬や猫等の動物や車両等の任意の移動体を推定対象としてもよい。
言うまでもないが、車両の場合には向きが姿勢に該当する。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、複数の移動体についての差分領域が全カメラにて重なる場合にも複数の移動体の位置および姿勢を正確に推定することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る推定システム１の構成を示す図である。
【図２】同システム１にて得られる撮影画像の一例を示す図である。
【図３】同システム１にて得られる差分画像の一例を示す図である。
【図４】同システム１の記憶部２１に記憶される教示画像に関する情報を模式的に示図である。
【図５】同システム１にて用いられる教示画像の一例を示す図である。
【図６】同システム１にて行われる推定処理の流れを示すフローチャートである。
【図７】同システム１にて行われる評価値算出処理の流れを示すフローチャートである。
【図８】同形態の変形例に係るシステムを説明するための図である。
【符号の説明】
１……推定システム、２……推定装置、２１……記憶部、２２……位置姿勢推定部、２３……伝送部、Ｃ１〜Ｃ４……カメラ、Ｄ１〜Ｄ４……差分画像取得部、Ｈ……領域。
【図１】
2004213568.tif 000004
【図２】
2004213568.tif 000005
【図３】
2004213568.tif 000006
【図４】
2004213568.tif 000007
【図５】
2004213568.tif 000008
【図６】
2004213568.tif 000009
【図７】
2004213568.tif 000010
【図８】
2004213568.tif 000011