(57)【特許請求の範囲】
【請求項１】
オブジェクト追跡及び認識システムであって、
検出範囲に関する座標及び画像情報を取得するための座標及び画像モデルと、
前記検出範囲に入るオブジェクトにより送信されるＲＦ信号の強度を検出するのに適合されたＲＦＩＤ装置と、
前記ＲＦＩＤ装置により検出された前記ＲＦ信号の前記強度が、前記オブジェクトが検出範囲内でありかつビデオ装置からある距離内であることを示す予め定められた閾値に到達すると前記オブジェクトの画像情報を取得するために電源をオンするように適合されたビデオ装置と、
前記座標及び画像モデルから座標を受信し、前記オブジェクトの位置をマッピングして、前記検出範囲内の前記オブジェクトの位置を識別する情報発生器と、
前記座標及び画像モデルから座標を受信して前記ビデオ装置に対する前記オブジェクトの距離を検出する、座標発生器と、
前記ビデオ装置の検出範囲にある少なくとも２つの場所の前記ＲＦ信号の強度値の関係モデルに応じて前記予め定められた閾値を更新するように適合されたプロセッサーと、
を備え、前記関係モデルは、
【数１】
0005873864.tif 000014
で表される、前記検出範囲内の領域間の信号強度の線形行列モデルであり、ここでｒiはｉ番目のグリッドで検出された信号強度サンプルを表し、ｒjはｊ番目のグリッドで検出された信号強度を表し、
【数２】
0005873864.tif 000015
及び
【数３】
0005873864.tif 000016
は前記線形行列モデルの係数である、前記オブジェクト追跡及び認識システム。
【請求項２】
前記予め定められた閾値は、前記オブジェクトから前記ＲＦＩＤ装置までの距離に対応する、請求項１に記載のオブジェクト追跡及び認識システム。
【請求項３】
前記予め定められた閾値は、前記関係モデルに基づいて単一点又は多点推定法によって更新される、請求項１に記載のオブジェクト追跡及び認識システム。
【請求項４】
前記オブジェクト追跡及び認識システムは、前記ビデオ装置及び前記ＲＦＩＤ装置によって画像情報が検出されると、電子装置の電源をオン／オフするように前記電子装置上に配置されるように適合されている、請求項１又は２に記載のオブジェクト追跡及び認識システム。
【請求項５】
オブジェクト追跡及び認識システムにおいて使用される方法であって、
前記オブジェクト追跡及び認識システムの検出範囲に関する座標及び画像情報、並びに前記オブジェクト追跡及び認識システムの検出範囲に入るオブジェクトの画像情報をビデオ装置によって取得するステップと、
前記オブジェクトの位置をマッピングして前記取得された座標に基づき前記検出範囲内の前記オブジェクトの位置を識別するステップと、
前記取得された座標に基づき前記ビデオ装置に対する前記オブジェクトの距離を検出するステップと、
前記オブジェクトのＲＦタグの信号強度をＲＦＩＤ装置によって検出するステップと、
前記ＲＦＩＤ装置により検出された信号の前記信号強度が、前記オブジェクトが前記検出範囲内にあることを示す予め定められた信号強度閾値に到達すると、前記オブジェクトの前記画像情報を取得するために前記ビデオ装置の電源をオンするステップと、
前記ビデオ装置の検出範囲にある少なくとも２つの場所の前記ＲＦタグの信号強度の値の関係モデルに応じて前記予め定められた信号強度閾値を更新するステップと、
を含み、前記関係モデルは、
【数４】
0005873864.tif 000017
で表される、前記検出範囲内の領域間の信号強度の線形行列モデルであり、ここでｒiはｉ番目のグリッドで検出された信号強度サンプルを表し、ｒjはｊ番目のグリッドで検出された信号強度を表し、
【数５】
0005873864.tif 000018
及び
【数６】
0005873864.tif 000019
は前記線形行列モデルの係数である、前記方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にオブジェクト追跡（トラッキング）及び認識システムに関し、特に、ＲＦＩＤ及びビデオ装置を含むオブジェクト追跡及び認識方法及び装置に関する。
【背景技術】
【０００２】
ユビキタスコンピューティングの考え方は、人々がコンピュータ又は他の電子装置を使用するときにそのコンピュータ又は他の電子装置からの恩恵をどの装置にも見出すことができない人々に有用である。人々の自然な行動では、明確なコマンドなしに必要に応じて実行されるアプリケーションを駆動する。
【０００３】
ユビキタスコンピューティングプラットフォームを構築するための最初のタスクは、オブジェクト追跡及び認識を実行してユーザの活動状況を取得することである。例えば、ディジタルホーム環境では、活動状況は場所、動き、ジェスチャー、音声、又はユーザの顔の表現についての任意の情報であり得る。ユーザの活動状況についての検出及び分析を用いると、システムは、家庭用の装置で明白な操作をせずに、対応するアクションを取ることができる。
【０００４】
簡単なアプリケーションシナリオを次のように説明することができる。１）例えば、ＴＶ（テレビジョン）セットはそのＴＶセットが置かれているリビングルームに出入りするユーザに関係なくオフ状態になっている。２）ユーザが例えば、コーチに座ったり、又はＴＶセットの前にじっと立っていることにより、テレビを視聴する意向を示すと、ＴＶセットが（まばたくように）点滅する。３）ユーザが自分の手で数回、テレビに対して合図をするとテレビがオンになる。４）ユーザは、自分の手のジェスチャー又は音声コマンドを使用してテレビを操作し続けることができる。５）ユーザはリビングルームの外に移動すると、テレビ番組が一時停止され、そしてユーザが戻って来たときにテレビ番組が再開される。
【０００５】
従来に、無線周波数識別（ＲＦＩＤ）位置決定システムは、ユーザの位置を検出するために使用される。しかしながら、得られた電力の強さは、マルチパス屋内環境では常に安定していないので、位置検出を得ることは依然として困難である。加えて、追跡オブジェクトのためのビデオカメラは、当該技術分野において一般的である。オブジェクトの「現実世界」座標を含む位置、オブジェクトの「物理的」位置、オブジェクトの「３Ｄ」座標、動き、ジェスチャーなどのオブジェクトの画像情報は、１つ以上のカメラの視野内のオブジェクトの見かけから決定される。
【０００６】
１つの簡単なハイブリッド位置検出及びオブジェクト認識方法は、次の通りである。各ホームユーザは、家庭内の受信機に無線信号を送信するアクティブＲＦＩＤタグを身に着けている。簡単なセットアップはテレビなどの制御されるべき電子装置の上に１つのＲＦＩＤ受信機の場所を見つけることである。タグはユーザの靴又は衣服に取り付け可能である。加えて、カメラ、ビデオトラッキング装置などの複数のビデオ装置がテレビの上又は部屋内の特定の場所に配置される。
【発明の概要】
【０００７】
本発明は、オブジェクト追跡及び認識システムに関し、そのシステムはオブジェクト追跡及び認識システムの検出範囲内のオブジェクトの画像情報を取得するビデオ装置と、オブジェクトのＲＦタグの信号強度を検出するＲＦＩＤ装置とを備え、ビデオ装置は、検出信号強度が所定の信号強度閾値に到達すると、オブジェクトの信号強度を検出するために作動される。
【０００８】
また、本発明は、オブジェクト追跡及び認識システムにおいて使用される方法に関し、その方法は、ビデオ装置によって、オブジェクト追跡及び認識システムの検出範囲内のオブジェクト画像情報を得るステップと、ＲＦＩＤ装置によって、オブジェクトのＲＦタグの信号強度を検出するステップとを含み、所定の信号強度閾値に到達したときに検出された信号強度に基づいてオブジェクトの画像情報を得るためにビデオ装置を作動させる。
【図面の簡単な説明】
【０００９】
本発明の例示的な実施形態は添付図面を参照しつつ説明される。
【図１】図１は、本発明の実施形態によるハイブリッドオブジェクト追跡及び認識システムを示している。
【図２】図２は、本発明の実施形態に係るＲＦ信号強度分布を示す図である。
【図３】図３は、本発明の実施の形態に係る線形行列（リニアマトリックス）モデルを模式的に示す表である。
【図４】図４は、本発明の実施形態に係る線形行列モデルを用いる方法を示す図である。
【図５】図５は、本発明の実施形態に係るビデオ装置の検出範囲を示す図である。
【図６】図６は、本発明の実施形態に係るオブジェクト追跡及び認識のための方法を示すフロー図である。
【発明を実施するための形態】
【００１０】
図１は、本発明の実施形態によるハイブリッドオブジェクト追跡及び認識システム１００を示す。システム１００はビデオ装置１００を含み、ビデオ装置１００は映像シーンに現れるオブジェクト又はユーザ画像情報を得る表示装置、ＴＶなどの電子装置に配置された１つ以上のカメラであることができる。ビデオ装置１１０は画像情報発生器１２０と接続され、又はその画像情報発生器１２０を含み、画像情報発生器１２０は映像シーン内のオブジェクトの位置を表示装置の前面にある座標にマッピングするか、又は動き、ジェスチャー、音声又は表現などの画像情報を得る。座標は、緯度、経度、高度などの真の座標であっても良い。或いは、座標は特定のエリアに関連した、又はリファレンスの人工フィールドに関連したなどの座標であっても良い。座標は、オブジェクトが実際にシステム１００の検出範囲に位置している場所を特定し、そのオブジェクトから表示装置までの距離を示すために使用される。通常、座標及び画像モデル１５０に基づいて座標及び他の画像情報を得ることができ、座標及び画像モデル１５０は、フロアプランモデル又は緯度及び経度線を有するグローバルモデル、及び画像データベースを含んでも良い。オブジェクトの座標又は他の画像情報を得るためにビデオ装置１１０及び画像情報発生器１２０を用いる技術は、当該技術分野の当業者に知られており、その詳細はここでは省略される。
【００１１】
また、システム１００はＲＦＩＤ装置１３０を含み、オブジェクト又はユーザに取り付けられたＲＦＩＤタグ（図示せず）の信号強度を検出してＲＦエネルギーを発するために、表示装置上に配置された１つ以上のＲＦＩＤ受信機を含む。ＲＦＩＤ装置１３０は、座標及び画像モデル１５０に基づいてオブジェクトの位置を得て、ユーザから表示装置までの距離を検出するために座標発生器１４０に接続されるか、又は座標発生器１４０を含む。オブジェクトの座標及び距離を得るためにＲＦＩＤ装置１３０及び座標発生器１４０を用いる技術は、当該技術分野の当業者に知られており、その詳細はここでは省略される。
【００１２】
ビデオ装置は、ＲＦＩＤ装置よりもオブジェクトのより正確な画像情報を得ることができることが知られている。しかしながら、ユーザのプライバシ及びエネルギー消費量を考えると、必要な場合にのみ、特にビデオ装置として使用されるカメラが無線のものである場合にビデオ装置を作動させることが好ましい。よって、本発明の実施形態によれば、ビデオデ装置１１０及びＲＦＩＤ装置１３０を制御するために中央処理装置１６０が用いられ、それによりＲＦ信号強度が所定の閾値よりも大きい場合にはオブジェクト又はユーザがＴＶなどの表示装置の近くに存在することを示し、ビデオ装置は電源オンとなり、一方、オブジェクト又はユーザがＴＶから離れている場合にはＲＦ信号強度は低く、ビデオ装置の電源がオフとなる。
【００１３】
所定の閾値は、オブジェクトが特定の場所に位置されたか又は表示装置から特定の距離（例えば、６メートルなど）を有しているときの信号の強さである。その閾値はそれが生成されるときの環境を表すことができる。環境が変化した場合に閾値が無効であっても良く、特定の場所又は距離の場合にはエラーになる。
【００１４】
本発明の実施形態によれば、システム１００の検出範囲内の２点を用いて閾値の信号強度を推定しかつ動的に更新するために、その２点間の信号強度の関係を記述するために関係モデルが構築される。図２は本発明の実施形態に係るＲＦ信号強度分布を示す図である。対応するＲＳＳ等高線が示されている。この図では、右側のバーは無線信号強度のＲＳＳ（ｄＢ）を表し、ｘ軸及びｙ軸はオブジェクト認識システム１００の検出範囲の座標を定義し、それはここではシステムで使用されるカメラに基づいている。カメラは、カメラセンサが正確な画像／ビデオを捕らえることができる角度である所定の視野（ＦｏＶ）及び距離である観察深度（ＤｏＶ）を有している。その図では、検出範囲を複数のグリッド（Ｒ１−Ｒ９及びＤＲ１−ＤＲ３など）に分割することができ、ＤＲ１−ＤＲ３は閾値グリッドであり、その中において対応する信号強度は表示装置を電源オンする所定の閾値である。各グリッドの位置を中心点で表すことができ、それは、各グリッドの無線信号強度をその中心点での無線信号強度によって表すことができることを意味する。
【００１５】
これらのグリッド（Ｒ１−Ｒ９及びＤＲ１−ＤＲ３）のうちの２つのグリッド間の信号強度の関係を次の線形モデルによってモデル化することができることが知られている。
【００１６】
【数１】
0005873864.tif 000002
【００１７】
ここで、ｒｉはｉ番目のグリッドでの受信信号強度サンプルを表し、ｒｊはｊ番目のグリッドでの受信信号強度サンプルを表し、
【００１８】
【数２】
0005873864.tif 000003
【００１９】
及び
【００２０】
【数３】
0005873864.tif 000004
【００２１】
は線形モデルの係数である。例えば、オフライントレーニングから収集されたｉ番目のグリッド及びｊ番目のグリッドで複数のサンプルによってこれらの係数を得ることができ、これらの係数を得るためにこれらのサンプルに最小平均二乗誤差（ＭＭＳＥ）を適用する。
【００２２】
加えて、線形関係は安定または固定であることが知られている。すなわち、通常、環境の変化によってその関係に影響を与えることはできない。それ故、線形モデル行列（Ｍ*Ｎの要素からなると仮定する）は検出範囲内のＭグリッド間の関係を記述するために用いられ、（ｉ番目の行及びｊ番目の列の）要素はｉ番目グリッドとｊ番目グリッドとの間のＲＳＳ関係を表す係数
【００２３】
【数４】
0005873864.tif 000005
【００２４】
である。そして、図２の閾値範囲ＤＲ１、ＤＲ２、ＤＲ３内のＲＳＳ値のように、検出範囲内の信号強度を推定するために役立つオンラインフェーズ（段階）でこの線形モデル行列を用いることができる。加えて、本発明は、２つのグリッドから得られる線形モデルに限定されるものではなく、本発明の実施形態に係る２つ以上のグリッドの線形モデルを得ることは当該技術分野の当業者にとって明らかである。また、本発明は、線形モデル行列に限定されず、当該技術分野の当業者は、本発明の実施形態に対してグリッド間に他の安定した関係モデルを使用することができる。
【００２５】
線形モデル行列の１つの例が図３に示されている。その図では、２つのグリッド毎に要素が示されている。ＤＲ１とＤＲ１、Ｒ７とＲ７などの、同一のグリッドに対する要素は本実施形態では使用されていないことに注意されるべきである。
【００２６】
図４は、線形モデル行列を使用する方法を示す図である。本発明の実施形態によれば、線形モデル行列はＤＲ１−ＤＲ３で所定の信号強度閾値を動的に更新するために使用される。例えば、ｔ０で、線形モデル行列はオフライントレーニングによって得られる。オブジェクトがｔ１で検出範囲のグリッド（例えば、Ｒ７）において発生した場合には、オブジェクトに取り付けられたＲＦタグの信号強度が元の閾値よりも大きいのでカメラが作動される。この時、カメラとＲＦ受信機の両方が有効になる。それにより表示装置からの距離及びオブジェクトが発生したグリッドはカメラによって得られ、また、取り付けられたタグの現在の信号強度も得られている。これらのサンプルデータによると、ＤＲ１などの閾値グリッドでの信号強度を線形モデル行列
【００２７】
【数５】
0005873864.tif 000006
【００２８】
及び式（１）に基づいて求めることができる。この方法は、単一点推定と呼ばれている。同じ方法に基づいて、次にオブジェクトが検出エリアに移動するときに表示装置を電源オンするためにｔ１及びｔ２での推定閾値を更新することができる。
【００２９】
加えて、線形モデル行列に基づいて多点推定法を用いることもできる。オンラインフェーズでカメラの画像解析によって捕らえられた複数の信号強度サンプルがあるときには、多点推定を使用することができる。それは、閾値が複数の点で複数のＲＳＳサンプルによって推定されることを意味する。例えば、ＤＲ１に対応する閾値（ｒｉ）が推定され、Ｒ４、Ｒ５、Ｒ７、Ｒ８での信号強度サンプルが画像解析によって捕らえられていると仮定されている。ＤＲ１に最も近い２つのグリッドである２つのグリッド（Ｒ７、Ｒ８）が推定のために選択される。そして、それぞれの線形モデルは、ＤＲ１の信号強度を推定するために独立して使用される。これらの２つの推定結果は１つの最大比率合成アルゴリズムによって合成される。その詳細は以下の通りである。
【００３０】
２つの最も近いグリッド（Ｒ７、Ｒ８）を選択し、ｒｊ，ｒｋはＲ７、Ｒ８各々の信号強度のサンプルを表す。より正確なグリッドを選択して推定値を得るために、各グリッドの信頼度ｒｊのＣ１，ｉ、ｒｋのＣ２，ｉを次のように導くことができる。
【００３１】
グリッドＲ７に隣接するグリッドＲ４（ＲＩは、その信号強度である）を見つけて、式（１）を用いてｒｌによってｒｊを推定する。そして、式（２）によってＲ７の信頼度を得る。
【００３２】
【数６】
0005873864.tif 000007
【００３３】
ｒｊは、Ｒ７で検出された信号強度であり、
【００３４】
【数７】
0005873864.tif 000008
【００３５】
はｒｌ及び図３の線形モデル行列を使用することによってＲ７で推定された信号強度である。式（２）から、Ｃｌ，ｉがより高くなるほどこのグリッドでのサンプルのより高い信頼度を表すことができることが分かる。
【００３６】
次に、点Ｒ８に最も近いグリッドＲ５（ｒｍはその信号強度である）を見つけ出し、式（１）を用いてｒｍによってｒｋを推定する。そして、式（４）によってＲ８の信頼度を得る。
【００３７】
【数８】
0005873864.tif 000009
【００３８】
次の式を用いてＣ１，ｉ及びＣ２，ｉを正常化する。
【００３９】
【数９】
0005873864.tif 000010
【００４０】
次の式を用いて最大比率合成（ＭＲＣ）法で閾値ｒｉの推定を合成する。ｒｊを用いて閾値ｒｉ（式でｒ１，ｉと表された）を推定する。
【００４１】
【数１０】
0005873864.tif 000011
【００４２】
ｒｋを用いてｒｉ（式でｒ２，ｉと表現された）を推定する。
【００４３】
【数１１】
0005873864.tif 000012
【００４４】
ＭＲＣ法によってｒｉの最終推定を得る。
【００４５】
【数１２】
0005873864.tif 000013
【００４６】
オブジェクトの状態情報を捕らえるために閾値グリッドにオブジェクトが移動しているときにカメラが電源オンできるように、閾値は得られたｒｉを用いて更新される。図５は、本発明の実施形態に係るビデオ装置の検出範囲を示す図である。図５において、部屋内の壁(Wall)の輪郭（アウトライン）及び家具(Furniture)の分布が示されている。２つの境界線の間の検出範囲において、ユーザの特徴サイズ（例えば、顔の大きさなど）と、カメラとユーザとの間の距離との間の関係も示されている。例えば、大人の顔サイズ／子供の顔サイズに基づいたスナップショットシーケンス画像は、画像情報発生器１２０のメモリに用意され、それにより、新しいスナップショット画像のこれらのサンプルスナップショット画像との比較に基づいて表示装置からユーザまでの大まかな距離を定義することができる。実際には、ユーザ識別情報を含むＲＦＩＤタグは、比較を行うために使用される顔のタイプを選択するために役立つことができる。例えば、ユーザの顔の特徴をＲＦＩＤタグに保存することができる。同時に、顔がカメラ画像（左／右／中央）のどこにあるかの分析でユーザ方向情報を得ることができる。
【００４７】
図６は、本発明の実施形態に係るオブジェクト認識のための方法を示すフロー図である。ステップ６０１では、オフライントレーニングが図３に示された線形モデル行列と、閾値グリッドＤＲ１−ＤＲ３での元の閾値信号強度を得るために実行される。次に、ステップ６０２では、オブジェクトが検出範囲内で生じたときに、カメラはそのオブジェクトの画像情報を得るために作動され、ステップ６０３では、オブジェクトが生じたグリッドが画像情報に応じてカメラによって判別される。この時点では、ＲＦ装置がステップ６０４においてオブジェクトに取り付けられたＲＦタグの信号強度を検出することが可能である。線形モデル行列によれば、ステップ６０５では閾値グリッドで現在の信号強度閾値を得て、ステップ６０６では元の閾値を更新することができる。
【００４８】
上記したことは、単に本発明の実施形態を示し、当該技術分野の当業者は、明示的に本明細書に記載されないが、本発明の原理を具現化し、かつその精神及び範囲内にある多数の代替配置を工夫することができることが理解され得る。
（付記）
（付記１）
オブジェクト追跡及び認識システムであって、
前記オブジェクト追跡及び認識システムの検出範囲内にあるオブジェクトの画像情報を取得するビデオ装置と、
前記オブジェクトのＲＦタグの信号強度を検出するＲＦＩＤ装置と、
を備え、
前記ビデオ装置は、当該検出信号強度が所定の信号強度閾値に到達すると、前記オブジェクトの画像情報を取得するために作動するように構成されている、前記オブジェクト追跡及び認識システム。
（付記２）
前記検出範囲内で信号強度の関係モデルを用いて前記所定の閾値を更新する中央処理装置を更に含む、付記１に記載のオブジェクト追跡及び認識システム。
（付記３）
前記関係モデルは、前記検出範囲内の領域間の信号強度の線形行列モデルである、付記１又は２に記載のオブジェクト追跡及び認識システム。
（付記４）
前記所定の閾値は、前記オブジェクトから前記ＲＦＩＤ装置までの距離に対応する、付記１乃至３のいずれか１つに記載のオブジェクト追跡及び認識システム。
（付記５）
前記所定の閾値は、前記関係モデルに基づいて単一又は複数の点の推定法によって更新される、付記１乃至４のいずれか１つに記載のオブジェクト追跡及び認識システム。
（付記６）
座標モデル又は画像モデルを前記ビデオ装置及び前記ＲＦＩＤ装置に提供する画像座標又は画像モデルを更に含む、付記１乃至５のいずれか１つに記載のオブジェクト追跡及び認識システム。
（付記７）
前記オブジェクト追跡及び認識システムは、前記ビデオ装置及び前記ＲＦＩＤ装置によって画像情報が検出されると、電子装置の電源をオン／オフするように前記電子装置上に配置されるべく構成されている、付記１乃至６のいずれか１つに記載のオブジェクト追跡及び認識システム。
（付記８）
オブジェクト追跡及び認識システムにおいて使用される方法であって、
前記オブジェクト追跡及び認識システムの検出範囲内にあるオブジェクトの画像情報をビデオ装置によって取得するステップと、
前記オブジェクトのＲＦタグの信号強度をＲＦＩＤ装置によって検出するステップと、含み、
当該検出信号強度が所定の信号強度閾値に到達すると、前記オブジェクトの画像情報を取得するために前記ビデオ装置を作動させる、前記方法。
（付記９）
前記方法は請求項２乃至７記載のオブジェクト追跡及び認識システムで使用される、方法。
【図１】
0005873864.tif 000020
【図２】
0005873864.tif 000021
【図３】
0005873864.tif 000022
【図４】
0005873864.tif 000023
【図５】
0005873864.tif 000024
【図６】
0005873864.tif 000025