(57)【要約】位置座標を、可視光によって照明された画像中の人物に関して計算し、このような位置座標を人物の位置座標と比較し、指定の位置を取らせる指示に対するこのような人物による適合性を評価する機器、システム、及び方法である。
2009531935.tif 000002
【特許請求の範囲】
【請求項１】
人物の画像を可視光を使用して撮影する撮像装置と、
プロセッサと、
出力装置と、を備え、
前記撮像装置は、或る位置での前記人物の画像を撮影するために設けられ、
前記プロセッサは、前記人物の位置を変更させる指示に対する適合性を判定するために設けられる、システム。
【請求項２】
前記出力装置は、前記適合性の結果を示すために設けられる、請求項１記載のシステム。
【請求項３】
前記出力装置は、前記人物の位置を別の位置に変更させる前記指示を与えるために設けられ、前記プロセッサは、前記人物の位置を前記別の位置に変更させる前記指示に対する適合性を判定するために設けられる、請求項１記載のシステム。
【請求項４】
前記プロセッサは、前記指示に対する不適合を評価するために設けられ、前記出力装置は、前記不適合を是正するための示唆を与えるために設けられる、請求項１記載のシステム。
【請求項５】
前記プロセッサは、前記画像中の被写体の色を特定するために設けられる、請求項１記載のシステム。
【請求項６】
前記プロセッサは、前記人物を背景画像データから区別するために設けられる、請求項１記載のシステム。
【請求項７】
前記プロセッサは、前記人物の骨格の座標を計算するために設けられる、請求項１記載のシステム。
【請求項８】
前記プロセッサは、前記人物の頭部−胴体軸と肩軸との交点を計算するために設けられる、請求項１記載のシステム。
【請求項９】
前記プロセッサは、前記人物の骨格の凸欠陥を計算するために設けられる、請求項１記載のシステム。
【請求項１０】
前記プロセッサは、前記凸欠陥の開口率を計算するために設けられる、請求項９記載のシステム。
【請求項１１】
前記プロセッサは、前記人物の骨格の重心からの凸欠陥の重心の距離及び位置を計算するために設けられる、請求項１記載のシステム。
【請求項１２】
前記プロセッサは、前記画像中の被写体の形状を特定するために設けられる、請求項１記載のシステム。
【請求項１３】
前記撮像装置は、前記人物の別の画像を撮影するために設けられ、
前記プロセッサは、前記画像における前記人物の骨格の重心からの凸欠陥の重心の第１距離及び位置を計算し、前記別の画像における前記人物の骨格の重心からの凸欠陥の重心の第２距離及び位置を計算し、前記第１距離及び位置を、前記別の画像における前記人物の前記第２距離及び位置と比較するために設けられる、請求項１記載のシステム。
【請求項１４】
メモリと、
プロセッサと、
出力装置と、
撮像装置と、を備え、
前記撮像装置は、可視光を使用して人物の画像を撮影し、
前記プロセッサは、前記画像における前記人物の複数の第１位置座標を計算し、
前記出力装置は、前記人物の位置を変更させる信号を送出し、
前記プロセッサは、前記メモリ内に保存された前記複数の第１位置座標を、複数の第２位置座標と比較し、
前記出力装置は前記比較結果を示す信号を送出する、機器。
【請求項１５】
前記複数の第１位置座標は、前記人物の骨格の複数の凸欠陥の重心ポイントに対応する、請求項１４記載の機器。
【請求項１６】
前記プロセッサは、前記画像中の複数の色クラスタを計算し、前記複数の色クラスタを前記メモリ内に保存された色クラスタ情報と比較するために設けられる、請求項１４記載の機器。
【請求項１７】
可視光を使用して撮影された第１画像中の人物の位置座標を計算すること、
前記第１画像中の前記人物の位置座標を第２画像中の前記人物の位置座標と比較すること、
規定の位置を取らせる指示に対する前記第２画像中の前記人物による適合性を評価すること
を備える方法。
【請求項１８】
前記計算することは、前記第２画像中の前記人物の重心からの該第２画像中の凸包欠陥の重心の距離及び位置を計算することを含む、請求項１７記載の方法。
【請求項１９】
前記第１画像中の色ピクセルをクラスタリングすること、
前記第１画像中の色クラスタを前記第２画像中の色クラスタと比較すること
を備える請求項１７記載の方法。
【請求項２０】
命令を格納する記憶媒体を備えた装置であって、命令がコンピュータで実行されると、
可視光を使用して撮影された画像中の人物の位置座標を計算し、
前記画像中の前記人物の位置座標を既知の位置の人物の位置座標と比較し、
前記画像中の前記人物の位置を求める、装置。
【請求項２１】
命令が前記コンピュータで実行されると更に、前記画像中の前記人物の骨格の重心からの前記画像中の前記人物の凸包欠陥の重心の距離及び位置を計算する、請求項２０記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して、画像処理に関し、特に画像中の人物の位置の変化の分析に関する。
【背景技術】
【０００２】
種々の活動では、ユーザまたは被験者は第１の位置を取り、次に或る指示に従って第２の位置を取ることが要求される。例えば、安全確認手順では、ユーザがまず、カメラに顔を向け、次にカメラから顔を背けることが要求される。スポーツ、運動プログラム、訓練コース、または物理療法レジメンでは、ユーザまたは被験者が、セッションの途中で一つ以上の位置を取り、次に、このような位置を、例えば一つ以上の指示に従って変えることが要求される。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
現在、訓練を受けたオブザーバーがユーザまたは被験者に指示して位置を変えさせ、次に変化後の位置を観察することによって、指示に対する被験者の適合性（compliance）を評価し、または補正している。
【課題を解決するための手段】
【０００４】
本発明の実施形態は、人物の画像を可視光を使用して撮影する撮像装置と、プロセッサと、出力装置と、を備えるシステムを含む。撮像装置は、或る位置での人物の画像を撮影するために設けられ、プロセッサは、人物の位置を変更させる指示に対する適合性を判定するために設けられる。或る実施形態では、出力装置は、適合性の結果を示すために設けられる。或る実施形態では、出力装置は、人物の位置を別の位置に変更させる指示を与えるために設けられ、プロセッサは、このような指示に対する適合性を判定するために設けられる。或る実施形態では、プロセッサは、指示に対する不適合を評価するために設けられ、出力装置は、不適合を是正するための示唆を与えるために設けられる。或る実施形態では、プロセッサは、画像中の被写体の色を特定するために設けられる。或る実施形態では、プロセッサは、画像における人物を背景画像データから区別するために設けられる。或る実施形態では、プロセッサは、人物の骨格の座標を計算するために設けられる。或る実施形態では、プロセッサは、人物の頭部−胴体軸と肩軸との交点を計算するために設けられる。或る実施形態では、プロセッサは、人物の骨格の凸欠陥を計算するために設けられる。或る実施形態では、プロセッサは、凸欠陥の開口率を計算するために設けられる。或る実施形態では、プロセッサは、人物の骨格の重心からの凸欠陥の重心の距離及び位置を計算するために設けられる。或る実施形態では、プロセッサは、画像における被写体の形状を特定するために設けられる。或る実施形態では、プロセッサは、画像における色をクラスタリングするために設けられる。或る実施形態では、撮像装置は、人物の別の画像を撮影するために設けられ、プロセッサは、画像における人物の骨格の重心からの凸欠陥の重心の第１距離及び位置を計算し、別の画像における人物の骨格の重心からの凸欠陥の重心の距離及び位置を計算し、画像における距離及び位置を別の画像における人物の距離及び位置と比較するために設けられる。
【０００５】
或る実施形態では、本発明は、メモリと、プロセッサと、出力装置と、撮像装置とを有する機器を備え、画像は可視光を使用して撮影され、プロセッサは、画像における人物の２つ以上の第１位置座標を計算し、出力装置は、人物の位置を変更させる信号を送出し、プロセッサは、メモリに保存された２つ以上の第１位置座標を２つ以上の第２位置座標と比較し、出力装置は、その比較結果を示す信号を送出する。或る実施形態では、２つ以上の第１位置座標は、人物の骨格の凸欠陥の２つ以上の重心ポイントに対応する。或る実施形態では、プロセッサは、画像における２つ以上の色クラスタを計算し、その２つ以上の色クラスタをメモリに保存された色クラスタ情報と比較するために設けられる。或る実施形態は一つの方法を含み、当該方法は、可視光を使用して撮影された第１画像における人物の位置座標を計算すること、第１画像における人物の位置座標を第２画像における人物の位置座標と比較すること、規定の位置を取らせる指示に対する第２画像における人物による適合性を評価することを含む。或る実施形態では、第２画像における人物の重心からの第２画像における凸包欠陥の重心の距離及び位置を計算する。或る実施形態では、第１画像における色ピクセルをクラスタリングし、第１画像におけるクラスタリングされた色ピクセルを第２画像における色クラスタと比較する。
【発明を実施するための最良の形態】
【０００６】
以下、本発明の種々の実施形態について説明するが、特定例により本発明の少なくとも一つの実施形態をより理解することができるようにする。しかしながら、この技術分野の当業者であれば、本発明の他の実施形態はここに記載した例に制限されないことを理解する。更に、公知の機能またはプロセスは省略する、または簡略化することにより、ここに記載される本発明の実施形態が不明瞭になることを避ける。
【０００７】
特に断らない限り、本明細書を通じて、「選択する」、「処理する」、「演算する」、「計算する」、「判定する」、「指定する」、「割り当てる」などの用語を利用する説明は、コンピュータ、コンピュータプロセッサ、またはコンピューティングシステム、或いは同様の電子コンピューティングデバイスの動作及び／又はプロセスに関して行なわれ、これらの装置は、例えばコンピューティングシステム、メモリのレジスタ及び／又はメモリ内の物理量（電子量など）として表わされる画像データなどのデータを扱い、及び／又はそれらのデータを、コンピューティングシステムのメモリ、レジスタ、または他のそのような情報記憶装置、送信装置または表示装置内の物理量として同様に表わされる他のデータに変換する。
【０００８】
ここに提示されるプロセス及び機能は、いずれかの特定のコンピュータ、撮像装置、出力装置、または他の装置に固有に関連する訳ではない。ここに記載される実施形態は、いずれかの特定のプログラミング言語、機械コードなどで記述される訳ではない。種々のプログラミング言語、システム、プロトコル、またはハードウェア構成を使用して、ここに記載される本発明の実施形態による示唆を実行することができる。
【０００９】
本発明の一つの実施形態によるシステムの構成要素の概要を図１を参照しながら示す。本発明の一つの実施形態を用いるために使用することができるシステムの構成要素は、例えば撮像装置１００を含み、この撮像装置１００として、例えばデジタルカメラのようなカメラ、カラーデジタル撮影装置、または別の適切なデジタル撮像装置１００を挙げることができる。或る実施形態では、撮像装置１００は、例えばデジタルカメラとすることができる、またはデジタルカメラを含むことができる。デジタルカメラは、例えばパーソナルコンピュータのようなコンピューティングデバイス１０２、ワークステーション、ビデオゲームコンソール、携帯情報端末、ローカルエリアネットワーク、ワイドエリアネットワーク、あるいは他のコンピューティングデバイスまたはシステムに接続することができる。撮像装置１００及びコンピューティングデバイス１０２の一方、または両方が、例えばＣＰＵのようなプロセッサ１０４、または他のプロセッサを含む。或る実施形態では、プロセッサ１０４は、デジタル信号処理機能を備える。或る実施形態では、撮像装置１００及びコンピューティングデバイス１０２の少なくとも一方は、例えばランダムアクセスメモリのようなメモリ１０５のようなデータストレージユニット、ディスクドライブ、フラッシュメモリ、あるいは例えば画像データまたは他のデータを保存可能な他のマスデータストレージユニットを含む。或る実施形態では、システムは、例えばコンピュータスクリーン、ビデオスクリーンまたは他のスクリーンのようなディスプレイのような出力装置１０６を含む。また、システムは、一つ以上のスピーカ、あるいはユーザまたは被験者が閲覧し、聞き、または感知することができる指示または他のメッセージを送出可能な他の出力装置を含むこともできる。
【００１０】
或る実施形態では、本発明のシステムの構成要素群の一つ以上は、より少ない数の装置に統合する、またはより多くの数の装置に分散させることができる。例えば或る実施形態では、撮像装置１００は、プロセッサ１０４、メモリ１０５、及び出力装置１０６を含む、またはこれらの構成要素に接続することができ、また、このような構成要素の全てを、単一ユニットに収容することもできる。
【００１１】
本発明の或る実施形態では、動作状態では、撮像装置１００は人物１１０の画像を撮影する。プロセッサ１０４は、撮影画像における人物１１０の所定の位置座標を計算し、その座標で、例えば人物１１０の一つ以上の手足、四肢、または他の身体部位の位置を、このような身体部位が現れた画像において定義することができる。出力装置１０６または他のそのような構成要素は、ユーザまたは人物１１０に指示を与えて、人物１１０の手足、身体パーツ、四肢、他の身体部位のうちの少なくとも一つの位置を変更、または変化させる。撮像装置１００は人物１１０の別の画像を撮影し、プロセッサ１０４は、このような他の画像における人物１１０の位置を定義する別セットの位置座標を計算する。プロセッサ１０４は、例えば指示が出される前に撮影された画像における人物１１０の、あるいはこの人物１１０の或るパーツの場所座標群または位置座標群のうちの一つ以上の座標を、指示が出された後に撮影された画像における人物１１０の、またはこの人物１１０の或るパーツの場所座標群または位置座標群と比較する。例えば、このような比較に基づいて、一つ以上の出力装置１０６は、位置を変更する指示に対して人物１１０が適合しているかどうかをユーザに通知する。或る実施形態では、出力装置１０６は、例えばユーザに、または他の被験者に、指示に対する不適合に関して、その不適合の性質を通知し、人物１１０の位置を是正するように提案して指示に対する適合性が得られるようにする。
【００１２】
或る実施形態では、人物１１０の画像は、このような画像及び人物が、例えば白色光、蛍光、または他の可視光、或いは、例えば室内環境照明システムから通常、容易に利用することができる光によって照明されるときに撮影することができる。或る実施形態では、人物１１０の画像は、人物１１０が外灯の下で撮影される。或る実施形態では、指示は、一つ以上の被写体に対して与えられ、感知され、または作用する。或る実施形態では指示は、特定の色、形状、濃度、または他の特徴を有する被写体に対して与えられる。
【００１３】
或る実施形態では、人物１１０は、例えばヒトの身体、あるいは他の動物またはアニメーションオブジェクトの身体のような身体であるか、もしくはこれらの身体を含む。或る実施形態では、人物１１０は一つの身体と共に、例えば、ブロック、工具、部品、または組立部品のような一つ以上の無生物オブジェクトを含むことができる。或る実施形態では、人物１１０は、人または他のユーザが操作することができる一つ以上の無生物オブジェクトを含むことができる。
【００１４】
或る実施形態では、プロセッサ１０４は、第１画像の画像データを処理し、背景の画像データを人物１１０の画像データから分離する、またはこれらのデータの差分を取る。或る実施形態では、撮像装置１００は最初に、または他の或る時点で、人物１１０を除く背景の画像を撮影する。例えば、或る実施形態では、システムは、例えば出力装置１０６または他の手段を利用して、人物１１０を撮影対象領域から除外し、当該領域の画像を撮影するように要求する。人物１１０またはユーザがこのような要求を遵守するかどうかは、例えばモーション検出方法により検査または確認することができる。モーション検出方法では、例えば連続フレーム間差分を、差分絶対値の低い閾値と共に用いることにより撮影対象領域における移動をチェックする。疑わしい移動領域を、関連するコンポーネント基準によって検証して、実際の移動領域と分離したノイズピクセルとを区別する。尚、背景から削除される人物に対する要求の遵守を確認するのに他の方法を用いてもよい。
【００１５】
例えば、人物１１０が撮像装置１００の視野から外れている期間において、プロセッサは背景の一つ以上の画像を撮影し、背景のピクセル毎の平均＋分散からなる画像行列の統計量を計算する。或る実施形態では、一旦、人物１１０が撮像装置１００の視野に進入すると、画像におけるピクセル毎の（統計上の平均値）＋（分散閾値の基準値）×αからの偏差を使用して、人物１１０が特定ピクセルの視野に含まれるかどうかを判断する。別の背景除去技術では、中央値の行列をフレーム集合に基づいて計算し、閾値基準を適用して前景被写体を分離する。適切な閾値は、例えば異なる画像のピクセル値のヒストグラムの分析結果を使用して計算することができる。代表的な差分画像からバイモーダル（bi-modal）ヒストグラムが得られ、明るい方の感覚情報（modality）が人物１１０のような前景被写体を表わす。或る実施形態では、閾値は、２つのモーダルピークを結ぶ、すなわちそれらのピークに接する直線からヒストグラム上の或るポイントまでの直交距離を最大にする階調レベルとして設定することができる。撮像装置１００がカラー撮像装置である場合、このプロセスは、異なるカラーチャネルに対して別々に行なうことができ、画像の差分処理は、例えば異なる色成分の差分画像データのピクセル毎の最大輝度値に基づいて行なうことができる。他の背景除去方法を使用することができる。
【００１６】
図２Ａを参照すると、例えば背景画像からの前景画像の差分を取った後の人物１１０の２値化フィルタ処理画像が示される。開閉機構付フィルタのような形態学フィルタを使用して、例えば人物１１０の境界を平滑化し、例えば、２値化処理が不完全であるという問題によって生じている隙間を埋めることができる。例えば、領域開放処理（area opening process）では２値化画像ラベル付けを行ない、この場合、２値化画像の関連する要素に固有の方法でラベル付けし、所定の閾値を下回る領域を有するラベル付けされたセグメントを充填または消去する。他の処理を使用して、前景または人物１１０の輪郭及び領域を統合または画定することができる。
【００１７】
或る実施形態では、システムの撮像装置１００または一つ以上の他の構成要素は、人物１１０を視野内の中心に置いて、例えば観察しようとする少なくとも頭部及び腕、または他の四肢が撮像装置１００によって検出されるようにする。或る実施形態では、システム、オペレータ、または構成要素は、人物１１０が最大の被写体であるという仮定の下に、撮像装置１００の視野の中心を、撮像装置１００の視野における背景以外の最大の被写体の近傍に合わせるように指示する。人物１１０を視野の中心に置く他の方法を用いることができる。或る実施形態では、ユーザに対して人物１１０を視野の中心に置くように操作させる指示は、出力装置１０６を介して与えられる。或る実施形態では、カメラは、例えばプロセッサ１０４からの信号に応答して移動することにより、撮像装置１００の視野の中心に人物１１０を置く。或る実施形態では、例えば２人の人物１１０が分析対象の位置に居る場合には、視野の中心を特定の被写体または人物１１０の近傍に置く必要はない。或る実施形態では、人物１１０の切り出し骨格は、例えば中心軸変換法を使用して生成する。例えば、図２Ｂは、本発明の一つの実施形態による人物の骨格化画像である。人物１１０を骨格化することにより、人物１１０のポーズの分類に際する複雑さを、人物１１０を一連の直線及び曲線で表すことにより低減することができる。事後処理切り出しステップを骨格化処理に加え、このような切り出し処理によって、骨格が飛び出したり、または骨格が不連続に延在したりする現象を無くすことができる。或る実施形態では、例えば、Ｚｈａｎｇ−Ｓｕｅｎの手法のような、ノイズアーチファクトを除去する機能を内蔵している骨格化手法を使用することができる。他の骨格化処理を使用したり、人物１１０のポーズの複雑さを定量化する、または低減する他の方法を使用することもできる。
【００１８】
骨格化された人物に基づいて、骨格の凸包画像（convex hull image ）から骨格を差し引くことにより、主要な凸欠陥（convex deficiencies ）を抽出することができる。領域開放処理によって、小領域を結果から全て除去することにより、図を更に簡略にすることもできる。例えば、図２Ｃは、骨格化処理した人物１１０の凸包欠陥（convex hull deficiencies）を示している。これらの凸包欠陥のうちの一つ以上に、異なる色または他のラベルを割り当てることができる。
【００１９】
或る実施形態では、人物１１０の、または人物の骨格の腕伸張方向軸すなわち横方向軸と、人物１１０の、または人物１１０の骨格の頭部正面方向軸すなわち縦方向軸との交点を表わす点を、人物１１０の重心として指定する。人物１１０の他の点または他の領域を重心として指定することもできる。或る実施形態では、重心は、骨格化画像を、骨格中のピクセルの数の和を計算する定値カーネルで畳み込む処理により特定される。畳み込み画像に所定の閾値を適用して、重心点の候補を見付け出すことができる。この理由は、横方向軸すなわち腕−肩軸と、縦方向軸すなわち頭部−胴体軸との交点は、曲線または直線が持つことができるピクセルよりも多くのピクセルを持つからである。或る実施形態では、重心を所望の重心として、例えばこのような点が４つの隣接する凸包欠陥の一致点であると判断することにより確認することができる。人物１１０の重心を特定する、または指定する他の方法を用いることができる。人物１１０の重心点から、これらの凸包欠陥のうちの一つ以上の中心または重心までのユークリッド距離を計算する。図２Ｄに示すように、人物１１０の重心から人物１１０の凸包欠陥領域群のうちの一つ、または各凸包欠陥領域の中心までの距離または位置を計算する。凸包欠陥の位置は、例えば人物１１０の重心の周りの象限を使用することにより指定し、これらの象限では、人物１１０の重心に対する特定の凸包欠陥の中心または重心のＸ、Ｙ座標を基準とする。この位置は、上で計算されたＸ、Ｙ方向の両方向における差の符号に基づいて推定して、人物１１０の重心に対する欠陥の中心の位置を求めることができる。
【００２０】
計算を、特定の凸包欠陥の開口率に関して更に行なうことができる。図２Ｄに示すように、特定の凸包欠陥の開口率の指標は、例えば特定の凸包欠陥の合計周囲長を、このような周囲の内、骨格化された人物に含まれる部分と比較することにより計算することができる。例えば、或る実施形態では、開口率値が１である場合、凸包欠陥全体が骨格化画像内に閉じ込められる。開口率は、腕、脚、または他の四肢の末端部または他の部分がボディに触れているかどうかの指示値として使用することができる。開口率の他の指標を使用することができ、ボディ質量に対する四肢に関する他の計算を行なうことができる。人物の他の特徴を抽出することができる。
【００２１】
或る実施形態では、人物１１０の重心からの凸包欠陥の中心の距離は、例えば人物１１０の境界ボックスから求めることができる係数で正規化することができる。他の正規化技術を使用することができる。このような正規化では、例えば撮像装置１００と人物１１０との間の距離の可変性、または人物１１０の特定の身体部位または四肢のサイズの可変性を説明することができるスケールに対する不変性が必要になる。
【００２２】
或る実施形態では、第１画像の中から収集される凸包欠陥の中心の位置座標のような抽出された特徴量のベクトルは、第２画像の中の凸包欠陥の中心の該当する位置座標と比較することができる。或る実施形態では、位置座標のベクトルを使用して人物１１０のポーズを、このベクトルと、指定されたポーズ、または指示によって取るべきポーズに関する事前の分析から収集されている取得済みベクトル集合との間のユークリッド距離を比較または分析することにより分類することができる。或る実施形態では、生成された位置座標ベクトルと、取得済み座標集合との間の類似度を最低一致率の基準と閾値比較することにより、適合性を判定し、指示に対する適合度を求めることができる。例えば或る実施形態では、例えば或る人物の重心に対する凸包欠陥の中心または重心の一つ以上の位置座標の実際の、または正規化された距離及び位置を、他の人物に関するこのような実際の、または正規化された距離の推定値と、または一つ以上のサンプル値と比較することができるが、これはこのような他の人物が特定の位置を取っていると推定することができるからである。このような比較結果は、特定の位置を取らせる指示に対する人物の適合性を表す指示値として使用することができる、または例えば、人物の位置に関する判断の一部分として使用することができる。例えば、一つ以上の位置の人物の種々の位置座標のサンプルまたは集合を、例えばデータベースに収集してもよい。当該集合は、例えば座っている、立っている、体を曲げている人物の位置座標、及び他の種々の位置の人物の位置座標を含むことができる。或る人物の位置座標を収集し、人物に関するこのようなサンプルまたは集合と比較することができる。対象人物の位置に関する判断は、このような比較結果に基づいて行なう。
【００２３】
本発明の一つの実施形態による人物の骨格に含まれる凸包欠陥周囲長の割合を、図２Ｅを参照しながら説明する。このような人物では、凸包欠陥の内、人物の骨格の一部分ではない周囲長が十字線として示される。或る実施形態では、例えば指示が出される前に撮影された画像の中の骨格化された人物の、または凸包欠陥の閉ループの数のような開口率ファクターを、指示が出された後に撮影された画像の開口率ファクターと比較してもよい。このような比較結果は、画像毎の一つ以上の骨格セグメントの位置の変化を示唆する。骨格化画像の一部分の位置座標と凸包欠陥の中心の位置座標との間で他の比較を行なって、人物１１０のポーズ、または指示に対する人物１１０による適合性を確認する。特徴量ベクトル群の類似度に関する他の指標を使用することができる。
【００２４】
或る実施形態では、位置座標は、欠陥内の実際のポイントではなく、画像中の別のポイントまたは領域に対する画像の或るポイントまたは領域を指す。例えば、或る位置座標は、例えば画像中の人物の重心に対する画像中の或るポイントまたは領域を指す。位置座標は、画像中の他の或る基準ポイントを基準として表現することができる。
【００２５】
或る実施形態では、或るポーズに対応させることができる取得済みベクトルのデータベースは、特定のユーザまたは人物１１０から収集されるベクトルで更新することができる。或る実施形態では、ノンパラメトリッククラスタリング（non-parametric clustering ）法を使用して、特定のポーズを表わす特徴を近似することができる。更に座標を、例えば人物１１０の一連の画像のように、一つよりも多くの画像から収集し、収集された座標の中央値を、人物１１０の位置を定義するために、当該位置を、取得済みの一連の座標、またはこれまでに収集された座標集合と比較するために考慮に入れてもよい。或る実施形態では、ベクトル集合群を、特定の位置の人物の例として分類することができ、特定のベクトル群を、これらの集合と比較することによって、人物１１０のポーズを推定する、または確認することができる。或る実施形態では、ボール、さいころ、玩具、または楽器のような種々の被写体のサイズ、形状、または色のような座標は、例えばシステムに接続されるデータベースに保存することができ、例えば現在の画像から収集された座標を保存座標と比較して、例えば画像中の被写体がデータベースで認識される、または判明するかどうかを確認することができる。例えば、玩具の形態においては、例えばゲームの一部分となる動物、絵柄、または他のオブジェクトの一つ以上の既知の形状の座標をデータベースに保存して、システムが、このような認識オブジェクトが画像中に現われる時刻を通知することができるようにする。
【００２６】
或る実施形態では、位置座標を一連のフレームに亘って収集し、指示に対する人物による適合性を計算によって継続的に判定して、例えば人物が位置を変えたことを把握することができる。或る実施形態では、或るポーズに関連付けられる或る範囲の保存座標からの大きな変化のみが、指示に対する不適合の状態を明らかにすることができる。
【００２７】
或る実施形態では、指示が出されると、有色被写体の画像への進入が伴なう。例えば、指示が、「赤いボールをあなたの左手で拾いなさい」という指示、またはその内容を含むものとする。色を利用する指示に対する適合性は、例えば指示が出される前に撮影された画像の中の背景以外の色をクラスタリングし、その色クラスタリングを、指示が出された後に撮影された画像の中で繰り返すことにより測定することができる。画像間での画像密度、及び色クラスタの位置の比較結果を、指示に対する適合性を確認するために使用することができる。同様に、指示前の画像及び指示後の画像における一つ以上の位置座標の比較結果を色クラスタの位置座標と組み合わせて、例えば特定の色クラスタへの、指定された手足、または四肢の近接度を判断することができる。
【００２８】
例えば、指示前の画像の前景に現われる色は、例えばカラーピクセルの大集合のクラスタリングを可能にするノンパラメトリッククラスタリングプロセスにおいてクラスタリングすることができる。或る実施形態では、平均シフトアルゴリズムをこのようなクラスタリングに使用することができる。他のクラスタリング法も使用することができる。或る実施形態では、色を抽出し、色ベクトルを記録する。人物の主要な色は、別のクラスタリングを、観測される色ベクトルに基づいて行なって抽出することができる。比較を複数の色クラスタ間で行なってもよい。或る実施形態では、指示前に撮影された画像の中のこのようなクラスタや色クラスタの位置と、指示後に撮影された画像の中のこれらのクラスタの位置との間で比較を行なう。他のカラーセグメンテーション法を使用することもできる。
【００２９】
或る実施形態では、有色被写体を認識するためのクラスタリング手順を一つの画像、または一連の画像に対して施すことができ、この場合、例えば画像の内、例えば新規に導入される有色部分のピクセル基準値を、例えば前の画像の有色領域と比較することができる。例えば、クラスタリングを、例えば赤、緑、青を含む色欠陥（他の色欠陥を使用することもできる）に対して行なうことができ、この場合、例えば（平均シフト法のような）ノンパラメトリッククラスタリングの結果は、例えば画像中の主要な色を表わす色ベクトル集合とすることができる。幾つかの画像に対して行なわれる場合、これらの色ベクトルは、より高い精度で求めることができ、この操作は、例えば色による第２のクラスタリングを、例えば広いクラスタ範囲でクラスタリングされている有色領域に対して適用することにより行なわれる。或る実施形態では、例えば色クラスタの位置を、例えば他の色クラスタ、骨格化欠陥の位置に対して、または例えば人物の他のパーツの位置座標に対してマッピングすることができる。
【００３０】
例えば、新規の色または新規の有色被写体が画像に現われる場合、新規の色または新規の有色被写体の存在を検出することができる別のクラスタリング手順を施すことができ、この手順によって画像中の被写体の色を特定することができる。例えば、前の画像または計算から導出される色ベクトルが、先行するまたは前の画像の色クラスタに、欠陥または位置に関して類似するということがない、または近いということがない場合、このような色または有色被写体は新規の色または新規の有色被写体として検出することができる。或る実施形態では、色または有色被写体に対する色クラスタリングまたは他の検出は、背景減算を使用して、または使用することなく行なうことができる。
【００３１】
使用される或るクラスの指示が、例えば所定形状または画像を有する既知の被写体を、撮像装置１００に対する当該指示に基づいて表示するために出される場合、パターン認識アルゴリズムでは、メリン（Ｍｅｌｌｉｎ）変換を利用するテンプレートマッチングのような、定回転高速スケール（fast scale and rotation invariant ）変換を使用することができる。
【００３２】
或る実施形態では、信号を、例えばユーザまたは人物１１０に対して送出して、指示に適合しているかどうかについて通知する。例えば、一つ以上のスピーカのような出力装置１０６は、音声合成指示またはテープメッセージを用いてユーザに、当該ユーザが指示に適合しているかどうかを通知する。或る実施形態では、プロセッサ１０４はメッセージの一部分を含むデータベースにアクセスして、指示に対する適合／不適合に対応する応答を作成する。或る実施形態では、メッセージがスクリーンまたは他のディスプレイに現われて、適合している旨を、または適合していない旨を表示する。或る実施形態では、プロセッサは不適合を判断し、ユーザに特定形態の不適合を、その不適合を是正する方法についての提案と共に通知する。他の催促または指示を送信することもできる。例えば、「あなたの膝を高く上げなさい」または「非常に良くできました、次に、あなたの肘を曲げて下さい」というメッセージをユーザまたは人物１１０に送信することができる。或る実施形態では、一連の指示によって、例えばユーザの運動療法、トレーニングセッション、または他の一連の移動を適用することができる。
【００３３】
図３を参照すると、本発明の一つの実施形態による方法のフロー図が示される。ブロック３００では、画像中の人物の一つ以上の位置座標の計算を行なう。或る実施形態では、位置座標は、例えば人物の重心、及び例えば人物の骨格化画像の一つ以上の凸欠陥の中心、エッジ、または他のポイントの一つ以上の位置座標を含む。他の位置座標を計算し、例えばメモリに保存することができる。
【００３４】
ブロック３０２では、第２画像中の人物の位置座標に関する第２の計算を行なう。或る実施形態では、第２画像中の人物の位置座標を、第１画像中の人物の位置座標と比較し、このような位置の差を計算する。
【００３５】
ブロック３０４では、第２画像中の特定の座標の位置を、例えば第１画像中の対応する位置座標と比較し、これらの座標の位置に関する相対的な移動または変化を、指定位置を取らせる指示を人物が遵守して取る位置に対応する座標の予測位置と共に計算する。例えば、第２画像中の人物の骨格化画像の頭部の頂部の座標が、第１画像中の人物の重心の座標よりも絶対的に、または相対的に低くなる。頭部の頂部に対応する相対的に低い座標は、人物に対して膝を曲げるよう要求し、かつ第１画像の撮影時点と第２画像の撮影時点との間に出された指示に対応する。或る実施形態では、出力装置は、指示に対する適合性についてユーザまたは人物に通知することができる。
【００３６】
或る実施形態では、本発明の方法では、人物をモニタリングして、人物が位置を変えたかどうかを判断することができる。例えば、或る実施形態においては、本発明の方法では、例えば寝たきりの人物、または動くことができない人物の第１画像を、人物が例えばベッドに横たわっているままで撮影する。本発明の方法では、人物の移動をモニタリングし、人物が、例えば手足または四肢を、所定の閾値を超える距離だけ移動させた場合に警報を発することができる。
【００３７】
或る実施形態では、人物の一つ以上の位置座標を、例えば一つ以上の位置の人物の位置座標の一つ以上のサンプルと比較する。或る画像中の人物の位置の判断は、このような比較によって行なう。或る実施形態では、「取得した座標」の集合またはデータベースは、例えば単一のユーザから、または一人よりも多くのユーザの一つのサンプルから収集することができ、このようなサンプル、または取得した座標は、特定のポーズに対応するものとして保存することができる。後の時点で収集することができる座標を、このような取得したポーズと比較することにより、指示または催促に対するユーザによる適合性を判定することができる。例えば身体治療計画を受けている患者に指示することにより、或る位置を取らせる、または運動を実施させることができる。セラピスト（治療専門家）は運動を実施することができ、システムは、セラピストの座標をサンプル期間に亘って記録することができる。次に、患者は同じ運動を実施し、本発明の実施形態では、患者の演技をセラピストの演技と比較することができ、患者の演技を追跡することができる。
【００３８】
或る実施形態では、システムを微調整することにより、または継続的に学習させることにより、特定のユーザのポーズまたは位置を特定することができる。例えば、特定のポーズまたは被写体の位置座標または色座標が、例えばデータベースに保存される場合においては、システムは同じ位置の特定ユーザの座標を収集することができる。システムは、画像中の人物の位置を分析すると、保存座標を、これらの座標を、同じ位置のユーザの画像から収集される実際の座標と比較することにより正確な値にする。或る実施形態では、保存座標及び新規座標の平均は、特定のポーズに対するユーザによる適合性を確認するための新規の指標の一部分となる。例えば、位置の分類の確度から求めることができる係数αがα＝０．０１とする場合、（１−α）＊ＯＬＤ＋α＊ＮＥＷのように使用される。これによって、分類ベクトルを、特定の被験者の該当する位置に関する精度の高い表示に偏らせて、将来時点の分類確度を高めることができる。
【００３９】
この技術分野の当業者であれば、本発明の実施形態は、上記記載した内容に制限されないことを理解し得る。制限されるのではなく、本発明の少なくとも一つの実施形態の技術的範囲は、添付の特許請求の範囲によって規定される。
【図面の簡単な説明】
【００４０】
【図１】本発明の好適な実施形態によるシステムの構成要素の概要図である。
【図２】２Ａは、本発明の一つの実施形態による人物の２値フィルタリング処理済み画像を示し、２Ｂは、本発明の一つの実施形態による人物の骨格化画像を示し、２Ｃは、本発明の一つの実施形態による人物の骨格化画像の凸包欠陥を示し、２Ｄは、本発明の一つの実施形態による人物の重心からの凸包欠陥の重心の距離及び位置を示し、２Ｅは、本発明の一つの実施形態による人物の骨格に含まれる凸包欠陥周囲長の割合を示す。
【図３】本発明の一つの実施形態による方法のブロック図である。
【図１】
2009531935.tif 000003
【図２Ａ】
2009531935.tif 000004
【図２Ｂ】
2009531935.tif 000005
【図２Ｃ】
2009531935.tif 000006
【図２Ｄ】
2009531935.tif 000007
【図２Ｅ】
2009531935.tif 000008
【図３】
2009531935.tif 000009