(57)【要約】【課題】  処理するデータの量が少なく、しかも、対象動体の動作を任意方向から判別可能な固有空間を用いた動体の動作判別方法を提供する。【解決手段】  予め動体の基本動作の各フレーム画像データＡが点で表示される固有空間データＡを基本動作毎に作成し、判別しようとする対象動体の各フレーム画像データＢが点で表示された固有空間データＢと基本動作毎の前記固有空間データＡとを比較して、固有空間データＢからの距離が最も近い固有空間データＡを選び、対象動体の動作を判別する固有空間を用いた動体の動作判別方法であって、基本動作毎の各フレーム画像データＡは、疑似人モデルに基本動作を行わせ、基本動作を行う疑似人モデルを仮想カメラ群を用いて多方向から観察した動作画像から得る。【選択図】        図１
2007052665.tif 000002
【特許請求の範囲】
【請求項１】
予め動体の基本動作の各フレーム画像データＡが点で表示される固有空間データＡを該基本動作毎に作成し、判別しようとする対象動体の各フレーム画像データＢが点で表示された固有空間データＢと前記基本動作毎の前記固有空間データＡとを比較して、前記固有空間データＢからの距離が最も近い固有空間データＡを選び、前記対象動体の動作を判別する固有空間を用いた動体の動作判別方法であって、
前記基本動作毎の前記各フレーム画像データＡは、疑似人モデルに該基本動作を行わせ、該基本動作を行う疑似人モデルを仮想カメラ群を用いて多方向から観察した動作画像から得ることを特徴とする固有空間を用いた動体の動作判別方法。
【請求項２】
請求項１記載の動体の動作判別方法において、前記疑似人モデルの行う基本動作は、モーションキャプチャー法によって得られたものであることを特徴とする固有空間を用いた動体の動作判別方法。
【請求項３】
請求項１及び２のいずれか１項に記載の動体の動作判別方法において、前記各フレーム画像データＡに微分処理を行って、前記固有空間データＡを作成することを特徴とする固有空間を用いた動体の動作判別方法。
【請求項４】
請求項１〜３のいずれか１項に記載の動体の動作判別方法において、前記固有空間データＡは、前記各フレーム画像データＡをカルーネン・レーベ変換して求められた固有値及び固有ベクトルから作成され、前記固有空間データＢは、前記各フレーム画像データＢを、該固有値及び該固有ベクトルから作成される固有空間に投影して得られることを特徴とする固有空間を用いた動体の動作判別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意方向から観察した動体、特に人の動作を固有空間を用いて判別する方法に関する。
【背景技術】
【０００２】
従来の動体の動作を判別する方法としては、３次元復元や３次元モデルフィッティング等に基づいて、３次元で処理する方法が知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００３−５８９０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、動体の動作を３次元で処理して判別するため、データ量が多くなり、処理時間が膨大となるという問題があった。また、対象動体の動作を１方向からしか判定できないという問題もあった。
本発明はかかる事情に鑑みてなされたもので、処理するデータの量が少なく、しかも、対象動体の動作を任意方向から判別可能な固有空間を用いた動体の動作判別方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記目的に沿う本発明に係る固有空間を用いた動体の動作判別方法は、予め動体の基本動作の各フレーム画像データＡが点で表示される固有空間データＡを該基本動作毎に作成し、判別しようとする対象動体の各フレーム画像データＢが点で表示された固有空間データＢと前記基本動作毎の前記固有空間データＡとを比較して、前記固有空間データＢからの距離が最も近い固有空間データＡを選び、前記対象動体の動作を判別する固有空間を用いた動体の動作判別方法であって、
前記基本動作毎の前記各フレーム画像データＡは、疑似人モデルに該基本動作を行わせ、該基本動作を行う疑似人モデルを仮想カメラ群を用いて多方向から観察した動作画像から得る。
【０００６】
ここで、動体として人を対象とした場合、その基本動作として、例えば、おなかを抱えて座り込む動作、両手又は片手を挙げる動作、歩く動作、及び手を振る動作等がある。また、疑似人モデルとは、人の３次元モデルのことであり、一般にアバターといわれる。疑似人モデルを使用することにより、基本動作を行う動体を標準化することができる。なお、動体としては、人の他に、動物、車等の乗り物、又はロボット等を適用することができる。
【０００７】
本発明に係る固有空間を用いた動体の動作判別方法において、前記疑似人モデルの行う基本動作は、モーションキャプチャー法によって得られたものであってもよい。
ここで、モーションキャプチャー法は、例えば、光学式、音波（超音波を含む）式、又は磁気式等の非接触で計測可能な機器、あるいは機械式のように接触して計測する機器を使用して、人や動物の動きをコンピュータに取り込んで立体化して再現する方法である。
光学式は、動体に、例えば、発光マーカー、反射マーカー、及びパターンマーカー等のいずれかのマーカーを取付けて、複数のカメラ（例えば、ＣＣＤカメラ、高速度カメラ、ハンディータイプカメラ、デジタルＶＴＲ、及びデジタルビデオカメラ等のいずれか１又は２以上）で動体を撮影し、この映像をコンピュータに入力して、動体の動きを検知することができる。
【０００８】
また、音波式では、動体に取付けた超音波の発信器から発信された超音波を、少なくとも３つの超音波受信器で受信し、超音波受信器へ到達する時間の差によって、動体の動きを検知している。音波式では、動体に超音波受信器を取付けてもよい。
更に、磁気式では、動体に磁界を発生する磁界発生器を取付け、磁界中に配置されると電流が流れる磁力計測器によって、誘起された電流の強さから磁界発生器までの距離と方向とを検知して、動体の動きが再現される。
【０００９】
本発明に係る固有空間を用いた動体の動作判別方法において、前記各フレーム画像データＡに微分処理を行って、前記固有空間データＡを作成するのが好ましい。
ここで、微分処理は、例えば、ログ（ＬｏＧ）フィルタ又はソーベルフィルタ等によって行うことができる。ログフィルタは、画像データをぼかして、微分することができる。
【００１０】
本発明に係る固有空間を用いた動体の動作判別方法において、前記固有空間データＡは、前記各フレーム画像データＡをカルーネン・レーベ変換して求められた固有値及び固有ベクトルから作成され、前記固有空間データＢは、前記各フレーム画像データＢを、該固有値及び該固有ベクトルから作成される固有空間に投影して得られるのが好ましい。
ここで、カルーネン・レーベ変換は、カルーネン・レーベ展開ともいわれ、高次元の各フレーム画像データを低次元に変換することができる。
【発明の効果】
【００１１】
請求項１〜４に記載の固有空間を用いた動体の動作判別方法においては、各フレーム画像データＡ、Ｂを点で表示した固有空間データＡ、Ｂを用いて固有空間を構築して対象動体の動作を判別するので、処理するデータの量を少なくでき、対象物体の動作を高速に判別できる。また、基本動作を疑似人モデルに行わせ各フレーム画像データＡを得るので、例えば、標準化した人のデータとすることができ、体型の違いを無くすことができる。更に、疑似人モデルを多方向から観察した動作画像を用いるので、対象物体をどの方向から観察した場合でも動作を判別することができる。
【００１２】
特に、請求項２記載の固有空間を用いた動体の動作判別方法においては、基本動作毎の各フレーム画像データＡを得るための疑似人モデルの基本動作が、モーションキャプチャー法によって得られたものであるので、疑似人モデルの動きが滑らかとなり、対象動体の動きとの誤差が少なくなって判別し易くなる。
請求項３記載の固有空間を用いた動体の動作判別方法においては、各フレーム画像データＡに微分処理を行って、固有空間データＡを作成するので、例えば、服装の違い等による誤差（ノイズ）を減少させることができ、より疑似人モデルを標準化することができる。
請求項４記載の固有空間を用いた動体の動作判別方法においては、固有空間データＡが、各フレーム画像データＡをカルーネン・レーベ変換して求められた固有値及び固有ベクトルから作成され、固有空間データＢが、各フレーム画像データＢを、固有値及び固有ベクトルから作成された固有空間に投影して得られるので、次元を低くでき、動作認識の処理時間を短くできる。
【発明を実施するための最良の形態】
【００１３】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
ここで、図１は本発明の一実施の形態に係る固有空間を用いた動体の動作判別方法のフローチャート、図２はモーションキャプチャー法の説明図、図３は同動体の動作判別方法の疑似人モデルが行う基本動作の撮影方法を示す説明図である。
【００１４】
図１〜図３を参照して、本発明の一実施の形態に係る固有空間を用いた動体の動作判別方法（以下、単に「動体の動作判別方法」ともいう）を、動体として人に適用した場合について説明する。
動体の動作判別方法は、対象動体の一例である人（以下、対象人αという）が行った動作を、予め登録された動体の一例である人を標準化した疑似人モデル（いわゆる、アバターである）βが行った複数の基本動作と比較して、対象人αがどの基本動作（類似している動作も含む）を行ったかを固有空間を用いて判別する方法である。
【００１５】
まず、図１〜図３を参照して、疑似人モデルβが行う基本動作の固有空間データＡの作成方法について説明する。
図２に示すように、複数台、例えば、３台のビデオカメラ（動画が撮影可能であればよい）１１を、多数のマーカー（図示せず）を付けた人γを中心にして、等距離で、中心に向けて水平にそれぞれを１２０度ずらして設置し、人γが行う前記した各基本動作（例えば、腹痛時等でおなかを抱えて座り込む動作、両手を挙げる動作、歩く動作、及び手を振る動作等）を撮影する（ステップ１）。
【００１６】
それぞれの基本動作を撮影した映像をコンピュータに取り込み、モーションキャプチャー法によって人γの動作を解析して、人γを標準化した疑似人モデルβに変換（置換）する（ステップ２）。この際には、人γのいない背景だけの映像（背景画像）を撮影し、人γの含まれる映像（人物画像）から背景画像を引き算し、背景差分を計算して、人γの部分のマスクを作って、人物画像からマスク部分のみを抽出して人γの切り出しを行っている。なお、疑似人モデルβは３次元データを有している。また、以下の作業はコンピュータ内で計算して行う。
【００１７】
次に、図３に示すように、モーションキャプチャー法によって得られた人γの基本動作を、疑似人モデルβに行わせ、疑似人モデルβを中心として水平方向に等間隔に配置される多数、例えば、３６台の仮想ビデオカメラ１２からなる仮想カメラ群１３で撮影して、各フレーム画像データＡを得る（ステップ３）。
ここで、各フレーム画像データＡは、基本動作を撮影した動画中の画像の集合であって、１枚の画像データが、例えば、縦が２５６ピクセル、横が２５６ピクセルで構成されている場合、総画素数が６５５３６画素、つまり６５５３６（Ｌ）次元のデータが得られる。また、例えば、１秒間に１５コマで２秒間撮影した場合、１方向から３０（Ｐ）枚のフレーム画像データが得られ、３６（Ｒ）台のビデオカメラを用いるので、１つの基本動作で１０８０枚の画像データが得られる。
【００１８】
次に、１つの基本動作の全てのフレーム画像データＡから固有空間データＡを作成する（ステップ４）。
まず、フレーム画像データＡのそれぞれの画像データから疑似人モデルβの画像を切り出し、切り出された疑似人モデルβの画像をログフィルタにかけて、各フレーム画像データＡをぼかして微分処理する（ステップ４−１）。
ここで、ログフィルタは、（１）式で示される。
【００１９】
【数１】
2007052665.tif 000003
【００２０】
撮影した全てのフレーム画像データＡの集合Ｘを、（２）式に示す。なお、ｘi はベクトルであり、Ｒはカメラの台数、すなわち３６であり、Ｐは画像の枚数、すなわち３０である。
Ｘ＝（ｘ1 ，ｘ2 ，・・・，ｘRP）・・・（２）
ここで、それぞれの画像を（３）式により正規化した後、（４）式により平均化する（平均を０とする）（ステップ４−２）。
【００２１】
【数２】
2007052665.tif 000004
【００２２】
【数３】
2007052665.tif 000005
【００２３】
（５）式に示す画像データ行列Ｘから、（６）式に示す共分散行列Ｃを求める（ステップ４−３）。なお、Ｌは画素数であり、６５５３６である。
【００２４】
【数４】
2007052665.tif 000006
【００２５】
【数５】
2007052665.tif 000007
【００２６】
カルーネン・レーベ変換により、（７）式を用いて共分散行列Ｃの固有値λ1 ，λ2 ，・・・，λL を求める。但し、λ1 ＞λ2 ＞・・・＞λL である。
Ｃｕ＝λｕ・・・（７）
得られた固有値λ1 ，λ2 ，・・・，λL から、固有ベクトルｅ1 ，ｅ2 ，・・・，ｅL が求められる（ステップ４−４）。
【００２７】
ここで、固有ベクトルのｋ個の最大固有値λ1 ，λ2 ，・・・，λk 、及び、それに対応する固定ベクトルｅ1 ，ｅ2 ，・・・，ｅk を選択し、ｋ個の固有ベクトルの張る空間、すなわち、ｋ次元の固有空間ＥＳ［ｅ1 ，ｅ2 ，・・・，ｅk ］を作成する（ステップ４−５）。
なお、ｋ≪Ｌであり、固有空間ＥＳ上に画像データを写像する変換行列Ｅは、（８）式で示される。例えば、ｋを１００とした場合には、Ｌ次元からｋ次元、すなわち、６５５３６次元から１００次元に下げることができる。
Ｅ＝（ｅ1 ，ｅ2 ，・・・，ｅk ）・・・（８）
【００２８】
ここで、（９）式により、各フレーム画像データＡを固有空間ＥＳ上に写像して、固有空間データＡとして点の集合ｇi （ｉ＝１，２，・・・，Ｐ）を得る（ステップ４−６）。
ｇi ＝ＥT ｘi ＝（ｅ1 ，ｅ2 ，・・・，ｅk ）T ｘi ・・・（９）
なお、累積寄与率ｒは、（１０）式で示される。
【００２９】
【数６】
2007052665.tif 000008
【００３０】
得られた点の集合ｇi を固有空間データベースに保存する（ステップ５）。
以下、同様に他の方向から撮影した基本動作の各フレーム画像データＡからそれぞれ固有空間データＡを作成する。また、他の基本動作の各フレーム画像データＡにおいても、同様にして固有空間データＡを作成し、固有空間データベースに登録する。あるいは、複数の基本動作の全てのフレーム画像データＡから同様にして固有空間データＡを作成し、固有空間データベースに登録してもよい。
【００３１】
次に、対象人αの動作を１台のビデオカメラで撮影する（ステップ６）。
動作画像をコンピュータに取り込み、（１１）式に示す各フレーム画像データＢの集合ｙを得る（ステップ７）。
ｙ＝（ｙ1 ，ｙ2 ，・・・，ｙP ）・・・（１１）
各フレーム画像データＢから対象人αを切り出した後、ログフィルタによりぼかして微分する（ステップ８）。
【００３２】
更に、ステップ４−４で得た固有値及び固有ベクトルから作成される固有空間ＥＳに、（１２）式を用いて、各フレーム画像データＢを投影し、固有空間データＢである点の集合ｈi （ｉ＝１，２，・・・，Ｐ）を得る（ステップ９）。
ｈi ＝ＥT ｙi ＝（ｅ1 ，ｅ2 ，・・・，ｅk ）T ｙi ・・・（１２）
次に、複数の基本動作ｍ（１，２，・・・，Ｍ）からそれぞれ得られた固有空間データＡを示す点の集合ｇi m と点の集合ｈi との間で距離ｄが最小であるものを、（１３）式によって判定し、疑似人モデルβ（人γ）の動作と同じ又は類似した基本動作を判別する（ステップ１０）。
【００３３】
【数７】
2007052665.tif 000009
【実施例】
【００３４】
次に、本発明の作用効果を確認するために行った実施例について説明する。ここで、図４は動体の基本動作の説明図、図５は一基本動作の固有空間データＡのグラフ、図６（Ａ）〜（Ｄ）はそれぞれ基本動作を前後左右から撮影した各フレーム画像データＡから得られた固有空間データＡのグラフ、図７は対象動体の動作の固有空間データＢのグラフである。
【００３５】
まず、図４に示すように、コンピュータグラフィクスによって作成した３次元の疑似人モデルβに、基本動作の一例である腹痛時において行う「おなかを抱えて座り込む動作」を行わせ、疑似人モデルβの周囲に配置した３６台の仮想ビデオカメラで撮影して各フレーム画像データＡを得る。この各フレーム画像データＡからカルーネン・レーベ変換により、固有値及び固有ベクトルを計算し、固有空間データＡを作成する。
【００３６】
図５に示すように、固有値及び固有ベクトルを３次元とした固有空間データＡのグラフは曲面となり、図６（Ａ）〜（Ｄ）にそれぞれ示すように、疑似人モデルβを前後左右方向からそれぞれ撮影した動作画像から作成した３次元の固有空間データＡは曲線となっている。同様にして、他の基本動作、例えば、両手を挙げる動作、歩く動作、及び手を振る動作の固有空間データＡもそれぞれ作成し、複数の基本動作の固有空間データＡの集合である固有空間データベースを得る。
【００３７】
次に、１台のビデオカメラで対象人αを撮影し、動作画像をコンピュータに取り込み、各フレーム画像データＢを得る。フレーム画像データＢから対象人を切り出した後、ログフィルタによりぼかして微分し、得られた各フレーム画像データＢを、前記した固有値及び固有ベクトルから作成される固有空間に投影して固有空間データＢを得る。図７に固有空間データＢを３次元にしたグラフを示す。固有空間データＢと固有空間データベース中の複数の固有空間データＡとを比較して、固有空間データＢとの距離ｄが最小である固有空間データＡの基本動作を、対象人αの動作として判別する。この場合、図７に示す固有空間データＢと図６（Ａ）に示す固有空間データＡの距離が最小となるので、対象人αはおなかを抱えて座り込み、更にビデオカメラは対象人αを前から撮影していることが解る。
【００３８】
本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲での変更は可能であり、例えば、前記した実施の形態や変形例の一部又は全部を組み合わせて本発明の固有空間を用いた動体の動作判別方法を構成する場合も本発明の権利範囲に含まれる。
例えば、前記実施の形態の固有空間を用いた動体の動作判別方法において、対象とする動体は、人以外の動物、車等の乗り物、又はロボット等でもよい。
【００３９】
また、前記実施の形態では、人の行う基本動作をモーションキャプチャー法で解析して疑似人モデルを作成したが、コンピュータグラフィクスを用いて疑似人モデルを作成してもよい。疑似人モデルを３６台の仮想ビデオカメラからなる仮想カメラ群で撮影したが、任意の多数、例えば、３台以上の仮想ビデオカメラで撮影すればよい。また、仮想ビデオカメラを疑似人モデルを中心として水平方向に配置したが、垂直方向に配置してもよい。
更に、人の基本動作は、おなかを抱えて座り込む動作、両手を挙げる動作、歩く動作、及び手を振る動作以外であってもよく、多くの基本動作について固有空間データを作成して固有空間データベースに登録することにより、あらゆる動作を判別することができるようになる。
【産業上の利用可能性】
【００４０】
本発明の固有空間を用いた動体の動作判別方法によって、１台のビデオカメラで人の動作を観察して自動的に動作を判別して、例えば、具合が悪くなり道路に座り込む、又は重い荷物を運んでいる等を自動的に判断して、現場に急行して手を差し伸べる等の支援をすることが可能となる。また、自走式のロボットに本発明の動体の動作判別方法を搭載して人の動作を認識させ、人の介助や支援をすることもできる。これにより、安全で安心して暮らせる社会環境が実現できる。
【図面の簡単な説明】
【００４１】
【図１】本発明の一実施の形態に係る固有空間を用いた動体の動作判別方法のフローチャートである。
【図２】モーションキャプチャー法の説明図である。
【図３】同動体の動作判別方法の対象動体の基本動作の観察方向を示す説明図である。
【図４】動体の基本動作の説明図である。
【図５】一基本動作の固有空間データＡのグラフである。
【図６】（Ａ）〜（Ｄ）はそれぞれ基本動作を前後左右から撮影した各フレーム画像データＡから得られた固有空間データＡのグラフである。
【図７】対象動体の動作の固有空間データＢのグラフである。
【符号の説明】
【００４２】
１１：ビデオカメラ、１２：仮想ビデオカメラ、１３：仮想カメラ群
【図１】
2007052665.tif 000010
【図２】
2007052665.tif 000011
【図３】
2007052665.tif 000012
【図４】
2007052665.tif 000013
【図５】
2007052665.tif 000014
【図６】
2007052665.tif 000015
【図７】
2007052665.tif 000016