(57)【要約】      （修正有）【課題】円弧状の投影座標系を有するバーチャル操作框を生成し、世界座標系中のユーザの手部位置から投影位置を得る動的画像分析システムを提供する。【解決手段】動的画像分析システム１は、撮像装置４０及び処理ユニット５０を備える。撮像装置４０により画像を撮影する。処理ユニット５０は空間情報分析モジュール１０、バーチャル框生成モジュール２０及び変換モジュール３０を含む。空間情報分析モジュール１０は世界座標系中のユーザの空間情報を得る。バーチャル框生成モジュール２０は、世界座標系中のユーザの空間情報を得てユーザの前方に縦向きバーチャル操作框を生成する。縦向きバーチャル操作框には、ユーザの前方に縦向き配列された複数の縦向き投影座標系が含まれ、互いに隣接した縦向き投影座標系の間には夾角が形成される。変換モジュール３０により計算し、世界座標系中のユーザの手部位置に基づき縦向き投影座標系上の投影位置を得る。【選択図】図１
2015053025.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置及び処理ユニットを備えた動的画像分析システムであって、
前記撮像装置により画像を撮影し、
前記処理ユニットは、空間情報分析モジュール、バーチャル框生成モジュール及び変換モジュールを含み、
前記空間情報分析モジュールは、世界座標系中のユーザの空間情報を得て、前記バーチャル框生成モジュールは、世界座標系中のユーザの空間情報を得てユーザの前方に縦向きバーチャル操作框を生成し、前記縦向きバーチャル操作框には、ユーザの前方に縦向き配列された複数の縦向き投影座標系が含まれ、互いに隣接した前記縦向き投影座標系の間には夾角が形成され、前記縦向き投影座標系は、順次配列されて略円弧曲面を構成し、
前記変換モジュールにより計算し、世界座標系中のユーザの手部位置に基づき前記縦向き投影座標系上の投影位置を得ることを特徴とする動的画像分析システム。
【請求項２】
前記縦向きバーチャル操作框は、中段バーチャル框と、前記中段バーチャル框上に形成してユーザの後方へ向かって延びる上段バーチャル框と、前記中段バーチャル框下に形成してユーザの後方へ向かって延びる下段バーチャル框と、を含むことを特徴とする請求項１に記載の動的画像分析システム。
【請求項３】
撮像装置及び処理ユニットを備えた動的画像分析システムであって、
前記撮像装置により画像を撮影し、
前記処理ユニットは、空間情報分析モジュール、バーチャル框生成モジュール及び変換モジュールを含み、前記空間情報分析モジュールは、世界座標系中のユーザの空間情報を得て、前記バーチャル框生成モジュールは、世界座標系中のユーザの空間情報を得てユーザの前方に横向きバーチャル操作框を生成し、
前記横向きバーチャル操作框は、ユーザの前方に横向き配列された第１の投影座標系と、前記第１の投影座標系の両側にそれぞれ形成され、前記第１の投影座標系との間に形成された傾斜角により、ユーザの後方へ向かって延びる第２の投影座標系と、を含み、
前記変換モジュールにより計算し、世界座標系中のユーザの手部位置に基づき前記第１の投影座標系及び前記第２の投影座標系上の投影位置を得ることを特徴とする動的画像分析システム。
【請求項４】
前記傾斜角は４５°〜９０°であることを特徴とする請求項３に記載の動的画像分析システム。
【請求項５】
撮像装置及び処理ユニットを備えた動的画像分析システムであって、
前記撮像装置により画像を撮影し、
前記処理ユニットは、空間情報分析モジュール、バーチャル框生成モジュール及び変換モジュールを含み、前記空間情報分析モジュールは、世界座標系中のユーザの空間情報を得て、前記バーチャル框生成モジュールは、世界座標系中のユーザの空間情報を得てユーザの前方に縦向きバーチャル操作框及び横向きバーチャル操作框を生成し、
前記縦向きバーチャル操作框は、ユーザの前方に縦向き配列された複数の縦向き投影座標系を含み、互いに隣接した前記縦向き投影座標系の間に夾角が形成され、前記縦向き投影座標系は、順次配列されて略円弧曲面を構成し、
前記横向きバーチャル操作框は、ユーザの前方に横向き配列された第１の投影座標系と、前記第１の投影座標系の両側にそれぞれ形成され、前記第１の投影座標系との間に形成された傾斜角によりユーザの後方へ向かって延びる第２の投影座標系と、を含み、
前記変換モジュールにより計算し、世界座標系中のユーザの手部位置に基づき前記縦向き投影座標系、前記第１の投影座標系及び前記第２の投影座標系上の投影位置を得ることを特徴とする動的画像分析システム。
【請求項６】
前記縦向きバーチャル操作框は、中段バーチャル框と、前記中段バーチャル框上に形成してユーザの後方へ向かって延びる上段バーチャル框と、前記中段バーチャル框下に形成してユーザの後方へ向かって延びる下段バーチャル框と、を含むことを特徴とする請求項５に記載の動的画像分析システム。
【請求項７】
前記傾斜角は４５°〜９０°であることを特徴とする請求項６に記載の動的画像分析システム。
【請求項８】
撮像装置及び処理ユニットを備えた動的画像分析システムであって、
前記撮像装置により画像を撮影し、
前記処理ユニットは、空間情報分析モジュール、バーチャル框生成モジュール及び変換モジュールを含み、前記空間情報分析モジュールは、世界座標系中のユーザの空間情報を得て、前記バーチャル框生成モジュールは、世界座標系中のユーザの空間情報を得て両肩中心の情報を生成し、前記両肩中心の情報の位置に基づいてバーチャル操作框を生成し、前記バーチャル操作框には、バーチャル框投影座標系が含まれ、
前記変換モジュールにより計算し、世界座標系中のユーザの手部位置に基づき前記バーチャル框投影座標系の投影位置を得ることを特徴とする動的画像分析システム。
【請求項９】
前記空間情報には、ユーザの肩幅距離が含まれ、
前記バーチャル操作框の幅又は高さは、前記肩幅距離に比例することを特徴とする請求項８に記載の動的画像分析システム。
【請求項１０】
前記バーチャル框生成モジュールは、前記両肩中心の情報に基づいてユーザの前方の所定距離離れた箇所に前記バーチャル操作框を生成することを特徴とする請求項８に記載の動的画像分析システム。
【請求項１１】
（ａ）世界座標系中のユーザの空間情報を得るステップと、
（ｂ）世界座標系中のユーザの空間情報に基づき、ユーザの前方に、縦向きバーチャル操作框を生成し、前記縦向きバーチャル操作框は、ユーザの前方に縦向き配列された複数の縦向き投影座標系を含み、互いに隣接した前記縦向き投影座標系の間に夾角が形成され、前記縦向き投影座標系を順次配列して略円弧曲面を構成するステップと、
（ｃ）世界座標系中のユーザの空間情報に基づき、ユーザの前方に横向き配列された第１の投影座標系と、前記第１の投影座標系の両側に設けられるとともに前記第１の投影座標系との間に傾斜角が形成されてユーザの後方に向かって延びる第２の投影座標系と、を含む横向きバーチャル操作框をユーザの前方に生成するステップと、
（ｄ）世界座標系中のユーザの手部位置に基づき、前記縦向きバーチャル操作框及び前記横向きバーチャル操作框上の投影位置を計算して得るステップと、を含むことを特徴とする動的画像分析の方法。
【請求項１２】
前記縦向き投影座標系は、中段バーチャル框と、前記中段バーチャル框上へ形成してユーザの後方へ向かって延びる上段バーチャル框と、前記中段バーチャル框下へ形成してユーザの後方へ向かって延びる下段バーチャル框と、を含むことを特徴とする請求項１１に記載の動的画像分析の方法。
【請求項１３】
前記ステップ（ｂ）及び前記ステップ（ｃ）は、
前記空間情報から両肩中心の情報を得て、前記両肩中心の情報に基づいてバーチャル框位置決め点を決定するサブステップと、
前記バーチャル框位置決め点に基づいてユーザ前方の所定距離離れた箇所に前記縦向き投影座標系及び前記横向きバーチャル操作框を生成するサブステップと、
前記空間情報から肩幅距離を得て、前記肩幅距離に基づいて一定比率で前記縦向き投影座標系及び前記横向きバーチャル操作框の幅及び高さを調整するサブステップと、を含むステップ（ｅ）を含むことを特徴とする請求項１１に記載の動的画像分析の方法。
【請求項１４】
前記ステップ（ｃ）の後に、
ユーザの両肩位置の変位量を計算し、前記変位量が閾値より大きいときにステップ（ａ）に戻るステップ（ｆ）をさらに含むことを特徴とする請求項１１に記載の動的画像分析の方法。
【請求項１５】
前記ステップ（ｂ）又は前記ステップ（ｃ）の後に、
前記縦向き投影座標系又は前記横向きバーチャル操作框内にユーザの手部が進入しないならば、ステップ（ａ）に戻るステップ（ｇ）をさらに含むことを特徴とする請求項１１に記載の動的画像分析の方法。
【請求項１６】
前記ステップ（ａ）の前に、
撮像領域を撮影するサブステップと、
前記撮像領域中にユーザが存在しないと判断した場合、同じステップを繰り返すサブステップと、
制御ブロック範囲内にユーザが存在しないと判断した場合、同じステップを繰り返すサブステップと、を含むステップ（ｈ）をさらに含むことを特徴とする請求項１１に記載の動的画像分析の方法。
【請求項１７】
撮像装置及び処理ユニットを備えた動的画像分析システムであって、
前記撮像装置により画像を撮影し、
前記処理ユニットは、空間情報分析モジュール、バーチャル框生成モジュール及び変換モジュールを含み、前記空間情報分析モジュールは、世界座標系中のユーザの空間情報を得て、前記バーチャル框生成モジュールは、世界座標系中のユーザの空間情報を得てユーザの前方にバーチャル操作框を生成し、前記バーチャル操作框は、ユーザの前方に形成した複数の投影座標系を含み、前記複数の投影座標系の互いに隣接した間には夾角が形成され、順次配列して略円弧曲面を構成し、変換モジュールにより計算して世界座標系中のユーザの手部位置に基づき、前記投影座標系上の投影位置を得ることを特徴とする動的画像分析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、円弧状の投影座標系を有するバーチャル操作框を生成し、ユーザ手部を左右上下に振って形成される円弧運動に基づき、世界座標系中のユーザの手部位置から投影位置を得る動的画像分析システムに関する。
【背景技術】
【０００２】
画像制御技術の発展に伴い、ユーザが自らの身体の動きにより、コンピュータ又はハードウェア装置にコマンドを与える技術が、コンピュータゲーム、広告表示、コンテンツ表示などに広く応用されている。画像制御過程において、ユーザが両手を振ったり、関節により上腕を後方へ動かしながら上腕を側方（左右上下）へ動かす際、手部の運動軌跡が略円弧状に形成されるが、画像制御システムは、側方へ振ったユーザの手部しか検出しないので、撮影装置により撮影された平面画面には、ユーザの上腕を後方へ振ったときの変位が平面画面中に表示されないことによって減速現象が起きる虞がある。しかしユーザは、上腕を振る力は同じで減速しているとは感じていないため、画像制御システムが検出する変位量とユーザが感じる感覚とが合致しないという問題が生じる虞があった。そのため、ユーザの手部運動の画像を検出する際には、手部を振るときのユーザの側方上の投影量を修正しなければ、ユーザが自然かつ直感的に制御を行うことは困難であった。
【０００３】
上述の問題点を解決するために、特許文献１で開示されているバーチャル座標変換技術は、実空間の座標中（又は世界座標系とも称する）においてユーザの画像に基づき、ユーザが行う回転及び移動の空間座標を定義し、互いに対応した２つのユーザの空間座標の球殻状バーチャル操作框を生成し、それぞれのユーザの両手に対応し、バーチャル操作框の側方向の投影量の減少を補償する。
【０００４】
しかし、ユーザが手部を前方へ伸ばして操作する際、円弧軌跡の現象は、あまり明りょうでなく、一般の撮影装置により撮影した２次元平面画像を球面へ変換するには複雑な計算が必要であるため、特許文献１では精度が高めの撮影装置を採用し、性能に対する要求が高い演算処理装置を採用する必要があり、全体の製造コストが多くかかった。また、特許文献１のバーチャル操作框の寸法は固定されてユーザの体型に応じて変更することができなかったため、画像の制御上、ユーザの動作を確実に反映させることはできなかった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１０／３０２１４５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そのため、本発明の目的は、バーチャル操作框を介してユーザの身体各部の動きを計算する方式が複雑すぎる上、ユーザの体型に応じてバーチャル操作框の寸法を調整することができなかったという従来技術の問題点を改善する動的画像分析システム及び動的画像分析方法、を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の第１の形態によれば、撮像装置及び処理ユニットを備えた動的画像分析システムであって、前記撮像装置により画像を撮影し、前記処理ユニットは、空間情報分析モジュール、バーチャル框生成モジュール及び変換モジュールを含み、前記空間情報分析モジュールは、世界座標系中のユーザの空間情報を得て、前記バーチャル框生成モジュールは、世界座標系中のユーザの空間情報を得てユーザの前方に縦向きバーチャル操作框を生成し、前記縦向きバーチャル操作框には、ユーザの前方に縦向き配列された複数の縦向き投影座標系が含まれ、互いに隣接した前記縦向き投影座標系の間には夾角が形成され、前記縦向き投影座標系は、順次配列されて略円弧曲面を構成し、前記変換モジュールにより計算し、世界座標系中のユーザの手部位置に基づき前記縦向き投影座標系上の投影位置を得ることを特徴とする動的画像分析システムが提供される。
【０００８】
前記縦向きバーチャル操作框は、中段バーチャル框と、前記中段バーチャル框上に形成してユーザの後方へ向かって延びる上段バーチャル框と、前記中段バーチャル框下に形成してユーザの後方へ向かって延びる下段バーチャル框と、を含むことが好ましい。
【０００９】
上記課題を解決するために、本発明の第２の形態によれば、撮像装置及び処理ユニットを備えた動的画像分析システムであって、前記撮像装置により画像を撮影し、前記処理ユニットは、空間情報分析モジュール、バーチャル框生成モジュール及び変換モジュールを含み、前記空間情報分析モジュールは、世界座標系中のユーザの空間情報を得て、前記バーチャル框生成モジュールは、世界座標系中のユーザの空間情報を得てユーザの前方に横向きバーチャル操作框を生成し、前記横向きバーチャル操作框は、ユーザの前方に横向き配列された第１の投影座標系と、前記第１の投影座標系の両側にそれぞれ形成され、前記第１の投影座標系との間に形成された傾斜角により、ユーザの後方へ向かって延びる第２の投影座標系と、を含み、前記変換モジュールにより計算し、世界座標系中のユーザの手部位置に基づき前記第１の投影座標系及び前記第２の投影座標系上の投影位置を得ることを特徴とする動的画像分析システムが提供される。
【００１０】
前記傾斜角は４５°〜９０°であることが好ましい。
【００１１】
上記課題を解決するために、本発明の第３の形態によれば、撮像装置及び処理ユニットを備えた動的画像分析システムであって、前記撮像装置により画像を撮影し、前記処理ユニットは、空間情報分析モジュール、バーチャル框生成モジュール及び変換モジュールを含み、前記空間情報分析モジュールは、世界座標系中のユーザの空間情報を得て、前記バーチャル框生成モジュールは、世界座標系中のユーザの空間情報を得てユーザの前方に縦向きバーチャル操作框及び横向きバーチャル操作框を生成し、前記縦向きバーチャル操作框は、ユーザの前方に縦向き配列された複数の縦向き投影座標系を含み、互いに隣接した前記縦向き投影座標系の間に夾角が形成され、前記縦向き投影座標系は、順次配列されて略円弧曲面を構成し、前記横向きバーチャル操作框は、ユーザの前方に横向き配列された第１の投影座標系と、前記第１の投影座標系の両側にそれぞれ形成され、前記第１の投影座標系との間に形成された傾斜角によりユーザの後方へ向かって延びる第２の投影座標系と、を含み、前記変換モジュールにより計算し、世界座標系中のユーザの手部位置に基づき前記縦向き投影座標系、前記第１の投影座標系及び前記第２の投影座標系上の投影位置を得ることを特徴とする動的画像分析システムが提供される。
【００１２】
前記縦向きバーチャル操作框は、中段バーチャル框と、前記中段バーチャル框上に形成してユーザの後方へ向かって延びる上段バーチャル框と、前記中段バーチャル框下に形成してユーザの後方へ向かって延びる下段バーチャル框と、を含むことが好ましい。
【００１３】
前記傾斜角は４５°〜９０°であることが好ましい。
【００１４】
上記課題を解決するために、本発明の第４の形態によれば、撮像装置及び処理ユニットを備えた動的画像分析システムであって、前記撮像装置により画像を撮影し、前記処理ユニットは、空間情報分析モジュール、バーチャル框生成モジュール及び変換モジュールを含み、前記空間情報分析モジュールは、世界座標系中のユーザの空間情報を得て、前記バーチャル框生成モジュールは、世界座標系中のユーザの空間情報を得て両肩中心の情報を生成し、前記両肩中心の情報の位置に基づいてバーチャル操作框を生成し、前記バーチャル操作框には、バーチャル框投影座標系が含まれ、前記変換モジュールにより計算し、世界座標系中のユーザの手部位置に基づき前記バーチャル框投影座標系の投影位置を得ることを特徴とする動的画像分析システムが提供される。
【００１５】
前記空間情報には、ユーザの肩幅距離が含まれ、前記バーチャル操作框の幅又は高さは、前記肩幅距離に比例することが好ましい。
【００１６】
前記バーチャル框生成モジュールは、前記両肩中心の情報に基づいてユーザの前方の所定距離離れた箇所に前記バーチャル操作框を生成することが好ましい。
【００１７】
上記課題を解決するために、本発明の第５の形態によれば、（ａ）世界座標系中のユーザの空間情報を得るステップと、（ｂ）世界座標系中のユーザの空間情報に基づき、ユーザの前方に、縦向きバーチャル操作框を生成し、前記縦向きバーチャル操作框は、ユーザの前方に縦向き配列された複数の縦向き投影座標系を含み、互いに隣接した前記縦向き投影座標系の間に夾角が形成され、前記縦向き投影座標系を順次配列して略円弧曲面を構成するステップと、（ｃ）世界座標系中のユーザの空間情報に基づき、ユーザの前方に横向き配列された第１の投影座標系と、前記第１の投影座標系の両側に設けられるとともに前記第１の投影座標系との間に傾斜角が形成されてユーザの後方に向かって延びる第２の投影座標系と、を含む横向きバーチャル操作框をユーザの前方に生成するステップと、（ｄ）世界座標系中のユーザの手部位置に基づき、前記縦向きバーチャル操作框及び前記横向きバーチャル操作框上の投影位置を計算して得るステップと、を含むことを特徴とする動的画像分析の方法が提供される。
【００１８】
前記縦向き投影座標系は、中段バーチャル框と、前記中段バーチャル框上へ形成してユーザの後方へ向かって延びる上段バーチャル框と、前記中段バーチャル框下へ形成してユーザの後方へ向かって延びる下段バーチャル框と、を含むことが好ましい。
【００１９】
前記ステップ（ｂ）及び前記ステップ（ｃ）は、前記空間情報から両肩中心の情報を得て、前記両肩中心の情報に基づいてバーチャル框位置決め点を決定するサブステップと、  前記バーチャル框位置決め点に基づいてユーザ前方の所定距離離れた箇所に前記縦向き投影座標系及び前記横向きバーチャル操作框を生成するサブステップと、前記空間情報から肩幅距離を得て、前記肩幅距離に基づいて一定比率で前記縦向き投影座標系及び前記横向きバーチャル操作框の幅及び高さを調整するサブステップと、を含むステップ（ｅ）を含むことが好ましい。
【００２０】
前記ステップ（ｃ）の後に、ユーザの両肩位置の変位量を計算し、前記変位量が閾値より大きいときにステップ（ａ）に戻るステップ（ｆ）をさらに含むことが好ましい。
【００２１】
前記ステップ（ｂ）又は前記ステップ（ｃ）の後に、前記縦向き投影座標系又は前記横向きバーチャル操作框内にユーザの手部が進入しないならば、ステップ（ａ）に戻るステップ（ｇ）をさらに含むことが好ましい。
【００２２】
前記ステップ（ａ）の前に、撮像領域を撮影するサブステップと、前記撮像領域中にユーザが存在しないと判断した場合、同じステップを繰り返すサブステップと、制御ブロック範囲内にユーザが存在しないと判断した場合、同じステップを繰り返すサブステップと、を含むステップ（ｈ）をさらに含むことが好ましい。
【００２３】
上記課題を解決するために、本発明の第６の形態によれば、撮像装置及び処理ユニットを備えた動的画像分析システムであって、前記撮像装置により画像を撮影し、前記処理ユニットは、空間情報分析モジュール、バーチャル框生成モジュール及び変換モジュールを含み、前記空間情報分析モジュールは、世界座標系中のユーザの空間情報を得て、前記バーチャル框生成モジュールは、世界座標系中のユーザの空間情報を得てユーザの前方にバーチャル操作框を生成し、前記バーチャル操作框は、ユーザの前方に形成した複数の投影座標系を含み、前記複数の投影座標系の互いに隣接した間には夾角が形成され、順次配列して略円弧曲面を構成し、変換モジュールにより計算して世界座標系中のユーザの手部位置に基づき、前記投影座標系上の投影位置を得ることを特徴とする動的画像分析システムが提供される。
【発明の効果】
【００２４】
本発明の動的画像分析システムは、従来技術と比べて以下（１）及び（２）の効果を有する。
（１）縦向きバーチャル操作框及び横向きバーチャル操作框は、ユーザが上腕を振ることで描かれる弧状軌跡を、ユーザの後方に向かって順次配列されバーチャル操作框により略弧状の領域を構成する複数の投影座標系に分けて処理し、上腕を振る動きにより画像操作を行う世界座標系中のユーザの上腕位置に基づいて投影位置を得ることができる。
（２）バーチャル操作框は、ユーザの画像中の特定部位（例えば両肩中心）を参考点として用いるため、ユーザが動き回ってもバーチャル操作框をユーザの前方に保持することができる。また、参考点をユーザの肩に設定すると、ユーザの肩幅によりバーチャル操作框の寸法が決定されるため、様々な体型のユーザに適合して操作を行うことができる。バーチャル操作框とユーザとの間には所定距離があいているから、ユーザの手部が所定距離を超えない限りバーチャル操作框中には進入しない。そのため、ユーザが腕組みをしたり腰に手を当てたりする非操作行為を排除し、誤認識の可能性を減らすことができる。
【図面の簡単な説明】
【００２５】
【図１】図１は、本発明の一実施形態に係る動的画像分析システムを示すブロック図である。
【図２】図２は、本発明の一実施形態に係る動的画像分析システムの縦向きバーチャル操作框を使用するときの状態を示す正面図及び側面図である。
【図３】図３は、本発明の一実施形態に係る動的画像分析システムの横向きバーチャル操作框を使用するときの状態を示す正面図及び平面図である。
【図４】図４は、本発明の一実施形態に係る動的画像分析システムの方法を示す流れ図である。
【図５】図５は、本発明の一実施形態に係る動的画像分析システムの方法を示す流れ図である。
【図６】図６は、本発明の一実施形態に係る動的画像分析システムの方法を示す流れ図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施例について図に基づいて説明する。なお、これによって本発明が限定されるものではない。
【００２７】
図１を参照する。図１は、本発明の一実施形態に係る動的画像分析システムを示すブロック図である。図１に示すように、本発明の一実施形態に係る動的画像分析システム１は、ユーザの画像を識別してユーザの身体的特徴をキャプチャするとともに、バーチャル操作框を生成し、ユーザの手部に基づくバーチャル操作框上の投影位置から、ユーザの手部操作の位置を知る。以下、本発明の動的画像分析システム１について詳説する。
【００２８】
本実施形態の動的画像分析システム１は、画像を撮影するのに用いる撮像装置４０と、処理ユニット５０と、を含む。処理ユニット５０は、空間情報分析モジュール１０、バーチャル框生成モジュール２０及び変換モジュール３０を含む。空間情報分析モジュール１０は、撮像装置４０が撮影したユーザの画像を分析し、画像中のユーザの頭、胴体、手、足など身体の各部分を識別して世界座標系中のユーザの空間情報を得る。ここで空間情報には、ユーザの各身体部の座標位置、骨格情報などが含まれる。画像中から特定のオブジェクトの座標空間情報を得る技術は、画像処理分野の当業者にとってはよく知られた技術であるため、ここでは詳しく述べない。
【００２９】
バーチャル框生成モジュール２０は、世界座標系中のユーザの空間情報に基づいてバーチャル操作框を生成する。ここで世界座標系とは、空間情報分析モジュール１０により生成された動的画像分析システム１のバーチャル数値域のことであり、実際に存在する空間実体のことではない。また「バーチャル操作框」とはユーザの画像に基づいて生成される特定空間範囲のことである。ユーザの手部がバーチャル操作框の範囲内に入ると、空間情報分析モジュール１０により、世界座標系中のユーザ手部位置情報が得られ、変換モジュール３０により計算してバーチャル操作框上の投影位置が得られる。バーチャル操作框が対応する操作装置が表示装置上の画面にある場合、バーチャル操作框内の座標系中で生成される投影位置により、画面中の対応位置上で対応した動きを発生させる。
【００３０】
図２及び図３を参照する。図２は、本発明の一実施形態に係る動的画像分析システムの縦向きバーチャル操作框を使用するときの状態を示す正面図及び側面図である。図３は、本発明の一実施形態に係る動的画像分析システムの横向きバーチャル操作框を使用するときの状態を示す正面図及び平面図である。図２及び図３に示すように、本発明の一実施形態に係る動的画像分析システムのバーチャル框生成モジュール２０は、縦向きバーチャル操作框２１及び横向きバーチャル操作框２２を生成させる。ここで「縦向き、横向き」とは、単に説明の便宜上用いているだけであり、本発明のバーチャル操作框の設置方向を特に限定するわけではない。
【００３１】
縦向きバーチャル操作框２１は、ユーザの前方に縦向き配列された複数の縦向き投影座標系２１１を含む。ここで「縦向き配列」とは、縦向きバーチャル操作框２１がユーザの上下方向に沿って複数の縦向き投影座標系２１１に分離された状態を指す。互いに隣接した縦向き投影座標系２１１間は夾角をもって順次配列されることで略円弧曲面を構成しており、上述の夾角の角度は、ユーザが手部を振る位置に基づいて決定され、例えば、ユーザの真正面で手部を振るのが略水平運動となる場合、このときの夾角の角度は０であるか略０であり、ユーザの前方向上の位置に手部を振る弧度が大きい場合、この箇所の夾角の角度が大幅に増大し、ユーザの手部の円弧線運動に合致する。
【００３２】
図２に示すように、本発明の一実施形態に係る動的画像分析システムの縦向きバーチャル操作框２１は、１０等分に分割された縦向き投影座標系２１１を含み、縦向き投影座標系２１１は、少なくとも３つの大きなセクションから構成される。中段バーチャル框２１２は、ユーザの肩位置の上下それぞれに２つずつの等分割された縦向き投影座標系２１１から構成される。中段バーチャル框２１２の上に形成されてユーザの後方にかけて延びる上段バーチャル框２１３は、ユーザの肩位置から上方へかけて３つめから上の等分割された縦向き投影座標系２１１から構成され、中段バーチャル框２１２の下方に形成されてユーザの後方へかけて延びる下段バーチャル框２１４は、ユーザの肩位置から下方にかけて３つめから下の等分割された縦向き投影座標系２１１から構成されている。中段バーチャル框２１２は、ユーザの真正面に位置しており、ユーザが真正面で操作する際、手部が移動して生成される円弧現象はあまり明りょうではない。そのため、バーチャル操作框のユーザの真正面の中段バーチャル框２１２は、直接的に平面投影するだけでよく、バーチャル框２１３，２１４は、ユーザの上腕を振って形成される弧線に基づき、中段バーチャル框２１２に接続された２つの略円弧面でもよい。
【００３３】
横向きバーチャル操作框２２には、ユーザの真正面に横向き配列された第１の投影座標系２２１が含まれる。ここで「横向き配列」とは、横向きバーチャル操作框２２をユーザの左右に沿って分離した複数の第１の投影座標系２２１と、第１の投影座標系２２１の両側に設けられるととともに第１の投影座標系２２１との間に傾斜角θが設けられ、ユーザの後方にかけて延びた２つの第２の投影座標系２２２とを指す。ユーザが真正面で操作を行う際、手部の移動により形成される円弧現象は明りょうでない。そのため、ユーザの真正面の第１の投影座標系２２１は、直接に平面投影するだけであり、ユーザが手部を左右両側へ振ることで円弧軌跡（図３の平面図の円弧に示す）が発生する第２の投影座標系２２２は、第１の投影座標系２２１に対して４５°〜９０°の傾斜角θによりユーザに向かって後方に傾いている。
【００３４】
また、ユーザは、バーチャル操作框での投影を左手又は右手により操作することができる。第１の投影座標系２２１は、ユーザの左手に対応した左手投影セクション２２１１と、ユーザの右手に対応した右手投影セクション２２１２とに分けられており、左右方向上の手部の移動軌跡とは両肩を円心として描かれる弧線であるが、これら複数の投影セクション上の投影位置により、ユーザが操作に用いる手が左手であるか右手であるかを判断する。ユーザの真正面中央部分には、両手の活動領域が重なって積層セクション２２１３が形成されている。ユーザの手部が積層セクション２２１３に入ると、ユーザの手部が投影される延伸方向に基づき、投影されたものがユーザの左手又は右手に属するのかを判断する。横向きバーチャル操作框２２は、複数の投影座標系により構成される。例えば、横向きバーチャル操作框２２は５つのセクションに分けられ、肩を越える部分がユーザの後方に配列され、接続して略円弧状の折面が形成される。
【００３５】
また本発明の動的画像分析システム１は、バーチャル框生成モジュール２０により縦向きバーチャル操作框２１及び横向きバーチャル操作框２２を生成し、一定の夾角により形成された複数の平面により、ユーザの手部の弧線運動に対応したバーチャル操作框を構成し、各投影座標系に投影位置を発生させ、バーチャル操作框中のユーザの手部位置を計算し、対応した投影位置を得る。
【００３６】
本発明の他の実施形態に係る動的画像分析システムは、空間情報分析モジュール１０によりユーザの画像を分析した後、世界座標系中のユーザの空間情報を得て、両肩中心１１の情報を生成し、両肩中心１１の位置に基づいてバーチャル操作框を生成する。バーチャル操作框には、複数のバーチャル框投影座標系が含まれる。ユーザの真正面には、バーチャル框位置決め点が定義されており、バーチャル框位置決め点とはバーチャル操作框が生成されるときの位置基準である。例えば、バーチャル框位置決め点の水平位置が両肩中心に位置する場合、両肩中心１１の垂直位置がバーチャル操作框全体の５分の２の高さに位置し、バーチャル操作框とユーザとの間の間隔距離は所定距離ｄである。所定距離ｄが約１０〜１５ｃｍである場合には、ユーザが両手を下方で振ったり、腕組みをしたりするなどの非操作行為を排除することができる。また、異なる体型を有するユーザでも使用できるように、空間情報には、肩幅距離が含まれる。バーチャル操作框の幅及び高さは、肩幅に対して一定の比率を有する。例えば、ユーザの肩幅が４５ｃｍであるとき、バーチャル操作框の高さ、幅のそれぞれは、肩幅距離の１．２倍及び１．３３倍であり、上述のバーチャル操作框の寸法は５０ｃｍ×６０ｃｍであるが、これらの数値は説明の便宜上決められたものであり、特に本発明のバーチャル框位置決め点の位置及び比率を限定するわけではない。
【００３７】
図４〜図６を参照する。図４〜図６は、本発明の動的画像分析方法を示す流れ図である。以下、図４〜図６に基づき、本発明が生成するバーチャル操作框の画像操作方法について説明する。
【００３８】
本発明の動的画像分析方法を開始する前に、以下（Ｓ１０１）〜（Ｓ１０３）のステップを含む判定ステップを行う。まず、ステップ（Ｓ１０１）において、撮影領域を撮影する。ここで撮影領域とは、撮影装置により撮影される領域のことであり、本発明の動的画像分析システム１の撮像装置４０により撮影される。続いてステップ（Ｓ１０２）において、撮影領域にユーザがいないと判断した場合、ユーザが未だ位置についていないことを表し、このステップを繰り返してユーザが現れるのを待つ。撮像領域中にユーザの画像を捕捉した場合、制御ブロック範囲内にユーザがいるか否かを判断する。続いてステップ（Ｓ１０３）において、制御ブロック範囲中に人がいない場合、ユーザが位置についていないことを表し、このステップを繰り返してユーザが画像操作を行うのを待つ。ここで制御ブロック範囲とは、ユーザが操作を行う位置を表す。
【００３９】
ユーザが撮影領域に進入し、制御ブロック範囲中の位置についた後、本発明の動的画像分析方法は以下のステップ（Ｓ１１０〜Ｓ１５０）を開始する。まず、画像を得て、得た画像を分析して世界座標系中のユーザの空間情報を得る（Ｓ１１０）。画像中から特定のオブジェクトの座標情報を得る技術は画像処理分野の当業者であれば容易に分かるため、ここでは詳しく述べない。世界座標系中のユーザの空間情報に基づき、ユーザの前方に縦向きバーチャル操作框２１を生成する（Ｓ１２０）。ユーザの手部が縦向きバーチャル操作框２１内に未だ進入していない場合には、ステップＳ１１０に戻って世界座標系中のユーザの空間情報を新たに検出する（Ｓ１２１）。そうでない場合には、次のステップに進み、世界座標系中のユーザの空間情報に基づき、ユーザの前方に横向きバーチャル操作框２２を生成する（Ｓ１３０）。もしユーザの手部が横向きバーチャル操作框２２内に未だ進入していない場合には、ステップＳ１１０へ戻って、世界座標系中のユーザの空間情報を新たに検出する（Ｓ１３１）。そうでない場合には、次のステップに進み、ユーザの両肩位置の変位量を計算し、この変位量が閾値より大きい場合、ステップＳ１１０へ戻る（Ｓ１４０）。ユーザが移動したり回転したりするときには、バーチャル操作框は、新たに生成され、ユーザの正面に保持される。ユーザの身体の移動がわずかで両肩位置の変位量が閾値を超えない場合には、バーチャル操作框を微調整し続けることにより振動のような現象が投影位置に発生することを防ぐため、バーチャル操作框を新たに位置決めする必要はない。最終的に、世界座標系中のユーザ手部の位置に基づき、縦向きバーチャル操作框２１及び横向きバーチャル操作框２２上の投影位置を計算して得る（Ｓ１５０）。これにより、本発明は縦向きバーチャル操作框２１又は横向きバーチャル操作框２２により、ユーザの手部を上下左右へ振ったときの投影位置を検知し、円弧状の投影座標系とユーザの手部を振って形成される円弧状軌跡とを組み合わせることにより、生成した投影位置をユーザの手部の動きに対応させる。
【００４０】
また、本発明の他の実施形態に係る動的画像分析方法は、縦向きバーチャル操作框２１（ステップＳ１２０）、横向きバーチャル操作框２２（Ｓ１３０）を生成する際、以下のステップによりバーチャル操作框の寸法及び位置を決定する。空間情報から両肩中心１１の情報を得て、両肩中心１１の情報に基づいてバーチャル框位置決め点を決定する（Ｓ１６１）。例えば、バーチャル框位置決め点の決定方式によると、前述のバーチャル框位置決め点の水平位置を両肩中心１１に対応させ（Ｓ１６２ａ）、バーチャル框位置決め点の垂直位置がバーチャル操作框全体の高さの５分の２の箇所に設置され、両肩中心１１に対応し（Ｓ１６２ｂ）、前後の位置は、所定距離ｄ（例えば１５ｃｍ）でユーザの前方に設定される（Ｓ１６２ｃ）。バーチャル框位置決め点は、ユーザ前方の所定距離ｄの箇所に縦向きバーチャル操作框２１又は横向きバーチャル操作框２２が生成される（Ｓ１６３）。上述のバーチャル框位置決め点とユーザの両肩の位置との関係は説明のために便宜上決められたものであり、本発明の範囲を特に限定するわけではない。最終的に、空間情報から肩幅距離を得て、この肩幅距離に基づき一定比率により縦向き／横向きバーチャル操作框の幅、高さを調整する（Ｓ１６４）。そのため、生成されたバーチャル操作框は、ユーザの肩位置に基づいてユーザの真正面に保持され、バーチャル操作框の寸法をユーザの体型に応じて調整することができる。
【００４１】
上述したことから分かるように、本発明の動的画像分析システムは、空間情報分析モジュールにより世界座標系中のユーザの空間情報を得て、バーチャル框生成モジュールにより縦向き／横向きのバーチャル操作框を生成し、ユーザ手部によりバーチャル操作框の投影座標系に投影し、第１の投影座標系上の投影量を変換モジュールにより変換してバーチャル像を形成する。縦向き／横向きのバーチャル操作框の上下側及び左右側には、それぞれ円弧状の投影座標系が含まれるため、ユーザが上腕を振って形成される円弧運動が、ユーザの上腕を振る速度と一致する。また、本発明の動的画像分析システムは、ユーザの肩幅に基づいてバーチャル操作框の寸法を調整することができる上、バーチャル操作框とユーザとの間に所定距離が介されているから両手を下方に振ったり腕組みしたり腰に手を当てたりするユーザの非操作行為を排除することができる。
【００４２】
当該分野の技術を熟知するものが理解できるように、本発明の好適な実施例を前述の通り開示したが、これらは決して本発明を限定するものではない。本発明の主旨と領域を逸脱しない範囲で各種の変更や修正を加えることができる。従って、本発明の特許請求の範囲は、このような変更や修正を含めて広く解釈されるべきである。
【符号の説明】
【００４３】
１  動的画像分析システム
１０  空間情報分析モジュール
１１  両肩中心
２０  バーチャル框生成モジュール
２１  縦向きバーチャル操作框
２２  横向きバーチャル操作框
３０  変換モジュール
４０  撮像装置
５０  処理ユニット
２１１  縦向き投影座標系
２１２  中段バーチャル框
２１３  上段バーチャル框
２１４  下段バーチャル框
２２１  第１の投影座標系
２２２  第２の投影座標系
２２１１  左手投影セクション
２２１２  右手投影セクション
２２１３  積層セクション
【図１】
2015053025.tif 000003
【図２】
2015053025.tif 000004
【図３】
2015053025.tif 000005
【図４】
2015053025.tif 000006
【図５】
2015053025.tif 000007
【図６】
2015053025.tif 000008