(57)【要約】【課題】大型スクリーンを備えた設備に適用できる指向性映像コントロール装置及びその方法を提供する。【解決手段】指向性映像コントロール装置及びその方法は、ユーザーの手指と手部から構成された直線ベクトルに基づいて，スクリーン上の指標を移動する。映像キャプチャーユニットと指向性処理ユニットを含み、映像キャプチャーユニットはユーザー映像を取得するのに用い、指向性処理ユニットはユーザー映像を分析し、ユーザー手指映像データとユーザー手部映像データを生成し、それらに基づいてバーチャル指定ベクトルを発生する。このバーチャル指定ベクトルを利用して、画面上の操作ターゲットはユーザー手指と手部で構成された直線ベクトルに従って移動し、且つ操作ターゲットはバーチャル指定ベクトルと使用画面の交差点に位置する。【選択図】図２
2013218423.tif 000002
【特許請求の範囲】
【請求項１】
表示設備を設置してユーザーが制御し、該表示設備には使用画面を含み、該使用画面は制御される操作ターゲットを備える指向性映像コントロール装置において、
ユーザー映像を取得するのに用いる映像キャプチャーユニットと、
該ユーザー映像を分析し、ユーザー手指映像データ及びユーザー手部映像データを生成し、更に該ユーザー手指映像データ、該ユーザー手部映像データに基づいてバーチャル指定ベクトルを生成し、バーチャル指定ベクトルに基づいて該操作ターゲットを制御するのに用い、そのうち該操作ターゲットは該使用画面内で移動し、ユーザー手指と手部の運動に対応して従い、且つ該操作ターゲットは該バーチャル指定ベクトルと該使用画面の交差点にほぼ位置する指向性処理ユニットを含むことを特徴とする指向性映像コントロール装置。
【請求項２】
前記指向性処理ユニットは、該ユーザー映像と該バーチャル指定ベクトルに基づき、バーチャル三次元空間データを生成することを特徴とする請求項１記載の指向性映像コントロール装置。
【請求項３】
前記ユーザー手部映像データは、ユーザーの手首、肘もしくは腕のいずれか一つもしくはそれらの組み合わせであることを特徴とする請求項１記載の指向性映像コントロール装置。
【請求項４】
前記映像キャプチャーユニットは、一個以上のカメラを含むことを特徴とする請求項１記載の指向性映像コントロール装置。
【請求項５】
表示設備を設置してユーザーが制御し、該表示設備は使用画面を含み、該使用画面は制御される操作ターゲットを備える指向性映像コントロールの方法に於いて、その方法は、
ユーザー映像を取得し、
該ユーザー映像を分析してユーザー手指映像データ及び一ユーザー手部映像データを生成し、
ユーザー手指映像データ、該ユーザー手部映像データに基づいて、バーチャル指定ベクトルを生成し、
該バーチャル指定ベクトルに基づいて該操作ターゲットを制御し、該操作ターゲットを該使用画面内で移動させ、ユーザー手指と手部の運動に対応して従い、且つ該操作ターゲットは該バーチャル指定ベクトルと該使用画面の交差点にほぼ位置するというステップを含むことを特徴とする指向性映像コントロールの方法。
【請求項６】
前記指向性映像コントロールの方法は、更に該ユーザー映像と該バーチャル指定ベクトルに基づいてバーチャル三次元空間データを生成するというステップを含むことを特徴とする請求項５記載の指向性映像コントロールの方法。
【請求項７】
前記ユーザー手部映像データは、ユーザーの手首、肘もしくは腕のいずれか一つもしくはそれらの組み合わせであることを特徴とする請求項５記載の指向性映像コントロールの方法。
【請求項８】
前記ユーザー映像は、一個以上のカメラによって該ユーザー映像をキャプチャすることを特徴とする請求項５記載の指向性映像コントロールの方法。
【請求項９】
前記指向性映像コントロールの方法は、更に
前記操作ターゲットが前記使用画面内の制御エリアに進入したかどうかを検出し、
仮に該操作ターゲットが該制御エリアに進入したら、操作実行作業するというステップを含むことを特徴とする請求項５記載の指向性映像コントロールの方法。
【請求項１０】
前記操作実行作業は、確認指令操作もしくは取消指令操作を指すことを特徴とする請求項９記載の指向性映像コントロールの方法。
【請求項１１】
表示設備を設置し、ユーザーが制御し、該表示設備は使用画面を含み、該使用画面は制御される操作ターゲットを備える指向性映像コントロール装置において、
ユーザー空間データを取得するのに用いる映像キャプチャーユニットと、
該ユーザー空間データを分析するのに用い，ユーザー手指空間データ及びユーザー手部空間データを生成し，該ユーザー手指空間データ、該ユーザー手部空間データに基づいてバーチャル指定ベクトルを生成し、該バーチャル指定ベクトルに基づいて該操作ターゲットを制御し、そのうち該操作ターゲットは該使用画面内で移動し、ユーザー手指と手部の運動に対応して従い、且つ該操作ターゲットは該バーチャル指定ベクトルと該使用画面の交差点にほぼ位置する指向性処理ユニットを含むことを特徴とする指向性映像コントロール装置。
【請求項１２】
前記ユーザー手部空間データが対応するユーザー手部は、ユーザーの手首、肘もしくは腕のいずれか一つもしくはそれらの組み合わせであることを特徴とする請求項１１記載の指向性映像コントロール装置。
【請求項１３】
表示設備を設置してユーザーが制御し、該表示設備は使用画面を含み、該使用画面は制御される操作ターゲットを備える指向性映像コントロールの方法に於いて、そのうち該方法は、
ユーザー空間データを取得し、
該ユーザー空間データを分析して、ユーザー手指空間データ及びユーザー手部空間データを生成し；
ユーザー手指空間データ、該ユーザー手部空間データに基づいてバーチャル指定ベクトルを生成し、
該バーチャル指定ベクトルに基づいて該操作ターゲットを制御し、該操作ターゲットを該使用画面内で移動し、ユーザー手指と手部の運動に対応して従い、且つ該操作ターゲットは該バーチャル指定ベクトルと該使用画面の交差点にほぼ位置するというステップを含むことを特徴とする指向性映像コントロールの方法。
【請求項１４】
前記ユーザー手部空間データに対応するユーザー手部は、ユーザーの手首、肘もしくは腕のいずれか一つもしくはそれらの組み合わせであることを特徴とする請求項１３記載の指向性映像コントロールの方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バーチャル操作の装置及びその方法に関し、特に大型スクリーンに適した指向性映像コントロール装置及びその方法に係わる。
【背景技術】
【０００２】
人の身体動作を検出して各種コントロールするものは、多くの技術が公開されている。例として，”Game operating device” というゲームコントローラーがあり（特許文献１参照）、それは日本の任天堂株式会社開発の Wii ゲーム機の Wii remoterコントローラーである。そのゲームコントローラー内には、カメラ、加速度センサーとコントロールのためのボタンを備え、テレビ上面には赤外線の発光体を設置する。カメラは発光体が発射した赤外線光を撮影することによって、ゲームコントローラーがスクリーンに相対する位置で定位し、これらの操作によってゲームが進行する。
【０００３】
”Virtual desktop coordinate transformation”は、別種の技術であり（特許文献２参照）、テレビ上にカメラを装着し、テレビ前に立ったユーザー映像を取得し、ゲームメイン機器の演算処理を通して、ユーザーの身体動作を感知してゲーム内の各類コントロールを進める。この技術の主な特徴は、ユーザーの映像を分析した後、直接画面内にマッピングする(mapping)。図１に示すとおり、ユーザーが腕を振ると、画面内の指標がほぼ同時に移動し、且つスクリーン内に出現した指標とユーザーの手は同じ相対的位置になり、まるで鏡の前にいるのと同じようになる。
【０００４】
以上技術は合理的使用によって一定の効果はあるものの、特許文献１の米国特許出願技術は、ユーザーが特定のゲームコンローラーを持って初めてコントロールできる。特許文献２の米国特許出願技術は、一般サイズのスクリーン、例として家庭用の液晶テレビ等だけに適用できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許公告第７,９３１,５３５号
【特許文献２】米国公開第US２０１０/０３０２１４５号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
解決しようとする問題点は、前述の技術が大型スクリーンに配置された設備、例として戸外広告看板等々に使用することが出来ず、コントロール操作もできない点にある。なぜなら、大型スクリーンの前に立つと、ユーザーの身体は相対して非常に小さく表示されるため、全く相互操作ができない。
【課題を解決するための手段】
【０００７】
指向性映像コントロール装置及びその方法は、ユーザーの手指と手部から構成された直線ベクトルに基づいて，スクリーン上の指標を移動する。主に映像キャプチャーユニットと指向性処理ユニットを含み、映像キャプチャーユニットはユーザー映像を取得するのに用い、指向性処理ユニットはユーザー映像を分析し、ユーザー手指映像データとユーザー手部映像データを生成し、それらに基づいてバーチャル指定ベクトルを発生する。このバーチャル指定ベクトルを利用して、画面上の操作ターゲットはユーザー手指と手部で構成された直線ベクトルに従って移動し、且つ操作ターゲットはバーチャル指定ベクトルと使用画面の交差点に位置することを最も主要な特徴とする。
【発明の効果】
【０００８】
本発明の指向性映像コントロール装置及びその方法は、大型スクリーンを備えた設備に適用できるという利点がある。
【図面の簡単な説明】
【０００９】
【図１】公知技術のバーチャル操作の使用状態を示す図である。
【図２】本発明装置のバーチャル操作の使用状態を示す図である。
【図３】本発明装置に対するユーザーの使用状態を示す図である。
【図４】本発明装置アーキテクチャの構成図である。
【図５】本発明方法を説明するフローチャートである。
【図６】本発明方法における、操作ターゲットを使用画面内の制御エリアに入れて操作実行作業を行うまでのフローチャートである。
【発明を実施するための形態】
【００１０】
ユーザーの手指映像と手部映像を組み合わせたバーチャル指定ベクトルに基づき、使用画面内の指標を制御する。本発明は操作が簡単で簡便である長所を備え、展示もしくは広告等ビジネスにおいて、突出した優位を備える指向性映像コントロール装置及びその方法を提供することを本発明の目的とする。
【００１１】
本発明が提供する指向性映像コントロール装置は、表示設備を設置してユーザーが制御し、表示設備は使用画面を含む。本発明の装置は、主に映像キャプチャーユニットと指向性処理ユニットを含む。映像キャプチャーユニットはユーザー映像を取得するのに用い、指向性処理ユニットは映像処理ユニットと相互に連通し、映像処理ユニット処理後のユーザー映像を受信し、該ユーザー映像を分析してユーザー手指映像データ及びユーザー手部映像データを生成し、それらに基づきバーチャル指定ベクトルを生成するのに用いる。次にバーチャル指定ベクトルに基づき、使用画面内の操作ターゲットを制御し、操作ターゲットを使用画面内で移動し、ユーザー手指と手部的運動方向に対応して従い、且つユーザーの手指、手部と操作ターゲットは同一直線上にほぼ位置し、即ち指標はバーチャル指定ベクトルと使用画面の交差点に位置する。
【００１２】
本発明を特許文献２と比較した時、特許文献２の技術は、ちょうど鏡のようであり、ユーザーの映像を撮影して分析を加えた後スクリーン上にマッピング(mapping)する。即ち、特許文献２の技術はユーザーの身体動作をスクリーン上に直接対応反射させる。しかし、本発明の技術は、ユーザーの手指と手部映像で構成した直線を取得し、演算処理後、バーチャル指定ベクトルを取得するため、ユーザーはスクリーン内の任意エリアを自在に指向できる。本発明の技術は、特に大型サイズスクリーンに適用し、戸外大型スクリーンの各種プロモーション(promotion)に対して刷新的な操作方法を提供し、更に使用において直接的で、操作上簡単である。
【００１３】
本発明の詳細な技術内容、その他の目的と特徴に関し、以下で良好な実施例を挙げ、図式と共に説明する。
【実施例】
【００１４】
図２、図３及び図４は、本発明の指向性映像コントロール装置の基本アーキテクチャと使用を説明したものである。本発明が提供する指向性映像コントロール装置は、表示設備３０と合わせて共に作動するものである。表示設備３０は、例として戸外大型ディスプレイスクリーン等の設備である。本発明の指向性映像コントロール装置は、主に処理ユニット１０、映像処理ユニット１１、指向性処理ユニット１２と映像キャプチャーユニット２０を含む。そのうち、映像キャプチャーユニット２０は第一撮影モジュールと第二撮影モジュールを含み、第一撮影モジュールがユーザー映像を取得してスキャンし、第二撮影モジュールがユーザーの別角度映像を取得してスキャンし、演算後にユーザーの空間内の三次元空間座標を取得する。更に説明すると、第二撮影モジュールは被写界深度撮影モジュールを選択使用してもよく、被写界深度撮影モジュールはユーザーの映像キャプチャーユニット２０に相対する位置深度データを取得するのに用いる。映像キャプチャーユニット２０の別種の使用方法は、映像モジュールを使用せず、被写界深度撮影モジュールを直接使用し、ユーザー空間データをキャプチャすることで、被写界深度撮影モジュールが取得したユーザー空間データを利用して，同様にユーザーの空間内の三次元座標空間を取得することができる。
【００１５】
処理ユニット１０内の映像処理ユニット１１は、映像キャプチャーユニット２０に相互に連通し、ユーザー映像に対して初歩的な映像処理、例として映像明度、輝度の調整、もしくは映像シャープ化処理等々を行う。指向性処理ユニット１２は映像処理ユニット１１と相互に連通し、映像処理ユニット１１処理後のユーザー映像を受信し、分析を加えてユーザー手指映像データ及びユーザー手部映像データを生成し、続いて前述二個のデータに基づいてバーチャル指定ベクトル９０を生成する。そのうち、ユーザー手部映像データは、ユーザーの手首、肘もしくは腕等々のいずれか一つもしくはそれらの組み合わせを指す。その他、指向性処理ユニット１２は、ユーザー映像とバーチャル指定ベクトル９０に基づき、一個のバーチャル三次元空間データを構築する。被写界深度撮影モジュールを使用する場合、ユーザー空間データ、例としてユーザー頭部、身体、手部、足部の空間内の三次元空間位置情報を取得することができる。
【００１６】
指向性処理ユニット１２は、表示設備３０が提供した使用画面８０（XY両軸座標データを備える）を分析処理できる。上述のバーチャル指定ベクトル９０（XYZ 三軸座標データを備える）及びバーチャル三次元空間データ（XYZ 三軸座標データを備える）を合わせ、使用画面８０内の操作ターゲット８１を制御する。そのうち、操作ターゲット８１は使用画面８０内で移動し、ユーザー手指５０と手部５１に対応して構成されたバーチャル指定ベクトル９０の運動方向は、ユーザーの手が移動した時、ユーザーの手指５０、手部５１は操作ターゲット８１とほぼ同一直線上に位置し、それは即ち操作ターゲットがバーチャル指定ベクトル９０の延長線上に位置することであり、バーチャル指定ベクトル９０と使用画面８０の交差点に位置する。なお、操作ターゲット８１はバーチャル指定ベクトル９０と使用画面８０の交差点の近くに位置していてもよい。即ち、操作ターゲット８１はバーチャル指定ベクトル９０と使用画面８０の交差点にほぼ位置していてもよい。そのため、スクリーンサイズの大小に関わらず、ユーザーは操作ターゲット８１をスクリーン内の如何なる位置にでも自在に移動することができる。図２に示すのは、本発明が提示する指向性映像コントロール装置であり、特に大型スクリーンを備えた設備に適用する。
【００１７】
本発明は、更に指向性映像コントロールの方法を提供する。続けて前述指向性映像コントロール装置部分の動作説明に図５、図６を用いる。図５、図６は本発明の方法を説明するフローチャートである。本発明が提供する方法は、表示設備と共に合わせて用いる。先ずユーザー映像を取得し(Ｓ１０１)、次にユーザー映像を分析してユーザー手指映像データ及びユーザー手部映像データを生成し(Ｓ１０２)、前述のユーザー手指映像データと手部映像データに基づいて、バーチャル指定ベクトルを生成する(Ｓ１０３)。続いてユーザー映像とバーチャル指定ベクトルに基づいてバーチャル三次元空間データを生成する(Ｓ１０４)。そして、表示設備の使用画面内の操作ターゲットの制御権を取得し(Ｓ１０５)、操作ターゲットを画面上で移動し、ユーザー手指と手部に従った運動方向と、且つユーザーの手指、手部と操作ターゲットを、ほぼ同一直線上に位置させる。即ち、操作ターゲットはバーチャル指定ベクトルの延長線上に位置し、それは即ちバーチャル指定ベクトルと使用画面の交差点に位置する。なお、操作ターゲット８１はバーチャル指定ベクトル９０と使用画面８０の交差点の近くに位置していてもよい。即ち、操作ターゲット８１はバーチャル指定ベクトル９０と使用画面８０の交差点にほぼ位置していてもよい。続いて表示設備一端に於いて、操作ターゲットが使用画面内の制御エリアに入るのを待機し(Ｓ１０６)、操作ターゲットが制御エリアに進入したかどうかを検知し(Ｓ１０７)、仮に進入していない場合、ステップＳ１０６に戻る。反対に操作ターゲットが制御エリアへ進入したならば、操作ターゲットの動作に基づき、操作実行作業する(Ｓ１０８)。操作実行作業に関し、操作実行作業するとは、展示や広告等の異なる使用シナリオ(scenario)に基づき、確認指令(confirm)操作，もしくは取消指令(Cancel)操作等を行うことを指している。他に補充することとして、前述のステップＳ１０６からS１０８のフローチャートは、表示設備一端で完成し、表示設備は使用画面のパソコンを含む。当然、表示設備を本発明の装置と一体的に構成しても良い。
【００１８】
上述フローチャート内に於いて、仮に被写界深度撮影モジュールを使用する場合、被写界深度撮影モジュールはユーザー空間データ、例としてユーザー頭部、身体、手部、足部等の空間内の三次元空間位置情報をキャプチャする。前述フローチャート内で使用するユーザー映像はユーザー空間データに入れ替え、ユーザー手指映像データはユーザー手指空間データに入れ替え、ユーザー手部映像データはユーザー手部空間データに入れ替えれば、前述フローチャートに準ずる。
【００１９】
以上述べた本発明の良好な実施例は、上述のとおりであるが、それは本発明を制限するものではなく、本発明の分野に習熟した者が本発明の範囲から逸脱しない範囲で変更と修飾を行うかもしれない。拠って、本発明の請求範囲は、実施例に制限されず、後述の特許請求範囲を基準とする。
【符号の説明】
【００２０】
１０        処理ユニット
１１        映像処理ユニット
１２        指向性処理ユニット
２０        映像キャプチャーユニット
３０        表示設備
５０        手指
５１        手部
８０        使用画面
８１        操作ターゲット
９０        バーチャル指定ベクトル
Ｓ１０１        ユーザー映像取得
Ｓ１０２        ユーザー手指映像データ及びユーザー手部映像データ生成
Ｓ１０３        バーチャル指定ベクトル生成
Ｓ１０４        バーチャル三次元空間データ生成
Ｓ１０５        操作ターゲットの制御権取得
Ｓ１０６        操作ターゲット進入待機
Ｓ１０７        操作ターゲットは制御エリアに進入したか？
Ｓ１０８        操作実行作業
【図１】
2013218423.tif 000003
【図２】
2013218423.tif 000004
【図３】
2013218423.tif 000005
【図４】
2013218423.tif 000006
【図５】
2013218423.tif 000007
【図６】
2013218423.tif 000008