(57)【要約】      （修正有）【課題】呼吸の属性からコンピュータ制御信号を生成するシステム及び方法を提供する。【解決手段】方法は、奥行き対応センサにより取り込まれる場面の奥行きデータを取得するステップと、奥行きデータに対応する時系列の奥行きマップを生成するステップと、奥行きデータから少なくとも１つのボリュメトリック属性を生成するステップと、動作を制御するためのボリュメトリック属性に基づいて出力を生成するステップと、を含む。【選択図】図２
2015207285.tif 000002
【特許請求の範囲】
【請求項１】
非接触入力信号用いて出力を計算するシステムであって、
場面の奥行きデータを取得し、時系列の奥行きマップを生成するよう動作する奥行き対応センサを含む非接触装置と、
有形の記憶装置に格納される非一時的なコンピュータ可読プログラムを動作させるために、前記非接触装置と通信するコンピュータ・プロセッサであって、
前記装置から受け取られる情報を用いて、対象の位置を特定するよう動作する位置特定モジュールと、
前記一連の奥行きマップから判定される奥行きデータに基づいて、少なくとも１つのボリュメトリック属性を生成するよう動作する制御信号判定モジュールと、
前記モジュールを実施するよう動作するプロセッサと、を含むコンピュータ・プロセッサと、
前記プロセッサと通信し、前記ボリュメトリック属性に基づいて、出力を通信するよう動作する出力装置と、を含むシステム。
【請求項２】
前記位置特定モジュールが、前記一連の奥行きマップ全体に渡って、前記対象を検知すること、および追跡することの少なくとも一方により、前記対象の位置を特定するよう動作する、請求項１に記載のシステム。
【請求項３】
前記奥行き対応センサが、
第１の位置に配置され、前記場面の第１の視野を取り込む第１の画像取り込み装置と、
前記第１の画像取り込み装置から所定の距離だけ隔たれた第２の位置に配置され、前記場面の第１の視野から所定の度合だけずれている場面の第２の視野を取り込む第２の画像取り込み装置と、を含む、請求項１に記載のシステム。
【請求項４】
前記奥行き対応センサが、
パターン照明を前記対象に投影するよう動作する構造化照明システム、および前記反射するパターン照明を画像化するよう動作する画像取り込み装置を含むアクティブステレオ装置と、
レーザまたは光パルスを用いて、画像のポイントごとに光源と前記対象との間で光信号が飛行する時間を測定する飛行時間システムと、
前記アクティブステレオ装置および前記飛行時間システムを組み合わせたものと、からなる群から選択される、請求項１に記載のシステム。
【請求項５】
前記ボリュメトリック属性が、
所定の時間間隔内の容積の変化の振幅と、
前記容積の変化の速度と、
前記振幅および前記速度の組み合わせと、からなる群から選択される、請求項１に記載のシステム。
【請求項６】
前記コンピュータが、
前記対象の顔の向きを判定し、呼吸により得られる空気流の吸い込み、および吐き出しの方向を推定するよう動作する呼吸分析器をさらに含む、請求項１に記載のシステム。
【請求項７】
前記コンピュータが、
前記対象の最適な姿勢、および前記対象の最適な向きのうちの一方を判定し、
前記最適な姿勢、および最適な向きのうちの一方を前記出力として前記出力装置に提供するよう動作する姿勢判定モジュールをさらに含む、請求項１に記載のシステム。
【請求項８】
前記出力には、関連する装置を制御するための制御信号が含まれる、請求項１に記載のシステム。
【請求項９】
前記出力は固有の呼吸パターンである、請求項１に記載のシステム。
【請求項１０】
前記出力装置はゲーム装置であり、前記呼吸パターンが前記対象のゲームの場面内に組み込まれる、請求項９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、装置を制御するために、非アーティキュレートな形状の変化などの非接触入力信号を受け取る、目に見えないインターフェースを用いるシステムおよび方法に関する。このシステムは、ゲームのアプリケーションと関連付けて議論されているが、この明細書で議論される実施形態は、ヒューマン−マシン・インターフェースを用いる別の用途にも応用可能である。
【背景技術】
【０００２】
ヒューマン−コンピュータ・インターフェース（ＨＣＩ）とは、人間のユーザとコンピュータとの間の通信パラダイムである。基本的に、ＨＣＩを用いて生成される様々な入力を通して、ユーザはコンピュータまたは装置を操作・制御する。すなわち、特定の動作を実行するコンピュータ・プロセッサへ送信される制御信号として入力が供給される。従来のＨＣＩは、コンピュータのキーボード、マウス、およびタッチスクリーンなどの機械的接触装置を通して入力を受け入れる。支援技術には、支援用（および、適応用およびリハビリテーション用）装置が含まれ、これらの装置により、電子ポインティングデバイス、ジョイスティック、およびトラックボールなどの代替的な入力装置（代替的なＨＣＩ）を用いて、障害をもつ人々が作業を行うことが可能となる。例えば、支援技術の一例として、息操作技術がある。この息操作技術は、空気の圧力（具体的には、ストロー、チューブ、またはワンドを介して息を吸い込んだり、吐き出したりすることによる）など、口で制御する入力を用いて、ユーザが周辺装置を制御することができる技術である。マイクロフォンに吹きかけられ、ユーザにより制御される呼吸の量（圧力に関係する）による信号に反応する非接触（ポインティング）入力装置も知られている。同様に、呼吸信号の制御装置は、センサを用いてユーザが吸い込んだり吐き出したりする息の圧力を測定する。感知される、かつ／または測定される属性には関係なく、呼吸の圧力、および／または属性を、装置の制御を実行する制御装置への入力信号として利用する方向には、技術は大きな進歩を見せてこなかった。
【０００３】
近年のゲーム業界における開発により、動きを検知することを入力の代替的な形態として利用することが可能となってきている。モーション入力装置が、相対運動のパラメータ（加速度計により）、絶対運動のパラメータ（身体または制御装置の位置の特定により）、および身体の姿勢のパラメータ（画像解析および奥行きマップにより）を判定し、これらのパラメータを用いてゲームコンソールへの入力信号を供給することが可能である。
【０００４】
装置への入力として属性を検知し適用する新しいアプローチは、医療業界およびゲーム業界などの複数の業界に対して、有効な選択肢を提供することができる。ナチュラル・ユーザ・インターフェース（「ＮＵＩ」）は、人工のインターフェースまたは制御装置とは対照的に、実効的に目には見えなくユーザに依存し、技術を用いた装置とやり取りをするインターフェースである。すなわち、ユーザ（すなわち、人間の身体）がインターフェースであり、装置を制御するプロセッサに入力される入力信号は、ユーザの（意図的または非意図的な）動作に関連する。ＮＵＩは浅い学習曲線を特徴とし、インターフェースが学習する必要があるが、一般に、ユーザは、初心者から熟練者まで素早い動作を体感する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
モーション入力装置もヒューマン−マシン・インターフェース装置も、装置の制御装置への制御信号に関する入力の属性として非アーティキュレートな形状の変化を利用するものとして知られてはいない。装置を制御するために、身体の動作のジェスチャーを用いる、ＮＵＩ（すなわち、目に見えないインターフェース）が所望される。
【課題を解決するための手段】
【０００６】
本開示は、非接触（目に見えない）入力信号を用いて出力を計算する方法に関する。この方法は、奥行き対応センサにより取り込まれる、場面の奥行きデータを取得するステップを含む。この方法は、奥行きデータに対応する、時系列の奥行きマップを生成するステップを含む。この方法は、一連の奥行きマップから判定される奥行きデータに基づいて、少なくとも１つのボリュメトリック属性を生成するステップを含む。この方法は、ボリュメトリック属性に基づいて、出力を生成するステップを含む。
【０００７】
本開示の別の実施形態は、非接触入力信号を用いて、出力を計算するシステムに関する。このシステムは、メモリおよびプロセッサを含む非接触インターフェース検知装置を含み、この非接触インターフェース検知装置が、場面の奥行きデータを奥行き対応センサから取得し、時系列の奥行きマップを生成するよう構成されるプロセッサと通信する。このプロセッサは、奥行きデータを用いて、対象の位置を特定するようさらに構成される。このプロセッサは、一連の奥行きマップから判定される奥行きデータに基づいて、少なくとも１つのボリュメトリック属性を生成するようさらに構成される。このプロセッサは、このボリュメトリック属性に基づいて、出力を通信するようさらに構成される。
【図面の簡単な説明】
【０００８】
【図１】図１は、例示的な実施形態による、形状の変化、および／またはボリュメトリックデータなどの非アーティキュレートな動作データを用いて装置を制御する方法の概要を視覚的に示す、概略的な流れ図である。
【図２】図２は、例示的な実施形態による、非アーティキュレートな動作データを用いて、装置を制御するシステムの概略図である。
【図３】図３は、目に見えないインターフェースから受け取られるデータを、装置を制御するための非接触入力信号に変換する方法のフローチャートである。
【図４】図４は、２つの異なる対象に関する胸部および腹部の領域（ＲＯＩ）の時系列のボリュメトリック曲線を示すチャート図である。
【発明を実施するための形態】
【０００９】
本開示は、ボリュメトリックデータを取得し、処理ユニットを動作させ、かつ／または装置を制御するための入力制御信号として、そのデータを適用する方法およびシステムに関する。
【００１０】
図１は、例示的な実施形態による、形状の変化、および／またはボリュメトリックデータなどの非アーティキュレートな動作データを用いて、装置を制御する方法１０の概要を視覚的に示す、概略的な流れ図である。この方法はＳ１２で始まる。Ｓ１４で、対象（図１では人間のユーザ１３）が、センサ１５によりモニターされる。図示されている実施形態では、このセンサ１５が画像取り込み装置である。Ｓ１６で、このセンサは、取り込んだデータを奥行き対応検知モジュールに送信し、この奥行き対応検知モジュールが各画像を奥行きマップに変換する。奥行き対応検知モジュールは、奥行きマップ（複数可）を対象位置特定モジュールに送信する。Ｓ１８で、対象位置特定モジュールは、奥行きマップ上で位置特定を行って、奥行きマップ内の対象を検知し、かつ／またはその位置を特定する。対象の位置が特定されると、その対象に関連する画素２０の位置がＲＯＩ位置特定モジュールに送信される。図示されている実施形態では、画素の位置を特定する情報を、対象の二値画像の形態で、送信することができ、対象に関連しない全ての画素を「オフ」にすることができる、あるいは関係がないと見なすことができる。Ｓ２１で、ＲＯＩ位置特定モジュールは、対象の画像を分割して、特定の身体の部分２２（すなわち、分析される属性に関連する対象領域）に関連する画素を特定する。これらの画素に関する情報（奥行きマップ内の）を制御信号判定モジュールに送信し、この制御信号判定モジュールにより属性が分析される。例えば、対象領域が胸部領域の場合、奥行きマップ２４内の画素を分析して、胸部領域の変化を判定する。具体的には、対象が空気を吸い込んだり吐き出したりするとき、胸部壁がそれぞれ上がったり下がったりする。深い呼吸の場合には胸部壁がより拡がり、浅い呼吸の場合には胸部壁はあまり拡がらない。これらの画像を取得し、連続する画像フレーム内で処理して、奥行きマップの時系列シーケンスを作成し、この奥行きマップの時系列シーケンスを分析して、形状およびボリュメトリックの経時的な変化を判定する。制御信号判定モジュールが、この属性（例えば、胸部領域の形状の変化）をコンピュータ・プロセッサに入力し、かつ／または出力装置を制御するための入力信号に変換する。Ｓ２６で、この方法は終了する。
【００１１】
図２は、例示的な一実施形態による、形状の変化、および／または、ボリュメトリックデータなどの非アーティキュレートな動作データを用いて装置を制御するシステム１００の概略図である。このシステムは、奥行きデータ分析装置１０２、奥行き対応センサ１０４、および出力装置１０６を含み、これらは全て本明細書ではネットワークと呼ぶ通信リンクにより接続可能である。ある実施形態では、システム１００は、さらに呼吸分析器／センサ装置１０５または付加的なセンサ（図示せず）と通信可能である。これらの構成要素を以下にさらに詳細に説明する。
【００１２】
図２に示されている装置１０２は、この装置１０２の一部である、あるいは装置１０２に関連する制御装置１１０を含む。例示的な制御装置１１０は、システム１００により受け取られる奥行きデータ１３２、および／または呼吸方向データ１３４などのデータの分析を制御するよう構成される。この制御装置１１０は、受け取られたデータに基づいて少なくとも１つの属性１３６を生成することにより、データ分析を制御し、その属性を所望の動作１３８を制御する出力装置１０６に入力する。
【００１３】
この制御装置１１０は、装置１０２の動作全体を制御するよう構成されるプロセッサ１１２を含み、プロセッサ１１２は、このプロセッサ１１２と接続するメモリを備える計算モジュール１１４内に格納される処理命令を実行することにより、装置１０２の動作を制御する。
【００１４】
計算モジュール１１４のメモリは、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、磁気ディスクまたは磁気テープ、光ディスク、フラッシュメモリ、またはホログラフィックメモリなどの全ての種類の有形のコンピュータ可読媒体を表すことができる。ある実施形態では、メモリにはランダム・アクセス・メモリとリード・オンリ・メモリの組み合わせが含まれる。デジタルプロセッサ１１２は、シングルコアプロセッサ、デュアルコアプロセッサ（または、より一般にマルチコアプロセッサ）、デジタルプロセッサおよび共働数値演算コプロセッサ、デジタル制御装置などによる、様々な形態で具現化することができる。判定装置１０２の動作の制御に加えて、デジタルプロセッサは、図３に略述されている方法の一部を実行するための、メモリに格納される命令を実行する。いくつかの実施形態では、プロセッサ１１２とメモリを単一のチップ内に組み合わせることもできる。
【００１５】
奥行きデータ分析装置１０２は、センサ１０４などのネットワーク上の装置内で具現化可能であるが、この装置１０２は、中央サーバ、ネットワーク上のコンピュータなど、システム１００が接続されたネットワーク上の任意の位置に配置され得る、または、ネットワーク全体に渡って分散する、あるいは、ネットワークとアクセス可能にすることも考えられる。本明細書に開示される局面は、メモリに格納された命令に従うプロセッサ１１２により実行される。
【００１６】
具体的には、計算モジュール１１４は、奥行き対応センサ１０４から出力される奥行きデータ１３２を受け取ることができる。あるいは、奥行きデータ分析装置１０２は、奥行き対応検知モジュール１１５を含むことができ、この奥行き対応検知モジュール１１５が、奥行き対応センサ１０４からの信号を受け取り、その信号を奥行きデータに変換することができる。この後者の実施形態では、奥行き対応検知モジュール１１５は、取得されたパターン（すなわち、信号または画像）を奥行きデータに変換するアルゴリズムを含む。次いで、奥行き対応検知モジュール１１５は、計算された奥行きデータを計算モジュール１１４に送信し、この計算モジュール１１４が、（対象）位置特定モジュール１１６、対象領域（ＲＯＩ）位置特定モジュール１１８、制御信号判定モジュール１２０、呼吸方向分析モジュール（分析器）１２２、姿勢判定モジュール１２４、および姿勢推薦モジュール１２６を用いて、奥行きデータを処理してボリュメトリック属性を生成する。この奥行きデータの処理は、次の通り行われる。対象位置特定モジュール１１６が、対象の場面内のユーザ（複数可）の位置を示す座標を判定し、ＲＯＩ位置特定モジュール１１８が、ボリュメトリック変化（動作の変化）が計算され得る、対象の選択領域／選択部の位置を特定し、制御信号判定モジュール１２０が、取得された奥行きデータのストリームを分析して、入力制御信号を連続して評価して、その入力制御信号を出力装置に送信し、呼吸方向分析モジュール（分析器）１２２が、対象の顔の向きを判定し呼吸により得られる空気流の吸い込み方向および吐き出し方向を推定し、姿勢判定モジュール１２４が、対象の最適な姿勢および対象の向きのうちの一方を判定し、最適な姿勢および向きのうちの一方を出力として出力装置に供給し、姿勢推薦モジュール１２６が、対象の呼吸を修正して、取得される制御信号の質を最高にするよう、対象／インターフェース１４０にフィードバックを提供する。これらのモジュール１１６〜１２６は、例示的な方法を参照して後程説明する。
【００１７】
本明細書で使用されるソフトウェアモジュールは、装置１０２またはその他のデジタルシステムにより実行可能な、命令の全ての集まり、すなわち命令の集合を包含することを意図し、これらの命令により、ソフトウェアが意図するタスクを実行するよう、コンピュータまたはその他のデジタルシステムを構成する。本明細書で使用される「ソフトウェア」という用語は、ＲＡＭ、ハードディスク、光ディスクなどの記憶媒体内に格納される、そのような命令を包含することを意図し、かつＲＯＭなどに格納されるソフトウェアである、いわゆる「ファームウェア」も包含することも意図する。このようなソフトウェアを様々に構成することができ、これらのソフトウェアには、ライブラリ、遠隔サーバなどに格納されるインターネットベースのプログラム、ソースコード、解釈コード、オブジェクトコード、直接実行可能コードなどとして構成されるソフトウェア構成要素が含まれ得る。このソフトウェアは、システムレベルのコードを実行することができる、あるいはサーバ（図示せず）またはその他の場所に駐在する別のソフトウェアを呼び出して特定の機能を実行することも考えられる。装置１０２の種々の構成要素は全て、バス１２８により接続される。
【００１８】
引き続き図２を参照すると、装置１０２は、外部装置と通信するための、ネットワークインターフェースなどの１つ以上の通信インターフェース１３０を含む。この通信インターフェース１３０は、例えば、モデム、ルータ、ケーブル、および／または、イーサネット（登録商標）ポートを含むことができる。この通信インターフェース１３０は、センサ（奥行き／呼吸／方向の）データ１３２、１３４を入力として受け取るよう構成される。
【００１９】
この装置１０２には、サーバコンピュータなどの１つ以上の専用コンピュータ装置または汎用コンピュータ装置、または例示的な方法を行うために命令を実行可能なその他の全てのコンピュータ装置が含まれ得る。
【００２０】
図２では、装置１０２が、少なくとも１つのセンサ１０４、１０５に接続して示されている。奥行き対応（例えば、ＲＧＢＤ）センサ１０４は、対象（対象１４０などの）の場面から、視覚データおよび奥行きデータ（または、そのようなデータ内の変化）を測定し、感知データ１３２を装置１０２に送信する。同様に、呼吸センサ１０５は、対象１４０の呼吸により得られる空気流の方向を測定し、感知データ１３４を装置１０２に送信する。ある実施形態では、センサ１０４は、対象が呼吸している画像を取り込むよう構成される、カメラ／画像取り込み装置の一部でよく、奥行きデータ、および／または奥行きデータ内の変化は、このカメラ／画像取り込み装置から受け取られる一連の画像全体に渡る奥行きデータを分析することにより判定される。低価格の奥行き対応検知装置が市場で容易に購入可能である。センサ１０４は、アクティブステレオシステムを含むことができ、このアクティブステレオシステムは、一般に、ＲＧＢカメラ（および、随意的には近赤外線（ＮＩＲ）カメラ）、および構造化照明プロジェクタ（例えば、マイクロソフト社のＫｉｎｅｃｔ（登録商標）センサ）を含む。あるいは、センサ１０４は、既知の距離または基準線により隔たれる２つ以上のＲＧＢカメラからなるパッシブステレオシステムまたは従来のステレオカメラを含むことができる。すなわち、このセンサは、第１の画像取り込み装置、および第２の画像取り込み装置を含むことができ、第１の画像取り込み装置は、第１の位置に配置され、場面の第１の視野を取り込み、第２の画像取り込み装置は、第１の画像取り込み装置から所定の距離だけ隔たれた第２の位置に配置され、場面の第２の視野を取り込み、この場面の第２の視野は、場面の第１の視野から所定の度合だけずれている。さらに別の実施形態では、センサが飛行時間システムを含むことができ、この飛行時間システムは、センサ１０４内の光源と対象１４０との間で光信号が飛行する時間を画像のポイントごとにレーザパルスまたは光パルスを用いて測定する。別の実施形態では、ワークステーション、データベース、ディスクなどのメモリ記憶装置など、全ての好適な供給源から、ビデオ／画像形成データ（動作データを検知・分析するための）を入力可能である。
【００２１】
引き続き図２を参照すると、感知された奥行きデータ１３２、および／または呼吸方向データ１３４が分析装置１０２により処理されて、出力／周辺装置１０６に入力するための入力信号（命令）を表す属性１３６が出力される。システム１００は、所望の動作１３８を出力するためのアルゴリズムに属性１３６を入力するよう動作する。考えられる実施形態では、出力／周辺装置１０６には、家庭用の装置またはゲームコンソールが含まれ得る。出力装置１０６は、入力制御信号を入力可能なバーチャル環境、および／または状態を提供するためのハードウェアを含むことができる。この状態を、グラフィカル信号、視覚信号、および音声信号のうちの少なくとも１つとして提供することができる。したがって、この出力装置は、ディスプレイを備えるグラフィカル・ユーザ・インターフェースを含むことができる。考えられる別の例では、出力装置がスピーカ、プリンタ、およびｅ−インク装置などを含む。
【００２２】
次に、図３を参照すると、目に見えないインターフェースから受け取られるデータを、装置を制御するための、非接触入力信号に変換する方法３００を示すフローチャートが示されている。この方法は、Ｓ３０２で始まる。Ｓ３０４で、奥行き対応検知モジュール１１５（および／または呼吸方向分析モジュール１２２）がデータを取得する。このデータは対象の場面をモニターするセンサ（複数可）１０４、１０５により取り込まれ、送信されたものである。具体的には、これらのモジュール１１５、１２２は、奥行き対応センサ１０４、および／または呼吸センサ１０５から送信されたデータを受け取る。より具体的には、センサ１０４、１０５は非接触装置を含み、この非接触装置により、対象の場面内の対象の動作がモニターされ、かつ／または取り込まれ、センサ装置から取り除かれる。すなわち、対象はセンサとは物理的に相互作用しない。議論されている実施形態では、「対象の場面」により、ユーザ、および／または人間などの生きた対象を含む場面が考えられる。システム１００では、どのハードウェアリンクも伴わない、光ベースのインターフェースとして対象１４０が扱われ、対象の故意の、かつ／またはモニターされる動作により、出力装置１０６を制御する入力として用いられるデータを生成することができる。議論されている実施形態で対象／ユーザが人間の場合、これらの故意の動作には、肺の中の容積の変化につながる胴部の変化、すなわち、吸い込み、および吐き出しなどの身体の動きが含まれ得る。
【００２３】
モジュール１１５が、取り込まれたデータを受け取ることにより、システム１００が身体の部位の測定値／情報を計算することが可能となる。ある実施形態では、取り込まれた（センサ／感知された）データは、画像、および／またはビデオデータの形態で受け取られる。このモジュール１１５は、モニターされる場面のＲＧＢデータの形態でデータを取得することができる。このＲＧＢデータは、画像取り込み装置を用いて取り込まれる、ビデオフレーム、および／または画像として受け取ることができる。これらの画像にはそれぞれ、場面の様相が記載されている。
【００２４】
別の実施形態では、センサ装置により得られる測定値の形態でデータが取り込まれる。モジュール１１５は、取得した測定値を用いて、吸い込み／吐き出しの速度、吸い込まれる空気の容積、および吐き出す圧力などを判定することができる。ある実施形態では、呼吸分析器１０５により受け取られたデータを用いて、呼吸中（すなわち、吸い込み、および吐き出し中）に得られる空気流の方向を判定することができる。測定される、かつ／または、感知されるデータの種類、または取得されるデータを用いて判定される属性の種類には制限を設けない。また本明細書では、データを取得するために用いられるセンサの種類にも制限を設けない。
【００２５】
本開示では、モニターされる対象の属性をコンピュータ・プロセッサ１１２への入力制御信号を生成する手段として用いることを提案する。データ種類、および／または、モニターされる属性には関係なく、モジュール１１５は受け取られるデータを、さらに処理するために対象位置特定モジュール１１６に送信する。センサ装置が奥行き検知装置である、考えられる実施形態では、Ｓ３０６で、モジュール１１５は、一連の奥行きマップとしてデータを対象位置特定モジュール１１６に送信することができる。さらに、モジュール１１５は、各奥行きマップ上でモルフォロジー演算を実行後に、対象位置特定モジュール１１６にデータを送信することができる。
【００２６】
正確な対象の位置特定が、システム１００の動作で最も重要である。議論されている実施形態では、対象の位置特定は、画像、および／またはビデオフレーム（「視覚データ」）で行われる。Ｓ３０８で、対象位置特定モジュール１１６が、主に、送信された視覚データ内、より具体的には受け取られた奥行きマップ内で、対象を検知し、かつ／またはその位置を特定する。対象を検知するために、視覚データ上で全ての従来のコンピュータビジョン技術を実行することができる。例えば、ＲＧＢデータ上で人間を検知するために考えられる技術の一つが、Ｄａｌａｌ，  ｅｔ  ａｌにより、「Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ  ｆｏｒ  Ｈｕｍａｎ  Ｄｅｔｅｃｔｉｏｎ，  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ＆  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ｄａｔｅｄ  ２００５」で開示されている。その他の、ＲＧＢＤデータ上で人間を検知するために考えられる技術が、Ｘｉａ，  ｅｔ  ａｌにより、「Ｈｕｍａｎ  Ｄｅｔｅｃｔｉｏｎ  Ｕｓｉｎｇ  Ｄｅｐｔｈ  Ｉｎｆｏｒｍａｔｉｏｎ  ｂｙ  Ｋｉｎｅｃｔ，  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｗｏｒｋｓｈｏｐｓ  ２０１１」で開示されている。
【００２７】
位置特定モジュール１１６が、主に、対象の場面内のモニターされる対象に対応する画素を特定する。視覚データの場合、用いられる位置特定アルゴリズムによる計算の複雑さ、および対象の場面をモニターする画像取り込み装置のビデオフレームレートによって、モジュール１１６は、フレームごとに、または所定の数のフレームごとに位置特定を行うことができる。所定の数のフレームごとに位置特定を行う実施形態の場合、追跡アルゴリズムを実行して、フレーム全体に渡って対象の位置を追跡することが可能である。すなわち、対象が最初のフレームで検知されると、次のフレームに関してもその位置特定を維持するよう、すなわち所定のフレームでも位置特定の動作が行われるよう、その対象は一連のフレーム全体に渡って追跡される。
【００２８】
Ｓ３１０で、モジュール１１６は、奥行きマップの表面の奥行きを判定することにより、対象に対応する画素を特定する。次いで、対象に対応すると判定された画素が、対象領域（ＲＯＩ）位置特定モジュール１１８に送信される。ある実施形態では、ＲＯＩ位置特定モジュール１１８に送信される、対象の二値画像（または同様の分類）内に、これらの画素が含まれる。Ｓ３１２で、このモジュール１１８は、一般に、対象を表す画素のグループ内の対象領域の位置を特定する。
【００２９】
「ＲＯＩ」とは、その属性が分析される対象の選択領域のことを指す。目標のＲＯＩに関する選択は特定のアプリケーションに依存するが、ＲＯＩは、一般に、身体の部分または身体の部分の集まりとなる。例えば、属性が空気容積を表す非アーティキュレートな形状の変化である実施形態では、ＲＯＩは対象の横隔膜すなわち胴体領域を含み得る。
【００３０】
本開示では、身体の部分を検知し、かつ／または位置特定するための従来の全てのアプローチ（例えば、マイクロソフト社のＫｉｎｅｃｔ（登録商標）装置に関して用いられる）を対象位置特定モジュール１１６から受け取られる画素に対して、実行可能であることが考えられる。考えられるアプローチの一つが、Ｐｌａｇｅｍａｎｎ，  ｅｔ  ａｌにより、Ｒｅａｌ−ｔｉｍｅ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ａｎｄ  Ｌｏｃａｌｉｚａｔｉｏｎ  ｏｆ  Ｂｏｄｙ  Ｐａｒｔｓ  ｆｒｏｍ  Ｄｅｐｔｈ  Ｉｍａｇｅｓ，  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ  ２０１０に開示されている。これらのシステムは、対象の場面内で同時にモニターされる６人までの人間から２５以上の骨格関節を特定することができる。関節の例として、頭、首、肩、肘、腹部、手首、手、臀部、膝、足首、および足などが挙げられる。考えられる実施形態では、ＲＯＩ位置特定モジュール１１８は、これらの異なる身体の関節の位置の情報を有する。
【００３１】
本実施形態では、ボリュメトリックデータを属性としてモニタリングし、このデータを変換しコンピュータ・プロセッサへの入力信号として利用することが考えられる。したがって、ＲＯＩには、一般に、対象の胸部領域および腹部領域が含まれ得る。ＲＯＩ位置特定モジュール１１８が、対象を表す画像（画素）を分割して、胸部領域および腹部領域の位置を特定する。この動作を実行するために、コンピュータ処理に、全ての既知の効率的な分割アルゴリズムを用いることが考えられる。より具体的には、モジュール１１８は、特に、対象の領域（図示されている実施形態では胸部領域および腹部領域である）に関連する画素を特定する。Ｓ３１４で、ＲＯＩ画素の位置に関する情報（奥行きマップ、および生成される二値画像の両方における）は、制御信号判定モジュール１２０に送信され、この制御信号判定モジュール１２０がＲＯＩの属性を分析し、それらの属性を制御信号に変換する。
【００３２】
Ｓ３１６で、制御信号判定モジュール１２０は、画素を分析してＲＯＩの属性（例えば、奥行きデータから抽出された）を判定し、その属性を制御信号に変換する。より具体的には、ＲＯＩに対応する、奥行きマップ内で特定された画素を分析して、奥行きデータを特定し、かつ／または判定する。奥行きデータまたは「奥行きマップ」は、モニターポイントからの場面の対象の表面までの距離に関する情報を含む画像または画像チャネルである。別の考えられる実施形態では、モジュール１２０は、情報（例えば、胸部／腹部の位置）を取得し、その奥行きデータから、容積、姿勢の変化（例えば、変形）、その身体の領域の向きなどを計算することができる。
【００３３】
ある実施形態では、モジュール１２０は、奥行きデータのフレーム間の変化を判定するために、少なくとも２つの奥行きマップ（それぞれビデオデータ内のフレームに対応する）を処理する。この時点では、変化の量は属性として処理される。
【００３４】
考えられる実施形態では、絶対的な容積、実際の座標（例えば、ミリリットル（ｍＬ）および立方センチメートル（ｃｍ３））の情報を必要としないが、対象内または複数のユーザ間の相対的な容積の情報を用いることが考えられる。さらに、実施形態では、ボリュメトリックデータを較正することが考えられる。本開示では、容積を較正するための全ての既知の較正技術を実施することができる。例えば、ＲＧＢＤセンサを用いる較正技術の一つが、Ｅｄｇａｒ  Ａ．  Ｂｅｒｎａｌ，  ｅｔ  ａｌによる、２０１２年６月１日出願の「Ｐｒｏｃｅｓｓｉｎｇ  ａ  Ｖｉｄｅｏ  ｆｏｒ  Ｔｉｄａｌ  Ｃｈｅｓｔ  Ｖｏｌｕｍｅ  Ｅｓｔｉｍａｔｉｏｎ」と題する、同時係属中の本発明の譲受人に譲渡された米国特許出願公開第２０１３／０３２４８７６号明細書に記載されている。ＲＧＢＤセンサを用いる別の較正技術が、Ｗｅｎｃｈｅｎｇ  Ｗｕ，  ｅｔ  ａｌによる、２０１３年５月３０日出願の「Ｅｓｔｉｍａｔｉｎｇ  ａ  Ｐｏｓｅ  ｏｆ  ａ  Ｃａｍｅｒａ  ｆｏｒ  Ｖｏｌｕｍｅ  Ｅｓｔｉｍａｔｉｏｎ」と題する、同時係属中の本発明の譲受人に譲渡された米国特許出願第１３／９０５，７８８号明細書に記載されている。
【００３５】
本開示の一実施形態では、Ｓ３１８で、ＲＯＩのボリュメトリックの属性を入力制御信号として利用し、この入力制御信号により、対象のユーザは、コンピュータおよび／または出力装置とやり取りすることができる。ボリュメトリックの属性の例として、所定の時間間隔における容積の変化の振幅および容積の変化率が挙げられる。例えば、図４では、比較するための２つの異なる対象に関する、胸部領域および腹部領域（ＲＯＩ）の時系列のボリュメトリック曲線を示すチャート図が示されている。より具体的には、図４には、深い呼吸を行う第１の対象に関する第１のグラフ４０２、および第１の対象の呼吸に対して浅い呼吸を行う第２の対象に関する第２のグラフ４０４が示されている。また、グラフ４０２、４０４により、これらの対象が異なる速度で呼吸していることも示されている。第１のグラフ４０２により、第１の対象の呼吸パターンが、第２のグラフ４０４（第２の対象）より遅い速度であることが示されている。
【００３６】
ボリュメトリックデータを計算するために考えられる、１つのアプローチが、Ｅｄｇａｒ  Ａ．  Ｂｅｒｎａｌ，ｅｔ  ａｌによる、２０１２年６月１日出願の「Ｐｒｏｃｅｓｓｉｎｇ  ａ  Ｖｉｄｅｏ  ｆｏｒ  Ｔｉｄａｌ  Ｃｈｅｓｔ  Ｖｏｌｕｍｅ  Ｅｓｔｉｍａｔｉｏｎ」と題する、同時係属中の本発明の譲受人に譲渡された米国特許出願第２０１３／０３２４８７６号明細書で開示されている。
【００３７】
次に、モジュール１２０が、グラフからの制御信号を計算する。図示されている例では、対象／グラフごとに分離した制御信号が生成される。例示されているグラフでは、制御信号は、例えば、推定呼吸速度、推定呼吸量、およびそれらの組み合わせからなる群から選択される属性から導出され得る。
【００３８】
制御信号として使用することができる入力のその他の例として、呼吸中（すなわち、吸い込み、吐き出し中）に得られる空気流の方向を挙げることができる。上述した通り、Ｓ３２０で、呼吸センサ／分析器１０５は、データを取り込んで、呼吸方向分析モジュール１２２に送信することができ、この呼吸方向分析モジュール１２２が、そのデータを分析して、空気流の方向を判定することができる。あるいは、画像取り込み装置１０４は、取り込まれた視覚データを姿勢判定モジュール１２４に送信することができ、この姿勢判定モジュール１２４が、選択フレームおよび／または奥行きマップを分析して方向を判定することができる。あるいは、ＲＯＩ位置特定モジュール１１８は、画像データ、および／または奥行きマップ内の対象を表す画像（画素）を分割した後、顔の領域および／または頭の領域を位置特定することができる。あるいは、上述した通り、ＲＯＩ位置特定モジュール１１８は、複数の骨格関節の位置に関する情報を含むことができる。また、このモジュール１１８は、特定の関節の位置を姿勢判定モジュール１２４に供給することもできる。
【００３９】
Ｓ３２２で、これらの領域の位置に関する情報が、姿勢判定モジュール１２４に送信され、この姿勢判定モジュール１２４が従来の全ての姿勢推定技術を用いて呼吸の方向を判定する。ある実施形態では、単に、頭（対象の）の正面が向いている方向を特定すること、例えば、鼻の領域を特定することにより、この方向を判定することができる。対象は、唇を開いて空気を自由に吹き込んで、呼吸の方向を操作することができる。対象は、唇をすぼめて、口の所望の側から空気を吹き出すことにより、空気流の左右方向のうちのどちらかを抑えることができる。モジュール１２４は、視覚画像、および／または奥行きマップを分析して、この方向を判定することができる。
【００４０】
本明細書の実施形態では、姿勢判定モジュール１２４が判定した空気流の方向を、制御信号判定モジュール１２０が判定した推定容積、および／または容積の変化などの別の属性と組み合わせて用いて、コンピュータ・プロセッサに入力する２次元の信号を生成することが考えられる。
【００４１】
Ｓ３１８で、制御信号をコンピュータ・プロセッサに入力して、出力装置１０６の動作を制御する。図示されている実施形態では、この出力装置を用いて、バーチャル環境の状態をユーザに視覚的に通信することができる。グラフィカル信号、視覚信号、および音声信号のうちの少なくとも１つとして、この状態を提供することができるが、本明細書では使用される信号、および／または出力の種類に制限は設けない。したがって、Ｓ３２４で信号および／または所望の動作を供給するために、この出力装置は、ディスプレイを含むグラフィカル・ユーザ・インターフェースなどの対応するハードウェアを含む。バーチャル環境の固有特性は、特定のコンピュータ・アプリケーションに基づくことができる。例示されているコンピュータ・アプリケーションでは、バーチャルリアリティ、ゲーム、ｅ−ラーニング、および通信などの設定を含むことができるが、本教示では、その他の設定も可能である。バーチャル環境の状態は、制御信号判定モジュール１２０により生成される入力制御信号に左右される。
【００４２】
考えられる一実施形態では、このシステム１００は、より明確な入力信号を供給するために、取り込まれるデータの質を向上させるための推薦をさらに提供することができる。例えば、ボリュメトリックデータから入力制御データが判定される実施形態では、データの質は、中でも、姿勢や遮蔽（例えば、身体の手足により起こる）などの複数の要因により影響される。姿勢推薦モジュール１２６は、特定のコンピュータ・アプリケーションでの最適な身体の位置に関して、ユーザにフィードバックを提供することができる。例えば、モジュール１２６は、対象がセンサ装置１３２に対して特定の方向を向いて立つようなアドバイスを出力することができる。正面など一つの向きにより、より明確なボリュメトリックデータを集めることができる。別の例では、モジュール１２６が、対象に向きを変えて遮断を避けるようアドバイスすることができる。この方法はＳ３２６で終了する。
【００４３】
さらに別の実施形態では、例えば、較正技術を実行して、互いに著しく異なるボリュメトリック特性を有する所与のユーザらに対する最も良い動作領域を判定することも考えられる。例えば、幼児（対象として）の肺容量は、成人よりも著しく小さい。初期化技術および較正技術は、ユーザごとに容易に開発することができる。このように、システムは較正の設定手順を実行し、これにより特定のユーザの呼吸容量の情報を構築することができる。例示されているアプリケーションの一つでは、このシステム１００が特定の種類の呼吸サイクルを数回行うよう対象に指示することができる。図示されている例では、これらの指示により、対象は、３回呼吸し、強制的に１回息を吸い込み、そして吐き出し、その後、もう一度３回呼吸するよう案内される。システム１００は、対象の特定の肺活量の情報を判定するサイクルで、取り込まれた呼吸データを分析することができる。次いで、対象の最大肺活量に関する入力を受け取るために、このシステム１００は、出力装置（例えば、ゲームコンソール）を設定することができる。さらに別の実装形態の例では、このシステムは表示される対象の場面の中に対象の呼吸パターンを相互に組み込むことができ、これにより、実際の場面に近いシミュレーションの場面が表示される。
【００４４】
本開示の一様態は、コンピュータ装置を制御する制御信号として用いられる寸法を大きくすることである。
【００４５】
一つの例示的なケースでは、出力装置により、２つの仮想風船を表示することができる。どちらの対象が最初に風船を破裂させるかを競うレースにおいて、各対象が吸い込こむ瞬間の空気の容積を測定し、各風船を仮想的にふくらます入力として用いることができる。この例では、制御信号の判定容積により測定される曲線から容積を推定することができる。
【００４６】
方法１００および３００は、一連の動作または事象の形態で上記に示され、かつ説明されているが、本開示の種々の方法または処理は、示されている動作または事象の順番には限定されないことは理解されよう。この点に関して、本明細書に明示されている場合を除き、いくつかの動作または事象は異なる順番で行われてもよい、かつ／または、本開示に従って、本明細書で示され、記載される動作または事象とは別の、その他の動作または事象と同時に行われてもよい。なお、本開示に従った処理または方法を実装するために、示されている全てのステップを行う必要はなく、１つ以上のそのような動作を組み合わせてもよい。本明細書に記載される制御機能を提供するために、本開示に示されている方法、およびその他の方法は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実施可能であり、非限定的に上記のシステム１００を含む全てのシステムで用いることができ、本開示は、本明細書に示され、記載される特定の用途および実施形態には限定されない。
【図１】
2015207285.tif 000003
【図２】
2015207285.tif 000004
【図３】
2015207285.tif 000005
【図４】
2015207285.tif 000006