(57)【特許請求の範囲】
【請求項１】
画像取得アセンブリにより取得したシーンの１以上の画像を受信し、当該１以上の画像の少なくとも１つの第１画素群を背景または前景に分類するよう適合された画像処理装置を具え、当該処理装置により実行される分類が前記第１画素群と当該第１画素群と同じ画像内に現われる少なくとも１つの他の先に分類された画素群との間の相対的な位置に少なくとも部分的に基づくことを特徴とする画像処理システム。
【請求項２】
請求項１に記載のシステムにおいて、前記処理装置は、前記第１画素群が前記少なくとも１つの他の先に分類された画素群への規定の空間的近さにあるかどうかを判定するよう適合されていることを特徴とするシステム。
【請求項３】
請求項２に記載のシステムにおいて、前記処理装置がさらに、前記少なくとも１つの他の先に分類された画素群の対応する視覚的属性と前記第１画素群の少なくとも１つの視覚的属性とを比較するよう適合されていることを特徴とするシステム。
【請求項４】
請求項１に記載のシステムにおいて、前記処理装置は、前記第１画素群が当該第１画素群と同じ画像内に現われる少なくとも２つの他の先に分類された画素群の間の領域内に位置するかどうかを判定するよう適合されていることを特徴とするシステム。
【請求項５】
請求項４に記載のシステムにおいて、前記処理装置がさらに、前記少なくとも２つの他の先に分類された画素群の対応する視覚的属性に対して前記第１画素群の少なくとも１つの視覚的属性を比較するよう適合されていることを特徴とするシステム。
【請求項６】
請求項３または５に記載のシステムにおいて、前記処理装置が、前記第１画素群と、別のフレームの対応する画素群との間の時空間の偏差の値に少なくとも部分的に基づいて前記第１画素群を分類するよう適合されていることを特徴とするシステム。
【請求項７】
請求項６に記載のシステムにおいて、前記処理装置は、前記少なくとも１つの他の先に分類された画素群が前景に分類される場合に前記第１画素群を前景に分類するよう適合されていることを特徴とするシステム。
【請求項８】
請求項７に記載のシステムにおいて、関連する時空間の偏差の値が閾値以上であることにより、前記少なくとも１つの他の先に分類された画素群が前景に分類されることを特徴とするシステム。
【請求項９】
請求項７に記載のシステムにおいて、前記少なくとも１つの他の先に分類された画素群が特徴検出に基づいて前景に分類されることを特徴とするシステム。
【請求項１０】
ユーザの１セットの２次元画像を取得するよう適合された画像取得アセンブリであって、実質的に２以上の画像が異なる時点に関連する画像取得アセンブリと、
１以上の画素群と当該１以上の画素群と同じ画像内に現われる少なくとも１つの他の先に分類された画素群との間の相対的な位置に少なくとも部分的に基づいて前記１以上の画素群を背景または前景に分類することにより１以上の推定されたユーザの身体部位を抽出するよう適合された処理装置とを具えることを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項１１】
請求項１０に記載の画像式ヒューマンマシンインターフェイスであって、前記処理装置が第１フレームの第１画素群の時空間の偏差の値（「ＳＤＶ」）を測定するよう適合されており、前記ＳＤＶが前記第１フレームの第１画素群と別のフレームの対応する第２画素群との間の時空間の偏差を示すことを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項１２】
請求項１１に記載の画像式ヒューマンマシンインターフェイスであって、背景または前景の何れかへの画素群の分類が、前記画素群のＳＤＶ、及び前記画素群と当該画素群と同じ画像内に現われる少なくとも１つの他の先に分類された画素群との間の空間的関係に少なくとも部分的に基づくことを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項１３】
請求項１２に記載の画像式ヒューマンマシンインターフェイスであって、ＳＤＶが高いＳＤＶの背景の例外（High SDV Background Exception）（「ＨＳＢＥ」）の結果とみなされない場合、所定の画素群のＳＤＶが閾値以上であることにより前記所定の画素群が前景に分類されることを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項１４】
請求項１３に記載の画像式ヒューマンマシンインターフェイスであって、ＨＳＢＥが、前記フレーム内の静的な動きと、前記フレーム内の動的な動きと、前記フレーム内の一定しない動きと、前記フレーム内の一定した動きと、前記画像取得アセンブリの移動と、照明変化とで構成される群から選択される１以上の現象であることを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項１５】
請求項１４に記載の画像式ヒューマンマシンインターフェイスであって、ＳＤＶが照明変化の結果とみなされる画素群は再分類されないことを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項１６】
請求項１４に記載の画像式ヒューマンマシンインターフェイスであって、ＳＤＶが前記画像取得アセンブリの移動の結果とみなされる画素群は、前記処理装置を作動して背景分類処理を再開させることを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項１７】
請求項１４に記載の画像式ヒューマンマシンインターフェイスであって、ＳＤＶが前記画像取得アセンブリの移動の結果とみなされる画素群は、前記処理装置を作動して前記画像取得アセンブリの検出された位置の変化に基づいて画素オフセット補正を実行させることを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項１８】
請求項１７に記載の画像式ヒューマンマシンインターフェイスであって、画素オフセット補正が、第１アセンブリの位置に関連する画素群データと第２アセンブリの位置との相関関係を含むことを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項１９】
請求項１２に記載の画像式ヒューマンマシンインターフェイスであって、ＳＤＶが低いＳＤＶの前景の例外（Low SDV Foreground Exception）（「ＬＳＦＥ」）の結果とみなされない場合、所定の画素群のＳＤＶが閾値以下であることにより前記所定の画素群が背景に分類されることを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項２０】
請求項１９に記載の画像式ヒューマンマシンインターフェイスであって、ＬＳＦＥが、前記画像取得アセンブリの移動と、照明変化と、予め規定された要素の近くにある例外（near predefined element exception）と、前景の近くにある例外（near foreground exception）とで構成される群から選択された１以上の現象であることを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項２１】
請求項１２に記載の画像式ヒューマンマシンインターフェイスであって、前記処理装置は、第２画素群が前景とみなされ、前記第１画素群と前記第２画素群の双方が１以上の類似する特性または視覚的属性を有する場合に、前記第１画素群を前景に分類するよう適合されていることを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項２２】
請求項１２に記載の画像式ヒューマンマシンインターフェイスであって、前記処理装置は、第２画素群が予め規定された要素または特徴と一致し、前記第１画素群と前記第２画素群が互いに予め規定された近さにある場合に、前記第１画素群を前景に分類するよう適合されていることを特徴とする画像式ヒューマンマシンインターフェイス。
【請求項２３】
ユーザの１セットの２次元画像を取得するステップであって、実質的に各画像が異なる時点に関連するステップと、
１以上の画素群と、当該１以上の画素群と同じ画像内に現われる少なくとも１つの他の先に分類された画素群との間の相対的な位置に少なくとも部分的に基づいて前記１以上の画素群を背景または前景に分類することにより１以上の推定されたユーザの身体部位を処理するステップとを含むことを特徴とする方法。
【請求項２４】
請求項２３に記載の方法であって、第１フレームの第１画素群の時空間の偏差の値（「ＳＤＶ」）を測定するステップを含み、前記ＳＤＶが前記第１フレームの第１画素群と別のフレームの対応する第２画素群との間の時空間の偏差を示すことを特徴とする方法。
【請求項２５】
請求項２４に記載の方法であって、背景または前景の何れかへの画素群の分類が、前記画素群の測定されたＳＤＶ、及び前記画素群と当該画素群と同じ画像内に現われる少なくとも１つの他の先に分類された画素群との間の空間的関係に少なくとも部分的に基づくことを特徴とする方法。
【請求項２６】
請求項２５に記載の方法であって、前記ＳＤＶが高いＳＤＶの背景の例外（「ＨＳＢＥ」）の結果とみなされない場合、所定の画素群のＳＤＶが閾値以上であることを検出するステップにより前記所定の画素群が前景に分類されることを特徴とする方法。
【請求項２７】
請求項２６に記載の方法であって、ＨＳＢＥが、前記フレーム内の静的な動きと、前記フレーム内の動的な動きと、前記フレーム内の一定しない動きと、前記フレーム内の一定した動きと、画像取得アセンブリの移動と、照明変化とで構成される群から選択された１以上の現象であることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にヒューマンマシンインターフェイスの分野に関する。より具体的には、本発明は、画像センサ式ヒューマンマシンインターフェイスを提供するための方法、システムと関連モジュール、およびソフトウェアコンポーネントに関する。
【背景技術】
【０００２】
ソフトウェアの歴史の中で最も大きな傾向の１つは、計算集約型デザインから表示集約的デザインへの変化である。マシンはますます強力になってきているため、発明者はその表示力の割合を着実に増加させることに費やしてきた。その発展の歴史は、３つの時代：バッチ（１９４５−１９６８年）、コマンドライン（１９６９−１９８３年）およびグラフィカル（１９８４年以降）に便宜上分割することができる。この歴史は、もちろんデジタルコンピュータの発明と共に始まる。後者の２つの時代の開始年は、重要な新しいインターフェイス技術が研究室から出現し、本格的にユーザのインターフェイスに関する期待を変え始めた年である。それらの技術は、対話型のタイムシェアリングとグラフィカルユーザインターフェイスであった。
【０００３】
バッチ時代では、計算能力が非常に乏しく高価であった。当時の大型で最も強力なコンピュータは、典型的なトースターまたは電子レンジより少ない一秒当たりのロジックサイクルを命令し、今日の自動車、デジタル時計、または携帯電話よりかなり少ないビット数であった。したがって、ユーザインターフェイスは未発達であった。ユーザは、コンピュータに適応しなければならず、むしろ逆にユーザーインターフェイスは経費が掛かると考えられ、ソフトウェアは可能な限り少ない経費でプロセッサを最大限利用するように設計された。
【０００４】
バッチマシンのユーザインターフェイスの入力側は、主にパンチカードか、または紙テープのような等価な媒体であった。出力側は、これらの媒体にライン印刷を加えた。システムオペレータのコンソールの制限された例外によって、人はバッチマシンとリアルタイムで全く対話していなかった。
【０００５】
バッチマシンにジョブを提供するには、まず、プログラムとデータセットを記述したパンチカードのデッキを準備することが必要であった。プログラムカードの穴開けは、コンピュータ自体で行われず、悪評高く急に止まり、厳しく、機械故障する傾向がある特殊なタイプライタのようなマシンで行なわれていた。ソフトウェアインターフェイスも同様に厳しく、非常に厳格な構文ができる限り最小のコンパイラとインタープリタによって構文解析されるよう作られた。
【０００６】
一旦カードが穴を開けられると、ジョブキューやジョブ待ちにそれを入れる。最終的に、オペレータは、デッキをコンピュータに供給して、おそらく別のデータセットまたは補助ソフトウェアを供給する磁気テープを装着する。このジョブは、最終結果あるいは（何度も）エラーログ付きの停止通知を含む印字出力を生成する。うまく実行すると磁気テープに結果を書き込むこともでき、または後の計算に用いるデータカードを何枚か作ることができる。
【０００７】
１つのジョブのターンアラウンドタイムは、しばしば数日にも及んだ。非常に運がよければ数時間で済むこともあったが、リアルタイム応答は聞いたことがなかった。しかし、カードキューより悪い結果もあった。幾つかのコンピュータは、コンソールスイッチを用いるバイナリコードのプログラムでさらにより単調でエラーが生じやすいトグリング処理を実際に必要とした。最も初期のマシンは実際、配線盤として知られる装置を用いて、自身に組み込まれたプログラムロジックを部分的に再配線しなければならなかった。
【０００８】
初期のバッチシステムは、全コンピュータに現在実行しているジョブを与えた。プログラムデッキとテープは、Ｉ／Ｏデバイスと通信するために現在オペレーティングシステムコードと考えられるものを含み、他のハウスキーピングを必要とするものは何でも行わなければならなかった。バッチ時代の中頃である１９５７年以降は、いわゆる「ロード＆実行」システムを使って様々なグループが実験を開始した。これらは、コンピュータに常駐するモニタプログラムを用いた。プログラムはサービスとしてモニタをコールすることができた。モニタの別の機能は、提供されたジョブのより優れたエラーチェック、より早くより賢明なエラーキャッチ、およびよりユーザへの有用なフィードバックの生成を行なうことであった。このように、モニタは、オペレーティングシステムと明確に設計されたユーザインターフェイスとの双方への第１ステップを表すものであった。
【０００９】
コマンドラインインターフェイス（ＣＬＩｓ）は、システムコンソールに接続されたバッチモニタから発展した。その対話型モデルは、一連の応答−要求トランザクションであり、要求は特別な言語のテキスト形式のコマンドとして表わされた。待ち時間はバッチシステムのものよりかなり短く、日または時間から秒へと減少した。したがって、コマンドラインシステムは、初期結果のリアルタイムまたはほぼリアルタイムフィードバックに応じて、ユーザがトランザクションの後期ステージに関する彼または彼女の考え方を変更するのを可能にした。ソフトウェアは、以前では不可能な方法で実験的かつ対話的なものとすることができた。しかしながら、これらのインターフェイスは相対的に重い記憶の負荷を課し、習得する努力と学習時間の本格的な投資を必要とした。
【００１０】
コマンドラインインターフェイスは、タイムシェアリングコンピュータの出現に密接に関係していた。タイムシェアリング時代のコンセプトは１９５０年代に戻り、最も影響を与えた初期の実験は、１９６５年以降のＭＵＬＴＩＣＳオペレーティングシステムであり、今日のコマンドラインインターフェイスに圧倒的に影響を与えたのは、Ｕｎｉｘ自体のオペレーティングシステムであり、これは１９６９年から始まり、その後生じた殆どのシステムの方向性に影響を及ぼした。  
【００１１】
最も初期のコマンドラインシステムはコンピュータにテレタイプを組み合わせ、人間の間のワイヤ上の情報伝送の媒介に有効であると証明された成熟技術を適合したものである。テレタイプは、自動電信送受信用の装置として当初発明された。それらは１９０２年に遡る歴史を有しており、１９２０年までにニュース編集室や他の場所で既に定着していた。これらを再利用するには、経済性は確実に考慮すべき事項であったが、心理学と驚き最小の原則も同様に重要である。テレタイプは、多くのエンジニアとユーザに馴染み深いシステムを相互接続点に提供した。
【００１２】
１９７０年代中頃のビデオディスプレイ端末（ＶＤＴｓ）の広範囲の採用により、コマンドラインシステムが第２段階に入った。プリンタヘッドまたはキャリッジが移動するより早く、文字をスクリーンの点状蛍光体に投影することができたため、これらは待ち時間を更に削減した。これらは、コスト状況からインクや紙といった消耗品を削減することによって対話型プログラミングに対する保守的な反対を抑え、１９５０年後半及び６０年代の最初のＴＶ世代にとって、１９４０年代のコンピュータの先駆けであったテレタイプよりも、より象徴的で快適なものであった。
【００１３】
アクセス可能なスクリーンの存在と同様に重要なことは、迅速かつ可逆的に変形できるテキストの２次元ディスプレイは、ソフトウェア設計者がテキスト形式ではなく視覚的に表示できるインターフェイスを配置するのを経済的にした。この種の先駆け的なアプリケーションは、コンピュータゲームとテキストエディタである。ｒｏｇｕｅ（６）やＶＩ（１）などの初期の例の幾つかの密接な末裔は、未だにＵＮＩＸ様式の生存部分である。
【００１４】
スクリーンビデオディスプレイは、全く新規ではなく、１９６１年のＰＤＰ−１と同じように早期にミニコンピュータで登場していた。しかし、シリアルケーブルを介して取り付けられるＶＤＴｓに移行するまでは、非常に高価なコンピュータがそのコンソール上でアドレス指定可能なディスプレイをサポートするに過ぎなかった。このような条件下では、ビジュアルＵＩの様式を開発することは困難であった。このようなインターフェイスは１回限りの稀な状況でのみ構築され、このようなインターフェイスは、全てのコンピュータが少なくとも一時的に単一ユーザ用の動作に専念できるという稀な状況でのみ１回限り構築することができた。
【００１５】
１９６２年以来、現在グラフィカルユーザインターフェイスと呼んでいるものや、その先駆け的なＰＤＰ−１のＳＰＡＣＥＷＡＲゲームのの散発的な実験があった。このマシンのディスプレイは、単なる文字端末ではなく、ベクトルグラフィックスをサポートするために作られた改良オシロスコープであった。ＳＰＡＣＥＷＡＲインターフェイスは、主にトグルスイッチを用いるが、初期の原型トラックボールを特徴付けるものでもあり、プレーヤ自身により特注された。１０年後、１９７０年代初期には、これらの実験がビデオゲーム産業を生み出し、これは実際にＳＰＡＣＥＷＡＲのアーケードバージョンを作成する試みと共に始まった。
【００１６】
ＰＤＰ−１コンソールディスプレイは第２次世界大戦のレーダー表示管に由来しており、２０年前、マサチューセッツ工科大学のリンカーン研究所のミニコンピュータの何人かのキーパイオニアが元レーダー技術者であったことを反映している。同じ１９６２年に大陸各地で、別の元レーダー技術者がスタンフォード研究所で異なる道を切り開き始めていた。彼の名前は、Ｄｏｕｇ  Ｅｎｇｅｌｂａｒｔである。彼は、これらの非常に初期のグラフィカルディスプレイの個人的な経験と、Ｖａｎｎｅｖａｒ  Ｂｕｓｈの影響力ある論文Ａｓ  Ｗｅ  Ｍａｙ  Ｔｈｉｎｋとの双方から着想し、これは現在ハイパーテキストと呼ぶバージョンを１９４５年に提供した。
【００１７】
１９６８年１２月に、ＥｎｇｅｌｂａｒｔとＳＲＩの彼のチームは、最初のハイパーテキストシステムであるＮＬＳ／Ａｕｇｕｍｅｎｔの９０分間の公開デモンストレーションを行った。このデモンストレーションは、３ボタンマウス（Ｅｎｇｅｌｂａｒｔの発明）と、マルチウィンドウインターフェイスのグラフィカルディスプレイと、ハイパーリンクと、オンスクリーンビデオ会議の初公開を含んでいた。このデモは大評判となり、１９９１年のＷｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂの発明まで及びこれを含み、４半世紀の間コンピュータサイエンス界に反響を与える結果となった。
【００１８】
したがって、１９６０年代初期にはグラフィカル表示が感動的なユーザ体験を与えることが既に十分理解された。マウスと同等のポインティングデバイスが既に発明され、１９６０年代後半の多くのメインフレームはＰＤＰ−１のものに匹敵するディスプレイ性能を有していた。著者の一人は、２００４年に購入したならば４千５百万ドル近くかかるであろうＵｎｉｖａｃ１１０８コンピュータのコンソールで、１９６８年の非常に初期の別のビデオゲームをプレイした鮮明な記憶がある。しかし１回４千５百万ドルでは、対話型グラフィックの実際の顧客は殆どいなかった。ＮＬＳ／Ａｕｇｍｅｎｔシステムのカスタムハードウエアはそれほど高価ではなかったが、それでも一般的な用途には手が出せないほど高かった。１０万ドルかかるＰＤＰ１でさえ、グラフィカルプログラミングの様式を構築するには高価すぎる機械であった。
【００１９】
ビデオゲームは、非常に安価で単純なプロセッサ上でハードウェアに組み込まれたプログラムを実行したので、コンピュータより早くに巨大市場のデバイスとなった。しかし、汎用目的のコンピュータでは、オシロスコープディスプレイが進化の終端となった。コンピュータとの通常のやり取りに、グラフィカルなビジュアルインターフェイスを使用する構想は数年待たねばならず、実際には１９７０年後半のシリアルラインキャラクタＶＤＴの最新式グラフィックス対応バージョンが先導した。
【００２０】
１９７０年代の最も初期のＰＡＲＣシステム以来、ＧＵＩの設計は、Ａｌｔｏが先駆けとなったＷＩＭＰ（ウィンドウ、アイコン、マウス、ポインタ）モデルと呼ばれるようになったものによってほぼ完全に独占されてきた。後の数十年に渡るコンピュータ処理とディスプレイハードウエアの大きな変化を考えると、ＷＩＭＰを超えるものを考えるのは驚くほど困難であることが分かるが−幾つかの試みがなされてきた−おそらくこの最も際立ったものはＶＲ（バーチャルリアリティ）インターフェイスである。ＶＲユーザは、実体験のように感じるグラフィカル３Ｄ環境内を移動し、身ぶり手ぶりで話す。ＶＲは、１９８０年代半ばから大きな研究団体を引き付けてきた。これらをサポートする計算能力はもはや高価なものではないが、物理的なディスプレイデバイスはＶＲに２００４年における一般的な使用を超える値段を付けた。より基本的な問題は、フライトシミュレータの設計者には長年知られているが、ＶＲが人間固有のシステムを混乱させる方法である。普通の速度でさえＶＲの動作は、脳が動作の視覚的シミュレーションを体の実世界の動作の内耳報告と一致させようとするため、目まいや吐き気を引き起こすことがある。  
【００２１】
Ｊｅｆ  ＲａｓｋｉｎのＴＨＥ  ｐｒｏｊｅｃｔ（Ｔｈｅ  Ｈｕｍａｎｅ  Ｅｎｖｉｒｏｎｍｅｎｔ）は、ＧＵＩのズーム世界モデルを探求しており、３Ｄを利用することなく空間化することを述べている。ＴＨＥ  ｐｒｏｊｅｃｔでは、スクリーンが２Ｄ仮想世界のウィンドウとなり、ここでデータとプログラムが空間位置により編成される。この世界の物体は基準面を超える高さに応じて細かな幾つかのレベルで表わすことができ、最も基本的な選択動作はズームインとそこへのランドオンである。
【００２２】
エール大学のＴｈｅ  Ｌｉｆｅｓｔｒｅａｍｓ  ｐｒｏｊｅｃｔは完全に反対の方向に進んでおり、実際にＧＵＩを脱空間化している。ユーザのドキュメントは、修正日によって編成された一種の世界線または一時的なストリームとして表わされ、これは様々な方法でフィルタに掛けることができる。  
【００２３】
これらの３つのアプローチは総て、ものに名前を付けることや、参照の主な形式として名称を用いることを回避するようにしたコンテキストを支持する従来のファイルシステムを捨て去るものである。  これは、最も長続きしており有効な特徴の一つであると思われる、ＵＮＩＸのアーキテクチュアのファイルシステムと階層名前空間にこれらを一致するのを困難にする。それにもかかわらず、これらの初期の実験の一つは未だに、ＮＬＳ／ＡｕｇｍｅｎｔのＥｎｇｅｌｈａｒｄの１９６８年のデモと同じくらい影響力があると実証することが可能である。
【００２４】
画像またはビデオ式ヒューマンマシンインターフェイスを可能にするためにかなりの努力がなされており、マシン（すなわちコンピュータ装置）は、ユーザのジェスチャを入力コマンドとして解釈することができる。しかしながら、これを行う技術、および分野は全体としてまだ初期段階である。ユーザインターフェイスの分野では、ヒューマンマシンインターフェイスの改善されたシステムおよび方法に対するニーズがある。
【００２５】
本願出願人は、「Ａ  ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ３Ｄ  ＳＰＡＣＥ−ＤＩＭＥＮＳＩＯＮ  ＢＡＳＥＤ  ＩＭＡＧＥ  ＰＲＯＣＥＳＳＩＮＧ」と表題された２００７年１月３０日提出のＵＳ１１／５７２，９５８、「ＡＰＰＡＲＡＴＵＳ  ＭＥＴＨＯＤ  ＡＮＤ  ＳＹＳＴＥＭ  ＦＯＲ  ＩＭＡＧＩＮＧ」と表題された２００６年３月２７日提出のＵＳ１１／２７７，５７８、「ＡＮ  ＡＰＰＡＲＡＴＵＳ  ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＨＵＭＡＮ−ＭＡＣＨＩＮＥ−ＩＮＴＥＲＦＡＣＥ」と表題された２００９年６月２日提出のＵＳ１２／５１７，２１０、「Ａ  ＭＥＴＨＯＤ  ＳＹＳＴＥＭ  ＡＮＤ  ＡＳＳＯＣＩＡＴＥＤ  ＭＯＤＵＬＥＳ  ＡＮＤ  ＳＯＦＴＷＡＲＥ  ＣＯＭＰＯＮＥＮＴＳ  ＦＯＲ  ＰＲＯＶＩＤＩＮＧ  ＩＭＡＧＥ  ＳＥＮＳＯＲ  ＢＡＳＥＤ  ＨＵＭＡＮ  ＭＡＣＨＩＮＥ」と表題された２００９年９月６日提出のＰＣＴ／ＩＬ２００９／０００８６２、「ＭＥＴＨＯＤ  ＣＩＲＣＵＩＴ  ＡＮＤ  ＳＹＳＴＥＭ  ＦＯＲ  ＨＵＭＡＮ  ＭＡＣＨＩＮＥ  ＩＮＴＥＲＦＡＣＩＮＧ  ＷＩＴＨ  ＡＮ  ＥＬＥＣＴＲＯＮＩＣ  ＤＥＶＩＣＥ」と表題された２００９年９月２１日提出のＵＳ６１／２４４，１３６の特許出願を提出しており、これらの各々は画像／ビデオ式ヒューマンマシンインターフェイスを提供する態様に関している。上記に言及した出願の各々の教示は、参照により本出願に組み込まれる。  
【発明の概要】
【００２６】
本発明は、画像（センサ）式ヒューマンマシンインターフェイス（「ＩＢＨＭＩ」）を提供するため方法、システムと関連モジュール、ソフトウエアコンポーネントおよび処理装置である。本発明の幾つかの実施形態によれば、ＩＢＨＭＩは画像取得装置または画像取得アセンブリと処理装置で構成することができ、これは推定したユーザの身体部位、１セットの推定したユーザの身体部位または身体動作を抽出することができる。同じものを抽出するステップとして、この処理装置は、画像またはビデオフレームの１以上の画素群（例えば画素ブロックまたは画素群）を背景または前景の何れかに分類することができる。本発明の更なる実施形態によれば、処理装置は、推定されたユーザの身体部位、１セットの推定されたユーザの身体部位または身体動作を抽出する前後を除いて複数の画素または画素群を背景または前景に分類することができる。
【００２７】
本発明の幾つかの実施形態によれば、画像アセンブリにより取得したシーンの１以上の画像を受信し、１以上の画像の少なくとも１つの第１画素群を背景または前景に分類するよう適合した画像処理装置が提供される。この処理装置により実行される画素群の分類は、第１画素群と少なくとも１つの他の前に分類された画素群との間の相対的な位置に少なくとも部分的に基づくことができる。この処理装置は、第１画素群が少なくとも１つの他の前に分類された画素群と規定された空間的近さにあるかどうかを分類処理に入れることもできる。この処理装置が、少なくとも１つの他の前に分類された画素群の対応する視覚的属性に対して第１画素群の少なくとも１つの視覚的属性を比較することができる。
【００２８】
本発明の更なる実施形態によれば、この処理装置は、第１画素群が少なくとも２つの他の前に分類された画素群間の領域内にいるかどうかを判定することができ、少なくとも２つの他の前に分類された画素群の対応する視覚的属性に対して第１画素群の少なくとも１つの視覚的属性を比較することができる。この処理装置はさらに、別のフレームの第１画素群と、対応する画素群との間の時空間の偏差の値に基づいて少なくとも部分的に第１画素群を分類するよう適合することができる。
【００２９】
本発明の幾つかの実施形態によれば、この処理装置は、少なくとも１つの他の前に分類された画素群が前景に分類される場合に、第１画素群を前景に分類するよう適合することができる。少なくとも１つの他の前に分類された画素群は、関連する時空間の偏差の値が閾値以上であることにより、前景に分類することができる。少なくとも１つの他の前に分類された画素群は、特徴検出アルゴリズム（例えば、顔、手など）に基づいて前景に分類することができる。
【００３０】
本発明の幾つかの実施形態によれば、ユーザの１セットの２次元画像を取得するよう適合された画像取得アセンブリであって、実質的に２以上の画像が異なる時点に関連づけられる画像取得アセンブリと、背景または前景として１以上の画素群を分類することにより１以上の推定されたユーザの身体部位を抽出するよう適合された処理装置とを含む画像式ヒューマンマシンインターフェイスを提供することができる。この処理装置は第１フレームの第１画素群の時空間の偏差の値（「ＳＤＶ」）を測定するよう適合することができ、このＳＤＶが第１フレームの第１画素群と別のフレームの対応する第２画素群との間の時空間の偏差を示しており、画素群のＳＤＶに少なくとも部分的に基づいて、かつ画素群と少なくとも１つの他の前に分類された画素群との間の空間的関係とに基づいて画素群を背景または前景の何れかに分類するよう適合することができる。
【００３１】
本発明の幾つかの実施形態によれば、ＳＤＶが高いＳＤＶの背景の例外（High SDV Background Exception）（「ＨＳＢＥ」）の結果とみなされない場合、閾値以上で測定／検出された所定の画素群のＳＤＶにより所定の画素群を前景に分類することができる。ＨＳＢＥは、フレーム内の静的な動きと、フレーム内の動的な動きと、フレーム内の一定しない動きと、フレーム内の一定した動きと、画像取得アセンブリの変化と、照明変化とで構成される群から選択される１以上の現象とすることができる。ＳＤＶが照明変化の結果とみなされる画素群は、分類または再分類しなくてよい。ＳＤＶが画像取得アセンブリの変化の結果とみなされる画素群は、この処理装置を作動して背景分類処理を再開させることができる。ＳＤＶが画像取得アセンブリの変化の結果とみなされる画素群は、この処理装置を作動して画像取得アセンブリの検出された位置の変化に基づく画素オフセット補正を実行させることができる。画素オフセット補正は、第１アセンブリの位置を第２アセンブリの位置に関連づけた画素群データの相関関係を含むことができる。
【００３２】
本発明の幾つかの実施形態によれば、ＳＤＶが低いＳＤＶの前景の例外（Low SDV Foreground Exception）（「ＬＳＦＥ」）の結果とみなされる場合、閾値以下で測定／検出された所定の画素群のＳＤＶにより所定の画素群を背景に分類することができる。ＬＳＦＥは、画像取得アセンブリの変化と、照明変化と、予め規定された要素の近くにある例外と、前景の近くにある例外とで構成される群から選択される１以上の現象とすることができる。この処理装置は、第２画素群が前景とみなされる場合、第１画素群と第２画像群の双方が１以上の類似する特性または視覚的属性（例えば前景の近くにある例外）を有する場合に、第１画素群を前景に分類するよう適合することができる。この処理装置は、第２画素群が予め規定された要素または特徴と一致し、第１画素群と第２画像群が互いに予め規定された近さにある場合（例えば要素／特徴の近くにある例外）、第１画素群を前景に分類するよう適合することができる。
【００３３】
本発明の幾つかの実施形態によれば、ユーザの１セットの２次元画像を取得するステップであって、実質的に各画像が異なる時点に関連づけられるステップと、背景または前景として１以上の画素群を分類するステップとを含む画像処理方法を提供することができる。分類するステップは、第１フレームの第１画素群の時空間の偏差の値（「ＳＤＶ」）を測定するステップを含むことができ、このＳＤＶが第１フレームの第１画素群と別のフレームの対応する第２画素群との間の時空間の偏差を示す。背景または前景の何れかに画素群を分類するステップが少なくとも部分的に、画素群の測定されたＳＤＶと、この画素群と少なくとも１つの他の前に分類された画素群との間の空間的関係とに基づくことができる。
【００３４】
幾つかの実施形態によれば、ＳＤＶが高いＳＤＶの背景の例外（「ＨＳＢＥ」）の結果とみなされない場合、閾値以上の所定の画素群のＳＤＶの検出により所定の画素群を前景に分類することができる。ＨＳＢＥは、フレーム内の静的な動きと、フレーム内の動的な動きと、フレーム内の一定しない動きと、フレーム内の一定した動きと、画像取得アセンブリの変化と、照明変化とで構成される群から選択された１以上の現象とすることができる。
【００３５】
ＳＤＶが低いＳＤＶの前景の例外（Low SDV Foreground Exception）（「ＬＳＦＥ」）の結果とみなされない場合、閾値以下の所定の画素群のＳＤＶの検出により所定の画素群を背景に分類することができる。ＬＳＦＥは、画像取得アセンブリの変化と、照明変化と、予め規定された要素の近くにある例外（near predefined element exception）と、前景の近くにある例外（near foreground exception）とで構成される群から選択された１以上の現象とすることができる。
【００３６】
第２ＳＤＶに関連する第２画素群が前景とみなされ、第１画素群と第２画素群が予め規定された近さにあり、双方が１以上の類似する特性を有する場合、前景の近くにある例外が検出される。第２画素群が予め規定された要素／特徴と一致し、第１画素群と第２画素群が予め規定された近さにある場合に、予め規定された要素の近くにある例外が検出される。
【００３７】
本発明の幾つかの実施形態によれば、この処理装置は初期化フェーズに連動することができ、この初期化フェーズ中に第１セットのフレームからの画素群が背景または前景として初めに分類することができる。初期の分類は、ＸＴＲスケルトンの初期化処理に従うか、または追加情報を用いて前景を推定することができる。この処理装置はさらに、背景と前景の初期の分類を更新、改善することができる。例えば、特定の要素の特徴を適合することにより、顔または頭を検出することができ、大きく動く一定した物体を検出することができ、または画素群をエッジ等に分類することができる。
【００３８】
本発明の幾つかの実施形態によれば、この処理装置は画素群と予め規定された近さにある同じフレーム内の１以上の更なる画素群との間の１以上の偏差の値を検出することにより画素群に関する情報を収集、処理、および／または計算することができる。同じフレームの偏差の値（「ＳＦＤＶ」）は、色、陰影、質感、粒度などの偏差を検出することができ、画素群は幾つかのこのＳＦＤＶを有することができる。
【００３９】
本発明の幾つかの実施形態によれば、この処理装置は前回取得したフレームの対応する画素と比較したフレームの画素の変化（時間領域におけるフレームの画素の変化を意味する）があるかどうかを特定することができ、時空間の偏差の値（「ＳＤＶ」）などの値を演算および検出することができる。次いで、この処理装置は変化ありもしくは変化なしを選択的に追加情報と共に特徴づけ、１以上の画素を背景または前景に分類することができる。本発明の幾つかの実施形態によれば、ＳＤＶの値が閾値より高い場合、高いＳＤＶの背景の例外−例えば、画像取得アセンブリの位置の変化が発生した兆候がある、または照明の変化がある場合−が同時に検出されなければ、ＳＤＶが関連する画素群は前景に分類することができる。
【００４０】
本発明の幾つかの実施形態によれば、ＳＤＶの値が閾値より低い場合、ＳＤＶが関連する画素群は、低いＳＤＶの前景の例外−例えば、画素群と、既に前景に分類されている同じフレームの別の画素群との間の空間的近さおよび特徴／属性の近さ（色、質感など）がある場合−が同時に検出されなければ、背景に分類することができる。低ＳＤＶに関連する画素群を前景に分類するよう導く低いＳＤＶの例外の更なる実施例としては、この画素群と類似する特徴または属性を持たないが、この画素群が既に前景に分類されている２以上の画素群の間に位置する場合である。例えば、低いＳＤＶを有する画素群が人の胴体の真中に位置した黒いシャツ上にある場合があり、この胴体のエッジ上の画素群はエッジ検出、特徴（すなわち顔、腕などの）検出、スケルトンフィッティング、または今日既知のもしくは今後発明される任意の他の技術などあらゆる技術に基づいて前景として特定することができる。
【００４１】
本発明の幾つかの実施形態によれば、画素群は、ＳＤＶおよび／またはＳＦＤＶおよび／または演算値、特徴、または幾つかのこのような偏差の値の組み合わせに由来する追加情報に従って背景または前景に分類することができる。本発明の幾つかの実施形態によれば、画素群は必要ならば更なる画素群に分割することができる。例えば、画素群が背景と前景との間のエッジとして検出される場合、エッジのより強い定義、その領域のより速い追跡などを可能にするために、画素群は２以上の画素群に分割することができる。
【００４２】
本発明の幾つかの実施形態によれば、この処理装置が閾値より高いまたは低い時間領域におけるフレームの画素群の変化を特定する場合、その変化を光の変化に分類することができ、これは画像の広範な領域で出現し、および／または動きとは対照的に影の変化に相関する画素の僅かな変化で構成される。この処理装置は影の変化と共に画素を更新することができるが、背景／前景の分類は前の時間帯のものと同じままである。本発明の幾つかの実施形態によれば、この処理装置が閾値より大きい変化のＳＤＶを特定する場合、静的な動き（移動された椅子など）、一定した動的な動き（動いている人間など）、または一定しない動的な動き（付けたり、消したりする懐中電灯など）に関連する変化等の群にこの変化を分類することができる。次いで、この処理装置は特定の機能的アプリケーションの定義に依存する背景または前景として画素を分類することができる。例えば、一実施形態では椅子の移動は背景とみなすことができるが、別の実施形態では椅子がユーザであり、それがフレームに入るかまたはフレーム内で動くときに前景に分類することができる。
【００４３】
画像取得装置の位置の変化は、フレームの大部分の実質的な変化と表することができる。次いで、この処理装置は動的データセットをリセットすることができ、最初からデータセットを構築する処理を開始する。代わりに、この処理装置は画像の前回の情報を画像取得装置の新しい位置に調整することができ、画素が背景または前景かどうかを判定する処理を継続するか、またはこの処理装置はその原位置に画像取得装置を戻し、画像を再取得することができる。
【００４４】
本発明の幾つかの実施形態によれば、画像取得装置は移動可能な画像取得装置（例えば携帯電話のカメラ、飛行中の航空機のカメラ、またはビデオカメラ）であり、静止または不動のままであることを予期していない。この処理装置は、画像取得装置の位置に関するデータを中継、取得または分析することができ、さらに後続画像を配列もしくは相関させることができ、さらにエッジ検出用の情報を使用し、または１以上の画素群を前景および背景に分類する。例えば、１以上の画素群を背景（これは前景の画素群より実質的に大きな偏差を有する場合がある）に分類するために、初期化され、その画素群が既に背景または前景に分類された画像は、その情報とＳＤＶおよび／またはＳＦＤＶなどの追加の新しい情報とを使用することができる。
【００４５】
本発明の幾つかの実施形態によれば、背景に分類された画素群は２Ｄまたは３Ｄビデオ情報として分析することができる。前景に分類された画素群は、２Ｄまたは３Ｄビデオ情報として分析することができる。本発明の幾つかの実施形態によれば、この処理装置が時間領域におけるフレームの画素の変化を特定しない場合、その画素を背景に分類することができる。しかしながら、画素が変化した画素まで予め規定された近さにある場合、この処理装置はそれらを隣接画素に従って特徴づけ、さらにそれらを前景または背景に分類することができる。さらに、画素が前景と予め規定された画素まで予め規定された近さにある場合、それらは同様に背景として規定することができない。
【００４６】
本発明の幾つかの実施形態によれば、１以上の画素群は前景のエッジに分類することができる。エッジは、エッジの特徴、前景の特徴、ＳＤＶおよび／またはＳＦＤＶに従って分類することができる。次いで、この処理装置は残りの画素群をその位置とエッジ画素群に関する特徴に従って背景または前景に分類することができ、またはそれを「エッジでない」と分類することができる。例えば、エッジ画素群はそれらの間の特定の色のコントラスト、特定の質感、特定の密度などで特徴づけることができ、この情報は他の画素群の情報と比較することができ、それらはそれに従って分類することができる。特徴に関する情報は後続フレームで更新し、陰影、質感、密度などの変化を形状することができる。
【図面の簡単な説明】
【００４７】
本発明と関係する内容は、明細書の結論部分で特に指摘され、明確にクレームされている。本発明は、しかしながら、これらの目的、特徴および利点と共に、構成および動作の方法の双方に関して、添付図面と共に読むとき以下の詳細な説明を参照することにより最も良く理解される。
【図１Ａ】図１Ａは、画像式ヒューマンマシンインターフェイス（「ＨＭＩ」）システムのブロック図である。
【図１Ｂ】図１Ｂは、画像式ヒューマンマシンインターフェイス（「ＨＭＩ」）システムのブロック図である。
【図２Ａ】図２Ａは、処理装置のフローチャートである。
【図２Ｂ】図２Ｂは、処理装置のフローチャートである。
【図３Ａ】図３Ａは、ＨＭＩシステムのフローチャートである。
【図３Ｂ】図３Ｂは、ＨＭＩシステムのフローチャートである。
【図３Ｃ】図３Ｃは、ＨＭＩシステムのフローチャートである。
【図４】図４Ａ、図４Ｂおよび図４Ｃは、取得画像、画像の未完成の画像図である。
【図５】図５は、一群のフレームである。
【００４８】
説明の簡潔性および明瞭性のため、図面で示される要素は必ずしも一律の縮尺に描かれていないことを認識するであろう。例えば、要素の幾つかの寸法は明暸性のため他の要素と比べて誇張される場合がある。さらに、適切とみなされる場合、対応する要素または類似する要素を示すために参照符号が図面間で繰り返される場合がある。
【発明を実施するための形態】
【００４９】
以下の詳細な説明では、多数の具体的な詳細が本発明の完全な理解を提供するために説明される。しかしながら、本発明はこれらの具体的な詳細なしに実施されてもよいことを当業者により理解されるであろう。他の実施例では、本発明を不明瞭にしないように周知の方法、手順、要素および回路は詳細に記載されていない。
【００５０】
特に別記しない限り、以下の説明から明らかなように、明細書全体に渡って「処理」、「演算」、「計算」、「判定」等の用語を利用する議論は、コンピュータシステムのレジスタおよび／またはメモリ内の物理的、電子的な量として表わされるデータを、コンピュータシステムのメモリ、レジスタまたは他の情報記憶装置、送信装置もしくは表示装置内の物理的な量として表される類似の他のデータへ処理および／または変換するコンピュータもしくはコンピュータシステム、または類似する電子計算装置の動作および／または処理のことを指す。
【００５１】
本発明の実施形態は、本書の動作を実行するための装置を含むことができる。この装置は、所要の目的のために特別に構成することができ、またはコンピュータに記憶されたコンピュータプログラムにより選択的に起動されたか、または再構成された汎用コンピュータを具えることができる。このコンピュータプログラムは、限定されないが、フロッピーディスクを含む任意の種類のディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、磁気もしくは光カード、または電子命令を記憶するのに適した任意の他の種類の媒体などのコンピュータ読み取り可能記憶媒体に記憶され、コンピュータシステムバスに接続することができる。
【００５２】
本書で示される処理と表示は、本質的に特定のコンピュータまたは他の装置に関するものではない。各種汎用システムは、本書の教示に従ったプログラムと共に用いることができ、または所要の方法を実行する更に専用の装置を構成することが都合が良いことが分かるであろう。様々なこれらシステムの所要の構成は、以下の記載から明らかになる。加えて、本発明の実施形態は何れかの特別なプログラミング言語に関して記載されていない。本書で記載される本発明の教示を実装するために様々なプログラミング言語を用いることができることを認識するであろう。
【００５３】
本発明の幾つかの実施形態によれば、ユーザの１セットの２次元画像を取得するよう適合された画像取得アセンブリであって、実質的に２以上の画像が異なる時点に関連づけられる。処理装置は、１以上の画像内の１以上の画素群を背景または前景に分類することにより１以上の推定されたユーザの身体部位を抽出するよう適合することができる。この処理装置は第１フレームの第１画素群の時空間の偏差の値（「ＳＤＶ」）を測定することができ、このＳＤＶが第１フレームの第１画素群と別のフレームの対応する第２画素群との間の時空間の偏差の値を示す。背景または前景の何れかとしての画素群の分類は、画素群のＳＤＶと、この画素群の前に分類された画素群との空間的関係とに少なくとも部分的に基づくことができる。ＳＤＶが高いＳＤＶの背景の例外（「ＨＳＢＥ」）の結果とみなされない場合、閾値以上の所定の画素群のＳＤＶにより所定の画素群を前景に分類することができる。ＳＤＶが低いＳＤＶの前景の例外（「ＬＳＦＥ」）の結果とみなされない場合、閾値以下で検出された所定の画素群のＳＤＶにより所定の画素群を背景に分類することができる。
【００５４】
ここで図１Ａに移ると、システム１００などの画像式ヒューマンマシンインターフェイスシステムが示されている。システム１００は画像を取得することができ、背景または前景としてフレーム内の物体または画素群を決定、特定または分類することができる。システム１００は、画像取得モジュール１０２などの画像取得アセンブリと、処理装置１０４などの処理装置で構成することができる。
【００５５】
画像取得モジュール１０２は画像１０６のような画像を取得することができ、これは、例えば、１人以上の人、部屋、椅子もしくは医療機器などの物体、動物、風景または任意の他の素材とすることができる。画像取得モジュール１０２は、デジタルカメラ、ビデオカメラ、アナログカメラ、マルチメディアモジュールなどとすることができる。画像取得モジュールは、入力１０８のような入力により処理装置１０４に取得した画像を出力することができる。入力１０８は、ビデオファイル、画像ファイル、マルチメディアファイル、２進数の文字列または任意の他の形態のデータとすることができ、２Ｄまたは３Ｄの画像を示すことができる。処理装置１０４は、入力１０８のような１以上の取得した画像を受信することができ、背景（例えば、ＨＭＩに関心のないもしくはＨＭＩが動きを追跡する必要のない商品、人、物体、または低レートまたは低周波数で動きを追跡する必要のある物体）または前景（例えば、関心があり、ＨＭＩがその動きに従いうる商品、人、物体）に１以上の画素群を分類することにより１以上の推定されたユーザの身体部位を抽出することができる。処理装置１０４と画像取得モジュール１０２は、共通または共有したモジュールとすることができ、または別個の装置もしくは分離した装置とすることができ、無線通信もしくは有線ケーブルを介して入力１０８を交信することができる。
【００５６】
本発明の幾つかの実施形態によれば、処理装置１０４は、時空間の偏差の値（「ＳＤＶ」）と、画像１０６に関連する第１画素群と第２画素群との間の時間差とを検出するよう適合することができる。本発明の幾つかの実施形態によれば、ＳＤＶが閾値より低い場合に、画素群が低いＳＤＶの前景の例外（ＬＳＦＥ）とみなされないならば、このＳＤＶに関連する画素群は背景に分類することができる。ＬＳＦＥの特徴の実施例は、取得装置の動き、照明の変化、予め規定された要素の近くにある例外（例えば、画素群が頭もしくは顔のように重要なものとして、または検出されたＸＴＲスケルトンの一部として予め規定された要素の近くにある場合）、および前景の近くにある例外（例えば、画素群が色、陰影、質感などの類似する特性を有する前景に分類される別の画素群の近くにある場合）とすることができる。
【００５７】
本発明の幾つかの実施形態によれば、ＳＤＶが閾値より高い場合に、画素群が高いＳＤＶの背景の例外（ＨＳＢＥ）とみなされないならば、このＳＤＶに関連する画素群は前景に分類することができる。ＨＳＢＥの特徴の実施例は、取得装置の動き、照明の変化、静的な動き、動的で一定した動き、および動的で一定しない動きとすることができる。
【００５８】
画素群および／またはＳＦＤＶを特徴づけ、続いて分類するために、処理装置１０４は予め規定された近さにある追加の画素群とそれらのＳＤＶ、色または特性などの追加情報を取得することができる。
【００５９】
処理装置１０４は、１以上の画素群をエッジの画素群またはエッジでない画素群に分類することができる。分類は、ＳＤＶおよび／またはＳＦＤＶと、予測されたエッジ画素または前に検出されたエッジ画素の特徴などの追加情報（色、質感、剛性、コントラストなど）とによるものとすることができる。処理装置１０４はさらに、エッジ検出を改善、固定、正確にするために画素群をより小さな群に分割または分離することができる。処理装置１０４は、エッジまたは非エッジの画素群の分類を用いて、１以上のエッジ画素群までの近さ、ＳＤＶ、ＳＦＤＶ、および色、質感、影、剛性などの追加情報に従って、更なる画素群を前景または背景にさらに分類することができる。
【００６０】
本発明の幾つかの実施形態によれば、ＳＤＶに関する画素群が取得モジュール１０２の動きまたは位置の変化（例えば、配置もしくは方向の動き、角度もしくは視野など）とみなされない場合、処理装置１０４が再開、再始動、再起動し、例えば、画像が再取得され、前のデータが削除される。代わりに、本発明の幾つかの実施形態によれば、取得モジュール１０２の新しい位置と一致、対応または互換性をもつために、その第１位置の取得モジュール１０２に関連する前のデータは修正、調和するか、または画素オフセット補正を実行することができる。
【００６１】
本発明の幾つかの実施形態によれば、画像取得モジュール１０２が移動可能なモジュールである場合、処理装置１０４は画像取得モジュール１０２の位置に関するデータを中継、取得、または分析することができ、さらに後続画像を配列もしくは相関させ、さらにエッジ検出用の情報を使用し、または前景および背景として１以上の画素群を分類することができる。例えば、１以上の画素群を背景（これは前景の画素群より実質的に大きな偏差を有する場合がある）、前景、エッジ、および／または非エッジの画素群として分類するために、初期化され、画素群が既に背景または前景として分類された画像はその情報とＳＤＶおよび／またはＳＦＤＶなどの追加の新しい情報とを使用することができる。
【００６２】
幾つかの実施形態によれば、ＳＤＶが画像１０６に関連する画素群に実質的に変化がないまたは動きがないと分類される場合に、影と動きが第２画素群に関連して検出されるほど第２画素群が十分に近いならば、予め規定された近さの第２画素群に従って処理装置１０４は画素群を背景または前景に分類することができる。第１画素群の予め規定された近さにある第３画素群が前景または予め規定された特定または一意の画素群に分類される場合、たとえ偏差または動きが検出されていなくても、処理装置１０４は画像１０６に関連する第１画素群を前景に分類することができる。本発明の幾つかの実施形態によれば、ＳＤＶが動きがないという特徴を示す場合またはＳＤＶが閾値より低い場合に、処理装置１０４は画素群を背景に分類することができる。
【００６３】
ここで図１Ｂに移ると、システム１２０などの画像式ヒューマンマシンインターフェイスシステムが示されている。アイテム１２０−１２８は図１Ａの対応ブロック１００−１０８と実質的に同じでよく、同じ機能を有すると理解されたい。処理装置１２４はさらに、照明フィルタ１３０のような照明フィルタを具えることができ、これは１以上の画素群の偏差が空の雲の動き、照明器具の消灯などの照明の変化に関連する場合に特定することができる。照明フィルタ１３０は、処理装置１２４に組み込むか、または処理装置１２４と通信可能な別個のユニットまたは装置とすることができる。処理装置１２４はさらに、動作分類モジュール１３２のような動作分類モジュールを具えることができ、これは静的、動的、一定、非一定、これらの群の組み合わせなどの予め規定された動作分類に動作を分類することができる。処理装置１２４はさらに、動作分類モジュール１３２により判定された動作分類に従って１以上の画素群を分類することができる。動作分類モジュール１３２は、処理装置１２４に組み込むか、または処理装置１２４と通信可能な別個のユニットまたは別個の装置とすることができる。
【００６４】
本発明の幾つかの実施形態によれば、システム１２０はさらに、１以上の画素群に関する情報、それらの動作分類および／またはそれらの背景、前景などのそれらの分類を記憶するよう適合されたメモリ１３４などのメモリまたは１以上のレジスタを具える。画素群は１以上の画素を含むことができ、より大きな画素群の中に幾つかの画素群を含むことができ、これにより画素群と内部の画素群に関する情報が保存される。メモリ１３４は、画素の時刻もしく順序またはフレーム内の画素の配置もしくは位置などの１以上の画素群に関連する追加情報を記憶することができる。メモリ１３４は、システム内に組み込むことができ、または処理装置にデータを入力および出力可能な別個のユニットとすることができる。本発明の幾つかの実施形態によれば、メモリ１３４は処理装置１２４の一体部分とすることができる。
【００６５】
ここで図５に移ると、フレーム群５０００などの一群のフレームが示されている。フレームｆａ、ｆｂ、ｆｃないしｆＮは、画像取得アセンブリにより取得されるフレームを示す。フレームは、時間で変化しうる画像を取り込むことができ、その結果、タイムラインＴが示すようにそれらが取り込まれる時間でそれらは異なるので、フレームｆａ、ｆｂ、ｆｃないしｆＮは異なる画像を取り込むことができる。（注記：フレームｆＮはｆｃの後に任意の数のフレームがあり、必ずしもｆｃから１１フレーム離れているのではないことを示すよう大文字Ｎで記されている）。フレームｆａは、取得画像のフレームの異なる領域を覆う画素群５００１と５００２のような異なる画素群に分割される。画素群５００１と５００２ａは、同じサイズまたは異なるサイズとすることができる。フレームｆａ、ｆｂ、ｆｃないしｆＮの全体に渡って画素群５００２ａ、５００２ｂ、５００２ｃおよび５００２Ｎは、変化する取得画像の同じ領域を取り込む画素群に一致する。時空間上の偏差の値（「ＳＤＶ」）は、５００２、５００４、５００６および５００８のような対応する画素群の１以上の間の差に応じて計算、検出または処理することができる。例えば、第１ＳＤＶは画素群５００２と画素群５００４を比較することにより検出することができ、第２ＳＤＶは画素群５００５と画素群５００６を比較することにより検出することができる。別の実施例では、第１ＳＤＶは画素群５００２と画素群５００６を比較することにより検出することができる。第２ＳＤＶは、画素群５００４と画素群５００８を比較することにより検出することができる。さらに、ＳＦＤＶは画素群５００１と画素群５００２ａを比較することにより検出することができる。
【００６６】
ここで図２Ａに移ると、フローチャート２００に示すように処理装置のフローチャートが示されている。本発明の幾つかの実施形態によれば、以前に１以上の画素群を受信した処理装置は、ステップ２０２に記載されているように以前の時間または空間で受信した別の画素群と比較して画素群に動きがあるかどうかを検出することができ、その動きはノイズと呼ぶこともできる（これはデータもしくは信号または画像などの不要な干渉もしくは妨害を意味する用語であるノイズと混同してはいけない）。偏差がある場合には、処理装置は動きが照明の変化に相関しているかどうかを引き続き分類することができ、（例えば：画像は以前、晴れた日に開いた窓で照らされており、雲が入り込んで照明の変化があるか、またはフレームが照明設備により照らされており、後続フレームで照明が暗くなるなど）、分類はステップ２０４に記載されているようにフィルタにより実装することができる。検出された偏差が画像または画像に関連する画素群の動きでなく照明の変化として実際に分類される場合、処理装置はステップ２０６で示されるように画素群を背景に分類することができる。
【００６７】
偏差が照明の変化とみなされない場合、処理装置はステップ２０８で示されるように偏差が画像の動きではなく取得モジュールの動きによるかどうかを検出することができる。偏差が実際には取得モジュールの動きとみなされる場合、処理装置はステップ２０６で示されるように画素を背景に分類することができる。偏差が取得モジュールの位置の動きとみなされない場合、処理装置はステップ２１０で示されるように画素を非背景に分類することができる（例えば：前景として、または再分析する必要がある画素として登録される）。偏差が検出されなかった場合、非常に小さな偏差である場合、または閾値より低い偏差である場合、これはステップ２０２に記載されているように画素間で実質的な変化がないとみなすことができるが、ステップ２１２で示されるように画素群が彩色、陰影、コントラストなどの類似する特性を有する別の画素群の予め規定された近さにあるかどうか、変化しているかどうかを処理装置が検出、計算または分析することができる。このような実装は、変化していないが前景である画素群を検出することができる。例えば、物体が幾つかの画素群の中に示される場合に、たとえ物体が動いていても、同じ物体の別の領域が画素群を占めるので、画素群の一部に関連するＳＤＶの幾つかは閾値以下とすることができる。したがって、隣接する画素群の追加情報は数個の画素群を前景と規定する際に役立つかもしれないが、画素の変化は（例えば−物体のエッジ）の一部で検出されるに過ぎない。
【００６８】
画素群がステップ２１２に係る要件を満たす場合、ステップ２１０で示されるように画素群を背景に分類することができない。画素群がステップ２１２に係る要件を満たさない場合、処理装置はさらに、画素群が予め規定された近さにあるかどうか、またはステップ２１４に記載されているように特定の物体もしくは予め規定された要素、物体またはユーザ（例えば：頭、顔、椅子、ＸＴＲスケルトンなど）と同じフレーム内にあるかどうかを検出、計算または分析することができる。予め規定された要素は、ＨＭＩシステムに関連した用途により強く関心のあるものとすることができ、例えば、人を追跡する場合、頭または顔を予め規定された要素とすることができる。別の実施例では、医療の実施例に用いる場合、メスまたは他の医療機器を関心要素として予め規定することができる。画素群がステップ２１４の要件を満たす場合、処理装置はステップ２１０で示されるように画素を非背景に分類することができる。画素群がステップ２１４の要件を満たさない場合、処理装置はステップ２０６で示されるように画素を背景に分類することができる。選択的に、処理装置は、画素群が背景か否かの分類を決定する場合（ステップ２０６およびステップ２１０で示されるように）、次のフレームを受信し続け、前に分析された画素と新しい画素群を比較し、ステップ２０２で示すように前フレームと新フレームとの間に画素の偏差があるかどうかを検出し始めるあらゆる前述の処理を再開することができる。本発明の幾つかの実施形態によれば、このステージの幾つかまたは全ては同じフレームまたは画素群について並列で行うことができ、または並列もしくは並列機能と直列機能の組み合わせで数枚のフレームについて実行することができる。
【００６９】
ここで図２Ｂに移ると、フローチャート３００に示すように処理装置のフローチャートが示されている。画素群がステップ３１２に係る要件を満たす場合、画素群はステップ３１０で示されるように背景に分類することができない。画素群がステップ３１２に係る要件を満たさない場合、処理装置はさらに、画素群が予め規定された近さにあるかどうか、またはステップ３１４に記載されているように特定の物体もしくは予め規定された要素、物体またはユーザ（例えば：頭、顔、椅子、ＸＴＲスケルトンなど）と同じフレーム内にあるかどうかを検出、計算または分析することができる。予め規定された要素は、ＨＭＩシステムに関連する用途により強く関心のあるものとすることができ、例えば、人を追跡する場合、頭または顔を予め規定された要素とすることができる。別の実施例では、医療の実施例に用いる場合、メスまたは他の医療機器を関心要素として予め規定することができる。画素群がステップ３１４の要件を満たす場合、処理装置はステップ３１６で示されるように画素群を特徴づけし続けることができる。画素群がステップ３１４の要件を満たさない場合、処理装置はステップ３０６で示されるように画素を背景に分類することができる。選択的に、処理装置は、画素群が背景か否かの分類を決定する場合（ステップ３０６およびステップ３１０で示されるように）、次のフレームを受信し、前に分析された画素に新しい画素群を比較し、ステップ３０２で示すように前フレームと新フレームとの間に画素の偏差があるかどうかを検出し始めるあらゆる前述の処理を再開し続けることができる。本発明の幾つかの実施形態によれば、このステージの幾つかまたは全ては、同じフレームまたは画素群について並列で行うことができ、または並列もしくは並列機能と直列機能の組み合わせで数枚のフレームについて実行することができる。
【００７０】
画素の変化が検出され、それが照明の変化（ステップ３０４に記載されるように）または画像取得モジュールの位置の変化（ステップ３０８に記載されるように）とみなされない場合、処理装置はどの動きの群かを分析することができ、この動きはステップ３１６に示されるように例えば静的、動的、動的で一定、動的で非一定などに属する。ステップ３１６に続き、画素群はステップ３０６とステップ３１０に記載されているように画素が属する動きの群に応じて背景または非背景の何れかに分類することができる。どの群（静的、動的など）がどの分類（背景、非背景など）に属するかの定義はアプリケーションとその定義に依存し、ＨＭＩシステムが実行しているまたは相関するアプリケーションまたはシステムごとに予め規定することができる。
【００７１】
本発明の幾つかの実施形態によれば、（ステップ３１２に記載される）「静的」と規定される動きは、椅子、デスク、ボトルなどの無生物の位置を変更することとすることができる。物体の動きは、２つの新しい領域の情報−一方は物体が用いられる場所であり、他方は物体の新しい位置を生成することができる。本発明の幾つかの実施形態によれば、動的で一定した動き（ステップ３１２に記載される）は人、回転するボール、犬などの動きとすることができ、その動きは進行中の処理または連続する機能とすることができる−例えば回転するボールは数枚のフレームの全体に渡って連続的に動くであろう。本発明の幾つかの実施形態によれば、動的で一定しない動き（ステップ３１２に記載される）は、フレームの一部に影をもたらすカーテン、フレームの一部に輝きまたはちらつきなどをもたらす時計または宝石により画像の一部の変化とすることができる。動的で一定しない動きはフレーム内で変化する光に似ているが、これらの場合にはフレームの変化は限られた領域内にあるが、照明の一般的な変化はフレームの大部分にあるであろう。
【００７２】
ここで図３Ａに移ると、フローチャート４００に示すようにＨＭＩシステムのフローチャートが示されている。ＨＭＩシステムは、ステップ４０２で示されるように画像を取得することができる。画像は１以上のフレームで構成することができ、各フレームは１以上の画素群で構成することができる。画像を取得した後、システムはステップ４０４で示されるように初期化することができる（例えば、第１画像が取得される場合に、または画像などを取得する所定数のサイクル後に）。ステップ４０４は、レジスタ、データストレージまたはメモリ内の以前保存した情報と、画像が初めて受信される時または数サイクルごと１回実行する必要のある全ての他の関数とを削除するステップを含む。このステップに続き、システムはステップ４０６で示されるように画素群を分類することができる。ステップ４０６は、ＳＤＶ、ＳＦＤＶ、画素群の特徴、およびこれらの一部または全てから抽出される追加情報などを検出するステップを含むことができる。選択的に、初回のサイクルまたは他の予め規定されたパラメータでなければ、システムはステップ４０４をスキップし、フローチャートに示されるステップ４０２とステップ４０６との間に直接進むことができる。システムは、ステップ４０８で示されるように画素が背景または前景と識別すべきかどうかを識別することができる。画素が背景と識別される場合、システムはメモリにそれらを背景として保存することができる（ステップ４１０に示される）−これはシステムが動作できる速度とシステムの精度に寄与するであろう。画素が前景と識別される場合（用途に関心のある画像の一部を意味する）、システムはＸＴＲ３Ｄモーションキャプチャーエンジンなどの標準的な画像モジュール（ステップ４１２に示される）に続き、動き、誤り訂正、追跡などを記憶する。システムは、ステップ４１４に示されるようにユーザの動きに関するデータを出力することができる。ステップ４１４およびステップ４１０に続き、システムは選択的に追加画像を取得し、上述したステップを再開することができる。
【００７３】
ここで図３Ｂに移ると、フローチャート５００に示すようにＨＭＩシステムのフローチャートが示されている。図３Ｂは図３Ａと類似する処理を実質的に記載し、ステップ５０２−５１４はステップ４０２−４１４にそれぞれ対応し、図３Ａに記載されているのと同じステップを記載する。しかしながら、ＨＭＩシステムフローに含まれる追加のステップがあり、画素群がステップ５０６に従って分析された後（ＳＤＶ、ＳＦＤＶ、追加の特徴、および測定を除く）、動きが画像取得モジュールの位置の変化によるかどうかをシステムが識別するか、または特徴づける（ステップ５１６に記載されるように）。その場合、新しい画像、そのフレームおよび画素群は前に取り出された画像フレームと画素群に配列することができないので、システムは初期化することができる（ステップ５０４に示されるように）、誤差は画素、フレームなどの比較結果となるであろう。
【００７４】
本発明の幾つかの実施形態によれば、ステップ４０８に示されるように画素群を前景（画像）または背景として識別するステップがさらに、変化する画素を追跡するステップと、変化しない画素を追跡するステップと、１以上のフレームごとの２つの異なる群を用いて前景を追跡するステップとで構成することができる。例えば、第１フレーム内のカチカチと音を立てる時計を分析する場合、指針盤が第１位置にあり、第４フレームで第２位置にあるものとする。第１フレームの前景は時計（数字、フレーム等）の残りの部分となり、２つの群のデータを比較するステップはカチカチと音を立てる指針を前景として特定し追跡するのに用いることができる。
【００７５】
ここで図３Ｃに移ると、フローチャート６００に示すようにＨＭＩシステムのフローチャートが示されている。図３Ｃは図３Ａと類似する処理を実質的に記載し、ステップ６０２−６１４はステップ４０２−４１４にそれぞれ対応し、図３Ａに記載されているのと同じステップを記載する。しかしながら、ＨＭＩシステムフローに含まれる追加のステップがあり、画素群がステップ６０６に従って分析された後、動きが画像取得モジュールの位置の変化によるかどうかをシステムが識別するか、または特徴づけ（ステップ６１６に記載されるように）、次いでシステムは、前に取得した画像、フレームまたは画素群を配列し、またはカメラの新しい位置と一致するよう画素オフセット補正を実行し（ステップ６１８に示されるように）、続いて新しい画像、そのフレームおよび画素群を前に取り出された画像フレームと画素群に配列し、ステップ６０６に示されるようにデータを比較し、差を分析し、またはＳＤＶを検出する処理が続く。処理装置はさらに、カメラの３Ｄもしくは２Ｄの動きまたは新しいカメラの位置を登録し、さらに新しいフレームを分析するためにこの情報を利用することができる。
【００７６】
ここで図４Ａと図４Ｂに移ると、画像７００と画像８００などの取得画像の未完成の画像図が示されている。本発明の幾つかの実施形態によれば、画像７００の取得画像は画素群７０２のような画素群を背景に分類することができる。画素群７０４のような別の画素群は、画像７００ではユーザ７１０のようなユーザの足を取り込むが、前景に分類することができる。画像７００を取り込む間、照明はアイテム７０６により示されるように晴れた空であるかもしれない。画像８００を取り込む間、照明はアイテム８０６により示されるように部分的に曇った空に変化するかもしれない。この照明の変化（背景または前景の動きに変化がない）は検出すべき画素の偏差をもたらす場合があり、この偏差は画像またはフレームの大部分の影の僅かな偏差としみなすことができ、続いて画素群は前の取得画像の分類と同じように分類することができる。画素群７０２および７０４に相関する画素群８０２および８０４は、その前の分類に従って背景または前景の分類を維持することができる。
【００７７】
ここで図４Ｃに移ると、画像９００のような取得画像の未完成の画像図が示されている。画像９００が画像７００に続く画像の実施例であることを理解されたい。しかしながら、画像９００が取得される間にモジュールが偶然に移動した結果、画素群９０２および９０４は画素群７０２および７０４に相関しない。例えば、ユーザ９１０が動かなかったと仮定すると、ユーザ９１０の足を取り込んだ画素群９０４は、画像と画像取得モジュールの双方が動いていなかった場合、フレームの異なる位置にある。画像またはフレームの全体に渡る大きな画素群のこのような偏差は、画像取得モジュールの動きに分類することができる。
【００７８】
本発明の特定の特徴が本書で図示および記載されたが、ここで多くの変更、置換、変形および均等物を当業者が思いつくであろう。したがって、添付された特許請求の範囲は本発明の趣旨内にある全ての変更と変形を網羅するよう意図されていることを理解されたい。
【図１Ａ】
0005540002.tif 000002
【図１Ｂ】
0005540002.tif 000003
【図２Ａ】
0005540002.tif 000004
【図２Ｂ】
0005540002.tif 000005
【図３Ａ】
0005540002.tif 000006
【図３Ｂ】
0005540002.tif 000007
【図３Ｃ】
0005540002.tif 000008
【図４】
0005540002.tif 000009
【図５】
0005540002.tif 000010