(57)【特許請求の範囲】
【請求項１】
イメージ処理システムの作動方法であって、
前記イメージ処理システムが、赤外線データポイントを有する赤外線イメージプレーンに対応する赤外線データを得ることと、
前記イメージ処理システムが、色成分データポイントを有する前記赤外線イメージプレーンに対応する色成分データを得ることと、
前記イメージ処理システムが、赤外線データポイントを含むことに関して疎領域である前記赤外線データ内の領域を決定することと、
前記イメージ処理システムが、前記決定された領域に対応する前記色成分データ内の対応領域からの色成分データポイントに対応する少なくとも一部の色成分データを、前記赤外線データポイントを含むデータ構造に加えることと
を有し、
前記赤外線データを得ること、前記色成分データを得ること、前記領域を決定すること、及び前記色成分データを前記データ構造に加えることは、前記赤外線データ及び前記色成分データを夫々得るためのカメラの対の数に応じて繰り返される、方法。
【請求項２】
前記赤外線イメージプレーンを得ることは、ポイントクラウドから赤外線データを投影することを有する、
請求項１に記載の方法。
【請求項３】
前記イメージ処理システムが、前記疎領域を有する１つの領域を含む複数の領域へと前記赤外線イメージプレーンを分割することを更に有する
請求項１に記載の方法。
【請求項４】
前記少なくとも一部の色成分データを加えることは、前記領域の疎度に基づきある量の色成分データを加えることを有する、
請求項１に記載の方法。
【請求項５】
前記イメージ処理システムが、前記疎領域を有する１つの領域を含む複数の領域へと前記赤外線イメージプレーンを分割することを更に有し、
前記複数の領域のうちの少なくとも一部のサイズは、密度データに基づき決定される、
請求項１に記載の方法。
【請求項６】
少なくとも１つの赤外線（ＩＲ）カメラによって捕捉された赤外線イメージと、少なくとも１つのＲＧＢカメラによって捕捉された対応する赤−緑−青（ＲＧＢ）イメージとを受け取るよう構成されるイメージ処理部と、
前記イメージ処理部へ結合されるか又は該イメージ処理部に組み込まれ、赤外線イメージに対応する赤外線データを処理して、前記赤外線イメージ内の１つ以上の疎領域を決定し、夫々の疎領域について、対応するＲＧＢイメージ内の対応領域に対応するＲＧＢデータを、前記赤外線データを含むデータ構造に加えるよう構成されるミキシング部と
を有し、
前記ミキシング部は、前記赤外線カメラ及び前記ＲＧＢカメラの組の数に応じて、前記赤外線データを処理すること、前記疎領域を決定すること、及び前記ＲＧＢデータを前記データ構造に加えることを繰り返すよう構成される、システム。
【請求項７】
前記イメージ処理部は、赤外線ポイントクラウドデータに対応する前記赤外線データと、ステレオカメラの複数の組からのイメージに基づくＲＧＢポイントクラウドデータに対応する前記ＲＧＢデータとを受け取るよう構成される、
請求項６に記載のシステム。
【請求項８】
前記ミキシング部は、ステレオカメラの２つの異なる組から得られたＲＧＢデータの少なくとも２つの異なる組からのＲＧＢデータを加えるよう構成される、
請求項６に記載のシステム。
【請求項９】
コンピュータで実行される場合に、該コンピュータに、
第１赤外線カメラにより、第１イメージプレーン上に投影されるポイントクラウドデータに対応する第１赤外線（ＩＲ）データを得ることと、
第１ＲＧＢカメラにより、前記第１イメージプレーン上に投影されるポイントクラウドデータに対応する第１赤−緑−青（ＲＧＢ）データを得ることと、
前記第１赤外線データにおいて１つ以上の第１疎赤外線領域を決定することと、
前記第１ＲＧＢデータにおいて前記第１疎赤外線領域の１つ以上の第１対応領域を決定することと、
前記１つ以上の第１対応領域からの少なくとも一部のＲＧＢデータを、前記第１赤外線データを含むデータ構造に加えることと、
前記第１赤外線カメラと異なる第２赤外線カメラにより、第２イメージプレーン上に投影されるポイントクラウドデータに対応する第２赤外線（ＩＲ）データを得ることと、
前記第１ＲＧＢカメラと異なる第２ＲＧＢカメラにより、前記第２イメージプレーン上に投影されるポイントクラウドデータに対応する第２赤−緑−青（ＲＧＢ）データを得ることと、
前記第２赤外線データにおいて１つ以上の第２疎赤外線領域を決定することと、
前記第２ＲＧＢデータにおいて前記第２疎赤外線領域の１つ以上の第２対応領域を決定することと、
前記１つ以上の第２対応領域からの少なくとも一部のＲＧＢデータを、前記第１赤外線データ及び前記第２赤外線データを含む前記データ構造に加えることと
を実行させるコンピュータプログラム。
【請求項１０】
前記コンピュータで実行される場合に、該コンピュータに、
デプスデータを決定するために前記データ構造内の赤外線データ及びＲＧＢデータを使用すること
を更に実行させる請求項９に記載のコンピュータプログラム。
【請求項１１】
請求項９又は１０に記載のコンピュータプログラムを記憶しているコンピュータ可読記憶媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
アクティブデプス検知において、プロジェクタは、検知される領域を照射するよう、例えば赤外線（ＩＲ）ドットなどの光のパターンを投影する。投影されたパターンは、カメラ／センサ（ステレオシステムでは２つ以上）によって捕捉され、イメージ（又は複数のイメージ）は、例えばフレームごとに、デプスマップ又は同様のものを計算するよう処理される。赤外線は、カラー（ＲＧＢ）イメージがひどくノイズの多いデプス値をもたらすことから有利である。
【０００２】
ステレオシステムでは、ステレオカメラは、異なる視点から２つのイメージを捕捉する。その場合に、例えば、イメージのステレオ対によりデプス推定を行うための１つの方法は、例えば、イメージどうしの対応を見つけること、例えば、一方のイメージ内の夫々の投影され検知されたＩＲドットを、他方のイメージ内の対応するＩＲドットと相関させることである。一致すると、それらのイメージ内の投影されたパターンは互いに相関されてよく、相関されたドットの１つ以上の特徴間の視差は、その特定のドット対に対してデプスを推定するのに使用される。例えば、原の（生来の）カメラ解像度での密なデプスマップは、エリアマッチングによって（例えば、サイズ５×５のウィンドウを介して）取得されてよい。
【０００３】
しかし、全ての面がＩＲ光を特に上手く反射するわけではない。結果として、十分に反射しないＩＲ面に対応するイメージの如何なる部分においても、互いを相関させるのに十分なＩＲデータ（例えば、反射ドット）がステレオイメージ内に概して存在せず、よって、デプスデータは得られないか、あるいは、極めて疎なデプスデータしか得られないこととなる。このことは、単一の２次元デプスマップでさえ問題である。メッシュを構成するためにデプスデータを使用するようなポイントクラウドアプリケーションでは、ある領域における適切なデプスデータの欠如が、より一層顕著であり得る。
【発明の概要】
【０００４】
この概要は、簡略化された形において代表的な概念の選択を紹介するために与えられており、かかる概念は、詳細な説明において以下で更に記載される。この概要は、請求されている対象の重要な特徴又は必須の特徴を特定するよう意図されておらず、また、請求されている対象の適用範囲を制限するであろう如何なる方法においても使用されるよう意図されていない。
【０００５】
手短に言えば、ここで記載される対象の様々な態様のうちの１つ以上は、赤外線データが疎である領域において赤外線データを補強するために色成分（例えば、ＲＧＢ）データを使用することに向けられている。１つ以上の態様は、赤外線データポイントを有する赤外線データと、イメージプレーンに対応する色成分データポイントを有する色成分データとを得ることに向けられている。赤外線データポイントを含むことに関して疎領域である赤外線イメージデータ内の領域を決定すると、色成分イメージデータ内の対応領域からの色成分データポイントに対応する少なくとも一部の色成分データは、データ構造に加えられる。
【０００６】
１つ以上の態様において、イメージ処理部は、少なくとも１つの赤外線（ＩＲ）カメラによって捕捉される赤外線イメージと、少なくとも１つのＲＧＢカメラによって捕捉される対応する赤−緑−青（ＲＧＢ）イメージとを受け取るよう構成される。イメージ処理部へ結合されるか又はそれに組み込まれるミキシング部は、赤外線イメージに対応する赤外線データを処理して、その中の１つ以上の疎領域を決定する。夫々の疎領域について、ミキシング部は、対応するＲＧＢイメージ内の対応領域に対応するＲＧＢデータをデータ構造に加える。
【０００７】
１つ以上の態様は、第１イメージプレーン上に投影されるポイントクラウドデータに対応する第１ＩＲデータを得るとともに、第１イメージプレーン上に投影されるポイントクラウドデータに対応する第１ＲＧＢデータを得ることに向けられている。第１赤外線データ内の１つ以上の疎赤外線領域、及び第１ＲＧＢデータ内の疎赤外線領域の１つ以上の対応領域が、決定される。１つ以上の対応領域からの少なくとも一部のＲＧＢデータは、データ構造に加えられる。これは、ＩＲデータが疎である領域におけるデータ構造にＲＧＢデータを加えるよう、ＩＲデータ及びＲＧＢデータの第２の組などにより実行されてよい。
【０００８】
他の利点は、図面とともに検討される場合に以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００９】
本発明は、添付の図において一例として制限なしに表される。図中、同じ参照符号は、同様の要素を示す。
【００１０】
【図１】１つ以上の例となる実施に従って、疎赤外線データをＲＧＢデータにより補強するのに使用され得るコンポーネントを例示するブロック図である。
【００１１】
【図２】１つ以上の例となる実施に従って、ＩＲデータを得るためにドットをシーンに内に投影する例の描写である。
【００１２】
【図３】１つ以上の例となる実施に従って、複数台のカメラの組のシナリオにおいて、投影されるドットが如何にして使用され得るのかの説明である。
【００１３】
【図４】１つ以上の例となる実施に従って、ＩＲ光を十分に反射しないエリアにおいて、検出される赤外線データが如何にして疎であり得るのかの説明である。
【００１４】
【図５】１つ以上の例となる実施に従って、疎赤外線領域がＩＲデータから如何にして決定され得るのかの説明である。
【００１５】
【図６】１つ以上の例となる実施に従って、疎領域が如何にして変更され得るのかの説明である。
【００１６】
【図７】１つ以上の例となる実施に従って、疎ＩＲ領域を決定し、対応ＲＧＢ領域からのデータを、例えばデプス関連データとして使用されるデータ構造に加えるために行われ得るステップを例示するフロー図である。
【００１７】
【図８】ここで記載される様々な実施形態の１つ以上の態様が実装され得る実例となる制限されないコンピュータシステム又は動作環境を表すブロック図である。
【発明を実施するための形態】
【００１８】
ここで記載される技術の様々な態様は、赤外線データが疎である領域においてデプスデータ推定のためにＲＧＢデータを使用することに概して向けられている。一態様では、赤外線データ（例えば、赤外線ポイントクラウドから投影される点）の密度は、あらゆる低密度サブパート（ＩＲに基づく。）もＲＧＢデータにより補強するために、様々なサブパートで評価される。このようにして、密度に基づくＲＧＢ及びＩＲステレオポイントのミキシングは、より完全なデプスデータをポイントクラウドのために提供する。
【００１９】
一態様では、密度は、赤外線ポイントクラウドから２次元イメージプレーン上への投影に対応するそのイメージプレーンの複数のサブパートにわたって計算される。サブパートは、グリッド又は同様のものとして配置されてよい。如何なるグリッドセルについても、ＩＲポイント密度は評価され、低すぎる場合は、そのグリッドセルについてのＲＧＢポイントデータは保持され、それ以外の場合は、ＲＧＢポイントデータは捨てられる。プロセスは、所与の構成においてポイントクラウドデータを捕捉する際に使用されたカメラ（ポッド）の組と同じ数だけ繰り返されてよい。
【００２０】
ここでの例のいずれも、限定されないことが理解されるべきである。例えば、複数の配置されたポッドによって捕捉される３次元のポイントクラウドがここで例示されているが、ここで記載される技術は、ただ１つの２次元デプスマップに適用されてよい。更に、ＲＧＢ（赤（red）、緑（green）、青（blue））色成分データが記載されているが、ＲＧＢセンサは、疎ＩＲデータを埋めるように紫外線センサにより置換されるか又はそれにより増強されてよい。そのようなものとして、本発明は、ここで記載される如何なる特定の実施形態、態様、概念、構造、機能性又は例にも制限されない。むしろ、ここで記載される実施形態、態様、概念、構造、機能性又は例のいずれも限定されず、本発明は、概して、アクティブデプス検知、ポイントクラウド及びイメージ処理において利点及び有利性を提供する様々な方法で使用されてよい。
【００２１】
図１は、ステレオＩＲカメラ１０１及び１０２と、ステレオＲＧＢカメラ１０３及び１０４と、プロジェクタ１０６（例えば、何千ものドットに回折されたＩＲレーザ）とを有するポッド１００がＩＲイメージ及びＲＧＢイメージを捕捉するシステムを例示する。ポッド１００は、ただ１つの例となる配置であり、他の配置では、カメラ１０１〜１０４は互いに対して如何なる順序でも配置されてよい点に留意されたい。実際に、１つの実施では、プロジェクタはカメラの上に位置付けられる。更に、カメラ及び／又はプロジェクタのいずれかは、何らかのポッドの構成の部分であることよりもむしろ、互いから離されてよい。このとき、ポッドは不要である。よって、図１は、説明のためにコンポーネントを示しているにすぎず、筐体／ポッドデバイス内のデバイスの縮尺なしの相対寸法、相対位置、組み合わせなどは、図１から推測されるべきである。
【００２２】
図１の例では、ポッド１００は、イメージ捕捉システム又はサブシステム１０８へ結合される（又はそれと組み合わされる）。カメラは、時間において同期したステレオイメージを捕捉するように、例えばカメラインタフェース１１０及びコントローラ１１１を介して、概して制御される（例えば、カメラは“ゲンロック（genlocked）”される。）。１つの実施では、カメラ１０１及び１０２は、赤外線（ＩＲ）が様々な光条件でのデプス推定において極めて有効であり、シーンの可視的外観に影響を及ぼさないとして、ＩＲイメージ１１４を捕捉する。更に、カメラ１０３及び１０４はステレオＲＧＢイメージ１１５を捕捉する。容易に理解され得るように、且つ、以下で説明されるように、例えばスタジオ環境などの幾つかのシナリオでは、１つよりも多いそのようなポッド及びイメージ捕捉システム／サブシステムが存在してよい。
【００２３】
図１では、プロジェクタ１０６は、スポット（例えば、ドット）のパターン又はラインパターンなどのＩＲパターンをシーン上に投影するものとして示されている。なお、他のスポット形状及び／又はパターンタイプが使用されてよい。簡潔さのために、以降では、概してドットが記載される。比較的多数の分散した赤外線ドットによりシーンを照射することによって、ＩＲカメラ１０１及び１０２は、赤外線イメージデータの部分としてテクスチャデータを捕捉する。プロジェクタ１０６は、プロジェクタインタフェース１１６を介してコントローラ１１２へ結合されるものとして示されている点に留意されたい。如何なるそのような制御も、プロジェクタをオン及びオフすること又はエネルギ節約モードを使用することと同じくらい簡単であり得る。なお、例えばパルシング、ドット分布の変更、強度の変更及び／又は同様のものなどの、より複雑な制御が実行可能である。
【００２４】
図２は、この投影概念を例示する。ステレオカメラ１０１〜１０４の間に丸で表されているプロジェクタ１０６は、ドットパターンをシーン２２２上に投影する。カメラ１０１〜１０４は、ドットがシーン２２２内の物体表面及び（場合により）背景から反射する場合に、それらを捕捉する。一般に、２つのカメラが見ているイメージにおける視差は、反射面までの距離を示す。図２は、縮尺通りであるよう意図されず、あらゆるサイズ、距離、ドット分布パターン、ドット密度なども伝えない点に留意されたい。
【００２５】
図１に戻ると、カメラ１０１〜１０４によって捕捉されたイメージは、イメージ処理システム又はサブシステム１１８へ与えられる。幾つかの実施では、イメージ処理システム１１８及びイメージ捕捉システム又はサブシステム１０８、あるいは、それらの部分は、単一のデバイスにまとめられてよい。例えば、ホームエンタテイメントデバイスは、図１に示されている全てのコンポーネント（及び図示されていない他のコンポーネント）を含んでよい。他の実施では、イメージ捕捉システム又はサブシステム１０８の部分（又は全て）、例えばカメラ及びプロジェクタは、ゲーム機、パーソナルコンピュータ、モバイルデバイス、専用のプロセッシングデバイス及び／又は同様のものと結合する別個のデバイスであってよい。
【００２６】
イメージ処理システム又はサブシステム１１８は、プロセッサ１２０と、ここで記載されるＩＲ／ＲＧＢミキシングアルゴリズム１２４を含む１つ以上のイメージ処理アルゴリズムを有するメモリ１２２とを有する。一般に、ＩＲ／ＲＧＢミキシングアルゴリズム１２４は、ＩＲポイントと、デプスが決定され得る関連した値を持ったＲＧＢポイントとを含むリスト１３０又は他の適切なデータ構造を出力する。例えば、ミキシングされたＩＲ／ＲＧＢポイントのリスト１３０を使用するアプリケーション又は同様のものとユーザが相互作用するために、必要に応じてキーボード、ゲームコントローラ、ディスプレイ、ポインティングデバイス、発話コマンド用マイク及び／又は同様のものを接続するための、イメージ処理システム又はサブシステム１１８へのインタフェース１３２も、図１には示されている。
【００２７】
図３は、異なる視点から対象（例えば、人）のイメージを捕捉するよう配置される複数のポッド３００１〜３００４を示す。４つのかかるポッドが図３に表されているが、如何なる現実的な個数も所与の構成において存在してよいことが理解される点に留意されたい。例えば、１つのかかる構成は９つのポッドを使用し、空間を囲む異なる高さにある４つのポッドの２つの組と、その空間の上にある１つのポッドとから成る。
【００２８】
図３の例では、４つ（又はそれ以上）のポッドの夫々から捕捉されるＩＲイメージデータ及びＲＧＢイメージデータは、別々のＩＲポイントクラウド及びＲＧＢポイントクラウド（夫々、ＩＲ−ＰＣ及びＲＧＢ−ＰＣ）を形成する。ポイントクラウドデータは、ここで記載される処理のために、ＩＲ／ＲＧＢポイントクラウドミキシングアルゴリズム１２４に利用可能にされる。
【００２９】
概して図３において表されるように、夫々のポッドのプロジェクタは、対象、例えば、人３００の上に光パターン（ＩＲドット）を投影する。反射されたＩＲ光は、夫々のポッド３００１〜３００４で捕捉される。なお、図３で例示されるように（更には、図４での拡大様式において）、一部の表面（エリア３３２に対応）は、ＩＲ光を上手く反射しない。人間の髪が一例であるが、多くの物質、繊維及び同様のものは、ＩＲ反射特性が悪い。図３及び４におけるドットは、単に例示を目的としており、分布、総合密度、サイズなどは、如何なる実際のサイズ、密度及び／又は分布情報も伝えるよう意図されない点に留意されたい。
【００３０】
よって、エリア３３２には疎ＩＲデータが存在する。ここで記載されるように、この疎度は、疎性がイメージにおいて存在する場合に検出され、ＲＧＢポイントは、ＩＲポイントが疎である領域に加えられる。
【００３１】
このために、ポイントクラウドを考えると、ポイントクラウドデータは、如何なる所与の視点からも２次元イメージプレーン上に投影されてよい。よって、夫々のポッドについてのイメージプレーンは、それに投影されたポイントクラウドを有してよく、１つはＩＲデータについてのイメージプレーンであり、他はＲＧＢデータについてのイメージプレーンである。代替的に（例えば、ポイントクラウドがない場合に）、ＩＲデータ及びＲＧＢデータの各フレームは、カメラにおいて２次元（２Ｄ）イメージとして捕捉され、これによって、イメージプレーンデータは、捕捉から存在する。
【００３２】
いずれにしても、図４は、２Ｄイメージ４００が、そこで捕捉される反射されたＩＲドットの密度を決定するために、如何にしてグリッド様のサブパートに分けられ得るのかを示す。この簡略化された例から分かるように、密度は、ＩＲ光をほとんど反射しない面に対応するエリア３３２において低い。グリッドのサイズ及びグリッドの数は、如何なる実際のサイズ、相対サイズ、相対数なども伝えるよう意図されない点に留意されたい。
【００３３】
実際上、アレイのサブセクション内で疎性を見つけるための如何なる技術も使用されてよく、グリッドに基づく必要はないが、グリッドは簡単な解決法を提供する。例えば、疎性を検出するための１つの簡単な方法は、グリッドセルにおいてポイントを数える計数メカニズムを使用する。例えば、所与のグリッドセルにおけるドットの数が閾値を下回る場合は、その特定のグリッドセルは疎であると見なされる。そのような状況では、そのグリッドについてのＲＧＢデータは、望まれる使用のために（例えば、デプス検出において）、疎ＩＲデータを補強するために保持される。
【００３４】
図５は、グリッドセルが、疎性の最大化（又は、逆に、密度の最大化）に基づき、あるいは、何らかの他の基準に基づき、シフトされる点を除いて、図４におけるものと同じ例を本質的に示す。グリッドをシフトすること（及び／又は縦方向にそれらを伸長すること若しくはそれらを短縮すること及び／又は横方向にそれらを広げること若しくは狭めること）によって、別のサブパートが疎となる。例えば、図５では、疎であると決定される可能性があるエリア３３２の近くに６つのグリッドセル（領域）が存在するのに対して、図４の例では、そのようなグリッドセルは４つである。ＲＧＢを加えることは、デプス検知にいくらかのノイズを付加するが、多くの場合に、ある領域においていくらかのノイズを伴うデプスデータを有することは、その領域においてデプスデータを有さないか又は極めて疎なデプスデータしか有さないことに対する改善である点に留意されたい。
【００３５】
図６は、他の代替案を示す。この代替案では、グリッドセルは、加えられるＲＧＢポイントの数を増減させるために、適宜サイジング及び／又は配置されてよい。例えば、図４で単一のグリッドセル４４４であったものは、図６において、２つのより小さいグリッドセル６６２及び６６４に分けられる。これはまた、図６における他のより小さいセルと同様に、それらのセルの周りの太線によって表されている。これは計数の間に行われてよい点に留意されたい。例えば、疎ではないが“閾値真上にある”セルは、１つの部分がこのとき、例えば、グリッドセルの面積が半分に分けられる場合は閾値の半分といった低減された閾値に対して疎であるかどうかを決定するために、サブ領域に細分されてよい。これは、疎でないセルであったものが疎部分と非疎部分とに時々分けられ得るので、加えられるＲＧＢデータを増やす傾向がある。反対に、加えられるＲＧＢデータの量を減らすよう、疎であるが“閾値真下にある”セルは、１つの部分がこのとき疎でないかどうかを決定するために、細分されてよい。それらの代替案の両方は、同時に行われてよい。
【００３６】
図７は、適切なＩＲ−ＲＧＢミキシングアルゴリズムのステップを例示するフロー図である。一般に、アルゴリズムは、ＩＲが疎である領域（いずれかのポッドに対して検出される。）においてＲＧＢポイントにより補強されたＩＲポイントの総覧を得るように、ポッドごとに（ステップ７０２及び７１８を介して）繰り返される。
【００３７】
ステップ７０２はポッドを選択し、ステップ７０４及び７０６は、例えば、ポイントクラウド投影を介して、そのポッドについて２Ｄ  ＩＲ及びＲＧＢイメージプレーンを得る（あるいは、そのポッドで捕捉される。密度を決定する目的で、ステレオイメージのうちの１つしか使用されなくてよい点に留意されたい。）。ステップ７０８は、各イメージをサブパート、例えば、グリッドに分ける。グリッドは、如何なる適切なサイズも有してよい（例えば、１６×１６のブロック）。
【００３８】
ステップ７１０は、ＩＲイメージプレーンからグリッドを選択し、その中のＩＲポイントを数える。ステップ７１２は、例えば、閾値に対してカウントを評価することによって、グリッド密度が低いかどうかを決定する。閾値は、ポッドの所与の構成、投影パターン密度、及び照射される対象までの距離のために適当な、推定された、又は計算された固定数（例えば、１０）であってよく、あるいは、平均及び標準偏差などの統計技術／解析に基づき変更されてよい。グリッドサイズ及び／又は形状（例えば、正方形、長方形、三角形、六角形）なども同様に変更されてよい。
【００３９】
いずれにしても、疎なグリッドセル又は同様のものがステップ７１２で検出される場合に、ステップ７１４は、ＲＧＢイメージプレーンにおける対応グリッドセルからのＲＧＢポイントをリスト又は他の適切なデータ構造に加える。疎でない場合は、十分なＩＲデータが、望まれる使用のためにその領域内に存在する。
【００４０】
ステップ７１６は、全てのグリッドが処理されるまで、次のグリッドについてプロセスを繰り返す。ステップ７１８は、全てのポッドが処理されるまで、他のポッドについてプロセスを繰り返す。
【００４１】
ポッドが処理されると、ＲＧＢイメージデータはリスト又は同様のものに含まれる。リストには重複が存在することがあり、かかる重複はステップ７２０を介して削除されてよい（代替的に、重複は、ステップ７１４で加えられ得ない点に留意されたい。）。ステップ７２２は、（全てのポッドからの）ＩＲポイントをリストに加え、プロセスは終了する。リストはこのとき、全てのＩＲポイントと、ＩＲデータがいずれかのポッドについて疎であったＲＧＢポイントとを含む。
【００４２】
代替の実施では、疎性の程度は、ＲＧＢを加えることにおける因子であってよい。例えば、ＩＲカウントが閾値に近ければ近いほど、加えられ得るＲＧＢポイントの数はますます少なくなる。同様に、座標空間におけるＩＲポイントに対するＲＧＢポイントの近さは、そのポイントを加えるべきかどうかを決定づけてよい。
【００４３】
明らかなように、疎なＩＲデータ領域を持ったイメージ又はポイントクラウドが疎領域でＲＧＢデータとミキシングされ得る技術が記載されている。結果として得られる混合データは、ＩＲデータ領域が存在しないか又は疎なＩＲデータ領域しか存在しない場合にデプス値を得るために使用されてよい。
【００４４】
［動作環境の例］
図８は、例えば、ここで記載されるコンピュータに関連した例及び実施が実装され得る適切なコンピューティング及びネットワーキング環境８００の例を表す。コンピュータシステム環境８００は、適切なコンピューティング環境の一例にすぎず、本発明の使用又は機能性の適用範囲に関して何らかの限定を示唆するよう意図されない。更には、コンピューティング環境８００は、例となる動作環境８００において表されているコンポーネントのうちのいずれか１つ又はそれらの組み合わせに関する何らかの依存又は要件を有するものとして解釈されるべきでない。
【００４５】
本発明は、多数の他の汎用又は専用のコンピュータシステム環境又は構成により動作可能である。本発明による使用に適し得るよく知られたコンピュータシステム、環境、及び／又は構成の例には、パーソナルコンピュータ、サーバコンピュータ、携帯型又はラップトップデバイス、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能なコンシューマエレクトロニクス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステム又はデバイスのいずれかを含む分散型コンピューティング環境、及び同様のものがあるが、これらに限られない。
【００４６】
本発明は、コンピュータによって実行される、例えばプログラムモジュールなどのコンピュータ実行可能命令の一般的なコンテキストにおいて、記述されてよい。一般に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、などを含み、特定のタスクを実行するか、あるいは、特定の抽象データ型を実装する。本発明は、通信ネットワークを通じてリンクされている遠隔のプロセッシングデバイスによってタスクが実行される分散型コンピューティング環境においても実施されてよい。分散型コンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含むローカル及び／又は遠隔のコンピュータ記憶媒体に置かれてよい。
【００４７】
図８を参照すると、本発明の様々な態様を実装する例となるシステムは、コンピュータ８１０の形をとる汎用のコンピュータデバイスを有してよい。コンピュータ８１０のコンポーネントには、プロセッシングユニット８２０と、システムメモリ８３０と、システムメモリ８３０を含む様々なシステムコンポーネントをプロセッシングユニット８２０へ結合するシステムバス８２１とが含まれ得るが、これらに限られない。システムバス８２１は、メモリバス又はメモリコントローラ、ペリフェラルバス、及び様々なバスアーキテクチャのいずれかを使用するローカルバスを含む複数種類のバス構造のうちのいずれであってもよい。一例として、制限なしに、そのようなアーキテクチャには、ＩＳＡ（Industry  Standard  Architecture）バス、ＭＣＡ（Micro  Channel  Architecture）バス、ＥＩＳＡ（Enhanced  ISA）バス、ＶＥＳＡ（Video  Electronics  Standards  Association）ローカルバス、及びメザニン（Mezzanine）バスとしても知られるＰＣＩ（Peripheral  Component  Interconnect）バスが含まれる。
【００４８】
コンピュータ８１０は、通常は、様々なコンピュータ可読媒体を有する。コンピュータ可読媒体は、コンピュータ８１０によってアクセスされ得る如何なる利用可能な媒体であることもでき、揮発性及び不揮発性媒体と、リムーバブル及び非リムーバブル媒体との両方を含む。一例として、制限なしに、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を有してよい。コンピュータ記憶媒体は、例えばコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータなどの情報の記憶のための如何なる方法又は技術においても実装される揮発性及び不揮発性のリムーバブル及び非リムーバブル媒体を含む。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）若しくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気記憶デバイス、又は所望の情報を記憶するために使用可能であって且つコンピュータ８１０によってアクセスされ得るあらゆる他の媒体が含まれるが、これらに限られない。通信媒体は、通常は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを、搬送波又は他の伝送メカニズムなどの変調データ信号において具現し、如何なる情報送達媒体も含む。語「変調データ信号」は、信号内の情報を符号化するようにその特性のうちの１つ以上が設定又は変更された信号を意味する。一例として、制限なしに、通信媒体には、有線ネットワーク又は直接配線接続などの有線媒体と、音響、ＲＦ、赤外線及び他の無線媒体などの無線媒体とが含まれる。上記のもののうちのいずれかの組み合わせも、コンピュータ可読媒体の適用範囲内に含まれてよい。
【００４９】
システムメモリ８３０は、例えば読出専用メモリ（ＲＯＭ）８３１及びランダムアクセスメモリ（ＲＡＭ）８３２などの揮発性及び／又は不揮発性メモリの形をとるコンピュータ記憶媒体を含む。基本入出力システム（ＢＩＯＳ）８３３は、例えば起動中などに、コンピュータ８１０内の要素間で情報を伝送するのを助ける基本ルーチンを含み、通常は、ＲＯＭ８３１において記憶されている。ＲＡＭ８３２は、プロセッシングユニット８２０が即時アクセス可能であり且つ／あるいはプロセッシングユニット８２０において目下展開されているデータ及び／又はプログラムモジュールを通常は含む。一例として、制限なしに、図８は、オペレーティングシステム８３４、アプリケーションプログラム８３５、他のプログラムモジュール８３６、及びプログラムデータ８３７を表す。
【００５０】
コンピュータ８１０は、他のリムーバブル／非リムーバブル式揮発性／不揮発性コンピュータ記憶媒体を更に有してよい。単なる一例として、図８は、非リムーバブル式の不揮発性磁気媒体に対して読み出し又は書き込みを行うハードディスクドライブ８４１と、リムーバブル式の不揮発性磁気ディスク８５２に対して読み出し又は書き込みを行う磁気ディスクドライブ８５１と、例えばＣＤ−ＲＯＭ又は他の光媒体などのリムーバブル式の不揮発性光ディスク８５６に対して読み出し又は書き込みを行う光ディスクドライブ８５５とを表す。例となる動作環境において使用され得る他のリムーバブル／非リムーバブル式揮発性／不揮発性コンピュータ記憶媒体には、磁気テープカセット、フラッシュメモリカード、デジタルバーサタイルディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭ、及び同様のものが含まれるが、これらに限られない。ハードディスクドライブ８４１は、通常は、例えばインタフェース８４０などの非リムーバブル式メモリインタフェースを通じてシステムバス８２１へ接続され、磁気ディスクドライブ８５１及び光ディスクドライブ８５５は、通常は、例えばインタフェース８５０などのリムーバブル式メモリインタフェースによってシステムバス８２１へ接続される。
【００５１】
図８に表されており上述されたドライブ及びそれらの関連するコンピュータ記憶媒体は、コンピュータ８１０のためのコンピュータ可読命令、データ構造、プログラムモジュール及び他のデータの記憶を提供する。図８では、例えば、ハードディスクドライブ８４１は、オペレーティングシステム８４４、アプリケーションプログラム８４５、他のプログラムモジュール８４６及びプログラムデータ８４７を記憶するものとして表されている。それらのコンポーネントは、オペレーティングシステム８３４、アプリケーションプログラム８３５、他のプログラムモジュール８３６及びプログラムデータ８３７と同じであっても、又は異なってもよい点に留意されたい。オペレーティングシステム８４４、アプリケーションプログラム８４５、他のプログラムモジュール８４６及びプログラムデータ８４７は、最低限それらが異なるコピーであることを表すように、ここでは異なる番号を与えられている。ユーザは、例えばタブレット又は電子デジタイザ８６４、マイクロホン８６３、キーボード８６２、及び一般にマウス、トラックボール又はタッチパッドと呼ばれる指示デバイス８６１などの入力デバイスを通じてコマンド及び情報をコンピュータ８１０に入力してよい。図８に示されていない他の入力デバイスには、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナ、又は同様のものが含まれてよい。それら及び他の入力デバイスは、システムバスへ結合されているユーザ入力インタフェース８６０を通じてプロセッシングユニット８２０へしばしば接続されるが、例えばパラレルポート、ゲームポート又はユニバーサルシリアルバス（ＵＳＢ）などの他のインタフェース及びバス構造によって接続されてよい。モニタ８９１又は他のタイプのディスプレイデバイスも、例えばビデオインタフェース８９０などのインタフェースを介してシステムバス８２１へ接続される。モニタ８９１はまた、タッチスクリーンパネル又は同様のものと一体化されてよい。モニタ及び／又はタッチスクリーンパネルは、例えばタブレット型のパーソナルコンピュータなどで見られるように、コンピュータデバイス８１０が組み込まれている筐体へ物理的に結合され得る点に留意されたい。加えて、コンピュータデバイス８１０などのコンピュータは、例えばスピーカ８９５及びプリンタ８９６などの他の周辺出力デバイスを更に有してよい。周辺出力デバイスは、出力ペリフェラルインタフェース８９４又は同様のものを通じて接続されてよい。
【００５２】
コンピュータ８１０は、例えばリモートコンピュータ８８０などの１つ以上の遠隔のコンピュータへの論理接続を用いるネットワーク化された環境において動作してよい。リモートコンピュータ８８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス又は他の共通ネットワークノードであってよく、通常は、コンピュータデバイス８１０に関して上述された要素の多く又は全てを含むが、図８ではメモリ記憶デバイス８８１しか表されていない。図８に表されている論理接続は、１つ以上のローカルエリアネットワーク（ＬＡＮ）８７１と、１つ以上のワイドエリアネットワーク（ＷＡＮ）８７３とを含むが、他のネットワークを更に有してよい。かかるネットワーキング環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット及びインターネットにおいて一般的である。
【００５３】
ＬＡＮネットワーキング環境で使用される場合に、コンピュータ８１０は、ネットワークインタフェース又はアダプタ８７０を通じてＬＡＮ８７１へ接続される。ＷＡＮネットワーキング環境で使用される場合に、コンピュータ８１０は、例えばインターネットなどのＷＡＮ８７３上での通信を確立するためのモデム８７２又は他の手段を通常は有する。モデム８７２は、内部又は外部にあってよく、ユーザ入力インタフェース８６０又は他の適切なメカニズムを介してシステムバス８２１へ接続されてよい。例えばアクセスポイント又はピアコンピュータなどの無線ネットワーキングコンポーネント８７４は、アクセスポイント又はピアコンピュータなどの適切なデバイスを通じてＷＡＮ又はＬＡＮへ結合されてよい。ネットワーク化された環境では、コンピュータ８１０に関して表されているプログラムモジュール、又はその部分は、遠隔のメモリ記憶デバイスにおいて記憶されてよい。一例として、制限なしに、図８は、メモリデバイス８８１にあるものとしてリモートアプリケーションプログラム８８５を表す。図示されているネットワーク接続は例であり、コンピュータ間の通信リンクを確立するための他の手段が使用されてよい点が理解され得る。
【００５４】
補助サブシステム８９９（例えば、コンテンツの補助的な表示のため。）は、たとえコンピュータシステムのメイン部分が低電力状態にあるとしても、例えばプログラムコンテンツ、システムステータス及びイベント通知などのデータがユーザに提供されることを可能にするように、ユーザインタフェース８６０を介して接続されてよい。補助サブシステム８９９は、モデム８７２及び／又はネットワークインタフェース８７０へ接続されて、メインプロセッシングユニット８２０が低電力状態にある間にそれらのシステム間の通信を可能にしてよい。
【００５５】
代替的に、又は追加的に、ここで機能的に記載されるものは、１つ以上のハードウェアロジックコンポーネントによって少なくとも部分的に実行され得る。例えば、制限なしに、使用され得るハードウェアロジックコンポーネントの実例となるタイプには、フィールドプログラムゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準品（ＡＳＳＰ）、システムオンチップシステム（ＳｏＣ）、結合プログラム可能論理デバイス（ＣＰＬＤ）などがある。
【００５６】
［結論］
本発明は、様々な変更及び代替の構成の余地があるが、その特定の説明される実施形態は、図面において示されており、先に詳細に記載された。なお、開示されている具体的な形態に本発明を制限しようとする意図はなく、それどころか、本発明は、本発明の主旨及び適用半内にある全ての変更、代替の構成、及び同等物をカバーすべきであることが理解されるべきである。
【図１】
0006562900.tif 000002
【図２】
0006562900.tif 000003
【図３】
0006562900.tif 000004
【図４】
0006562900.tif 000005
【図５】
0006562900.tif 000006
【図６】
0006562900.tif 000007
【図７】
0006562900.tif 000008
【図８】
0006562900.tif 000009