(57)【要約】本開示は、既知の投影パターンを使用して、ステレオ奥行き検出（又は、カメラに基づく他の奥行き検出）をよりロバストにすることを対象とする。ドットが、キャプチャされた画像において検出され、異なる奥行きにおける既知の投影パターンと比較されて、各奥行きにおける照合信頼度スコアが決定される。信頼度スコアは、サブ画素解像度におけるものであり得る各ドット位置における奥行きを決定するための基礎として使用され得る。信頼度スコアはまた、ドット位置に対応する画素の間にある画素についての奥行き値を見つけ出すために、画素奥行きを補間するための重み等の基礎として使用され得る。
2017528731.tif 000002
【特許請求の範囲】
【請求項１】
ドットの光パターンをシーンに向けて投影するプロジェクタであって、前記光パターンは、前記プロジェクタにとって既知であり、異なる奥行きにおけるドット位置を表す投影ドットパターンデータとして保持されている、プロジェクタと、
複数のカメラであって、前記複数のカメラの各カメラは、前記プロジェクタに対して固定されており、異なる視点から、前記シーンの同期された画像をキャプチャするよう構成されている、複数のカメラと、
前記同期された画像の各々におけるキャプチャされたドットについてのドット位置を判定し、前記同期された画像の各々における各ドット位置について、異なる奥行きに対応する信頼度スコアのセットを算出するよう構成されている奥行き推定部であって、各信頼度スコアは、前記投影ドットパターンデータと、前記同期された画像の各々における前ドット位置との照合関係と、に基づき、前記奥行き推定部は、さらに、前記信頼度スコアに基づいて、各ドット位置における奥行きを推定するよう構成されている、奥行き推定部と、
を備えた、システム。
【請求項２】
各ドット位置は、サブ画素位置に対応する、請求項１記載のシステム。
【請求項３】
各信頼度スコアは、ドット位置と前記投影ドットパターンデータとの間の合致近傍の数に基づく、請求項１記載のシステム。
【請求項４】
各信頼度スコアは、キャプチャされたドットの位置を表現するベクトルと、異なる奥行きにおける前記投影ドットパターンデータを表現するパターンベクトルのセットと、に基づく、請求項１記載のシステム。
【請求項５】
前記キャプチャされたドットの位置を表現する前記ベクトルは、前記キャプチャされたドットの位置の周囲の近傍を表現するビットベクトルを含み、前記パターンベクトルのセットは、異なる奥行きにおける投影ドット位置の周囲の近傍を表現するビットベクトルを含み、前記信頼度スコアのセットは、前記異なる奥行きにおける前記投影ドット位置の周囲の前記近傍を表現する前記ビットベクトルのセットに対する、前記キャプチャされたドットの位置の周囲の前記近傍を表現する前記ビットベクトルの近さに基づく、請求項４記載のシステム。
【請求項６】
前記奥行き推定部は、さらに、統計的情報に基づいて、少なくとも１つのドットを除去するよう構成されている、請求項１記載のシステム。
【請求項７】
前記奥行き推定部は、さらに、特定の画素について競合する奥行きをチェックし、競合する奥行きが検出されたときには、前記特定の画素についての信頼度スコアに基づいて、１つの奥行きを選択するよう構成されている、請求項１記載のシステム。
【請求項８】
前記奥行き推定部は、さらに、前記ドット位置の間にある画素についての奥行き値を補間するよう構成されている、請求項１記載のシステム。
【請求項９】
処理デバイスにより、画像を処理して、画像内のドット位置を判定するステップであって、前記ドット位置は、サブ画素解像度におけるものである、ステップと、
前記処理デバイスにより、異なる奥行きにおける既知のプロジェクタパターンデータにアクセスして、各奥行きにおける信頼度スコアを、当該奥行きにおける前記プロジェクタパターンデータとドット位置データを照合することに基づいて決定することを含む、各ドット位置についての奥行きデータを算出するステップと、
前記処理デバイスにより、複数の画素の各画素について、当該画素に関連付けられているドットサブ画素位置についての前記信頼度スコアに基づいて、奥行き値を決定するステップと、
前記処理デバイスにより、前記奥行き値に関連付けられている画素の間にある画素についての奥行き値を補間するステップと、
を含む、マシンにより実施される方法。
【請求項１０】
実行可能な命令を有する１以上のマシン読み取り可能なデバイス又はマシンロジックであって、前記命令が実行されたときに、前記命令は、
複数の画素の各画素についての奥行きデータを推定することであって、投影ドットを用いて照射されたシーンを各々がキャプチャした少なくとも２つの同期された画像を処理して、前記画像におけるドット位置を判定することと、各画像における各ドット位置について、ドット関連データが、異なる奥行きにおける既知の投影ドットパターンデータとどれくらい良好に合致するかを表す信頼度スコアを決定することと、前記信頼度スコアを使用して、前記奥行きデータを推定することと、を含む、推定すること
を含む動作を実行する、１以上のマシン読み取り可能なデバイス又はマシンロジック。
【発明の詳細な説明】
【背景技術】
【０００１】
カメラに基づく奥行き検知は、光パターンをシーンに投影し、次いで、画像処理を用いてシーンにおける各画素についての奥行きを推定することを対象とする。例えば、ステレオ奥行き検知システムにおいて、奥行き検知は、通常、（ランダムであり得る）光パターンをシーンに投影してテクスチャを与え、２つのステレオカメラに異なる視点から２つの画像をキャプチャさせることにより、実現される。ここで、例えば、ステレオペア画像を用いて奥行き推定を実行する１つの方法は、これらの画像間の局所パッチの対応関係を見つけ出すことである。照合されると、これらの画像内の投影されたパターンが、互いに対応付けられ得、対応付けられたドットの１以上の特徴間の視差が、当該特定のドットペアに対する奥行きを推定するために使用され得る。
【０００２】
２つのカメラを使用する代わりに、既知の光パターンがシーンに投影される場合、この既知のパターンとともに、１つのカメラにより取得された画像が、奥行きを推定するために使用され得る。一般に、カメラ画像は、既知のパターンに対する視差を求めるために処理され、この視差は、シーンにおける物体の奥行きを示す。
【発明の概要】
【０００３】
この発明の概要は、発明を実施するための形態において以下でさらに説明される代表的なコンセプトのうち選択されたコンセプトを紹介するために提供される。この発明の概要は、特許請求される主題の主要な特徴又は必要不可欠な特徴を特定することを意図するものではないし、特許請求される主題の範囲を限定するように使用されることを意図するものでもない。
【０００４】
簡潔に述べると、本明細書に記載の主題の様々な態様のうちの１以上の態様は、投影ドットを用いて照射されたシーンを各々がキャプチャした複数の画像を処理して、画像におけるドット位置を判定することを含む、複数の画素の各画素についての奥行きデータを推定することを対象とする。各ドット位置について、ドット関連データが、異なる奥行きにおける既知の投影ドットパターンデータとどれくらい良好に合致するかを表す信頼度スコア（confidence  score）が決定され、信頼度スコアが、奥行きデータを推定するために使用される。
【０００５】
他の利点が、図面と併せて読まれたときに以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００６】
本発明が、添付の図面において、限定ではなく例として示される。添付の図面において、同様の参照符号は、同様の要素を示す。
【図１】１以上の例示的な実施形態に従った、既知の投影パターンデータとの照合を介して奥行きを決定するために光パターンを投影してキャプチャするよう構成され得る例示的なコンポーネントを示すブロック図。
【図２】１以上の例示的な実施形態に従った、キャプチャされた画像データを既知の投影パターンデータと照合することにより奥行きを決定するために、ドットをシーンに投影する例を示す図。
【図３】１以上の例示的な実施形態に従った、キャプチャされた画像データを既知の投影パターンデータと照合することにより奥行きを決定するために、ドットをシーンに投影する例を示す図。
【図４】１以上の例示的な実施形態に従った、既知の投影パターンデータに基づいて奥行きマップを決定する際に用いられる例示的なステップを示すフロー図。
【図５】１以上の例示的な実施形態に従った、サブ画素解像度におけるドットピーク位置を判定するために、投影されたドットがどのように使用され得るかを示す図。
【図６】１以上の例示的な実施形態に従った、ドット関連データがデータ構造にどのように圧縮され得るかを示す図。
【図７】１以上の例示的な実施形態に従った、ドットピーク位置を判定するために実行され得る例示的なステップを示すフロー図。
【図８】１以上の例示的な実施形態に従った、奥行きデータを決定するために、予想されるドット位置を既知の投影ドットパターン位置と照合する際に、投影された光線から生じたドットがどのように使用され得るかを示す図。
【図９】１以上の例示的な実施形態に従った、各投影されたドットに対して画像によりキャプチャされた各ドットを評価して、異なる奥行きにおける照合（信頼度）スコアを決定するために実行され得る例示的なステップを示すフロー図。
【図１０】１以上の例示的な実施形態に従った、ドットピークが、合致と見なされるほど十分に近いかどうかを判定するために実行され得る例示的なステップを示すフロー図。
【図１１】１以上の例示的な実施形態に従った、奥行き算出が半閉塞画像に対していかにロバストであり得るかを示す図。
【図１２】１以上の例示的な実施形態に従った、補間が異なる奥行きにおける信頼度スコアにどのように基づき得るかを示す図。
【図１３】本明細書に記載の様々な実施形態の１以上の態様が実装され得る、ゲームシステムの形態の例示的で非限定的なコンピューティングシステム又は動作環境を示すブロック図。
【発明を実施するための形態】
【０００７】
本明細書に記載のテクノロジの様々な態様は、一般に、概して（他の技術と比較して）より正確で信頼性の高い奥行き推定を提供するために、既知の光パターンをシーンに投影し、キャプチャされた画像及び既知のパターンに対して画像処理を用いることを対象とする。本テクノロジはまた、画素ではなくドットにわたる枚挙、３眼（trinocular）照合（又は４方向以上（more  than  three-way）の照合）、サブ画素解像度の使用、及び信頼度に基づく補間等、本明細書に記載の１以上の様々な技術を利用する。光パターンは、光パターンが、予定されたパターンで生成されるか又はランダムな（しかしながら、以後は変更されない）パターンで生成されるかにかかわらず、ユーザにより行われる較正動作において学習されてもよいし、例えば、製造時に較正された、前もって知られている固定された構造であってもよい。
【０００８】
一態様において、２以上のカメラが、シーンの画像をキャプチャするために使用される。例えば、左ステレオカメラ及び右ステレオカメラを使用して、２つのキャプチャされた画像とともに既知の光パターンが、奥行きを示す視差を決定するために、３方向（three-way）照合技術により使用され得る。すなわち、既知のパターン、左画像、及び右画像が、各投影された／キャプチャされたドットの視差に基づいて奥行きを推定するために使用され得る。シーンを撮影する複数のカメラを有することは、奥行き推定における不確実さを克服するのに役立ち、ミスマッチを低減させるのに役立つ。さらに、本技術は、カメラの不具合に対してロバストであり、少なくとも１つのカメラがシーンを撮影しており、プロジェクタに対するそのカメラの位置が既知である限り、奥行きを推定し続ける（通常は信頼性がより低い）。
【０００９】
サブ画素精度でドットの位置を推定して、より正確なサブ画素視差を与えるものを含むドット検出プロセスが使用され得る。これは、より正確な照合を提供し、視差を離散化させるのを回避する。
【００１０】
算出された照合スコア（例えば、各照合スコアは、画素についての推定される奥行きの信頼度に対応する）を使用して、ドットベースの奥行きが推定されなかった画素についての奥行きを算出する補間が用いられ得る。例えば、各奥行きにおける信頼度が、補間演算における重みとして使用され得る。これとともに、カラー画像（例えば、ＲＧＢ画像）及び／又はクリーンなＩＲ画像に基づくエッジベースのデータ等の、可能であれば他のデータが、補間のためのガイドとして機能する。
【００１１】
本明細書における例のいずれもが非限定的であることを理解されたい。例えば、本明細書に概括的に例示される投影光パターンは、概して、円形ドットを含むが、投影ドットは、任意の形状であってよい（しかしながら、ドット等の２次元投影形状は、ストライプ等の１次元投影よりも正確な照合を容易にする傾向にある）。したがって、本発明は、本明細書に記載のいかなる特定の実施形態、態様、コンセプト、構造、機能、又は例にも限定されるものではない。そうではなく、本明細書に記載の実施形態、態様、コンセプト、構造、機能、又は例のいずれもが非限定的であり、本発明は、概して奥行き検知及び画像処理において便益及び利点を提供する様々なやり方で使用され得る。
【００１２】
図１は、画像キャプチャシステムすなわちサブシステム１０４のステレオカメラ１０２及び１０４が、時間同期される左ステレオ画像及び右ステレオ画像１０５をキャプチャする（例えば、これらのカメラは「ゲンロックされる」）、例示的なシステムを示している。一実施形態において、カメラ１０２及び１０３は、赤外線（ＩＲ）画像をキャプチャする。なぜならば、ＩＲは、シーンの可視的外観に影響を及ぼさないからである（これは、例えば、ビデオ会議アプリケーション及びオブジェクトモデル化アプリケーションにおいて、一般に有利である）。容易に理解できるように、スタジオ環境等のいくつかのシナリオにおいて、３以上のＩＲ奥行き検知カメラが存在してもよい。さらに、ＲＧＭカメラ等の１以上の他のカメラが、所与のシステムにおいて存在してもよく、そのような他のカメラは、例えば、奥行きを推定するのを支援するために使用することができる。
【００１３】
図１において、プロジェクタ１０６が示されている。プロジェクタ１０６は、ドットのパターン等のＩＲパターンをシーンに投影するが、他のスポット形状及び／又はパターンタイプが使用されてもよい。簡潔さのために、以下では、ドットが概して説明される。パターンは、レーザー光を例えばドットパターンとしてシーンに散乱させる回折光学コンポーネント（１つの回折光学素子又は複数の素子の組合せ）内に設計（例えば、エンコード）され得る。上述したように、パターンは、予定されたものであってもよいし、ランダムであってもよいが、較正により学習される。
【００１４】
図２及び図３は、投影コンセプトを例示している。図２においてステレオカメラ１０２とステレオカメラ１０３との間において円として示され、図３においてデバイス３３４に組み込まれた回折光学素子３３２に結合されたレーザー３３０として示されるプロジェクタ１０６は、ドットパターンをシーン２２２（図２）に投影する。較正を介して、投影ドットパターン１０８は、画像処理システムすなわちサブシステム１１２の一部であり得る奥行き推定部１１０に既知である。既知のドットパターンは、任意の適切なデータ構造で保持され得、一実施形態において、種々の可能な奥行きにおける各ドットの少なくとも（ｘ，ｙ）座標（これは、以下で説明するように、サブ画素解像度におけるものであり得る）をトラッキングする。これは、投影光線の各ドットを記憶することに対応する。代替は、ベクトルにより同様に表現される、カメラによりキャプチャされたドットとベクトル照合するための、近傍（neighbor）を含むビットベクトルとして、各ドットを表現することである。
【００１５】
カメラ１０２及び１０３は、ドットがシーン及び（場合によっては）背景における物体表面から反射したときに、ドットをキャプチャする。一般に、キャプチャされたドットの１以上の特徴は、反射表面までの距離を示す。図２及び図３は（又は本出願における図面のいずれも）、縮尺通りであるようには意図されていなし、互いと同じシーンを表すわけではないし、いかなるサイズ、距離、ドット分布パターン、ドット密度等を伝えるものでもないことに留意されたい。
【００１６】
プロジェクタ１０６の配置は、カメラの外部にあってもよいし（例えば、図１）、カメラの間にあってもよいし（図２及び図３）、カメラの一方又は両方の上又は下等の別の位置にあってもよいことに留意されたい。本明細書における例は、カメラ及び／又はプロジェクタが互いに対して配置される位置をいかなるようにも限定するものではなく、同様に、カメラは、互いに対して異なる位置に配置されてもよい。それでも、カメラとプロジェクタとの相対位置は、例えば、製造時に決定されるように、既知である、且つ／又は、必要とされる場合に再測定することができる。
【００１７】
例えば通常は数十万のオーダーの、比較的多数の分散された赤外線ドットを用いてシーンを照射することにより、カメラ１０２及び１０３は、シーンにおける任意の物体についての赤外線画像データの一部として、テクスチャデータをキャプチャする。本明細書で説明するように、左画像と右画像との間のより正確なドット照合を容易にするために、画像におけるドットとともに既知のドットパターンが処理される。
【００１８】
一実施形態において、例示的な画像キャプチャシステムすなわちサブシステム１０４は、カメラインタフェース１１６を介してカメラ１０２及び１０３の動作を制御するコントローラ１１４を含む。例示されるコントローラ１１４はまた、プロジェクタインタフェース１１８を介してプロジェクタ１０６の動作を制御することができる。例えば、カメラ１０２及び１０３は、コントローラ信号（又はカメラごとに異なる信号）によって等、同時にステレオ画像をキャプチャするように同期される（ゲンロックされる）。プロジェクタ１０６は、例えば、オン又はオフにされ、パルス状であり、その他、制御可能に変更される１以上のパラメータを有し得る。
【００１９】
カメラ１０２及び１０３によりキャプチャされた画像１０５は、画像処理システムすなわちサブシステム１１２に提供される。いくつかの実施形態において、画像処理システム１１２及び画像キャプチャシステムすなわちサブシステム１０４、又はこれらの一部は、単一のデバイスに組み合わされ得る。例えば、ホームエンターテイメントデバイスは、図１に示されるコンポーネントの全て（及び図示されていない他のコンポーネント）を含み得る。他の実施形態において、カメラ及びプロジェクタ等の、画像キャプチャシステムすなわちサブシステム１０４の一部（又は全て）は、ゲームコンソール、パーソナルコンピュータ、モバイルデバイス、専用処理デバイス、及び／又は同様のものに結合する別個のデバイスに存在してもよい。実際、ゲームコンソールが、画像を奥行きデータに処理するために使用され得る１つの環境として、以下に例示される。
【００２０】
画像処理システムすなわちサブシステム１１２は、プロセッサ１２０及びメモリ１２２を含む。メモリ１２２は、奥行き推定部１１０等の１以上の画像処理コンポーネントを含む。一態様において、奥行き推定部１１０は、画像及び既知のプロジェクタパターン１０６を使用して奥行きデータを推定する３眼照合コンポーネント１２６又は同様のものを含む。１以上の奥行きマップ１２８が、本明細書で説明するように、奥行き推定部１１０を介して得られ得る。
【００２１】
ユーザが、奥行きマップを使用するアプリケーション等とインタラクトするために、例えば、コンピュータプログラム、キーボード、ゲームコントローラ、ディスプレイ、ポインティングデバイス、音声コマンド用のマイクロフォン、及び／又は同様のものを必要に応じて接続するための、画像処理システムすなわちサブシステム１１２へのインタフェース１３２が、図１に示されている。
【００２２】
図４は、デバイスを製造するとき等のステップ４００における１回限りの（one-time）較正プロセスを含む、１つのプロセス全体の例示的なステップを示す一般化されたフロー図である。（例えば、出荷（shipping）、熱、又は他の環境要因が、ドリフトを生じさせた場合には、較正は、デバイス所有者により、又は、修理のためにデバイスを送付することにより、繰り返され得ることが可能である。）
【００２３】
奥行きマップ生成において用いられる例示的なステップは、以下でさらに詳細に説明され、概して、（図７を参照する）ステップ４０２により示される、カメラによりキャプチャされたドットの位置が特定されて記憶されるドット検出プロセスを含む。（図９及び図１０を参照する）ステップ４０４において概して示されるように、カメラによりキャプチャされたドットを表すデータは、既知の投影ドットを表すデータに対して照合される。
【００２４】
照合の後、いくつかの後処理が、ステップ４０６において実行され得、ここでは、概して、例外（anomaly）がクリーンアップされる。ステップ４０８において、直接的なドットベースの推定奥行き値を有さない画素、例えば、ドット間にある画素についての奥行き値を決定するために、補間が実行される。補間は、直接的なドットベースの推定奥行き値を有する近傍画素の信頼度スコアに加えて、画素が前景物体のエッジをちょうど超えている可能性があるために、奥行きが画素について変化する可能性が高いかどうかを考慮に入れるエッジ検出等の他の技術にも基づき得る。
【００２５】
奥行きマップを完成させるために必要とされる画素奥行き値が、補間により埋められた後、ステップ４１０は、奥行きマップを出力する。このプロセスは、奥行きマップのフレームがもはや必要とされなくなるまで、例えば、デバイスがオフにされるまで、奥行きマップのフレームを望むアプリケーションが、閉じられるまで又はモードを変更するまで、等、適切なフレームレートで、ステップ４１２を経由して繰り返す。
【００２６】
ドット検出に関して、一般に、ドットは、ガウス円又はぼやけた円（blurred  circle）に類似するソフトな円対称プロファイル（soft  circularly  symmetric  profile）を有する（しかしながら、正確な形状は、それほど重要ではない）。赤外線画像において、ドットの少なくとも一部により照射された各画素は、関連する強度値（intensity  value）を有する。１以上の実施形態において、各入力画像は、例えば、（画像処理において既知であるように）各画素に対して使用される１−２−１フィルタを用いて、ブラー処理され、これは、ノイズを低減させる。次の動作は、画像に対して、ｓ×ｓのマックスフィルタ（各ウィンドウ位置における最大強度値を見つけ出すｓ×ｓのスライディングウィンドウ（これも、画像処理において周知である））を使用し、各画素を比較して、ｓ×ｓの領域内で極大である（又は極大にひも付ける）画素を見つけ出す。ｓの適切な値は５である。
【００２７】
全てのそのような極大点について、サブ画素ピーク位置と、その位置における最大の（例えば、補間された）値と、を見つけ出すために、強度に対する水平方向及び垂直方向の３点放物線フィッティング（three-point  parabolic  fit）が用いられる（すなわち、補間は、ピークがサブ画素において中心にないときを調整するために用いられ得る）。（図５の部分的画像５５０の正方形として示される）画素において確認できるように、このドットパターンについての特徴は、ドットピーク強度位置である。これは、サブ画素精度内で推定され得る。より詳細には、図５に示されるように、より細かいグリッド表現５５２内のＸ形状のクロスは、推定ドット中心を表しており、ここで、画素は、破線によりサブ画素に分割されている。各推定中心は、サブ画素に対応する。例示されるグリッド（例えば、グリッドはより大きな画像の一部であり得る）の外にあるいくつかのさらなるドットの中心も図示されている。
【００２８】
図５は、解像度を２倍にするために、画素を２×２のサブ画素に細分割していることに留意されたい。しかしながら、サブ画素解像度を２倍にする代わりに、画素を、さらに、例えば、それぞれ９個のサブ画素、それぞれ１６個のサブ画素等に、細分割することにより、さらに高い解像度を得ることができる。（非正方形の細分割が用いられてもよい。）
【００２９】
検出されたピークを表すデータは、各ピークについてサブ画素位置及びピーク強度を含むデータ構造であって、照合スコア等、ドット照合中に情報を蓄積するためのさらなるスペースも提供するデータ構造に記憶され得る。１以上の実施形態において、回折光学素子の構造により、ピークは、ｄ画素よりも近くには位置せず、これにより、より小さなデータ構造（セルのアレイを含む記憶イメージ）が使用され得る。より詳細には、図６に示されるように、圧縮動作６６０において、画像６６２から得られた各ピークについてのデータは、その真の位置をｄで除算し、最近傍画素に丸めることにより算出されたビン（bin）に入れられ得、これは、圧縮画像構造６６４を提供する。図６におけるセルのグリッドは、図５におけるようなサブ画素グリッドを表すものではなく、ピークを有さない画素のうちの多くの画素のためのストレージを確保する必要性をなくすことにより、データ構造の必要とされるサイズを圧縮するためのやり方を表す。
【００３０】
適切な圧縮パラメータは、ドット（ピーク）間のできるだけ多くのスペースを除去するのに十分大きいが、２つの異なるドットが同じセル内にぶつからないように十分小さいものである。上記の例において、２という圧縮係数が使用された。なぜならば、ピークのいかなるペアも、互いから少なくとも２画素離れているからである。
【００３１】
図７は、例示的なドット検出プロセスをまとめたものである。始めに、ステップ７０２において、ノイズを低減させるために、キャプチャされた画像がブラー処理される。図７は、例えば左画像及び右画像といった各画像に対して実行されるが、少なくともある程度並列に実行され得る。ステップ７０４は、マックスフィルタを使用して、ピークを見つけ出すことを表している。
【００３２】
各ピークすなわち極大点について、ステップ７０６、７０８、及び７１０は、ピークのサブ画素位置と、その位置における（例えば補間された）強度値と、を含む代表情報をデータ構造に記憶する。これは、図６に示されるように、回折光学素子の設計のために典型的にはスパースであるデータ構造を埋める。ステップ７１２は、図６に示され図６を参照して説明したように、データ構造を圧縮する。
【００３３】
画像が処理されて、ドットピークが見つけ出され、ドットピークが、圧縮データ構造に記憶されると、照合が実行される。一代替形態において、３眼ドット照合が用いられる。各画素を処理する代わりに、一実施形態において、３眼ドット照合は、平面走査アルゴリズムを使用して、レーザードットパターンにおける各ドットについての視差を推定する。プロジェクタパターンは既知である（較正動作中に算出されて記憶されている）ので、３眼ドット照合は、既知のパターンにおける各ドットを、左画像及び右画像の両方と照合して、ドットごとの視差を推定する。
【００３４】
一般に、既知のパターンについて、異なる奥行きにおけるドットの光線の（ｘ，ｙ）位置が、事前に算出され得る。図８に示されるように、奥行きがＤ１である場合、左カメラ画像は、（サブ画素）８８１Ｌにおける対応するドットを有するはずであり、右カメラ画像は、（サブ画素）８８１Ｒにおける対応するドットを有するはずである。奥行きがＤ２である場合、これらのサブ画素位置はそれぞれ、８８２Ｌ及び８８２Ｒにシフトされることになる。各可能な奥行きが使用され得るが、１以上の実施形態において、奥行きのうちのいくつかのサンプリングが用いられ得る。例えば、約１画素だけ動く奥行き変化が用いられ得、この奥行き変化は、逆奥行き（inverse  depth）に関連し得る。
【００３５】
既知のパターンにおけるドット位置及び所与の奥行きについて、各画像は、当該画像がその奥行きにおける予想される対応する位置においてドットを有するかどうかを判定することを含め、視差スイープ（disparity  sweep）において処理される。計算効率性のため、３方向照合が、タイル単位で機能し得（且つ、タイルは、２Ｄサポートを適切に集約できるように、増大され得）、ここで、各タイルは、自身の視差スイープを実行される。
【００３６】
一実施形態において、視差スイープは、マルチバンド画像における勝利（winning）照合スコアを返し、そのバンドは、MatchTriplet構造体に対応する：
struct  MatchPair
{
float  score;  //  照合スコア  （#類似する近傍）
float  d;  //  推定視差
};
struct  MatchStack
{
MatchPair  curr;  //  検討されている最新の合致
MatchPair  prev;  //  前の合致
MatchPair  best;  //  これまでで最良の合致
};
struct  MatchTriplet
{
MatchStack  left;  //  左画像における合致
MatchStack  right;  //  右画像における合致
MatchPair  both;  //  両方の画像における合致
};
【００３７】
図９に示されるように、視差スイープは、視差スイープ範囲（ｄＭｉｎ，ｄＭａｘ）により指定される全ての視差にわたる外側の反復（ステップ９０２、９２０、及び９２２）を含み、ｄＭｉｎ及びｄＭａｘは、測定されるべき最小奥行き及び最大奥行きを表す。視差スイープは、左画像及び右画像にわたる中間の反復（ステップ９０４、９１６、及び９１８）と、タイルにおける（ｘ，ｙ）ピークセルにわたる内側の反復（ステップ９０６、９１２、及び９１４）と、を含む。
【００３８】
一般に、現在の奥行きについて、ステップ９０８における内側のループは、投影されたドットの位置と予想される左ドット位置とにおいて合致が存在するかどうかを評価し、同様に、投影されたドットの位置と予想される右ドット位置とにおいて合致が存在するかどうかを評価する。しかしながら、合致が存在するべき場合であっても、一般にノイズを理由として、正確な位置における合致が存在しない可能性があり、したがって、一実施形態において、近傍／近傍画素又は近傍サブ画素も評価される。
【００３９】
一般に、類似する近傍が多いほど、合致が存在する信頼度がより高い。近傍に関して、サポートを空間的に集約するために、適合する（compatible）視差を有する近傍のスコアが、例えば、UpdateNeighborsルーチンを呼び出すことにより、増大される。この動作は、潜在的合致の間の曖昧さをなくす。なぜならば、（各ピークの近傍距離内の）近傍の数が、勝利合致決定（winning  match  decision）が基づき得るスコアであるからである。
【００４０】
ドットをパターンデータと照合する代替の方法（又は追加の方法）は、各キャプチャされたドットをベクトルとして表現し、各既知の投影ドットをベクトルとして表現することによるものであり、後者のベクトルは、ドットの周囲の近傍についてのデータ（画素値又はサブ画素値）を含む。ドットの既知の投影パターンについてのベクトル表現は、事前に算出され、ルックアップテーブル又は同様のものに保持され得る。例えば、異なる奥行きにおけるベクトルのセットに対して、キャプチャされたドットのベクトルを評価して、最近ベクトル（closest  vector）に、最高信頼度スコアが与えられ、次に近いベクトルに、次に高いスコアが与えられる等して、最低信頼度スコアまで続けられる。
【００４１】
ベクトルは、ビットベクトルであり得、各ビット値は、近傍における各周囲位置についてドットが存在するか否かを示す。次いで、その近傍ビットベクトルを算出した後、キャプチャされた画像における各ドットについて、ビットベクトル間の距離（例えば、ハミング距離）を使用して、最も近い合致を見つけ出すことができる。これは、例えば、低コストハードウェアにおいて効率的に実行され得ることに留意されたい。さらに、ベクトルに基づくこの技術は、例えば、骨格トラッキングといった所定のアプリケーションに高く適したものであり得る。
【００４２】
１以上の実施形態において、２つのピークが適合するかどうかをテストするTestMatchサブルーチン（例えば、図１０）が、視差スイープ段階における最深レベルである。ピークが、エピポーラ幾何において十分に近い場合、それらのピークは適合する（使用され得る別のテストは、左ピーク及び右ピークが、類似する強度を有するかどうかをチェックすることである）。スコア（エピポーラ距離）が、許容（tol）パラメータ内にあり（ステップ１００２）、新たな合致である（ステップ１００４）場合、NewMatchルーチンを使用して、この合致をMatchStack構造体にプッシュする（ステップ１００６）。tolパラメータの適切な値は、１．５画素に設定され得る。
【００４３】
照合段階の最後において、各プロジェクタピークについてのMatchStack構造体は、その最良のフィールドにおいて勝利合致を含む。MatchTripletは、左画像に関する最良合致、右画像に関する最良合致、及び、左及び右の両方についてともに一致がみられた最良合致、についての勝利合致を有する。
【００４４】
実際には、左カメラ及び右カメラによりキャプチャされた画像群において、小さな差異が存在し、これは、検出時において１つのドットにマージするために、いくつかのシナリオにおいて近傍ピークをもたらす。理想的なシナリオにおいて、左画像に関する最良合致、右画像に関する最良合致、及び、左及び右の両方に関する最良合致は、全て同じ視差をもたらすことになる。最良の共同（joint）視差は、理想的には、３方向で合致した視差である。しかしながら、ノイズ、閾値以下の強度値等は、ドットの欠落を生じさせ、これは、異なる視差をもたらす。
【００４５】
さらに、半閉塞（semi-occlusion）は、両方のカメラが同じドットを見るのを防止することができる。半閉塞が、概して、図１１に示されており、ここで、左カメラＣ１は、その対応する画像Ｉ１において、投影されたドット１１００をキャプチャすることができないが、右カメラＣ２は、その画像Ｉ２においてキャプチャすることができる。したがって、有効である（が、より低いスコアである）３方向の合致が存在するときであっても、２ビュー合致を、ドットの奥行きを決定するための最終勝者（final  winner）とすることを可能にするロバストな決定が用いられ得る。
【００４６】
最終結果は、通常、信頼度が適切でないドット合致に起因するスパースな誤差を有する。これらのアーチファクトは、１以上の後処理ステップを実行することにより低減され得る。例えば、１つのステップは、５×５の近傍における最近傍ドットとは著しく異なる視差を有する単一外れドット（single  outlier  dots）を含む浮遊ドット（floating  dots）を除去することができる。近傍におけるドットの視差の平均及び標準偏差（σ）が、この目的にために使用され得、例えば、現在の画素に割り当てられる視差が、３σよりも大きい分だけ平均視差とは異なる場合には、これらの平均及びσを使用して、現在の画素に割り当てられる視差を除去することができる。
【００４７】
別の後処理ステップは、一意性チェック（uniqueness  check）を実行することである。これは、左奥行きデータ及び右奥行きデータに関して、特定の画素について競合する奥行き（conflicting  depths）が存在しないことをチェックする。一実施形態は、（投影，左画素）ペア及び（投影，右）ペアを考慮する。これらのペアのうちのいずれかにおいて対立（clash）が存在するときには、低い方のスコアの画素が、無効としてマークされる。代替の３方向一意性チェックが、２方向チェックに代えて又は２方向チェックに加えて、用いられてもよい。
【００４８】
ドット照合は、ドットについて視差ベースの奥行き推定値を取得することを可能にし、これは、疎な視差マップをもたらす。次の段階は、例えば、各画素についての奥行き値を有する奥行きマップを提供するために、ドットにおいて推定された疎な奥行きで始まり、画素の残りにおける欠落データを補間する補間動作（アップサンプリング段階）である。１つの補間プロセスは、照合スコア及び／又は１以上のガイド画像（例えば、ドットのないクリーンなＩＲ画像及び／又は１以上のＲＧＢ画像）によりガイドされるプッシュ−プル補間技術を使用して、シーンの密な奥行きを補う。使用されているドットの各々までの（奥行きが補間されている最中の）画素の距離が、補間が重み付けされている１つのやり方である。
【００４９】
図１２は、検出されたドットに関連付けられている信頼度スコア（例えば、Ｓ１〜Ｓ６）を使用するコンセプトを示している。例えば、図１２における矢印により表される所与の光線について、カメラは、近傍ドットを検出している可能性があるが、スコアＳ３により表される１つのドットは、奥行きＤ３における投影されたドットと比較するときにはキャプチャされた画像内にあると予想され、したがって、より高い信頼度スコアを有する。上述したように、信頼度スコアは、近傍合致（例えば、合計された近傍の数）により若しくは（例えば、ハミング距離に反比例する）ベクトルビットマップ類似性を介して又は別の照合技術を介して、算出され得る。近傍画素についての奥行き値を決定するための補間において、さらなる重みが、この奥行きに与えられる。
【００５０】
したがって、アップサンプリング段階は、疎な視差／奥行き値を、他の画素に伝播させる。ドット照合スコアが、ドット間にある画素についての奥行きを補間するときの補間重みの基礎として使用され得る。
【００５１】
実際、補間はまた、エッジを考慮に入れ得、例えば、エッジを意識した（edge-aware）補間を含み得る。なぜならば、物体のエッジに遭遇したときに、相当な奥行き変化が、隣接画素において生じ得るからである。ＲＧＢ画像におけるカラー変化は、ＩＲ画像における強度変化のように、しばしばエッジを示す。シーンのＲＧＢ像及び／又は（ドットのない）クリーンなＩＲ像が、較正された位置において利用可能である場合、疎な奥行きは、この像に移され得、エッジを意識したプッシュ−プル補間等の技術を用いて又はバイラテラルフィルタリングを用いて、エッジを意識した補間が実行される。クリーンなＩＲは、キャプチャされた画像におけるドットを除去する（且つ、場合によっては、十分なＩＲを提供するためにシーン全体を概して照射する異なる周波数のＩＲ源を使用する）ノッチフィルタを使用して得られ得る。
【００５２】
信頼度スコア及び／又はエッジについての重みは、トレーニングデータから学習され得る。このように、例えば、別の信頼度スコアの２倍である１つの信頼度スコアには、必ずしも２倍の重みが与えられる必要はないが、何らかの他の係数であり得る。
【００５３】
本明細書に記載の技術のうちのいくつかは、既知のプロジェクタパターンを有する１つのカメラに適用され得る。例えば、上述した３眼枚挙を含むドットベースの枚挙は、すでに、欠落画素を処理しており、したがって、３方向照合（又は４方向以上の照合）ほどの精度ではないかもしれないが、カメラに不具合が生じた場合等に、同じプロセスが適用される。さらに、容易に理解できるように、システムが、１つのカメラのみを有するように設計されている場合、合致ペア構造体及び図９は、例えば、右画像フィールド、及び右画像の中間の反復を除去することにより、単一画像に合わせて変更され得る。
【００５４】
同様に、３以上のカメラのために、さらなるフィールドがデータ構造に追加され得、さらなる中間の反復が用いられ得る。例えば、スタジオ環境は、３以上のカメラを有することがあり、これらのカメラは、プロジェクタと一列をなしてではなく、プロジェクタの周囲に配置されることがある。図９のステップ９０４、９１６、及び９１８は、例えば、最初のカメラ画像を選択し（ステップ９０４）、最後のカメラ画像が処理されたかどうかを評価し（ステップ９１６）、最後のカメラ画像が処理されていない場合、次のカメラ画像を選択する（ステップ９１８）ように、任意の数のカメラに合わせて変更され得る。
【００５５】
したがって、本明細書で説明する１つの利点は、マルチビュー照合が実行されることである。なぜならば、マルチビュー照合は、誤った対応の確率を低減させ、さらに、合致をサポート又は検証するために必要とされる近傍点の数を低減させるからである。さらに、（信頼度はより低くなるが、）１つのカメラ又は他のカメラにおける影の中にある領域が、依然として、予想されるドット位置と照合され得る。実際、同じ照合アルゴリズムが、プロジェクタ及び１つのカメラを使用して照合を実行するように、又は、プロジェクタパターン及び３以上のカメラを使用して照合を実行するように、変更／拡張され得る。
【００５６】
較正を介して、静的なドットパターンを含む、シーンに投影された任意のランダムな又は既知のドットパターンが、使用され得る。これは、高速の切り替え及び正確な制御を伴う複雑なプロジェクタを必要とする動的な構造化光を使用するソリューションとは対照的である。
【００５７】
さらに、本明細書に記載されるようなマルチビューステレオソリューションは、実際に、推定される奥行きを向上させる。照合の必要性は、全ての画素ではなく、ドットでのみ生じ、これは、はるかに効率的である。また、ドット位置が、サブ画素精度で推定され得るので、サブ画素視差推定値を得る、エピポーラ幾何の観点でかなり近いものに限られる合致ドットが、照合され得る。最後に、開発されたシステムは、マルチビュー環境内のカメラの不具合に対してロバストであり、１つのカメラが投影ドットパターンを撮影する場合でも、良好な質の奥行きが推定される。
【００５８】
１以上の態様は、ドットの光パターンをシーンに向けて投影するプロジェクタを対象とし、ここで、光パターンは、プロジェクタにとって既知であり、異なる奥行きにおけるドット位置を表す投影ドットパターンデータとして保持されている。各カメラがプロジェクタに対して固定される複数のカメラ（例えば、左カメラ及び右カメラ）は、異なる視点から、シーンの同期された画像をキャプチャする。奥行き推定部は、各画像におけるキャプチャされたドットについてのドット位置を判定し、各画像における各ドット位置について、異なる奥行きに対応する信頼度スコアのセットを算出し、ここで、各信頼度スコアは、投影ドットパターンデータと、各同期された画像におけるドット位置との照合関係と、に基づく。奥行き推定部は、さらに、信頼度スコアに基づいて、各ドット位置における奥行きを推定する。各ドット位置は、サブ画素位置に対応し得る。
【００５９】
信頼度スコアは、ドット位置と投影ドットパターンデータとの間の合致近傍の数に基づき得、且つ／又は、キャプチャされたドットの位置を表現するベクトルと、異なる奥行きにおける投影ドットパターンデータを表現するパターンベクトルのセットと、に基づき得る。キャプチャされたドットの位置を表現するベクトルは、キャプチャされたドットの位置の周囲の近傍を表現するビットベクトルを含み得、パターンベクトルのセットは、異なる奥行きにおける投影ドット位置の周囲の近傍を表現するビットベクトルを含み得る。信頼度スコアのセットは、異なる奥行きにおける投影ドット位置の周囲の近傍を表現するビットベクトルのセットに対する、キャプチャされたドットの位置の周囲の近傍を表現するビットベクトルの近さに基づき得る。
【００６０】
奥行き推定部は、統計的情報に基づいて、少なくとも１つのドットを除去することができる。奥行き推定部は、さらに、特定の画素について競合する奥行きに関して、競合する奥行きが検出されたときには、その画素についての信頼度スコアに基づいて、１つの奥行きを選択することができる。
【００６１】
奥行き推定部は、ドット位置の間にある画素についての奥行き値を補間することができる。補間は、信頼度スコア及び／又はエッジ検出に基づき得る。
【００６２】
１以上の態様は、画像を処理して、画像内のドット位置を判定することであって、ドット位置は、サブ画素解像度におけるものである、判定することを対象とする。異なる奥行きにおける既知のプロジェクタパターンデータにアクセスして、各奥行きにおける信頼度スコアを、当該奥行きにおけるプロジェクタパターンデータとドット位置データを照合することに基づいて決定することを含め、奥行きデータが、各ドット位置について算出される。奥行き値は、その画素に関連付けられているドットサブ画素位置についての信頼度スコアに基づいて推定される。奥行き値に関連付けられている画素の間にある画素について、補間を用いて、奥行き値を見つけ出す。奥行き値の補間は、補間動作において使用されている画素に関連付けられているドットサブ画素位置についての信頼度スコアに基づく重み付け補間を用いることができる。
【００６３】
ドット位置は、圧縮データ構造内のデータとして含められ得る。これは、画素位置に関連付けられているサブ画素においてドットを有さない少なくともいくつかの画素位置を排除するようにデータを圧縮することにより、実現される。
【００６４】
異なる奥行きにおける各ドット位置について奥行きデータを算出することは、左画像ドットについての左信頼度スコアを決定すること、及び、右画像ドットについての右信頼度スコアを決定すること、を含み得る。奥行き値を決定することは、一緒に組み合わされるときに、各奥行きについて、左信頼度スコア及び右信頼度スコアを個々に評価することを含む、最高信頼度に対応する奥行きを選択することを含み得る。
【００６５】
プロジェクタパターンデータとドット位置データを照合することに基づいて奥行きデータを算出することは、各近傍位置がドットを含むかどうかについて近傍位置を評価することを含み得る。奥行きデータを算出することは、ドット位置と、ドット位置の周囲の近傍と、を表現するベクトルを算出することを含み得る。
【００６６】
１以上の態様は、投影ドットを用いて照射されたシーンを各々がキャプチャした少なくとも２つの同期された画像を処理すること、及び、各画像における各ドット位置について、ドット関連データが、異なる奥行きにおける既知の投影ドットパターンデータとどれくらい良好に合致するかを表す信頼度スコアを決定すること、を含む、複数の画素の各々について奥行きデータを推定することを対象とする。信頼度スコアは、奥行きデータを推定するために使用され得る。
【００６７】
奥行きデータを使用して、ドット位置に対応する画素における画素奥行き値を推定すること、及び、画素奥行き値及び信頼度スコアを使用して、ドット位置の間にある画素についての値を補間すること、を含む、奥行きマップを生成することも、本明細書において説明されている。異なる奥行きにおけるドットパターン位置を決定すること、及び、既知の投影ドットパターンデータを少なくとも１つのデータ構造に保持すること、を含む、既知の投影ドットパターンデータを較正することが、さらに説明されている。
【００６８】
例示的な動作環境
上述した実施形態及びその代替形態は、ゲームシステム、パーソナルコンピュータ、タブレット、ＤＶＲ、セットトップボックス、スマートフォン、及び／又は同様のデバイス等の任意の適切なコンピューティングデバイスにおいて実装され得ることが容易に理解できるであろう。複数のそのようなデバイスが一緒にリンクされるときには、そのようなデバイスの組合せも実現可能である。説明の目的のために、（メディアを含む）ゲームシステムが、１つの例示的な動作環境として、以下で説明される。
【００６９】
図１３は、例示的なゲーム及びメディアシステム１３００の機能ブロック図であり、機能コンポーネントをより詳細に示している。コンソール１３０１は、中央処理装置（ＣＰＵ）１３０２と、フラッシュ読み取り専用メモリ（ＲＯＭ）１３０４、ランダムアクセスメモリ（ＲＡＭ）１３０６、ハードディスクドライブ１３０８、及びポータブルメディアドライブ１３０９を含む様々なタイプのメモリへのプロセッサアクセスを円滑にするメモリコントローラ１３０３と、を有する。一実施形態において、ＣＰＵ１３０２は、レベル１キャッシュ１３１０と、データを一時的に記憶し、したがって、ハードドライブに対してなされるメモリアクセスサイクルの回数を低減させるためのレベル２キャッシュ１３１２と、を含み、これにより、処理速度及びスループットを向上させる。
【００７０】
ＣＰＵ１３０２、メモリコントローラ１３０３、及び様々なメモリデバイスは、１以上のバス（図示せず）を介して相互接続される。この実施形態において使用されるバスの詳細は、本明細書で説明している対象の主題を理解することに特に関連するものではない。しかしながら、そのようなバスは、様々なバスアーキテクチャのうちの任意のものを使用する、シリアルバス、パラレルバス、メモリバス、周辺バス、及び、プロセッサバス又はローカルバスのうちの１以上を含み得ることが理解されよう。例えば、そのようなアーキテクチャは、ＩＳＡバス、ＭＣＡバス、ＥＩＳＡバス、ＶＥＳＡローカルバス、及び、メザニンバスとしても知られているＰＣＩバスを含み得る。
【００７１】
一実施形態において、ＣＰＵ１３０２、メモリコントローラ１３０３、ＲＯＭ１３０４、及びＲＡＭ１３０６は、共通モジュール１３１４に統合される。この実施形態において、ＲＯＭ１３０４は、ＰＣＩバス又は同様のバス、及び、ＲＯＭバス又は同様のバス（これらはいずれも図示されていない）を介してメモリコントローラ１３０３に接続されるフラッシュＲＯＭとして構成される。ＲＡＭ１３０６は、別個のバス（図示せず）を介してメモリコントローラ１３０３により独立して制御される複数のＤＤＲ  ＳＤＲＡＭモジュールとして構成され得る。ハードディスクドライブ１３０８及びポータブルメディアドライブ１３０９は、ＰＣＩバス及びＡＴＡバス１３１６を介してメモリコントローラ１３０３に接続されるものとして図示されている。しかしながら、他の実施形態において、異なるタイプの専用データバス構造が、代替的に適用されてもよい。
【００７２】
３次元グラフィックス処理装置１３２０及びビデオエンコーダ１３２２は、高速且つ高解像度（例えば、高精細度）のグラフィックス処理のためのビデオ処理パイプラインを形成する。データは、グラフィックス処理装置１３２０からデジタルビデオバス（図示せず）を介してビデオエンコーダ１３２２に伝達される。オーディオ処理装置１３２４及びオーディオコーデック（エンコーダ／デコーダ）１３２６は、様々なデジタルオーディオフォーマットのマルチチャネルオーディオ処理のための対応するオーディオ処理パイプラインを形成する。オーディオデータは、通信リンク（図示せず）を介してオーディオ処理装置１３２４とオーディオコーデック１３２６との間で伝達される。ビデオ処理パイプライン及びオーディオ処理パイプラインは、テレビジョン又は他のディスプレイ／スピーカへの伝送のためのＡ／Ｖ（オーディオ／ビデオ）ポート１３２８にデータを出力する。図示される実施形態において、ビデオ処理コンポーネント及びオーディオ処理コンポーネント１３２０、１３２２、１３２４、１３２６、及び１３２８は、モジュール１３１４上に実装される。
【００７３】
図１３は、ＵＳＢホストコントローラ１３３０と、有線コンポーネント及び／又は無線コンポーネントを含み得るネットワークインタフェース（ＮＷ  Ｉ／Ｆ）１３３２と、を含むモジュール１３１４を示している。ＵＳＢホストコントローラ１３３０は、バス（例えば、ＰＣＩバス）を介してＣＰＵ１３０２及びメモリコントローラ１３０３と通信するものとして示されており、周辺コントローラ１３３４のためのホストとして機能する。ネットワークインタフェース１３３２は、ネットワーク（例えば、インターネット、ホームネットワーク等）へのアクセスを提供し、Ｅｔｈｅｒｎｅｔ（登録商標）カード又はインタフェースモジュール、モデム、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、ケーブルモデム等を含む多種多様な有線インタフェースコンポーネント又は無線インタフェースコンポーネントのうちの任意のものであり得る。
【００７４】
図１３に示される例示的な実施形態において、コンソール１３０１は、４つのゲームコントローラ１３４１（１）〜１３４１（４）をサポートするためのコントローラサポートサブアセンブリ１３４０を含む。コントローラサポートサブアセンブリ１３４０は、例えば、メディア及びゲームコントローラ等の外部制御デバイスによる有線動作及び／又は無線動作をサポートするために必要とされる任意のハードウェアコンポーネント及びソフトウェアコンポーネントを含む。フロントパネルＩ／Ｏサブアセンブリ１３４２は、パワーボタン１３４３、イジェクトボタン１３４４に加えて、任意の他のボタン及び任意のＬＥＤ（発光ダイオード）又はコンソール１３１０の外表面に露出される他のインジケータの複数の機能をサポートする。サブアセンブリ１３４０及び１３４２は、１以上のケーブルアセンブリ１３４６等を介してモジュール１３１４と通信する。他の実施形態において、コンソール１３０１は、さらなるコントローラサブアセンブリを含んでもよい。図示される実施形態において、モジュール１３１４に通信され得る（例えば、リモートコントロール１３４９からの）信号を送受信するよう構成されている光Ｉ／Ｏインタフェース１３４９も示されている。
【００７５】
メモリユニット（ＭＵ）１３５０（１）及び１３５０（２）がそれぞれ、ＭＵポート“Ａ”１３５２（１）及び“Ｂ”１３５２（２）に接続可能なものとして図示されている。各ＭＵ１３５０は、ゲーム、ゲームパラメータ、及び他のデータが記憶され得るさらなるストレージを提供する。いくつかの実施形態において、他のデータは、デジタルゲームコンポーネント、実行可能なゲームアプリケーション、ゲームアプリケーションを拡張するための命令セット、及びメディアファイルのうちの１以上を含み得る。各ＭＵ１３５０は、コンソール１３０１に挿入されると、メモリコントローラ１３０３によりアクセスされ得る。
【００７６】
システム電力供給モジュール１３５４は、ゲームシステム１３００のコンポーネントに電力を供給する。ファン１３５６は、コンソール１３０１内の回路を冷却する。
【００７７】
マシン命令を含むアプリケーション１３６０は、典型的には、ハードディスクドライブ１３０８に記憶される。コンソール１３０１がパワーオンされると、アプリケーション１３６０の様々な部分が、ＣＰＵ１３０２上での実行のために、ＲＡＭ１３０６及び／又はキャッシュ１３１０、１３１２にロードされる。一般に、アプリケーション１３６０は、ディスプレイ（例えば、高精細度モニタ）上に提示されるダイアログ画面を制御すること、ユーザ入力に基づいてトランザクションを制御すること、及び、コンソール１３０１と外部接続デバイスとの間のデータの送信及び受信を制御すること等の様々なディスプレイ機能を実行するための１以上のプログラムモジュールを含み得る。
【００７８】
ゲームシステム１３００は、このシステムを、高精細度モニタ、テレビジョン、ビデオプロジェクタ、又は他のディスレプイデバイスに接続することにより、スタンドアロンシステムとして動作し得る。このスタンドアロンモードにおいて、ゲームシステム１３００は、１以上のプレーヤが、ゲームをプレーすること、又は、例えば、映画を見たり音楽を聞いたりすることにより、デジタルメディアを楽しむこと、を可能にする。しかしながら、ネットワークインタフェース１３３２を介して利用可能になるブロードバンド接続の統合により、ゲームシステム１３００は、さらに、より大きなネットワークゲームコミュニティ又はシステムにおける参加コンポーネントとして動作し得る。
【００７９】
結び
本発明は、様々な変更及び代替構成が可能であるが、その所定の例示的な実施形態が、図面に示され、上記にて詳細に説明されている。しかしながら、本発明を、開示した特定の形態に限定する意図はなく、反対に、意図は、本発明の主旨及び範囲に属する全ての変更、代替構成、及び均等構成をカバーすることにある。
【図１】
2017528731.tif 000003
【図２】
2017528731.tif 000004
【図３】
2017528731.tif 000005
【図４】
2017528731.tif 000006
【図５】
2017528731.tif 000007
【図６】
2017528731.tif 000008
【図７】
2017528731.tif 000009
【図８】
2017528731.tif 000010
【図９】
2017528731.tif 000011
【図１０】
2017528731.tif 000012
【図１１】
2017528731.tif 000013
【図１２】
2017528731.tif 000014
【図１３】
2017528731.tif 000015
【国際調査報告】
2017528731.tif 000016
2017528731.tif 000017