(57)【特許請求の範囲】
【請求項１】
３Ｄ画像に関連付けられた深度情報及びテクスチャ情報を有する前記３Ｄ画像を向上させる装置であって、
少なくとも部分的に前記深度情報に依存して、複数の表面メッシュセクションを有する３Ｄメッシュを生成する手段と、
少なくとも部分的に前記テクスチャ情報に依存して、前記複数の表面メッシュセクションに対応する複数のテクスチャセクションを決定する手段と、
少なくとも部分的に前記複数のテクスチャセクションの色彩強度に依存して、前記複数のテクスチャセクションおよび対応する複数の表面メッシュセクションをランク付けする手段と、
前記色彩強度でランク付けされた複数のテクスチャセクションのうちの１または複数についての前記色彩強度を変更して、それにより向上された画像を生成すべく、１または複数の光源の複数の特性を調節する手段と、
前記１または複数の光源の位置を決定する手段と
を備え、
前記１または複数の光源の前記位置を決定する手段は、少なくとも部分的に複数の画像テクスチャの前記ランク付けされた色彩強度および対応する複数の表面メッシュ法線ベクトルに依存して、１または複数の光源ベクトルを用いる前記３Ｄ画像における複数の光源の前記位置を決定することを含む、装置。
【請求項２】
前記１または複数の光源は、キャプチャ後の前記３Ｄ画像に加えられる
請求項１に記載の装置。
【請求項３】
前記１または複数の光源は、キャプチャされるときの３Ｄ画像内にある
請求項１または２に記載の装置。
【請求項４】
前記１または複数の光源ベクトルを決定する手段は、色彩強度でランク付けされた複数のテクスチャセクションの各々について、対応する光源ベクトルを決定し、前記光源ベクトルのセットを共に数学的に結合することを含む
請求項１から３のいずれか１項に記載の装置。
【請求項５】
前記色彩強度でランク付けされた複数のテクスチャセクションの前記色彩強度は、予め定められた閾値より小さいおよびより大きいの一方である色彩強度を有する複数のテクスチャセクションを含む
請求項４に記載の装置。
【請求項６】
前記１または複数の光源ベクトルを決定する手段は、ビューベクトルと、１または複数の前記色彩強度でランク付けされたテクスチャセクションおよび表面メッシュセクションの各々に対して垂直なベクトルと、前記対応する複数の表面ベクトルとの間のほぼ真ん中である中間ベクトルを決定することを含む
請求項１から５のいずれか１項に記載の装置。
【請求項７】
前記１または複数の光源の前記複数の特性を調節する手段は、前記少なくとも１つの光源のうちの１または複数についてのブライトネス、色、色相、彩度、クロマ、明度、色彩強度、ルミナンスのうちの少なくとも１つを変更することを含む
請求項１から６のいずれか１項に記載の装置。
【請求項８】
前記１または複数の光源の前記複数の特性を調節する手段は、少なくとも１つの光源の追加および除去のうちの一方を含む
請求項１から７のいずれか１項に記載の装置。
【請求項９】
複数の新たな光源を用いて、前記表面メッシュと対応する複数のテクスチャとを再レンダリングして、結果の前記画像を出力する手段をさらに備える
請求項１から８のいずれか１項に記載の装置。
【請求項１０】
前記表面メッシュおよび対応する複数のテクスチャを再レンダリングして、結果の前記画像を出力することは、予め定められた標準フォーマット、標準深度マップフォーマット、又は標準カメラ出力フォーマットにおける前記色彩強度でランク付けされた複数の表面の少なくとも１つを提供することを含む
請求項９に記載の装置。
【請求項１１】
前記少なくとも１つの光源の前記複数の特性を調節する手段は、向上された前記画像のレンダリングの前に又は併せて実行される
請求項１から１０のいずれか１項に記載の装置。
【請求項１２】
前記装置は、プリントデバイスである
請求項１から１１のいずれか１項に記載の装置。
【請求項１３】
前記装置は、イメージキャプチャメカニズムである
請求項１から１１のいずれか１項に記載の装置。
【請求項１４】
複数の命令を有するプログラムであって、前記複数の命令は、デバイス上で実行されることに応じて、前記デバイスに、
３Ｄ画像に関連付けられた深度情報及びテクスチャ情報を抽出する段階と、
複数の表面メッシュセクションを有する表面メッシュを前記深度情報から生成する段階と、
前記複数の表面メッシュセクションに対応する複数のテクスチャセクションを、前記テクスチャ情報から決定する段階と、
前記複数のテクスチャセクションおよび対応する複数の表面メッシュセクションを、それらの各自の色彩強度に関してランク付けする段階と、
１または複数の光源の複数の特性を調節して、それにより前記色彩強度でランク付けされた複数のテクスチャセクションのうちの１または複数についての前記色彩強度を変更して、向上された画像を生成する段階と、
前記１または複数の光源の位置を決定する段階と、
を実行させ、
前記１または複数の光源の位置を決定するための前記複数の命令は、前記デバイス上で実行されることに応じて、前記デバイスに、
少なくとも部分的に複数の画像テクスチャの前記ランク付けされた色彩強度および対応する複数の表面メッシュ法線ベクトルに依存して、１または複数の光源ベクトルを用いる前記３Ｄ画像における複数の光源の前記位置を決定する段階を実行させる複数の命令をさらに含む、プログラム。
【請求項１５】
前記１または複数の光源の前記複数の特性を調節するための前記複数の命令は、前記３Ｄ画像に対して１または複数の光源を追加又は除去するための複数の命令を含む
請求項１４に記載のプログラム。
【請求項１６】
前記１または複数の光源の前記複数の特性を調節、追加、又は除去するための前記複数の命令は、キャプチャされたときの前記３Ｄ画像に存在する１または複数の光源の前記複数の特性を調節、追加、又は除去するための複数の命令を含む
請求項１４または１５に記載のプログラム。
【請求項１７】
前記１または複数の光源の位置を決定するための前記複数の命令は、前記デバイス上で実行されることに応じて、前記デバイスに、
色彩強度でランク付けされた複数のテクスチャセクションの各々について、対応する複数の表面メッシュセクションのための対応する光源ベクトルを決定する段階と、
複数の前記光源ベクトルのセットを数学的に結合する段階とを実行させる複数の命令をさらに含む
請求項１４から１６のいずれか１項に記載のプログラム。
【請求項１８】
前記色彩強度でランク付けされた複数のテクスチャセクションは、予め定められた閾値より小さいおよびより大きいのうちの一方である色彩強度を有する複数のテクスチャセクションを含む
請求項１７に記載のプログラム。
【請求項１９】
前記１または複数の光源の前記複数の特性を調節、追加、又は除去するための前記複数の命令は、前記デバイス上で実行されるときに、前記デバイスに、前記少なくとも１つの光源のうちの１または複数についてのブライトネス、色、色相、彩度、クロマ、明度、色彩強度、ルミナンスのうちの少なくとも１つを変更する段階を実行させる複数の命令をさらに含む
請求項１４から１８のいずれか１項に記載のプログラム。
【請求項２０】
前記１または複数の光源の前記複数の特性を調節するための前記複数の命令は、前記デバイス上で実行されるときに、前記デバイスに、少なくとも１つの光源を追加又は除去する段階を実行させる複数の命令をさらに含む
請求項１４から１９のいずれか１項に記載のプログラム。
【請求項２１】
前記デバイス上で実行されるときに、前記デバイスに、新たな光源を用いて、前記表面メッシュおよび対応する複数のテクスチャを再レンダリングして、向上された前記画像を出力する段階を実行させる複数の命令をさらに含む
請求項１４から２０のいずれか１項に記載のプログラム。
【請求項２２】
向上された前記画像を出力するための前記複数の命令は、前記デバイス上で実行されるときに、前記デバイスに、複数のカメラ、複数のセンサ、複数の２Ｄ又は３Ｄプリンタ、複数の２Ｄ又は３Ｄディスプレイ、複数のコンピュータグラフィックスシステム、又は複数のコンピュータシステム間での、予め定められた標準フォーマット、標準深度マップフォーマット、標準カメラ出力フォーマット、標準媒体コーデックフォーマット、標準コンピュータグラフィックスフォーマット、標準３Ｄ深度ファイルフォーマット、又は標準プロトコルフォーマットにおける前記色彩強度でランク付けされた複数の表面のうちの少なくとも１つをさらに提供する段階を実行させる複数の命令をさらに含む
請求項２１に記載のプログラム。
【請求項２３】
格納された複数の命令を実行する中央処理ユニットと、前記中央処理ユニットによって読み取り可能な複数の命令を格納する少なくとも１つのメモリデバイスとを備えるシステムであって、
前記複数の命令は、前記中央処理ユニットによって実行されるときに、
深度情報及びテクスチャ情報を３Ｄ画像から抽出する段階と、
複数の表面メッシュセクションを有する表面メッシュを前記深度情報から生成する段階と、
前記複数の表面メッシュセクションに対応する複数のテクスチャセクションを、前記テクスチャ情報から決定する段階と、
前記複数のテクスチャセクションを、それらの各自の色彩強度に関してランク付けする段階と、
１または複数の光源の特性を調節、追加、又は除去し、それにより、前記色彩強度でランク付けされた複数のテクスチャセクションのうちの前記１または複数についての前記色彩強度を変更して、それにより、向上された画像を生成する段階と、
前記１または複数の光源の位置を決定する段階と、
を実行するように構成され、
前記複数の命令は、
少なくとも部分的に複数の画像テクスチャの前記ランク付けされた色彩強度および対応する複数の表面メッシュ法線ベクトルに依存して、１または複数の光源ベクトルを用いる前記３Ｄ画像における複数の光源の前記位置を決定する段階を実行させるようにさらに構成される、システム。
【請求項２４】
前記システムは、３Ｄ画像と、関連付けられた前記深度情報及びテクスチャ情報とをキャプチャする少なくとも１つのセンサをさらに備える
請求項２３に記載のシステム。
【請求項２５】
前記複数の命令は、
予め定められた閾値より小さいおよびより大きいのうちの一方である色彩強度を有する色彩強度でランク付けされた複数のテクスチャセクションの各々について、対応する光源ベクトルを決定する段階と、
複数の前記光源ベクトルを数学的に共に結合し、それにより前記光源の各々の位置を決定する段階とを実行するようにさらに構成される
請求項２３または２４に記載のシステム。
【請求項２６】
前記１または複数の光源の複数の前記特性を調節するように構成された前記複数の命令は、前記１または複数の光源のブライトネス、色、色相、彩度、クロマ、明度、色彩強度、ルミナンスのうちの少なくとも１つを修正する
請求項２３から２５のいずれか１項に記載のシステム。
【請求項２７】
前記１または複数の光源の複数の前記特性を調節するように構成された前記複数の命令は、追加の複数の光源を追加し、存在する複数の光源を除去するようにさらに構成される
請求項２３から２６のいずれか１項に記載のシステム。
【請求項２８】
前記複数の命令は、複数のカメラ、複数のセンサ、複数の２Ｄ又は３Ｄプリンタ、複数の２Ｄ又は３Ｄディスプレイ、複数のコンピュータグラフィックスシステム、又は複数のコンピュータシステム間での、予め定められた標準フォーマット、標準深度マップフォーマット、標準カメラ出力フォーマット、標準媒体コーデックフォーマット、標準コンピュータグラフィックスフォーマット、標準３Ｄ深度ファイルフォーマット、又は標準プロトコルフォーマットにおいて、前記色彩強度でランク付けされた複数の表面を出力するようにさらに構成される
請求項２３から２７のいずれか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、概して、複数の３次元デジタル画像の向上に関する。
【背景技術】
【０００２】
複数の３Ｄプリンタ及び３Ｄディスプレイデバイスに加えて、３次元（３Ｄ）ステレオカメラ及び関連する深度センシング方法の急増は、複数の３Ｄ画像の処理及び向上に関する複数のチャレンジの新たなセットを生成した。より具体的には、キャプチャされた複数の３Ｄ画像の品質は、グレア又はほのかに光る領域のような、キャプチャの時に存在する最適以下の複数のライティング条件の効果に苦しみうる。複数の標準コンピュータグラフィックス方法が、複数の３Ｄ画像を向上させて、ライティング効果を変化させるために用いられうるが、複数の画像における複数のオブジェクトの表面からの３Ｄ深度情報が提供され、そのようなキャプチャされた複数の画像が、３Ｄライティングを変化させるべく又は最適以下の複数のライティング条件の効果を減少させ若しくは除去するべく、向上されることができる適切な標準方法は現在ない。
【０００３】
画像テクスチャ情報に関連付けられた深度情報もキャプチャする画像キャプチャの間に用いられうる様々な技術がある。深度情報は、画像内の複数の３Ｄオブジェクトの形状を定義する３次元（３Ｄ）多角形メッシュを用いてポイントクラウド又は深度マップを生成するべく、処理される。処理後に、深度情報は、限定されないが、３Ｄ空間、又は複数の三角形又は四辺形の３Ｄ表面メッシュにおけるＸ，Ｙ，及びＺポイントクラウドを含む、いくつかのフォーマットで表されうる。深度情報を表すための他の複数のフォーマットは、ＸＭＬエンコードフォーマット、テクスチャフォーマット、又はｏｐｅｎＧＬのようなグラフィカルフォーマットを含むことができる。
【図面の簡単な説明】
【０００４】
【図１】複数の実施形態による、ライティング及び複数のテクスチャが適用される、複数の表面を有する例の３Ｄ多角形メッシュを示す。
【図２】複数の実施形態による、複数の三角形表面に細分化される球体の例の表面メッシュを示す。
【図３】複数の実施形態による、複数の３Ｄ画像を向上させる方法を示す処理フロー図である。
【図４Ａ】図４Ａは概して、複数の実施形態による、光、ビューア／カメラ、反射、スペキュラーハイライト、及び面法線についての複数の光ベクトルを示す。
【図４Ｂ】図４Ｂは概して、複数の実施形態による、光、ビューア／カメラ、反射、スペキュラーハイライト、及び面法線についての複数の光ベクトルを示す。
【図４Ｃ】図４Ｃは概して、複数の実施形態による、光、ビューア／カメラ、反射、スペキュラーハイライト、及び面法線についての複数の光ベクトルを示す。
【図５】複数の実施形態による、複数の３Ｄ画像を向上させるコードを格納する有形持続性コンピュータ可読媒体を示すブロック図である。
【図６】複数の実施形態により用いられうる電子デバイスのブロック図である。
【図７】複数の実施形態による、複数のポリゴン及び対応する複数のテクスチャの３Ｄメッシュを用いて複数の画像をエンコードする例のシステムのブロック図である。
【図８】複数の実施形態による、図７のシステムが具体化されうるスモールフォームファクタデバイスの概略図である。  複数の同一の数字が、同様の複数のコンポーネント及び特徴を参照すべく、本開示及び複数の図を通じて用いられる。１００番台の複数の数字が、図１において初出の複数の特徴を参照し、２００番台の複数の数字が、図２において、初出の複数の特徴を参照する、等である。
【発明を実施するための形態】
【０００５】
概して上記のように、３Ｄ画像が、３Ｄステレオカメラ、深度センサ、マルチビューカメラ、ステレオサテライト、他の深度キャプチャイメージングデバイス、又は、例えば、同時の自己位置推定及び地図作成（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ：ＳＬＡＭ）又は光（しばしばレーザ）検出と測距のような深度キャプチャ方法によってキャプチャされる場合、深度情報は、関連付けられたテクスチャ情報とともに抽出されて処理されうる。例えば、複数の構造化ライトパターンは、シーンにばらまかれてよく、複数の構造化ライトパターンが距離で変化するため、深度情報は、複数のパターンのサイズを検出することによって再構成されうる。他の複数の例において、飛行時間（ｔｉｍｅ  ｏｆ  ｆｌｉｇｈｔ：ＴＯＦ）センサが、センサからオブジェクトへ及び戻ってくる赤外光の飛行のラウンドトリップタイムを測定することによって、情報を集めるべく利用されうる。抽出された深度情報は、関連付けられたテクスチャ情報とともにエンコードされ、任意のメディアコーデックフォーマットで利用され又は新たなコーデックフォーマットでエンコードされうる。
【０００６】
画像テクスチャ及びテクスチャという用語は、表面上の複数の色を表す２Ｄ画像アレイを記述するべく同義的に利用される。複数のコンピュータグラフィックス技術を用いて、複数の画像テクスチャがテクスチャマッピングされる。テクスチャマッピングは、画像を、表面の幾何学的形状を含む多角形メッシュ上に適合する処理である。従って、テクスチャマッピングの間に、テクスチャのセットが幾何学的に適合され、不規則な表面上で伸ばされて表面に接着されるゴムシートと同様に、多角形メッシュ上に反らされる。この方法で、表面形状が、表面上の実際の複数の色又は画像テクスチャとは別個の多角形メッシュとして表される。
【０００７】
さらに、複数の実施形態において示されるように、表面メッシュセクション、表面パッチ、表面メッシュ、表面ポリゴン、及び多角形パッチという用語は、接続されて全体の表面を規定するメッシュとなる、複数の三角形、四辺形、又は他の多角形に関して表面形状を記述するべく、交換可能に利用されうる。例えば、図２は、表面形状の三角形メッシュ表示を示す。
【０００８】
表面色又は画像テクスチャから表面形状を分離することによって複数の画像の上記の表示を採用することで、複数の本技術は、各画像テクスチャに対するベクトル解析及び色空間強度ランク付けを用いて、元のシーンにおける複数の元の光源位置ベクトル及び光源色を提供、回復、決定できる。複数の本技術はまた、元のライティングを減じる又は変更して、新たな複数の色を有する新たな光源をレンダリングに追加することにより、続いて起こる複数のレンダリングにおいて、シーン内のライティングを変化させうる。上記のように、画像及びシーンという用語は、交換可能に利用されうる。
【０００９】
抽出された深度情報は、現在既知の又は今後開発される複数の方法を用いて、複数の３Ｄポイント、複数の表面ベクトル、若しくは例えば複数の三角形、四辺形等のような複数の幾何学的形状で構成される、３Ｄ表面メッシュ又は深度マップの作成を可能にするのに十分である。しかし、深度情報及び関連付けられた画像テクスチャ情報のフォーマットは標準化されない。深度情報及び関連付けられた画像テクスチャ情報を送信する標準方法がないため、ライティング情報を用いて、複数のシーンにおける複数の深度ベースライティング補正又は向上を可能にするような、様々な適用における深度情報の利用が回避できる。従って、本開示の複数の実施形態は、標準深度マップフォーマット及び関連付けられたテクスチャ情報を用いて複数の３Ｄ画像内のライティング情報を向上させることに関し、これらは、複数の標準コンピューティングシステムにおいて複数の多角形メッシュ及び関連付けられた複数の画像テクスチャをレンダリングするためのｏｐｅｎＧＬ又はマイクロソフトＤｉｒｅｃｔＸ（登録商標）のような、複数のグラフィックス処理ユニット及び標準コンピュータグラフィックス方法を用いてレンダリングされうる。標準深度マップフォーマット及びテクスチャ情報は、任意のメディアコーデックフォーマットで利用され又は新たなコーデックフォーマットでエンコードされうる。複数の３Ｄ深度マップが標準フォーマットのメッシュにおいて各三角形又は四辺形に対する光表面色彩強度ランキングを含むことができるようにすることで、複数の測色調整が画像又はシーンに行われることができる。当業者は、複数の標準コンピュータグラフィックス方法が、本発明の複数の方法を用いてなされる表面色彩強度ランク付け及び光源の決定を与えられたテクスチャ化された複数の３Ｄ多角形メッシュへの無制限のライティング調整を行うように用いられることができ、これが、タブレット、電話、アイマウンテッドディスプレイコンピュータ、ラップトップ、又はデスクトップシステムのような、標準コンピュータシステム上に具現化されうることを認識するであろう。このため、複数のライティング調整は、複数の３Ｄ深度画像及び対応する複数のテクスチャに行われることができる。
【００１０】
以下の説明及び請求項において、「接続」及び「連結」という用語は、それらの派生語と共に用いられうる。これらの用語が、お互いに同義語として意図されないことは理解されるべきである。むしろ、特に複数の実施形態において、「連結」は、２又は３以上の要素がお互いに直接物理的又は電気的に接触していることを示すために用いられうる。「接続」は、２又は３以上の要素が、直接物理的又は電気的に接触していることを意味しうる。しかし、「接続」はまた、２又は３以上の要素が、お互いに直接接触していないが、まだお互いに協働で動作又はインタラクトすることを意味しうる。
【００１１】
いくつかの実施形態は、ハードウェア、ファームウェア、及びソフトウェアの１つ又は組み合わせにおいて実装されうる。いくつかの実施形態はまた、機械可読媒体上に格納される複数の命令として実装されてよく、それは、コンピューティングプラットフォームによって読み取られて、実行され、本開示の複数の操作を実行する。機械可読媒体は、マシン、例えばコンピュータによって可読な形態で情報を格納又は送信するための任意の機構を含みうる。例えば、機械可読媒体は、中でも、リードオンリーメモリ（ＲＯＭ）；ランダムアクセスメモリ（ＲＡＭ）；磁気ディスクストレージメディア；光ストレージメディア；フラッシュメモリデバイス；又は電気、光、音響、又は他の形態の伝搬する信号、例えば搬送波、赤外線信号、デジタル信号、又は信号を送信および／または受信するインターフェースを含みうる。
【００１２】
実施形態は、実装又は例である。「実施形態」、「１つの実施形態」、「いくつかの実施形態」、「様々な実施形態」、又は「他の複数の実施形態」への明細書における参照は、複数の実施形態に関して説明された特定の特徴、構造、又は特性が、複数の発明の少なくともいくつかの実施形態に含まれるが、必ずしも、全ての実施形態に含まれるわけではないことを意味する。「実施形態」、「１つの実施形態」、又は「いくつかの実施形態」の様々な出現が、同一の複数の実施形態を必ずしも全て参照するものではない。実施形態からの複数の要素又は態様は、他の実施形態の複数の要素又は態様と組み合わせられうる。
【００１３】
本開示で説明され示された全てのコンポーネント、特徴、構造、特性等が、特定の実施形態又は複数の実施形態に含まれる必要があるというわけではない。明細書がコンポーネント、特徴、構造、又は特性が含まれうる（"ｍａｙ"，"ｍｉｇｈｔ"，"ｃａｎ"又は"ｃｏｕｌｄ"）場合、例えば、その特定のコンポーネント、特徴、構造、又は特性が含まれることは必須ではない。明細書又は請求項が１つの（「ａ」又は「ａｎ」）要素を参照する場合、それは、要素の一つのみがあるということを意味しない。明細書又は請求項が、「１つの追加の」要素を参照する場合、それは、１より多くの追加の要素があるということを排除しない。
【００１４】
いくつかの実施形態が特定の複数の実装を参照して説明されたが、他の複数の実装がいくつかの実施形態により可能であることは留意されるべきである。更に、図面で示されたおよび／または本開示で説明された複数の回路要素又は他の複数の特徴の構成および／または順序は、示され説明された特定の方法で配置されることは必須ではない。多くの他の構成が、いくつかの実施形態により可能である。
【００１５】
図に示された各システムにおいて、いくつかの場合の複数の要素は、表された複数の要素が異なるおよび／または同様でありうることを提案すべく、同一の参照番号又は異なる参照番号を有する。しかし、要素は、複数の異なる実装を有し、本開示で示され又は説明した複数のシステムのいくつか又は全てで動作するために十分に順応性がありうる。複数の図で示された様々な要素は、同一又は異なりうる。どれを第１の要素として参照するか、及びどれを第２の要素と呼ぶかは、任意である。
【００１６】
図１は、複数の実施形態による、ライティング及びテクスチャが適用される、複数の表面を有する例の３Ｄ多角形メッシュ１０２を示す。３Ｄ多角形メッシュ１０２は、人間の顔の構造を形成する。多角形メッシュは、３Ｄオブジェクトの形状、詳細には人間の顔を定義するために用いられる複数の頂点、線、エッジ、及び面を含む。任意のタイプのメッシュが、複数の本技術により用いられうる。例えば、メッシュは、四辺形メッシュ又は三角形メッシュでありうる。さらに、代替の複数の深度フォーマットはまた、複数の実施形態により用いられうる。例えば、メッシュが３Ｄ空間内の複数のポイントで構成されるため、深度情報はまた、３Ｄポイントクラウドと考えられうる。さらに、メッシュは、複数のアレイ値が各ポイントの深度を示す２Ｄアレイにおける深度マップとしてエンコードされてよい。
【００１７】
多角形メッシュ１０２は、複数のコントロールポイントを含みうる。コントロールポイントは、色、複数の法線ベクトル、及び複数のテクスチャ座標のような対応する情報を含む、多角形メッシュ１０２内の位置である。複数のテクスチャ座標は、コントロールポイントを、テクスチャマップのようなテクスチャ情報にリンクするべく用いられうる。テクスチャ情報は、複数の詳細、色、又は画像テクスチャ情報を三角形メッシュに追加する。
【００１８】
画像は、表面多角形メッシュ１０２上へ適用又はテクスチャマッピングされてよく、それにより画像１０４を生成する。複数のテクスチャが各表面ポリゴン上に適用される場合、表面多角形メッシュ１０２は、人間の顔の形態を示す。多角形メッシュ１０２、及び適用されて画像１０４をもたらす対応する複数のテクスチャは、３Ｄ画像をレンダリングする文脈で説明されたが、複数の２Ｄ画像も、複数の本技術を用いてレンダリングされうる。いずれの場合でも、複数の多角形メッシュ及び対応するテクスチャを用いて画像をレンダリングすることは、ｏｐｅｎＧＬ、ＤｉｒｅｃｔＸ、Ｈ．２６４、ＭＰＥＧ４、及びＶＣ１のような標準グラフィックス又はメディアエンコードフォーマット及び任意の他のメディアコーデックフォーマットと併せて、グラフィックスパイプラインを用いて達成されうる。
【００１９】
追加のライティング及び複数のテクスチャは、さらに画像１０４をリファインするべく適用されてよく、画像１０８をもたらす。ライティングは画像１０８に適用されて、画像１０８において人間の顔のあごからネック上へのかすかな影をもたらす。アンラップされたテクスチャマップ１０６は、いかなるライティングも適用しない、画像１０８からのテクスチャ情報を示す。複数の実施形態において、画像１０８上へのライティングは、画像１０８において人間の顔のあごからネック上への影を減少又は除去するべく変化されうる。
【００２０】
図２は、複数の実施形態による、複数の三角形表面２０２、２０４、２０６、・・・、２１４等へ細分化される球体の例の表面メッシュ２００を示す。しかし、表面メッシュが、例えば複数の３Ｄポイント、表面ベクトル、又は他の複数の幾何学的形状を有する複数の表面を用いて細分化されてよいことは理解されるべきである。表面メッシュ２００の複数の表面の各々（例えば２０２，２０４，２０６，・・・、２１４等）は、例の球体のテクスチャ画像（不図示）のセクションに対応する。複数のテクスチャ画像セクションの各々の色彩強度は、例えば、ＨＳＬ（色相（ｈｕｅ）、彩度（ｓａｔｕｒａｔｉｏｎ）、及び明度（ｌｉｇｈｔｎｅｓｓ））、ＨＳＶ（色相、彩度、及び値）、ＹＵＶ、又は色彩強度を決定してランク付けする他の適切な方法のような、色空間における強度によって決定されてランク付けされうる。色彩強度によって、複数の表面をソートしてそれらをランク付けすることにより、実際のシーンライティングは、観察位置面表面法線による各表面の表面法線のベクトル解析を用いて復元され、これは複数の光源ベクトルの方向を生じ、メッシュを再ライティングするのに有用である。複数の高水準の色彩強度を有する複数のテクスチャ画像セクションは、光源から観察位置への高水準の正反射を有する表面メッシュ２００の複数のセクションに対応し、このため、光源ベクトル方向及び色を決定するのに有用な輝線の複数のエリアを示し、光源情報は、複数の標準コンピュータグラフィックス方法を用いてライティング効果を変化させるために有用である。逆に、複数の低いレベルの色彩強度を有する複数のテクスチャ画像セクションは、光源から観察位置への複数の低いレベルの正反射を有する表面メッシュ２００の複数のセクションに対応し、このため、低い又は薄暗いライティングの複数のエリアを示しうる。このため、複数のテクスチャ画像セクションは、実際の複数のシーンライティング方向ベクトル及び光源色を決定するために、高い色彩強度から低い色彩強度へランク付けされうる。
【００２１】
最大光反射は、面法線ベクトルＮが観察（画像キャプチャデバイス）ベクトルＶと光源ベクトルＬとの間の中間であるときに生じる。表面の中間法線ベクトル情報は、カメラの位置を定義するビューベクトルＶの認識を与えられる光源ベクトルを算出するために用いられうる。高い方のランキングの色彩強度の複数の表面、及び多角形メッシュからのそれらの対応する面法線ベクトルは、与えられた画像の光源ベクトルＬの近似値を計算すべく、セットとして共に用いられる。実施形態において、光源ベクトルＬは、元の３Ｄ表面形状データ及び各表面に対して対応する複数の画像テクスチャパッチから復元され、決定されてよく、さらに、元の光源ベクトルの最良の推定が、最も高い色彩強度に対応するメッシュのポリゴンからの複数の面法線Ｎに基づいて選択され、又はさもなければ、光源ベクトルＬが、複数のＬベクトルの平均、中央値Ｌベクトル、複数のＬベクトルの一次回帰、又は他の数学的方法のような、各面法線Ｎについて計算された複数の光源ベクトルＬのセットの、重み付けされ又は計算された数学的な組み合わせから導出されうる。このため、光源は、３Ｄ空間に位置されうる。より具体的に本開示で以下説明されるように、色彩強度でランク付けされた複数の表面のセット、及びそれらの対応する複数の法線ベクトルは、さらに、キャプチャされた複数の３Ｄ画像のライティングを調節、追加、又は取り除き、高め、ライティングの色を変化させ、又はさもなければライティングを変更するために用いられてよく、色彩強度でランク付けされた複数の面法線ベクトルのセット、複数の画像テクスチャ、及び関連付けられた複数のポリゴンは、標準コードフォーマット又は他の標準のデータフォーマットで、ファイル、通信ストリーム、メモリ、又は他のデータ構造体にエンコードされてよい。
【００２２】
図３は、複数の実施形態による、複数の３Ｄ画像を向上させる方法３００を示す処理フロー図である。様々な実施形態において、方法３００は、向上された３Ｄ画像を提供する。いくつかの実施形態では、方法３００は、本開示でより具体的に説明されるように、コンピューティング又は他の電子デバイス上で実行されうる。方法３００は、３Ｄ画像をキャプチャする段階３０２、３Ｄ画像から深度情報及びテクスチャ情報を抽出する段階３０４、表面メッシュを生成する段階３０６、複数の表面メッシュセクションに対応する複数のテクスチャセクションを決定する段階３０８、複数の表面をランク付けする段階３１０、複数の光源ベクトルを決定する段階３１２、ライティングを調節する段階３１４、及び向上された画像を出力する段階３１６を含む。
【００２３】
ブロック３０２において、３Ｄ画像が、３Ｄステレオカメラ、深度センサ、マルチビューカメラ、ステレオサテライト、他の深度キャプチャイメージングデバイス、又は、例えば、同時の自己位置推定及び地図作成（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ：ＳＬＡＭ）又は光（典型的にはレーザ）検出及び測距のような深度キャプチャ方法を用いてキャプチャされ、又はさもなければソース３Ｄ画像を提供される。深度情報及びテクスチャ情報を抽出する段階３０４は、キャプチャされた３Ｄ画像データから深度又はテクスチャマップを抽出する又はさもなければ決定することを含みうる。
【００２４】
ブロック３０６では、例の表面メッシュ２００のような表面メッシュは、抽出された深度情報を用いて生成され、表面メッシュがその後前に説明したような複数の表面メッシュセクションに分配されうる。上記のように、複数の表面メッシュセクションは、複数の３Ｄポイント及び複数の表面ベクトルである、三角形、四辺形等を含む任意の望ましい幾何学的形状であってよい。
【００２５】
ブロック２０８では、各表面メッシュセクションに対応するテクスチャセクションが決定される。例えば、表面メッシュ２００の個別の各表面メッシュセクション２０２―２１４に対して、３Ｄ画像深度又はテクスチャマップの対応するテクスチャ画像セクションが決定される。
【００２６】
ブロック３１０では、複数のテクスチャ画像セクションは、色彩強度に関してランク付けされ、これは、上記のように、表面メッシュ２００の複数の個別の表面の各々の正反射をランク付けすることに対応する。このため、複数の表面は、色彩強度の最も高い方から最も低い方へランク付けされうる。
【００２７】
ブロック３１２では、複数の光源ベクトルが決定され、これは、複数の個別のテクスチャ画像セクションの各々又は所望のサブセットについての複数の中間法線ベクトルを決定することを含む。一実施形態では、最も高いランクの個別のテクスチャ画像セクション及びその表面の対応する中間法線ベクトルは、既知の複数のベクトル方法を介して光源ベクトルを決定すべく用いられてよく、それにより、３Ｄ空間における光源の位置を決定し、これは、表面ライティングのための複数の標準コンピュータグラフィックス方法を用いて複数の光源の新たなセットへの各表面テクスチャのライティングに対して、続いて起こる複数の変化を可能にする。複数の他の実施形態では、予め定められた閾値を超えるランクの色彩強度を有する複数のテクスチャ画像セクション、及びそれらの表面に対応する複数の法線ベクトルは、複数のグループとして共に数学的に結合されて正しい光源ベクトルの最良の推定がなされ、中間法線ベクトルの結果の最良の推定は、既知の複数のベクトル方法を介して光源ベクトルの位置を決定すべく用いられてよく、それにより、３Ｄ空間における光源の位置を決定する。さらに他の複数の実施形態では、予め定められた閾値を超えるランクを有する複数のテクスチャ画像セクションの各々に対して決定された複数の光源ベクトルは、複数のグループに数学的に共に結合され、元の光源ベクトルの最良の推定を決定し、それにより、３Ｄにおける光源の位置を決定しうる。実施形態において、光源ベクトルＬは、最も高い色彩強度に対応するメッシュのポリゴンからの面法線Ｎに基づいて選択されてよく、又はさもなければ、光源ベクトルＬは、複数のＬベクトルの平均、中央値Ｌベクトル、複数のＬベクトルの一次回帰、又は他の数学的方法のような、各面法線Ｎに対して計算された複数の光源ベクトルＬのセットの重み付けされ又は計算された組み合わせから導出されてよい。
【００２８】
ブロック３１４では、光源の複数の特質又は特性が調節され、これは、概して、限定されないが、光のブライトネス、色（すなわち色相、彩度、クロマ等）、色彩強度又はルミナンスを調節すること、及び複数の光源を追加及び除去することを含みうる。より具体的には、１つの例の実施形態において、予め定められた閾値を超える色彩強度ランクを有する複数のテクスチャ画像セクションのうちの１または複数へのライティングは、効果的にライトを除去するべく、又はアンチライトを提供すべく、１または複数の表面の色彩強度を減じることにより調節され、これは、１実施形態ではグレアを除去するために又は標準コンピュータグラフィックス方法を用いて新たな位置から光を追加することによって暗い表面のライティングを増加させるために有用でありうる。他の例の実施形態では、予め定められた閾値以下の色彩強度ランクを有する複数のテクスチャ画像セクションの１または複数のライティングは、１または複数の表面の色彩強度を増加させることによって調節される。さらに他の例の実施形態では、前述の複数の実施形態は組み合わせられてよく、予め定められた閾値を超える色彩強度ランクを有するテクスチャ画像セクションの１または複数のライティングを、それらの１または複数の表面の色彩強度を減じることによって減じ、及びそれらの１または複数の表面の色彩強度を増加させることによって予め定められた閾値以下の色彩強度ランクを有するテクスチャ画像セクションの１または複数へライティングを追加する。本開示の前述の又は後の複数の実施形態と同様に組み合わされうる、さらに他の例の実施形態では、１または複数の光源が、関連付けられた光源色を有する位置ベクトルを追加することによって追加されてよく、追加された光源が、概して全ての表面に方向付けられ、又は、例えば予め定められた閾値と等しい、より大きい又はより小さい色彩強度を有する複数の表面のような、所定の複数の表面に選択的に方向付けられうる。このため、向上された画像が、生成されうる。実施形態の全てが、標準コンピュータグラフィックス方法において及び用いて具現化されうる。
【００２９】
ブロック３１４で実行される、光源の複数の特質又は特性の調整はまた、複数の実施形態において、「アンチライト」を投射することによってキャプチャされたときの３Ｄ画像に存在する任意の光源を除去することを含みうる。本開示で用いたように、「アンチライト」は、全ての又は選択したテクスチャ画像セクションの色彩強度を変更することを含む。「アンチライト」を追加することは、複数のテクスチャ画像セクションから光を除去することである。ブロック３１４で実行される、光源の複数の特質又は特性の調整は、同一又は他の実施形態では、さらに、３Ｄ画像へ複数の新たな光源を追加すること、複数のライティング特性を調節すべくインタラクティブな制御を用いること、合成光源情報を複数の標準ビデオエンコードフォーマットに追加すること、ライティング効果を追加／除去すべく複数の標準ＧＰＵグラフィックスパイプラインを用いることによって複数のライティング特性を調節すること、及び複数のカメラシステムにおけるデジタル光測定及び調整を用いることを含む。
【００３０】
ブロック３１６では、向上された画像が出力され、これは、向上された画像を、ディスプレイデバイス上で又は２Ｄ又は３Ｄプリンティングを介してレンディングすることを含みうる。別の実施形態において、向上された画像は、例えばメディアフォーマットファイルのようなコンピュータ可読ファイルとして、例えば、ハードディスクドライブ、メモリスティック、ＳＤカード、ランダムアクセスメモリ、リードオンリーメモリ、又は現在既知又は後に考案される電子ストレージの任意の他の形式のようなコンピュータ可読メモリに、向上された画像を保存することによって出力されうる。さらに、向上された画像を出力することは、また、対応する複数のテクスチャ表面を有する複数の三角形又は他の幾何学的形状から構成される表面メッシュ、複数のポイントクラウドのような標準深度マップフォーマット、深度又はＺ次元に対応するピクセル値を有する複数のＺ画像又は２Ｄピクセルアレイ、又はＭＩＰＩ規格のサブセットのような規格カメラ画像センサ出力フォーマットのような所定または標準フォーマットにおいて、色彩強度でランク付けされた複数の表面のセットを提供し、それにより、最初の又は追加のライティング調整が、向上された画像のレンダリングの前又は併せて下流で実行されることを可能にする。
【００３１】
図３の処理フロー図は、方法３００の複数のブロックが任意の特定の順序で実行されるべきであること、又はブロックの全てが実行されるべき又は全ての実施形態に含まれるべきであることを示すことを意図しない。さらに、任意の数の追加のブロックが、特定の実装の詳細に依存して、方法３００内に含まれうる。
【００３２】
図４Ａ−Ｃは概して、複数の実施形態による、光についての複数の光ベクトル、ビューア／カメラ、反射、スペキュラーハイライト、及び面法線を示す。より具体的には、図４Ａは、中間法線ベクトル「ｎ」が、光源のソースベクトルＬ及びビューベクトル「ｗ」の間の中間にあることを決定されることを示す。前に述べたように、中間ベクトルは、光源の最大反射が観察されるベクトルである。図４Ｂは、非平坦な表面についての、ビューベクトルＶ、面法線ベクトルＮ、光源ベクトルＬ、及び反射ベクトルＲを示す。図４Ｃは、光源ベクトルＬ、ビューベクトルＶ、光源ベクトルＬのミラー反射ベクトルＲ、滑らかな面法線ベクトルＮ、及びベクトルＬ及びＶの間の中間ベクトルである半角ベクトルＨの間の関係を示す。
【００３３】
図５は、複数の実施形態による、複数の３Ｄ画像を向上させるコードを格納する有形持続性コンピュータ可読媒体５００を示すブロック図である。有形持続性コンピュータ可読媒体５００は、プロセッサ５０２によって信号バス５０４を介してアクセスされうる。さらに、媒体５００は、プロセッサ５０２に本開示の複数の方法及び特に方法３００を実行させるように構成されたコードを含みうる。媒体５００は、図３に示された方法３００の処理に対応する複数のコンポーネント又はモジュールを含む、様々なソフトウェアコンポーネント又はモジュールを格納しうる。例えば、媒体５００は、３Ｄ画像をキャプチャ、インポート、又はさもなければ取得又は受信するように構成されうる、３Ｄ画像キャプチャモジュール５１２を含みうる。媒体５００はまた、３Ｄ画像の深度及びテクスチャマップを抽出又はさもなければ決定するように構成された、深度情報及びテクスチャ情報抽出モジュール５１４を含みうる。媒体５００はまた、３Ｄ画像の表面メッシュを生成するように構成されうる、表面メッシュ生成モジュール５１６を含みうる。媒体５００はさらに、各表面メッシュセクションに対して、対応するテクスチャセクションを決定するように構成されうる、表面メッシュセクションに対応するテクスチャセクション決定モジュール５１８を含みうる。媒体５００はまださらに、色彩強度及び正反射の少なくとも１つに関して複数の表面をランク付けするように構成されうる、表面ランク付けモジュール５２０を含みうる。媒体５００はまださらに、光源ベクトルを決定してそれにより３Ｄ空間における光源の位置を示すように構成されうる、光源ベクトル決定モジュール５２２を含みうる。媒体５００はまた、方法３００に関して上記でより具体的に説明したような、３Ｄ画像の光源の複数の特性を調節するように構成されうるライティング調節モジュール５２４を含みうる。媒体５００はまた、色彩強度でランク付けされた複数の表面及び関連付けられた複数テクスチャのセットのような、向上された画像及び関連付けられたデータを出力するように構成されうる向上された画像出力モジュール５２６を含みうる。
【００３４】
図５のブロック図は、有形の持続性コンピュータ可読媒体５００が本開示で示されたコンポーネントの全てを含むべきであることを示すことを意図しない。さらに、有形持続性コンピュータ可読媒体５００は、特定の実装の詳細に依存して、図５に示されない任意の数の追加的なコンポーネントを含みうる。
【００３５】
図６は、複数の実施形態により用いられうる電子デバイスのブロック図である。電子デバイス６００は、実質的には、例えば、プリントデバイス、カメラ、ラップトップ、又は他のポータブル又はデスクトップコンピュータ、セルラー又は他の携帯電話等を含む任意の電子デバイスでありうる。電子デバイス６００は、中央処理ユニット（ＣＰＵ）６０２、メモリ６０４、信号バス６０６、グラフィックス処理ユニット（ＧＰＵ）６０８、イメージキャプチャメカニズム６１０、センサ６１２、ディスプレイ６１４を含みうる。
【００３６】
ＣＰＵ６０２は、メモリ６０４に格納されうる複数のアプリケーション６２０を、信号バス６０６を介して読み取り、実行するように構成されうる。ＣＰＵ６０２は、シングル、デュアル、又はマルチコアプロセッサ又は任意の他の適切な処理デバイスでありうる。メモリ６０４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードディスク又はソリッドステートドライブ、フラッシュメモリ、又は他の適切なタイプのメモリを含みうる。メモリ６０４は、複数のアプリケーション６２０を格納する。
【００３７】
信号バス６０６は、ＣＰＵ６０２、メモリ６０４、ＧＰＵ６０８、イメージキャプチャメカニズム６０８、イメージキャプチャメカニズム６１０、センサ６１２、及びディスプレイ６１４を相互接続し、同一のものの間及び中での電子信号及びデータの転送を可能にする。
【００３８】
ＧＰＵ６０８は、任意の適切なＧＰＵプロセッサであってよく、例えば、デバイス６００のユーザへディスプレイ６１４又は他のディスプレイ上で表示するための、複数のグラフィックス画像、フレーム、又はビデオ等のレンダリング又は処理のような、任意の数のグラフィックス操作を実行するように構成されうる。いくつかの実施形態では、ＧＰＵ６０８は、複数の特定のグラフィックスタスクを実行するように構成されうる多くのグラフィックスエンジン（不図示）を含みうる。
【００３９】
イメージキャプチャメカニズム６１０は、３Ｄ画像をキャプチャするように構成されうる。イメージキャプチャメカニズム６１０は、カメラ、ステレオスコープカメラ、赤外線センサ、又は他のイメージキャプチャメカニズムとして構成されうる。イメージキャプチャメカニズム６１０は、キャプチャされた３Ｄ画像と関連付けられた深度及び画像テクスチャ情報をキャプチャするように構成される。複数の例において、代替的に、センサ６１２は、キャプチャ画像の深度及び画像テクスチャ情報をキャプチャするように構成されてよく、このため、電荷結合素子画像センサ、システムオンチップセンサ画像センサ、又は他の適切なセンサ又は複数のセンサの組み合わせとして構成されてよい。複数のアプリケーション６２０は、現在存在する又は今後開発される規格化されたメディアコーデックにおいて、３Ｄ深度マップ又は表面メッシュ２００のような表面メッシュにおける深度及び画像テクスチャ情報をエンコードする。
【００４０】
ディスプレイ６１４は、フラットパネル液晶、又はユーザにキャプチャ画像を表示するように構成された他のディスプレイデバイスとして構成されてよく、さらに、デバイス６００の制御及び操作のためのユーザへのグラフィカル又はヒューマンマシンインターフェースを表示するよう構成されてよい。ディスプレイ６１４は、デバイス６００と一体又は別個でよい。
【００４１】
複数のアプリケーション６２０は、方法３００を実行するのに十分な複数の命令を含む。例えば、複数のアプリケーション６２０は、方法３００に関して上記でより具体的に説明したように、３Ｄ画像をキャプチャ又は取得又はさもなければ受信するべく、深度情報及びテクスチャ情報を抽出又はさもなければ３Ｄ画像の深度及びテクスチャマップを決定すべく、３Ｄ画像の表面メッシュモジュールを生成すべく、複数の表面メッシュセクションに対応する画像の複数のテクスチャセクションを決定すべく、色彩強度及び正反射の少なくとも１つに関して複数の表面をランク付けすべく、光源ベクトルを決定してそれにより３Ｄ空間における光源の位置を示すべく、及び３Ｄ画像の光源の複数の特性を調節すべく、複数の命令を含みうる。複数のアプリケーション６２０は、また、色彩強度でランク付けされた複数の表面及び３Ｄ画像に関連付けられた複数のテクスチャのセットのような、向上された画像及びそれに関連付けられたデータを出力するべく複数の命令を含みうる。
【００４２】
電子デバイス６００は、いくつかの実施形態では、表面メッシュ２００のようなエンコードされた３Ｄ表面メッシュ及び対応する複数のテクスチャセクションを印刷できる、プリンタ、ファックスマシン、及び他の複数のプリントデバイスのような、プリントデバイス６２２を含みうる。プリントデバイス６２２は、電子デバイス６００と一体又はその外部にありうる。複数のアプリケーション６２０は、プリントデバイス６２２とインターフェースして動かすのに必要な複数の命令を含みうる。
【００４３】
図６のブロック図は、デバイス６００が図６に示されたコンポーネントの全てを含むべきであることを示すことを意図されない。さらに、デバイス６００は、特定の実装の詳細に依存して、図６に示されない任意の数の追加的なコンポーネントを含みうる。
【００４４】
図７は、複数の実施形態による、ポリゴンの３Ｄメッシュ及び対応する複数のテクスチャを用いて複数の画像をエンコードする例のシステム７００のブロック図である。同様の数字が付けられた複数のアイテムが、図６に関して記載される。いくつかの実施形態では、システム７００は、メディアシステムである。加えて、システム７００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えばスマートフォン、スマートタブレット、又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、又はデータ通信デバイス等に組み込まれうる。
【００４５】
様々な実施形態において、システム７００はディスプレイ７０４に接続されたプラットフォーム７０２を備える。プラットフォーム７０２は、コンテンツサービスデバイス７０６またはコンテンツ配信デバイス７０８、若しくは他の同様の複数のコンテンツソースのような、コンテンツデバイスからコンテンツを受信しうる。１または複数のナビゲーション機能を含むナビゲーションコントローラ７１０は、例えばプラットフォーム７０２および／またはディスプレイ７０４とインタラクトするために用いられ得る。これらのコンポーネントの各々は、以下でより詳細に説明される。
【００４６】
プラットフォーム７０２は、チップセット７１２、中央処理ユニット（ＣＰＵ）６０２、メモリデバイス６０４、ストレージデバイス７１３、グラフィックスサブシステム７１４、複数のアプリケーション６２０、及び無線装置７１６の任意の組み合わせを含みうる。チップセット７１２は、ＣＰＵ６０２、メモリデバイス６０４、ストレージデバイス７１３、グラフィックスサブシステム７１４、複数のアプリケーション６２０、及び無線装置７１４の間での相互通信を提供しうる。
【００４７】
ＣＰＵ６０２は、複合命令セットコンピュータ（ＣＩＳＣ）又は縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セット互換性プロセッサ、マルチコア、又は任意の他のマイクロプロセッサ又は中央処理ユニット（ＣＰＵ）として実装されうる。いくつかの実施形態において、ＣＰＵ６０２は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサ、またはその他を含む。
【００４８】
メモリデバイス６０４は、限定されないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、又はスタティックＲＡＭ（ＳＲＡＭ）のような、揮発性メモリデバイスとして実装されうる。ストレージデバイス７１３は、限定されるわけではないが、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部ストレージデバイス、接続されたストレージデバイス、フラッシュメモリ、バッテリバックアップＳＤＲＡＭ（シンクロナスＤＲＡＭ）、および／またはネットワークアクセス可能ストレージデバイスのような不揮発性ストレージデバイスとして実装されてよい。いくつかの実施形態では、ストレージデバイス７１３は、例えば、複数のハードドライブが含まれる場合に、大切なデジタルメディアのためのストレージパフォーマンスエンハンスドプロテクションを増すための技術を含む。
【００４９】
グラフィックスサブシステム７１４は、表示のためのスチール又はビデオのような、複数の画像の処理を実行しうる。グラフィックスサブシステム７１４は、例えばＧＰＵ６０８又はビジュアル処理ユニット（ＶＰＵ）のようなグラフィックス処理ユニット（ＧＰＵ）を含んでよい。アナログまたはデジタルインターフェースは、グラフィックスサブシステム７１４およびディスプレイ７０４を通信可能に連結するために使用されてもよい。例えば、インターフェースは、高精細度マルチメディアインターフェース、ディスプレイポート、無線ＨＤＭＩ（登録商標）および／または無線ＨＤ準拠技術のいずれかでありうる。グラフィックスサブシステム７１４は、ＣＰＵ６０２またはチップセット７１２に統合されうる。代わりに、グラフィックスサブシステム７１４は、チップセット７１２に通信可能に連結されたスタンドアロンカードであってよい。
【００５０】
本開示で説明されるグラフィックスおよび／またはビデオ処理技術は、様々なハードウェアキテクチャで実装されうる。例えば、グラフィックスおよび／またはビデオ機能が、チップセット７１２内に統合されてよい。代わりに、別個のグラフィックスおよび／またはビデオプロセッサが用いられうる。さらに他の実施形態として、グラフィックスおよび／またはビデオ機能は、マルチコアプロセッサを含む汎用プロセッサによって実装されうる。さらなる実施形態では、複数の機能は、家庭用電子デバイスで実装されてもよい。
【００５１】
無線装置７１６は、様々な適切なワイヤレス通信技術を使用して信号を送信及び受信可能な１または複数の無線機を含んでよい。そのような複数の技術は、１または複数の無線ネットワークを介した複数の通信を伴ってもよい。例となる無線ネットワークは、無線ローカルエリアネットワーク（ＷＬＡＮ）、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、セルラーネットワーク、衛星ネットワーク、又は同種のものを含む。そのような複数のネットワークにわたる通信において、無線装置７１６は、任意のバージョンの１または複数の適用可能規格により動作しうる。
【００５２】
ディスプレイ７０４は、任意のテレビタイプモニタ又はディスプレイを含んでよい。例えば、ディスプレイ７０４は、コンピュータディスプレイ画面、タッチスクリーンディスプレイ、ビデオモニタ、テレビ、またはその他を含んでもよい。ディスプレイ７０４は、デジタルおよび／またはアナログであってよい。いくつかの実施形態では、ディスプレイ７０４は、ホログラフィーディスプレイである。また、ディスプレイ７０４は、視覚投影を受信しうる透明面であってよい。複数のそのような投影は、様々な形態の情報、画像、オブジェクト又は同種のものを伝達しうる。例えば、複数のそのような投影は、モバイル拡張現実（ＭＡＲ）アプリケーションのためのビジュアルオーバーレイでありうる。１または複数のソフトウェアアプリケーション６２０の制御下で、プラットフォーム７０２は、ディスプレイ７０４上にユーザインターフェース７１８を表示してもよい。
【００５３】
コンテンツサービスデバイス７０６は、任意の国の、国際の、又は独立のサービスによってホストされてよく、それ故に、例えば、インターネットを介してプラットフォーム７０２に対してアクセス可能であってよい。コンテンツサービスデバイス７０６は、プラットフォーム７０２および／またはディスプレイ７０４に連結されうる。プラットフォーム７０２および／またはコンテンツサービスデバイス７０６は、ネットワーク７２０から及びに対してメディア情報を通信（例えば、送信および／または受信）するべく、ネットワーク７２０に連結されてよい。コンテンツ配信デバイス７０８はまた、プラットフォーム７０２および／またはディスプレイ７０４に連結されてもよい。
【００５４】
コンテンツサービスデバイス７０６は、デジタル情報を配信可能な、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、又はインターネット可能デバイスを含みうる。加えて、コンテンツサービスデバイス７０６は、複数のコンテンツプロバイダ及びプラットフォーム７０２又はディスプレイ７０４の間で、ネットワーク７２０を介して又は直接、コンテンツを一方向に又は双方向に通信可能な他の同様の複数の任意のデバイスを含みうる。コンテンツは、ネットワーク７２０を介して、システム７００およびコンテンツプロバイダ中の複数のコンポーネントの何れか１つへ、及びこれらの何れか１つから、一方向および／または双方向に通信されうることが理解されよう。コンテンツの複数の例として、例えば、ビデオ、音楽、医療、ゲーム情報、及びその他を含む任意のメディア情報を含みうる。
【００５５】
コンテンツサービスデバイス７０６は、メディア情報、デジタル情報又は他のコンテンツを含むケーブルテレビプログラムのようなコンテンツを受信してよい。複数のコンテンツプロバイダの例には、中でも、任意のケーブルまたは衛星テレビ、若しくは無線またはインターネットコンテンツプロバイダが含まれうる。
【００５６】
いくつかの実施形態では、プラットフォーム７０２は、１または複数のナビゲーション機能を含む、ナビゲーションコントローラ７１０から複数の制御信号を受信する。ナビゲーションコントローラ７１０のナビゲーション機能は、例えば、ユーザインターフェース７１８と情報をやりとりするために使用されてよい。ナビゲーションコントローラ７１０は、ユーザが、空間（例えば、連続的かつ多次元の）データをコンピュータに入力できるようにするコンピュータハードウェアコンポーネント（具体的にはヒューマンインターフェースデバイス）であり得るポインティングデバイスであってよい。複数のグラフィカルユーザインターフェース（ＧＵＩ）、テレビ、及びモニターのような多くのシステムにより、ユーザが、身体的ジェスチャを用いてコンピュータ又はテレビへのデータを制御し提供することができる。複数の身体的ジェスチャは、限定されないが、顔の表情、顔の動き、様々な手足の動き、体の動き、身ぶり、又はそれらの任意の組み合わせを含む。  そのような複数の身体的ジェスチャは、認識され、複数のコマンドまたは複数の命令に変換されることができる。
【００５７】
ナビゲーションコントローラ７１０のナビゲーション機能の動きは、ディスプレイ７０４上に表示されるポインタ、カーソル、フォーカスリング、又は複数の他の視覚的なインジケータの動きによって、ディスプレイ７０４上に反映される。例えば、複数のアプリケーション６２０の制御下において、ナビゲーションコントローラ７１０に位置する複数のナビゲーション機能は、ユーザインターフェース７１８上に表示された複数の視覚的なナビゲーション機能に対してマッピングされうる。いくつかの実施形態では、ナビゲーションコントローラ７１０は、別個のコンポーネントではなくてよいが、しかしむしろ、プラットフォーム７０２および／またはディスプレイ７０４内に統合されてよい。
【００５８】
システム７００は、例えば、複数のユーザが、イネーブルである場合に、初めの起動後のボタンのタッチにより、プラットフォーム７０２を即座にオン、オフできるようにする技術を含む、複数のドライバ（不図示）を含みうる。プログラムロジックは、プラットフォームがオフの場合、プラットフォーム７０２が、コンテンツを、複数のメディアアダプタ、若しくは、他のコンテンツサービスデバイス７０６またはコンテンツ配信デバイス７０８にストリームすることを可能にしうる。加えて、チップセット７１２は、例えば、６．１サラウンドサウンドオーディオおよび／または高解像度７．１サラウンドサウンドオーディオへのハードウェアおよび／またはソフトウェアのサポートを含みうる。複数のドライバは、統合されたグラフィックスプラットフォームのためのグラフィックスドライバを含んでよい。いくつかの実施形態では、グラフィックスドライバは、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）グラフィックスカードを含む。
【００５９】
様々な実施形態において、システム７００に示されるコンポーネントのうちいずれかの１または複数は統合されうる。例えば、プラットフォーム７０２及びコンテンツサービスデバイス７０６が統合されてよく、プラットフォーム７０２及びコンテンツ配信デバイス７０８が統合されてよく、又は、プラットフォーム７０２、コンテンツサービスデバイス７０６及びコンテンツ配信デバイス７０８が統合されてよい。いくつかの実施形態では、プラットフォーム７０２及びディスプレイ７０４は統合されたユニットである。例えば、ディスプレイ７０４及びコンテンツサービスデバイス７０６が統合されてよく、又は、ディスプレイ７０４及びコンテンツ配信デバイス７０８が統合されてよい。
【００６０】
システム７００は、無線システム又は有線システムとして実装されうる。無線システムとして実装された場合、システム７００は、１または複数のアンテナ、送信機、受信機、トランシーバ、増幅器、フィルタ、制御ロジック及びその他のような、無線共有媒体上で通信するのに適した複数のコンポーネント及びインターフェースを含みうる。無線共有媒体の一例は、ＲＦスペクトルのような、無線スペクトルの一部を含んでよい。有線システムとして実装された場合、システム７００は、複数の入出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体に接続する複数の物理コネクタ、ネットワークインターフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ、又は同種のもののような、有線通信媒体で通信するために適した複数のコンポーネント及びインターフェースを含んでよい。有線通信媒体の複数の例は、ワイヤ、ケーブル、複数のメタルリード、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、ツイストペアワイヤ、同軸ケーブル、又はファイバーオプティックス等を含みうる。
【００６１】
プラットフォーム７０２は、情報を通信するべく、１または複数の論理チャネル又は物理チャネルを確立してよい。情報は、メディア情報及び制御情報を含みうる。メディア情報は、ユーザ向けコンテンツを表す任意のデータを指してもよい。コンテンツの複数の例は、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール（Ｅメール）メッセージ、ボイスメールメッセージ、複数の英数字のシンボル、グラフィックス、画像、ビデオ、テキスト、及び同種のものからのデータを含んでよい。音声会話からのデータは、例えば、スピーチ情報、沈黙期間、バックグラウンドノイズ、コンフォートノイズ、及びトーン等でありうる。制御情報は、自動化システム向けの、複数のコマンド、複数の命令、または複数の制御ワードを表している任意のデータを指してもよい。例えば、制御情報は、システムを通じてメディア情報をルーティングするべく、又は予め定められたやり方でメディア情報を処理するようノードに指示するべく用いられてもよい。しかし、複数の実施形態は、図８において示すまたは説明される要素または文脈に限定されるものではない。
【００６２】
図８は、複数の実施形態による、図７のシステム７００が具体化されうるスモールフォームファクタデバイス８００の概略図である。同様の数字が付けられたアイテムは、図７に関して説明されたものと同じである。いくつかの実施形態では、例えば、デバイス７００は、複数の無線機能を有するモバイルコンピューティングデバイスとして実装される。モバイルコンピューティングデバイスは、例えば、処理システム、及び１または複数のバッテリのようなモバイル電源又はサプライを有する任意のデバイスを指しうる。
【００６３】
上述のように、モバイルコンピューティングデバイスの複数の例は、パーソナルコンピュータ（ＰＣ），ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、及び同種のものを含んでよい。
【００６４】
モバイルコンピューティングデバイスの例は、また、リストコンピュータ、フィンガーコンピュータ、リングコンピュータ、アイグラスコンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、シューコンピュータ、衣類コンピュータ、又は任意の他の適切なタイプのウェアラブルコンピュータのような、人によって着用されるように配置されるコンピュータを含みうる。例えば、モバイルコンピューティングデバイスは、音声通信および／またはデータ通信とともに、複数のコンピュータアプリケーションを実行可能なスマートフォンとして実装されうる。いくつかの実施形態は、例として、スマートフォンとして実装されるモバイルコンピューティングデバイスにより説明されてもよいが、複数の他の実施形態は、同様に他の複数の無線モバイルコンピューティングデバイスを用いて実装されてもよいことが理解されよう。
【００６５】
図８に示すように、デバイス８００は、筐体８０２、ディスプレイ８０４、入出力（Ｉ／Ｏ）デバイス８０６、およびアンテナ８０８を有しうる。デバイス８００はまた、複数のナビゲーション機能８１０を含みうる。ディスプレイ８０４は、モバイルコンピューティングデバイスに適した情報を表示するための任意の適切なディスプレイユニットを含んでよい。Ｉ／Ｏデバイス８０６は、モバイルコンピューティングデバイスに情報を入力するのに適した任意のＩ／Ｏデバイスを含みうる。例えば、Ｉ／Ｏデバイス８０６は、英数字キーボード、テンキーパッド、タッチパッド、複数の入力キー、複数のボタン、複数のスイッチ、複数のロッカースイッチ、複数のマイク、複数のスピーカ、音声認識デバイス及びソフトウェア、又は同種のものを含みうる。情報はまた、マイクを用いてデバイス８００に入力されうる。そのような情報は、音声認識デバイスによってデジタル化されてよい。
【００６６】
複数の実施形態において、イメージキャプチャメカニズムは、Ｍｏｂｉｌｅ  Ｉｎｄｕｓｔｒｙ  Ｐｒｏｃｅｓｓｏｒ  Ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ）カメラシリアルインターフェース（ＣＳＩ）アライアンスによる仕様書に従い開発されたインターフェースを用いてホストプロセッサとインターフェースで接続するカメラデバイスでありうる。例えば、カメラシリアルインターフェースは、ＭＩＰＩ  ＣＳＩ−１インターフェース、ＭＩＰＩ  ＣＳＩ−２インターフェース、又はＭＩＰＩ  ＣＳＩ−３インターフェースでありうる。従って、カメラシリアルインターフェースは、現在開発されている又は今後開発される任意のカメラシリアルインターフェースでありうる。複数の実施形態では、カメラシリアルインターフェースは、データ及びクロック信号との一方向差動シリアルインターフェースであるデータ送信インターフェースを含みうる。さらに、ホストプロセッサとのカメラインターフェースはまた、現在開発されている又は今後開発される任意のカメラパラレルインターフェース（ＣＰＩ）でありうる。
【００６７】
複数の実施形態では、イメージキャプチャメカニズムは、モバイルコンピューティングデバイスのコンポーネントであってよい。例えば、ＭＩＰＩ  ＣＳＩアライアンス規格に従って開発されたカメラデバイスは、図６のデバイス６００、図７のシステム７００、図８のデバイス８００、又はそれらの任意の組み合わせの少なくとも１つ又は複数と統合されるイメージキャプチャメカニズムであってよい。イメージキャプチャメカニズムは、深度センサ、画像センサ、赤外線センサ、Ｘ線光子カウンティングセンサ又はそれらの任意の組み合わせのような、様々なセンサを含みうる。複数の画像センサは、電荷結合素子（ＣＣＤ）画像センサ、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、システムオンチップ（ＳＯＣ）画像センサ、感光性薄膜トランジスタを有する画像センサ、又はそれらの任意の組み合わせを含みうる。
【００６８】
例１
【００６９】
３Ｄ画像を向上させる装置は本開示で説明される。３Ｄ画像は、それに関連付けられた深度情報及びテクスチャ情報を含む。装置は、少なくとも部分的に深度情報に依存して、複数の表面メッシュセクションを有する３Ｄメッシュを生成するためのロジックと、少なくとも部分的にテクスチャ情報に依存して、複数の表面メッシュセクションに対応する複数のテクスチャセクションを決定するためのロジックとを含む。装置はまた、少なくとも部分的に複数のテクスチャセクションの色彩強度に依存して、テクスチャセクション及び対応する複数の表面メッシュセクションをランク付けするためのロジックと、１または複数の光源の複数の特性を調節して、色彩強度でランク付けされた複数のテクスチャセクションのうちの１または複数の色彩強度を変更し、それにより向上された画像を生成するためのロジックとを含む。
【００７０】
１または複数の光源の位置が決定され、１または複数の光源が、キャプチャされた後の３Ｄ画像に追加されうる。１または複数の光源はまた、キャプチャされたときに３Ｄ画像内に存在しうる。１または複数の光源の位置を決定するためのロジックは、少なくとも部分的に色彩強度でランク付けされた複数の画像テクスチャ及び対応する複数の表面メッシュ法線ベクトルに依存して、１または複数の光源ベクトルを用いて、３Ｄ画像内の複数の光源の位置を決定することを含みうる。１または複数の光源ベクトルを決定するためのロジックは、また、色彩強度でランク付けされた複数のテクスチャセクションの各々について、対応する光源ベクトルを決定し、光源ベクトルのセットを数学的に結合することを含みうる。色彩強度でランク付けされた複数のテクスチャセクションの色彩強度は、予め定められた閾値より小さい及びそれより大きいのうちの一方である色彩強度を有する複数のテクスチャセクションを含みうる。光源ベクトルを決定するためのロジックは、中間ベクトルを決定することを含んでよく、中間ベクトルは、ビューベクトルと、色彩強度でランク付けされた１または複数のテクスチャセクション及び表面メッシュセクションの各々に対する垂直なベクトルと、対応する表面ベクトルとの間のほぼ真ん中にある。少なくとも１つの光源の複数の特性を調節するためのロジックは、少なくとも１つの光源のうちの１または複数のブライトネス、色、色相、彩度、クロマ、明度、色彩強度、及びルミナンスの少なくとも１つを変更することを含みうる。少なくとも１つの光源の複数の特性を調節するためのロジックは、また、少なくとも１つの光源を追加及び除去することの一方を含みうる。表面メッシュ及び対応する複数のテクスチャは、複数の新たな光源を用いて再レンダリングされてよく、結果の画像は、また、出力されてよい。表面メッシュ及び対応する複数のテクスチャを再レンダリングして結果の画像を出力することは、予め定められた標準フォーマット、標準深度マップフォーマット、又は標準カメラ出力フォーマットで、色彩強度でランク付けされた複数の表面の少なくとも１つを提供することを含みうる。少なくとも１つの光源の複数の特性を調節するためのロジックは、向上された画像のレンダリングの前に、又は併せて実行されうる。さらに、装置は、プリントデバイス又はイメージキャプチャメカニズムでありうる。
【００７１】
例２
【００７２】
それに格納された複数の命令を有する少なくとも１つの非一時的機械読み出し可能媒体が説明される。複数の命令は、デバイス上で実行されることに応じて、デバイスに、３Ｄ画像に関連付けられた深度情報及びテクスチャ情報を抽出させ、複数の表面メッシュセクションを有する表面メッシュを深度情報から生成させる。複数の命令は、デバイスで実行されることに応じて、デバイスに、複数の表面メッシュセクションに対応する複数のテクスチャセクションを、テクスチャ情報から決定させ、複数のテクスチャセクション及び対応する複数の表面メッシュセクションを、それらの各自の色彩強度に関してランク付けさせる。更に、複数の命令は、デバイス上で実行されることに応じて、デバイスに、１または複数の光源の複数の特性を調節させて、それにより、色彩強度でランク付けされた複数のテクスチャセクションのうちの１または複数の色彩強度を変更して、向上された画像を生成させる。
【００７３】
少なくとも１つの光源の複数の特性を調節するための複数の命令は、３Ｄ画像に対して、１または複数の光源を追加又は除去するための複数の命令を含みうる。１または複数の光源の複数の特性を調節、追加又は除去するための複数の命令は、また、キャプチャされたときに３Ｄ画像内に存在する光源の複数の特性を調節、追加、又は除去するための複数の命令を含みうる。少なくとも１つの光源の位置が決定されうる。１または複数の光源の位置を決定するための複数の命令は、デバイス上で実行されることに応じて、色彩強度でランク付けされた複数のテクスチャセクションの各々に対して、対応する複数の表面メッシュセクションについての対応する光源ベクトルを決定し、複数の光源ベクトルを数学的に共に組み合わせる複数の命令をさらに含みうる。色彩強度でランク付けされた複数のテクスチャセクションは、予め定められた閾値未満及びそれより大きいのうちの一方である色彩強度を有する複数のテクスチャセクションを含みうる。少なくとも１つの光源の複数の特性を調節、追加、又は除去するための複数の命令は、デバイス上で実行されたときに、少なくとも１つの光源のうちの１または複数のブライトネス、色、色相、彩度、クロマ、明度、色彩強度、及びルミナンスのうちの少なくとも１つを変化させる複数の命令をさらに含みうる。少なくとも１つの光源の複数の特性を調節するための複数の命令は、デバイス上で実行された場合に、少なくとも１つの光源を追加又は除去する複数の命令をさらに含みうる。
【００７４】
非一時的機械読み出し可能媒体は、また、デバイス上で実行されたときに、複数の新たな光源を用いて、表面メッシュ及び対応する複数のテクスチャを再レンダリングし、向上された画像を出力する複数の命令を含みうる。向上された画像を出力するための複数の命令は、デバイス上で実行されたときに、また、複数のカメラ、センサ、２Ｄ又は３Ｄプリンタ、２Ｄ又は３Ｄディスプレイ、コンピュータグラフィックスシステム又はコンピュータシステムの間で、予め定められた標準フォーマット、標準深度マップフォーマット、標準カメラ出力フォーマット、標準媒体コーデックフォーマット、標準コンピュータグラフィックスフォーマット、標準３Ｄ深度ファイルフォーマット、又は標準プロトコルフォーマットで、色彩強度でランク付けされた複数の表面の少なくとも１つを提供する複数の命令をさらに含みうる。
【００７５】
例３
【００７６】
システムが本開示で説明される。システムは、格納された複数の命令を実行するように構成された中央処理ユニットと、中央処理ユニットにより読み取り可能な複数の命令を格納する少なくとも１つのメモリデバイスとを含み、複数の命令は、中央処理ユニットによって実行されたときに、３Ｄ画像から深度情報及びテクスチャ情報を抽出し、深度情報から、複数の表面メッシュセクションを有する表面メッシュを生成するように構成される。システムはまた、実行されたときに、複数の表面メッシュセクションに対応する複数のテクスチャセクションをテクスチャ情報から決定し、複数のテクスチャセクションを、それらの各自の色彩強度に関してランク付けし、１または複数の光源の複数の特性を調節、追加、又は除去して、それにより、色彩強度でランク付けされた複数のテクスチャセクションのうちの１または複数の色彩強度を変更し、それにより、向上された画像を生成するように構成された複数の命令を含みうる。
【００７７】
システムはさらに、３Ｄ画像及び関連付けられた深度情報及びテクスチャ情報をキャプチャするように構成された少なくとも１つのセンサを含みうる。複数の命令は、さらに、１または複数の光源の位置を決定するように構成される。複数の命令はまた、予め定められた閾値未満及びそれより大きいうちの一方である色彩強度を有する色彩強度でランク付けされた複数のテクスチャセクションの各々に対して、対応する光源ベクトルを決定し、複数の光源ベクトルを共に数学的に結合し、それにより、１または複数の光源の位置を決定するように構成されうる。複数の命令はまた、少なくとも１つの光源の複数の特性を調節して、１または複数の光源のうちの１または複数のものの、ブライトネス、色、色相、彩度、クロマ、明度、色彩強度、及びルミナンスの少なくとも１つを修正するように構成されうる。
【００７８】
更に、複数の命令は、１または複数の光源の複数の特性を調節するように構成されてよく、さらに、追加の光源を追加し、存在する複数の光源を除去するように構成される。複数の命令は、複数のカメラ、センサ、２Ｄ又は３Ｄプリンタ、２Ｄ又は３Ｄディスプレイ、コンピュータグラフィックスシステム又はコンピュータシステムの間で、予め定められた標準フォーマット、標準深度マップフォーマット、標準カメラ出力フォーマット、標準媒体コーデックフォーマット、標準コンピュータグラフィックスフォーマット、標準３Ｄ深度ファイルフォーマット、又は標準プロトコルフォーマットで、色彩強度でランク付けされた複数の表面を出力するようにさらに構成されうる。
【００７９】
複数のフロー図および／または状態図が、複数の実施形態を説明すべく本開示で用いられたが、複数の発明は、それらの図又は対応する本開示の説明に限定されないということは理解されるべきである。例えば、フローは、図示されたそれぞれのボックスまたは状態を経て進行する必要はないし、本明細書で図示および説明されているのと厳密に同じ順序で進行する必要もない。
【００８０】
複数の発明は、本開示で挙げられた特定の詳細に限定されない。実際、当業者であれば、前述の説明及び図面から多くの他のバリエーションが、本願発明の範囲内で行われうることは理解するであろう。従って、複数の本発明の範囲を定義するものは、いかなる変更をも含む以下の特許請求である。
【図１】
0006009099.tif 000002
【図２】
0006009099.tif 000003
【図３】
0006009099.tif 000004
【図４Ａ】
0006009099.tif 000005
【図４Ｂ】
0006009099.tif 000006
【図４Ｃ】
0006009099.tif 000007
【図５】
0006009099.tif 000008
【図６】
0006009099.tif 000009
【図７】
0006009099.tif 000010
【図８】
0006009099.tif 000011