(57)【要約】  特定の例示的実施形態は、ユーザインターフェースと、少なくとも１つのプロセッサ及びメモリを含む処理リソースと、を含む、電子デバイスに関する。メモリは、電子デバイスを使用する閲覧者と画像との間に仮想的に挿入される少なくとも１つの閲覧者選択製品を通して画像のビューをシミュレートするために、処理リソースによって実行可能なプログラムを記憶し、シミュレートは、画像を取得することと、ユーザインターフェースに関連した少なくとも１製品の閲覧者選択を容易にすることと、少なくとも１閲覧者選択製品に関連付けられた表示特性を取り出すことと、閲覧者選択製品ごとに、取り出された表示特性に基づいて、取得された画像に適用されるフィルタを生成することと、電子デバイスを介して表示するために、取得された画像に適用される生成されたフィルタ（複数可）に対応する出力画像を生成することと、を含む機能を実行することによって行われる。【選択図】図１３Ｅ
2022502771.tif 000002
【特許請求の範囲】
【請求項１】
電子デバイスであって、
ユーザインターフェースと、
少なくとも１つのプロセッサ及びメモリを含む処理リソースであって、前記メモリが、前記電子デバイスを使用する閲覧者と画像との間に仮想的に挿入される少なくとも１つの閲覧者選択製品を通して前記画像のビューをシミュレートするために、前記処理リソースによって実行可能なプログラムを記憶している、処理リソースと、を備え、前記シミュレートすることが、
前記画像を取得することと、
前記ユーザインターフェースと関連した前記少なくとも１つの製品の閲覧者選択を容易にすることと、
前記少なくとも１つの閲覧者選択製品と関連付けられた表示特性を取り出すことと、
前記閲覧者選択製品ごとに、取り出された表示特性に基づいて、取得された前記画像に適用されるフィルタを生成することと、
前記電子デバイスを介して表示するために、取得された前記画像に適用されている生成された前記フィルタ（複数可）に対応する出力画像を生成することと、を含む機能を実行することによって行われる、電子デバイス。
【請求項２】
前記プログラムが、予め記憶された画像のストアからの前記画像の閲覧者選択を容易にすることを含む更なる機能を実行するように実行可能であり、
前記画像を前記取得することが、前記ストアから、前記閲覧者選択画像を取り出すことを含む、請求項１に記載の電子デバイス。
【請求項３】
前記画像を前記取得することが、前記電子デバイスに動作可能に接続されたカメラから前記画像を得ることを含む、請求項１又は２に記載の電子デバイス。
【請求項４】
前記カメラが、少なくとも１５０度の視野を有する、請求項３に記載の電子デバイス。
【請求項５】
取得された前記画像が静止画像である、請求項２〜４のいずれか一項に記載の電子デバイス。
【請求項６】
取得された前記画像がビデオである、請求項２〜４のいずれか一項に記載の電子デバイス。
【請求項７】
前記少なくとも１つの製品の閲覧者選択を前記容易にすることは、前記閲覧者が、複数の予め構成された製品候補から前記少なくとも１つの製品を選択することを可能にすることを含む、請求項１〜６のいずれか一項に記載の電子デバイス。
【請求項８】
前記複数の予め構成された製品候補が、少なくとも１つのコーティングされた物品、少なくとも１つの絶縁ガラス（ＩＧ）ユニット、少なくとも１つの真空絶縁ガラス（ＶＩＧ）ユニット、及び／又は少なくとも１つの積層製品を含む、請求項７に記載の電子デバイス。
【請求項９】
前記予め構成された製品候補の各々が、その構成部品に関して指定され、前記構成部品が、前記それぞれの予め構成された製品候補に適切な、基材材料候補（複数可）、基材厚さ（複数可）、コーティング（複数可）、コーティング配置（複数可）、及び／又は積層材料（複数可）を含む、請求項７又は８に記載の電子デバイス。
【請求項１０】
前記少なくとも１つの製品の閲覧者選択を前記容易にすることは、前記閲覧者が、カスタマイズされた製品を構成することを可能にすることを含む、請求項１〜９のいずれか一項に記載の電子デバイス。
【請求項１１】
前記カスタマイズされた製品が、構成部品に関して構成可能であり、前記構成部品が、前記カスタマイズされた製品に適切な、基材材料候補（複数可）、基材厚さ（複数可）、コーティング（複数可）、コーティング配置（複数可）、及び／又は積層材料（複数可）を含む、１０に記載の電子デバイス。
【請求項１２】
多数の製品が閲覧者選択可能である、請求項１〜１１のいずれか一項に記載の電子デバイス。
【請求項１３】
前記閲覧者選択製品ごとに異なるフィルタが生成され、前記異なるフィルタが、１つの出力画像を生成する際に、取得された前記画像の異なる領域に適用される、請求項１２に記載の電子デバイス。
【請求項１４】
前記表示特性が、前記少なくとも１つの閲覧者選択製品の光学特性に対応する、請求項１〜１３のいずれか一項に記載の電子デバイス。
【請求項１５】
前記表示特性が、前記少なくとも１つの閲覧者選択製品の透過、反射、及び色関連光学特性に関連付けられている、請求項１４に記載の電子デバイス。
【請求項１６】
前記表示特性がデータベースから取り出される、請求項１〜１５のいずれか一項に記載の電子デバイス。
【請求項１７】
通信インターフェースを更に備え、前記データベースが、前記電子デバイスから離れて位置し、前記通信インターフェースを介してアクセスされる、請求項１６に記載の電子デバイス。
【請求項１８】
前記表示特性が計算される、請求項１〜１５のいずれか一項に記載の電子デバイス。
【請求項１９】
前記表示特性を前記計算することは、前記出力画像が提供されるディスプレイデバイスの特徴に少なくとも部分的に基づく、請求項１８に記載の電子デバイス。
【請求項２０】
前記プログラムが、
前記電子デバイスと前記閲覧者との間の相対移動を検出することと、
前記電子デバイスと前記閲覧者との間の相対移動の検出に応答して、前記電子デバイスを介して表示するために、検出された前記相対移動を反映する更新された出力画像を生成することと、を含む更なる機能を実行するように実行可能である、請求項１〜１９のいずれか一項に記載の電子デバイス。
【請求項２１】
前記プログラムが、前記電子デバイスと前記閲覧者との間の相対移動の前記検出に応答して、
前記少なくとも１つの閲覧者選択製品に関連付けられた取り出された前記表示特性が、前記相対移動の後に依然として適用されるかどうかを判定することと、
前記少なくとも１つの閲覧者選択製品に関連付けられた取り出された前記表示特性が、前記相対移動の後にもはや適用されないという判定に応答して、
前記少なくとも１つの閲覧者選択製品に関連付けられた更新された表示特性を取り出すことと、
前記閲覧者選択製品ごとに、取り出された表示特性に基づいて、取得された前記画像に適用される更新されたフィルタを生成することと、
更新された前記フィルタ（複数可）に関連して、更新された前記出力画像を生成することと、を含む更なる機能を実行するように実行可能である、請求項２０に記載の電子デバイス。
【請求項２２】
前記少なくとも１つの閲覧者選択製品に関連付けられた取り出された前記表示特性が、前記相対移動の後に依然として適用されるかどうかを前記判定することは、前記移動が、配向の変化を伴わない位置の変化に対応するかどうかに関する判定に基づく、請求項２１に記載の電子デバイス。
【請求項２３】
１つ以上の慣性センサを更に備え、前記１つ以上の慣性センサが、前記電子デバイスの配向の変化を検出するように構成されている、請求項２２に記載の電子デバイス。
【請求項２４】
前記相対移動が、前記電子デバイスの移動に対応する、請求項２０〜２３のいずれか一項に記載の電子デバイス。
【請求項２５】
前記電子デバイスの前記移動が、前記電子デバイスの位置及び／又は配向の変化である、請求項２４に記載の電子デバイス。
【請求項２６】
前記相対移動が、前記閲覧者の移動に対応する、請求項２０〜２３のいずれか一項に記載の電子デバイス。
【請求項２７】
前記移動が、前記閲覧者の位置の変化を含む、請求項２６に記載の電子デバイス。
【請求項２８】
前記相対移動が、前記閲覧者の視線のシフトに対応する、請求項２０〜２３のいずれか一項に記載の電子デバイス。
【請求項２９】
少なくとも１つのユーザに面するカメラを更に備え、前記ユーザに面するカメラは、前記閲覧者の視線にシフトがあったかどうかに関する判定に関連して、眼及び／又は顔追跡を実行するために前記プログラムによって処理可能な信号を提供するように構成されている、請求項２０〜２３のいずれか一項に記載の電子デバイス。
【請求項３０】
前記眼及び／又は顔追跡は、前記デバイス及び／又は前記閲覧者が移動している間に実行可能である、請求項２９に記載の電子デバイス。
【請求項３１】
更新された前記表示特性が、前記少なくとも１つの閲覧者選択製品の軸外透過、反射、及び色関連光学特性に関連付けられている、請求項２１〜２３のいずれか一項に記載の電子デバイス。
【請求項３２】
前記出力画像が表示されるディスプレイデバイスを更に備える、請求項１〜３１のいずれか一項に記載の電子デバイス。
【請求項３３】
少なくとも１５０度の視野を有する少なくとも１つのカメラが、前記電子デバイスに動作可能に接続されている、請求項１〜３２のいずれか一項に記載の電子デバイス。
【請求項３４】
それぞれ、略前記閲覧者に向かって、及び略前記閲覧者に背を向けて配向された第１のカメラ及び第２のカメラを更に備える、請求項１〜３２のいずれか一項に記載の電子デバイス。
【請求項３５】
スマートフォン又はタブレットである、請求項１〜３４のいずれか一項に記載の電子デバイス。
【請求項３６】
電子デバイスを使用する閲覧者と画像との間に仮想的に挿入される少なくとも１つの閲覧者選択製品を通して前記画像のビューをシミュレートする方法であって、前記電子デバイスが、少なくとも１つのプロセッサ及びメモリを含む処理リソースを含み、前記方法が、
前記画像を取得することと、
前記電子デバイス上で実行されるユーザインターフェースに関連した前記少なくとも１つの製品の閲覧者選択を容易にすることと、
前記少なくとも１つの閲覧者選択製品に関連付けられた表示特性を取り出すことと、
前記閲覧者選択製品ごとに、取り出された表示特性に基づいて、取得された前記画像に適用されるフィルタを生成することと、
前記電子デバイスを介して表示するために、取得された前記画像に適用される生成された前記フィルタ（複数可）に対応する出力画像を生成することと、を含む、方法。
【請求項３７】
予め記憶された画像のストアからの前記画像の閲覧者選択を容易にすることを更に含み、
前記画像を前記取得することが、前記ストアから、前記閲覧者選択画像を取り出すことを含む、請求項３６に記載の方法。
【請求項３８】
前記画像を前記取得することが、前記電子デバイスに動作可能に接続されたカメラから前記画像を得ることを含む、請求項３６又は３７に記載の方法。
【請求項３９】
前記カメラが、少なくとも１５０度の視野を有する、請求項３８に記載の方法。
【請求項４０】
取得された前記画像が静止画像である、請求項３７〜３９のいずれか一項に記載の方法。
【請求項４１】
取得された前記画像がビデオである、請求項３７〜３９のいずれか一項に記載の方法。
【請求項４２】
前記少なくとも１つの製品の閲覧者選択を前記容易にすることは、前記閲覧者が、複数の予め構成された製品候補から前記少なくとも１つの製品を選択することを可能にすることを含む、請求項３６〜４１のいずれか一項に記載の方法。
【請求項４３】
前記複数の予め構成された製品候補が、少なくとも１つのコーティングされた物品、少なくとも１つの絶縁ガラス（ＩＧ）ユニット、少なくとも１つの真空絶縁ガラス（ＶＩＧ）ユニット、及び／又は少なくとも１つの積層製品を含む、請求項４２に記載の方法。
【請求項４４】
前記予め構成された製品候補の各々が、その構成部品に関して指定され、前記構成部品が、前記それぞれの予め構成された製品候補に適切な基材材料候補（複数可）、基材厚さ（複数可）、コーティング（複数可）、コーティング配置（複数可）、及び／又は積層材料（複数可）を含む、請求項４２又は４３に記載の方法。
【請求項４５】
前記少なくとも１つの製品の閲覧者選択を前記容易にすることは、前記閲覧者が、カスタマイズされた製品を構成することを可能にすることを含む、請求項３６〜４４のいずれか一項に記載の方法。
【請求項４６】
前記カスタマイズされた製品が構成部品に関して構成可能であり、前記構成部品が、前記カスタマイズされた製品に適切な、基材材料候補（複数可）、基材厚さ（複数可）、コーティング（複数可）、コーティング配置（複数可）、及び／又は積層材料（複数可）を含む、４５の方法。
【請求項４７】
多数の製品が閲覧者選択可能である、請求項３６〜４６のいずれか一項に記載の方法。
【請求項４８】
前記閲覧者選択製品ごとに異なるフィルタが生成され、前記異なるフィルタが、１つの出力画像を生成する際に、取得された前記画像の異なる領域に適用される、請求項４７に記載の方法。
【請求項４９】
前記表示特性が、前記少なくとも１つの閲覧者選択製品の光学特性に対応する、請求項３６〜４８のいずれか一項に記載の方法。
【請求項５０】
前記表示特性が、前記少なくとも１つの閲覧者選択製品の透過、反射、及び色関連光学特性に関連付けられている、請求項４９に記載の方法。
【請求項５１】
前記表示特性がデータベースから取り出される、請求項３６〜５０のいずれか一項に記載の方法。
【請求項５２】
前記電子デバイスが、通信インターフェースを更に備え、前記データベースが、前記電子デバイスから離れて位置し、前記通信インターフェースを介してアクセスされる、請求項５１に記載の方法。
【請求項５３】
前記表示特性が計算される、請求項３６〜５０のいずれか一項に記載の方法。
【請求項５４】
前記表示特性を前記計算することは、前記出力画像が提供されるディスプレイデバイスの特徴に少なくとも部分的に基づく、請求項５３に記載の方法。
【請求項５５】
前記電子デバイスと前記閲覧者との間の相対移動を検出することと、
前記電子デバイスと前記閲覧者との間の相対移動の検出に応答して、前記電子デバイスを介して表示するために、検出された前記相対移動を反映する更新された出力画像を生成することと、を更に含む、請求項３６〜５４のいずれか一項に記載の方法。
【請求項５６】
前記電子デバイスと前記閲覧者との間の相対移動の前記検出に応答して、
前記少なくとも１つの閲覧者選択製品に関連付けられた取り出された前記表示特性が、前記相対移動の後に依然として適用されるかどうかを判定することと、
前記少なくとも１つの閲覧者選択製品に関連付けられた取り出された前記表示特性が、前記相対移動の後にもはや適用されないという判定に応答して、
前記少なくとも１つの閲覧者選択製品に関連付けられた更新された表示特性を取り出すことと、
前記閲覧者選択製品ごとに、取り出された表示特性に基づいて、取得された前記画像に適用される更新されたフィルタを生成することと、
更新された前記フィルタ（複数可）に関連して、更新された前記出力画像を生成することと、を更に含む、請求項５５に記載の方法。
【請求項５７】
前記少なくとも１つの閲覧者選択製品に関連付けられた取り出された前記表示特性が、前記相対移動の後に依然として適用されるかどうかを前記判定することは、前記移動が、配向の変化を伴わない位置の変化に対応するかどうかに関する判定に基づく、請求項５６に記載の方法。
【請求項５８】
前記電子デバイスが、１つ以上の慣性センサを更に備え、前記１つ以上の慣性センサが、前記電子デバイスの配向の変化を検出するように構成されている、請求項５７に記載の方法。
【請求項５９】
前記相対移動が、前記電子デバイスの移動に対応する、請求項５５〜５８のいずれか一項に記載の方法。
【請求項６０】
前記電子デバイスの前記移動が、前記電子デバイスの位置及び／又は配向の変化である、請求項５９に記載の方法。
【請求項６１】
前記相対移動が、前記閲覧者の移動に対応する、請求項５５〜５８のいずれか一項に記載の方法。
【請求項６２】
前記移動が、前記閲覧者の位置の変化を含む、請求項６１に記載の方法。
【請求項６３】
前記相対移動が、前記閲覧者の視線のシフトに対応する、請求項５５〜５８のいずれか一項に記載の方法。
【請求項６４】
前記電子デバイスが、少なくとも１つのユーザに面するカメラを更に備え、前記ユーザに面するカメラは、前記閲覧者の視線にシフトがあったかどうかに関する判定に関連して、眼及び／又は顔追跡を実行するために処理可能な信号を提供するように構成されている、請求項５５〜５８のいずれか一項に記載の方法。
【請求項６５】
前記眼及び／又は顔追跡は、前記デバイス及び／又は前記閲覧者が移動している間に実行可能である、請求項６４に記載の方法。
【請求項６６】
更新された前記表示特性が、前記少なくとも１つの閲覧者選択製品の軸外透過、反射、及び色関連光学特性に関連付けられている、請求項５６〜５８のいずれか一項に記載の方法。
【請求項６７】
前記電子デバイスは、前記出力画像が表示されるディスプレイデバイスを更に備える、請求項３６〜６６のいずれか一項に記載の方法。
【請求項６８】
少なくとも１５０度の視野を有する少なくとも１つのカメラが、前記電子デバイスに動作可能に接続されている、請求項３６〜６７のいずれか一項に記載の方法。
【請求項６９】
前記電子デバイスが、それぞれ、略前記閲覧者に向かって、及び略前記閲覧者に背を向けて配向された第１のカメラ及び第２のカメラを更に備える、請求項３６〜６７のいずれか一項に記載の方法。
【請求項７０】
前記電子デバイスがスマートフォン又はタブレットである、請求項３６〜６９のいずれか一項に記載の方法。
【請求項７１】
計算デバイスのプロセッサによって実行されたとき、請求項３６〜７０のいずれか一項に記載の方法を実行するプログラムをタンジブルに記憶している非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（優先権の主張）
本出願は、２０１８年９月２６日に出願された米国特許出願第６２／７３６，５３８号の優先権を主張し、その全容は参照により本明細書に組み込まれる。
【０００２】
（発明の分野）
本発明の特定の例示的実施形態は、基材、コーティングされた物品、絶縁ガラスユニット、及び／又は同様のもののための拡張現実システム及び方法に関する。
【背景技術】
【０００３】
ガラスは、美的目的のために建築物及び他の構造に組み込まれている。例えば、建築物を設計する設計建築家は、しばしば、所与の射影のために特定の色合い、可視光透過量、可視光反射量、及び／又は他の美的特性を望むことになり、例えば、その美的魅力を向上させるために、それを他の射影とは別に設定し、特定の「近隣の感覚」に適合させる。
【０００４】
ガラスは多数の効果を示し、その多くは微妙である。更に一層微妙な効果は、例えば、多くの階数を有するオフィスビルの場合のように広い領域にわたって拡大された場合、審美性に重大な影響を及ぼすことができる。述べられた色合いなどのより容易に知覚可能な態様は、設計建築家によってある程度把握することができるが、透過及び／又は反射のわずかな変化がどのように射影に影響し得るかを測定することはしばしば困難である。当然のことながら、色合いのように単純に思われる特性であっても、容易に理解され得ない多くの細かい階調が存在する。
【０００５】
更に、透過、反射、色合い、ヘイズ、及び同様のものに関連する「軸外」特性も、射影の全体的な審美性に重大な影響を及ぼすことができる。換言すれば、色合い、透過、及び反射などの特性は、典型的には公称値として報告されているが、そのような公称値は、一般に、直交する視点を仮定し、したがって、（例えば）ファサードがある角度で見られたときにどのように知覚され得るか、又はある角度で立っているか若しくは眺めているときに建築物の外側がどのように見られ得るかを、完全かつ正確に反映しない。
【０００６】
これらの問題に対処するのを助けるために、設計建築家は、サンプル製品のコレクションを手元に有することがある。加えて、いく人かの建築家は、自分たちの仕様に従って建築されるサンプル製品を注文する。しかしながら、残念ながら、サンプルの多くのコレクションを維持することはしばしば困難である。例えば、そのようなコレクションは、例えば、機能性コーティング（例えば、低放射率、反射防止、及び／又は他のコーティング）に関連する技術が前進し続けたり、建築物の認定及び標準が変化したりなどすると、かなり迅速に時代遅れになり得る。サンプルの有意なコレクションのための保存要件も問題となり得る。
【０００７】
サンプル製品を注文することになり、正確な仕様に従って建築されたものであってさえも、残念なことに廃棄物が生じる。また、設計建築家が考えるものが注文されているものと、実際に送達されているものとの間には、大きい乖離がしばしばあることも判明している。この不一致は、サンプル送達及び廃棄の手法に関して、一部の建築家のフラストレーションの増加をもたらしたことが観察されている。また、建築会社全般が、それらのサンプルライブラリを排除することに移行していることも観察されている。
【０００８】
本出願の譲受人は、様々な構成可能な製品に関して正確な光学情報を提供する「ガラス計算機」を開発した。このガラス計算機は、ユーザが、絶縁ガラス（insulating glass、ＩＧ）ユニット用のガラスのタイプ、ガラス厚さ、コーティング、コーティング場所、スペーサ構成などを指定することを可能にする。指定されると、ガラス計算機は、カスタム構成に期待される光学特性に関する詳細な情報を生成及び表示する。ガラス計算機は、ガラス作製者にとって貴重なツールであることが証明されている。しかしながら、残念ながら、設計建築家は、ガラス計算機の詳細な出力を完全に理解することができない場合がある。更に、設計分野では、「百聞は一見にしかず」であり、計算機は、この点で実際のサンプルの代わりとなることはできない。また、ガラス計算機は、作製者を念頭に置いて作成されたため、設計建築家が、自分たちにとって意味のあるフォーマット及び「言語」で設計上の課題を迅速に解決することは、容易でないか又は直感的でない。
【０００９】
したがって、当技術分野において、窓の「外側に」立って「内側を見ている」とき、及び窓の「内側に」立って「外側を見ている」ときを含む、窓の性能を設計建築家が視覚化するのを助けるように設計されたツールに対する必要性が存在することが理解されるであろう。
【発明の概要】
【００１０】
特定の例示的実施形態は、これら及び／又は他の懸念事項に対処するのを助ける。例えば、特定の例示的実施形態は、電子デバイスが窓であるかのように使用され得るように、拡張現実（augmented reality、ＡＲ）技術を適用する。特定の例示的実施形態では、ユーザは、窓の態様を選択することができる。ユーザは、デバイスを使用して、例えば、デバイスをユーザと１つ以上のオブジェクトとの間に配置し、デバイスが１つ以上のオブジェクトのフレームであるかのように（デバイスの及び／又はデバイスに結合されたカメラ、ディスプレイ、及び／又は他のハードウェア要素を使用して）デバイスを「通して」見ることによって、１つ以上のオブジェクトを「フレーム化」する。特定の例示的実施形態における「フレーム化」は、デバイス及びオブジェクトに対するユーザの視線の配向の判定に基づく画像処理を含む。１つ以上のカメラ（例えば、３６０度カメラ、２つの１８０度カメラ、及び／又は同様のもの）を使用して、例えば、顔及び／又は眼追跡アルゴリズムを使用して、人間のユーザがどこを見ているか、及び人間のユーザが何を見ているかを判定するのを助ける。一旦判定されると、画像化されているオブジェクト（複数可）がディスプレイ上に表示され、カスタムフィルタがその上に適用されて、窓の効果がシミュレートされる。フィルタは、場合によっては、窓の選択された態様に関連する仕様、並びに仮想窓に対するユーザの位置及び／又は配向に基づいてカスタム生成される（場合によっては、スペクトルデータによって駆動されるか、又は少なくともそれを伴う場合がある）。
【００１１】
一般にモバイルデバイス上での両辺型魚眼カメラの使用は希少であり、特定の例示的実施形態は、この希少な配置を使用することに留意されたい。例えば、特定の例示的実施形態は、ターゲットに面するカメラ（又はカメラビュー）にのみ適用されるフィルタを通してガラスサンプルの透過画像の処理を隔離し、同様に、ユーザに面するカメラ（又はカメラビュー）から画像に関連する反射特性の処理を隔離する。
【００１２】
特定の例示的実施形態は、ユーザインターフェースと、少なくとも１つのプロセッサ及びメモリを含む処理リソースと、を含む、電子デバイスに関する。メモリは、電子デバイスを使用する閲覧者と画像との間に仮想的に挿入される少なくとも１つの閲覧者選択製品を通して画像のビューをシミュレートするために、処理リソースによって実行可能なプログラムを記憶し、シミュレートすることは、画像を取得することと、ユーザインターフェースに関連した少なくとも１つの製品の閲覧者選択を容易にすることと、少なくとも１つの閲覧者選択製品に関連付けられた表示特性を取り出すことと、閲覧者選択製品ごとに、取り出された表示特性に基づいて、取得された画像に適用されるフィルタを生成することと、電子デバイスを介して表示するために、取得された画像に適用される生成されたフィルタ（複数可）に対応する出力画像を生成することと、を含む機能を実行することによって行われる。特定の例示的実施形態における電子デバイスは、スマートフォン、タブレット、及び／又は同様のものであってもよい。
【００１３】
特定の例示的実施形態は、本明細書に記載の電子デバイスを使用する方法に関する。同様に、特定の例示的実施形態は、計算デバイスのプロセッサによって実行されたとき、そのような方法を実行するプログラムをタンジブルに記憶している非一時的コンピュータ可読記憶媒体に関する。更に他の例示的実施形態は、プログラム自体に関する。
【００１４】
本明細書に記載の特徴、態様、利点、及び例示的実施形態は、また更なる実施形態を実現するために組み合わされてもよい。
【００１５】
これら及び他の特徴及び利点は、図面と併せて、例示的実施形態の以下の詳細な説明を参照することによって、より良好かつより完全に理解され得る。
【図面の簡単な説明】
【００１６】
【図１】ユーザとシーンの両方がデバイスに直交している場合に、電子計算デバイスを使用して実社会シーンを閲覧しているユーザを示す。
【図２】図１と同様であるが、デバイスのカメラがオブジェクトに対して垂直ビューに留まっている間に、電子デバイスのディスプレイに対してオフノーマルな閲覧角度をとっているユーザを示す。
【図３】図１と同様でもあるが、ユーザの視線が対象シーンと位置合わせされるが、ターゲットに面するカメラはそうではないときにどのように問題が生じ得るかを示す。
【図４Ａ】ユーザビューとデバイスビューが両方とも、特定の例示的実施形態の改善されたデバイスに直交する状況を示す。
【図４Ｂ】特定の例示的実施形態に係る、例えば、一点鎖線によって表されるような図４Ａのセットアップに与えられた、ユーザの視点を識別するユーザに面するカメラを示す。
【図５Ａ】デバイスビューが特定の例示的実施形態の改善されたデバイスに直交する一方で、ユーザビューはそうではない状況を示す。
【図５Ｂ】特定の例示的実施形態に係る、例えば、一点鎖線によって表されるような図５Ａのセットアップに与えられた、ユーザの視点を識別するユーザに面するカメラを示す。
【図６Ａ】デバイスビューもユーザビューも、特定の例示的実施形態の改善されたデバイスに直交しない状況を示す。
【図６Ｂ】特定の例示的実施形態に係る、例えば、一点鎖線によって表されるような図６Ａのセットアップに与えられた、ユーザの視点を識別するユーザに面するカメラを示す。
【図７】特定の例示的実施形態に関連して構成され得る例示的な電子デバイスのブロック図である。
【図８Ａ】特定の例示的実施形態に関連してどのように座標空間分解能が達成され得るかを論証するのを助ける。
【図８Ｂ】特定の例示的実施形態に関連してどのように座標空間分解能が達成され得るかを論証するのを助ける。
【図８Ｃ】特定の例示的実施形態に関連してどのように座標空間分解能が達成され得るかを論証するのを助ける。
【図８Ｄ】特定の例示的実施形態に関連してどのように座標空間分解能が達成され得るかを論証するのを助ける。
【図８Ｅ】特定の例示的実施形態に関連してどのように座標空間分解能が達成され得るかを論証するのを助ける。
【図８Ｆ】特定の例示的実施形態に関連してどのように座標空間分解能が達成され得るかを論証するのを助ける。
【図８Ｇ】特定の例示的実施形態に関連してどのように座標空間分解能が達成され得るかを論証するのを助ける。
【図８Ｈ】特定の例示的実施形態に関連してどのように座標空間分解能が達成され得るかを論証するのを助ける。
【図９】特定の例示的実施形態に関連して使用され得る、顔検出及び位置決めのための例示的プロセスを示すフローチャートである。
【図１０】特定の例示的実施形態に関連して使用され得る、ターゲットに面する（後方）画像レンダリングのための例示的プロセスを示すフローチャートである。
【図１１】特定の例示的実施形態に関連して使用され得る、ユーザに面する（前方）画像レンダリングのための例示的プロセスを示すフローチャートである。
【図１２Ａ】特定の例示的実施形態に係る、人間の閲覧者が図７の例示的デバイスのバージョンを使用して、オブジェクトが窓の反対側に位置しているかのようにそのオブジェクトを閲覧するための、例示的なセットアップを示す。
【図１２Ｂ】特定の例示的実施形態に係る、人間の閲覧者が図７の例示的デバイスのバージョンを使用して、オブジェクトが窓の反対側に位置しているかのようにそのオブジェクトを閲覧するための、例示的なセットアップを示す。
【図１２Ｃ】特定の例示的実施形態に係る、人間の閲覧者が図７の例示的デバイスのバージョンを使用して、オブジェクトが窓の反対側に位置しているかのようにそのオブジェクトを閲覧するための、例示的なセットアップを示す。
【図１３】特定の例示的実施形態に係る、図１２Ａ〜図１２Ｃの例示的なセットアップで動作するように図７の例示的デバイスのバージョンを制御するための例示的プロセスを示すフローチャートである。
【図１３Ａ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｂ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｃ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｄ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｅ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｆ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｇ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｈ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｉ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｊ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｋ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｌ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｍ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｎ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｏ】特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。
【図１３Ｐ】特定の例示的実施形態に係る例示的な見本選択のスクリーンショットである。
【図１３Ｑ】特定の例示的実施形態に係る例示的な見本選択のスクリーンショットである。
【図１３Ｒ】特定の例示的実施形態に係る例示的な見本選択のスクリーンショットである。
【図１３Ｓ】特定の例示的実施形態に係る例示的な見本選択のスクリーンショットである。
【図１４Ａ】特定の例示的実施形態に係る、異なる視点の共有適用例のために図７の例示的デバイスのバージョンを使用している人間の閲覧者を示す異なる例示的なセットアップである。
【図１４Ｂ】特定の例示的実施形態に係る、異なる視点の共有適用例のために図７の例示的デバイスのバージョンを使用している人間の閲覧者を示す異なる例示的なセットアップである。
【図１４Ｃ】特定の例示的実施形態に係る、異なる視点の共有適用例のために図７の例示的デバイスのバージョンを使用している人間の閲覧者を示す異なる例示的なセットアップである。
【図１５Ａ】特定の例示的実施形態を使用することができる「ショウアンドテル」シナリオに関連するように、閲覧者が自分たちの前のシーンをブロックするときの「自然な挙動」を示すのを助ける。
【図１５Ｂ】特定の例示的実施形態を使用することができる「ショウアンドテル」シナリオに関連するように、閲覧者が自分たちの前のシーンをブロックするときの「自然な挙動」を示すのを助ける。
【図１５Ｃ】特定の例示的実施形態を使用することができる「ショウアンドテル」シナリオに関連するように、閲覧者が自分たちの前のシーンをブロックするときの「自然な挙動」を示すのを助ける。
【図１５Ｄ】特定の例示的実施形態を使用することができる「ショウアンドテル」シナリオに関連するように、閲覧者が自分たちの前のシーンをブロックするときの「自然な挙動」を示すのを助ける。
【図１６Ａ】特定の例示的実施形態を使用することができる「リモート存在」シナリオに関連するように、背景の前のスピーカのビューによって見られるような、視点シフトの「自然な挙動」を示すのを助ける。
【図１６Ｂ】特定の例示的実施形態を使用することができる「リモート存在」シナリオに関連するように、背景の前のスピーカのビューによって見られるような、視点シフトの「自然な挙動」を示すのを助ける。
【図１６Ｃ】特定の例示的実施形態を使用することができる「リモート存在」シナリオに関連するように、背景の前のスピーカのビューによって見られるような、視点シフトの「自然な挙動」を示すのを助ける。
【図１７Ａ】特定の例示的実施形態に係る、リモート操縦入力システムに依存してどのように視点が変化し得るかを示すのを助ける。
【図１７Ｂ】特定の例示的実施形態に係る、リモート操縦入力システムに依存してどのように視点が変化し得るかを示すのを助ける。
【図１８Ａ】特定の例示的実施形態における、どのように視覚情報が視点依存シーンにオーバーレイされ得るかについての説明を提供する。
【図１８Ｂ】特定の例示的実施形態における、どのように視覚情報が視点依存シーンにオーバーレイされ得るかについての説明を提供する。
【図１９】特定の例示的実施形態に係る、全エクイレクタングラ画像空間に関連する概念を論証するのを助ける。
【図２０】特定の例示的実施形態に係る、全エクイレクタングラ画像空間に関連する概念を論証するのを助ける。
【図２１】特定の例示的実施形態に係る、半エクイレクタングラ画像空間に関連する概念を論証するのを助ける。
【図２２】特定の例示的実施形態に係る、半エクイレクタングラ画像空間に関連する概念を論証するのを助ける。
【図２３】特定の例示的実施形態に係る、魚眼画像空間に関連する概念を論証するのを助ける。
【図２４】特定の例示的実施形態に係る、魚眼画像空間に関連する概念を論証するのを助ける。
【図２５】特定の例示的実施形態に係る、表示画像空間に関連する概念を論証するのを助ける。
【図２６】特定の例示的実施形態に係る、全世界空間に関連する概念を論証するのを助ける。
【図２７】特定の例示的実施形態に係る、全世界空間に関連する概念を論証するのを助ける。
【図２８】特定の例示的実施形態に係る、全世界空間に関連する概念を論証するのを助ける。
【図２９】特定の例示的実施形態に係る、半世界空間に関連する概念を論証するのを助ける。
【図３０】特定の例示的実施形態に係る、半世界空間に関連する概念を論証するのを助ける。
【図３１】特定の例示的実施形態に係る、半世界空間に関連する概念を論証するのを助ける。
【図３２】特定の例示的実施形態に係る、半世界空間に関連する概念を論証するのを助ける。
【図３３】特定の例示的実施形態に関連して使用され得る後方画像ワーピング技術を論証するのを助ける。
【図３４】特定の例示的実施形態に関連して使用され得る例示的なインポートスクリーンである。
【図３５】特定の例示的実施形態に関連して使用され得る例示的なインポートスクリーンである。
【図３６Ａ】魚眼画像の態様を論証するのを助ける。
【図３６Ｂ】魚眼画像の態様を論証するのを助ける。
【図３６Ｃ】魚眼画像の態様を論証するのを助ける。
【図３６Ｄ】魚眼画像の態様を論証するのを助ける。
【図３６Ｅ】魚眼画像の態様を論証するのを助ける。
【図３７】ゼロ視差点に関連する概念を論証するのを助ける。
【図３８】線形化曲線のための点を測定するための例示的なセットアップを示す。
【図３９】図３８のセットアップを使用してとられた例示的測定値を示すグラフである。
【図４０】線形化曲線のための点を測定するための別の手法を示す。
【図４１】線形化曲線のための点を測定するための別の手法を示す。
【図４２】線形化曲線のための点を測定するための更に別の手法を示す。
【図４３】線形化曲線のための点を測定するための更に別の手法を示す。
【図４４Ａ】特定の例示的実施形態に係る、本明細書に記載される特定の例示的技術をどのように使用して合成画像を見ることができるかを示すフローチャートである。
【図４４Ｂ】特定の例示的実施形態に係る、本明細書に記載される特定の例示的技術をどのように使用して合成画像を見ることができるかを示すフローチャートである。
【発明を実施するための形態】
【００１７】
本発明の特定の例示的実施形態は、基材、コーティングされた物品、絶縁ガラスユニット、及び／又は同様のもののための拡張現実システム（ＡＲ）及び方法に関する。例えば、特定の例示的実施形態は、例えば、反射、透過、色合い、ヘイズ、及び／又は同様のものを含む、ガラスシミュレーションの実行をシミュレートするために使用されてもよい。特定の例示的実施形態では、窓の固有の光学特徴（例えば、コーティングされていない基材、スパッタリング及び／又は他のコーティングを支持するフロートガラスなどのコーティングされた物品、絶縁ガラス（ＩＧ）ユニットなど）を複製する合成画像をストリーミングする。このようなレンダリングは、例えば、ユーザの（位置及び／又は配向を含む）視点、並びにユーザの周囲に依存して、リアルタイムで作成されてもよい。この手法は、「現実」の窓又はガラス片を保持しているユーザと同様の体験を作り出すことができる。特定の例示的実施形態は、例えば、本明細書に開示される技術が、（例えば）ユーザの現在の場所とは異なる場所においてガラスがどのように見えるかを公開するために使用されることを可能にして、より早く撮影されたシーンが選択されることを可能にする。この所定のシーンにおける動きは、本明細書に開示される同じ顔追跡システムによって、デバイスの及び／又はデバイスに結合されたジャイロスコープ、加速度計、及び／又は他の慣性センサを使用して、並びに／あるいは同様のもので駆動され得る。
【００１８】
ここでより詳細に図面を参照すると、図１は、電子計算デバイス１０６を使用して対象の実社会シーン１０４を閲覧しているユーザ１０２を示す。電子デバイス１０６は、前方（ユーザに面する）及び後方（ターゲットに面する）カメラ１１０ａ及び１１０ｂと共に前方に面するディスプレイ１０８を含む。ここで、及び以下の例では、「前方」は、ディスプレイが位置する及び／又はユーザが対話するデバイスの「ユーザに面する」側を指す。（例えば、ラップトップコンピュータ、携帯電話及びタブレットコンピュータなどのスマートデバイスなどを含む）多くのデバイスにおいて標準的であるように、前方（ユーザに面する）及び後方（ターゲットに面する）カメラ１１０ａ及び１１０ｂは、定位置に固定され、一般に、デバイスのディスプレイ１０８から直角に外向きに延在する焦点を有する。この共通の配置は、両方とも９０度に等しい角度Θ1と角度Θ2で示されている図１の場合である、ユーザ１０２と対象シーン１０４の両方がデバイスに直交するとき、自然な閲覧体験を提供する。図１は、ユーザの視点とターゲットに面するカメラ１１０ｂの視点との間に、いくらかの変位があることを示す。
【００１９】
図２は、図１と同様であるが、電子デバイス１０６のディスプレイ１０８に対してオフノーマルな閲覧角度をとっているユーザを示す。したがって、図２はまた、電子デバイス１０６のカメラ１１０ａ及び１１０ｂの視点が、ユーザ１０２及びシーン１０４の視点から独立していることを論証する。ユーザ１０２が、デバイス１０６を通してシーン１０４を見ているかのようにユーザの視線をシーン１０４と位置合わせし、ターゲットに面するカメラ１１０ｂをシーン１０４と位置合わせすると、ユーザの視線は、もはやデバイスに直交しない。これは、９０度に等しくないΘ1で反射される。この状況では、シーン１０４は、ターゲットに面するカメラ１１０ｂ及びシーン１０４との位置合わせが存在するため、ディスプレイ１０８を介してユーザ１０２によって知覚され得る。これらの状況では、ディスプレイ１０８がシーン１０４の画像を出力することができる場合であっても、それは、ユーザ１０２によってとられたオフノーマルな閲覧角度のために（例えば、ディスプレイ上の画像が、ユーザからのシーンのビューにオーバーレイしないか又はそれと相関しないという意味において）「歪み」得る。例えばカジュアルな写真撮影など、多くの適用例では、より理想的な視点から閲覧されているもの又は閲覧され得るものに対して画像は正確に「真」ではないが、これは問題として見られない。この事前の図は、この点を補強するのを助ける。
【００２０】
図３は、図１と同様でもあるが、ユーザの視線が対象シーン１０４と位置合わせされるが、ターゲットに面するカメラ１１０ｂはそうではないときにどのように問題が生じ得るかを示す。ユーザは、デバイスをオブジェクトにポイントしてこれを固定する必要があるが、次いで、ディスプレイはもはやユーザのビューに直交しないことに留意されたい。図３において、ユーザの視線は、両方とも９０度に等しい角度Θ1と角度Θ2で反射されるように、ターゲットに面するカメラ１１０ｂがそうであるように、シーン１０４に直交する。しかしながら、ユーザの視線が対象シーン１０４と整合される場合であっても、ターゲットに面するカメラ１１０ｂはそのようにはされず、シーン１０４は視野の外側にある。ここで、特にユーザ１０２が、表示されるデバイス画像をユーザの「現実」の個人的な視点にオーバーレイしようとしているコンテキストにおいて、ユーザがシーン１０４と位置合わせされているにもかかわらず、シーン１０４を知覚することさえできないという問題がある。
【００２１】
図１〜図３に示される状況は、ユーザ１０２が移動する（又はデバイス１０６を移動させる）こと、閲覧角度を調整することなどができる一方で、ターゲットに面するカメラ１１０ｂがその固定角度Θ2と共にデバイス１０６に対して定位置に固定されているため、問題となり得ることが理解されるであろう。多くの実社会シナリオでは、デバイス１０６に対するユーザ１０２の移動、及び／又は変化する閲覧角度が生じる。しかしながら、固定角度Θ1及びΘ2は問題を発生させることがある。
【００２２】
図４Ａ〜図６Ｂは、特定の例示的実施形態の基礎をなす原理の態様を論証するものとして考えられ得る。これらの図面は、「デバイスビュー」及び「ユーザビュー」を開発するためにそれぞれカメラ１１０ａ及び１１０ｂをどのように使用することができるかを示す。これらのビューは、位置合わせ戦略を判定するために処理することができ、それにより、改善された電子計算デバイス１０６’は、オフノーマルな閲覧角度及び／又は位置合わせ不良があるときでも、ディスプレイ１０８上に、ユーザの視線に関連する視点で対象シーン１０４を表示することができる。したがって、これらの例では、Θ1及びΘ2は、動的に判定され、電子デバイス１０６’のディスプレイ１０８上に対象の実社会シーン１０４の画像を示すときに考慮に入れられる。Θの「標準的」カメラの動的判定は、典型的には、その狭い視野並びにその上の前方カメラ及び後方カメラの直交位置決めを考慮すると、極めて限定されることに留意されたい。より具体的には、典型的なスマートデバイス及び現在のＡＲソリューションは、典型的には（両極端に）２５度〜７５度の視野を有する「標準的」カメラを含むことが理解されるであろう。対照的に、特定の例示的実施形態は、ＡＲ及び／又は他の目的のために、「全３６０度」システムにより近いものを使用する。例えば、特定の例示的実施形態は、合計で（例えば）３００〜３６０度の視野になる（例えば、１５０〜１８０度などの）広視野を各々有する２つのカメラ、ほぼ３６０度の視野を有する１つのカメラなどを使用する。特定の例示的実施形態では、１８０度を超える視野を有するレンズが、デバイスの片側又は両側に使用されてもよい。このようなレンズは、顔追跡及び同様のものに関して問題となり得る歪みを低減するのを助けるために有用であり得る。このようなシナリオでは、より広い視野は、有利には、より多くの関連する視覚情報が、フレームの中心、極端な歪みをより少なく有する領域に収まることを可能にし、したがって、画像処理の精度を改善するのを助けることができる。特定の例示的実施形態は、定位置に固定され、デバイスのディスプレイから直角に外向きに延在する焦点を概して有する、前方（ユーザに面する）カメラ及び後方（ターゲットに面する）カメラを含んでもよい。特定の例示的実施形態では、デバイスカメラ（複数可）は、それに接続されるアタッチメントであってもよい。例えば、特定の例示的実施形態では、１つ以上の３６０度カメラ（又は同様のもの）が使用されてもよい。いくつかの例では、センサ／レンズのアレイを使用して円形の画像をキャプチャするいくつかの異なる市販の３６０度カメラも使用されてもよい。この種類のカメラは、例えば、より高い画質及び／又はより少ない歪みがキャプチャされることを可能にすることによって、特定の例示的実施形態では有利であり得る。３６０度画像キャプチャ技術の場合、別個の前方カメラ及び後方カメラを使用する必要はない。
【００２３】
より具体的には、図４Ａは、ユーザビューとデバイスビューが両方とも、特定の例示的実施形態の改善されたデバイス１０６’に直交する状況を示す。ユーザビューとデバイスビューの両方は、（例えば、以下により詳細に説明されるように）デバイス１０６’を使用して動的に判定され、したがって、Θ1及びΘ2も動的であり得る。図４Ｂは、特定の例示的実施形態に係る、例えば、一点鎖線によって表されるような図４Ａのセットアップを所与とする、ユーザの視点を識別するユーザに面するカメラ１１０ａを示す。
【００２４】
図５Ａは、デバイスビューが特定の例示的実施形態の改善されたデバイス１０６’に直交する一方で、ユーザビューはそうではない状況を示すことを除いて、図４Ａと同様である。ユーザビューとデバイスビューの両方は、（例えば、以下により詳細に説明されるように）デバイス１０６’を使用して動的に判定され、したがって、Θ1及びΘ2も動的であり得る（ただし、この例では、ユーザ１０２に対するオフノーマルな閲覧角度が仮定される）。図５Ｂは、特定の例示的実施形態に係る、例えば、一点鎖線によって表されるような図５Ａのセットアップを所与とする、ユーザの視点を識別するユーザに面するカメラ１１０ａを示す。
【００２５】
図６Ａもまた、デバイスビューもユーザビューも、特定の例示的実施形態の改善されたデバイス１０６’に直交しない状況を示すことを除いて、図４Ａと同様である。ユーザビューとデバイスビューの両方は、（例えば、以下でより詳細に説明されるように）デバイス１０６’を使用して動的に判定され、したがって、Θ1及びΘ2も動的であり得る（ただし、この例ではオフノーマルな角度が仮定される）。図６Ｂは、特定の例示的実施形態に係る、例えば、一点鎖線によって表されるような図６Ａのセットアップを所与とする、ユーザの視点を識別するユーザに面するカメラ１１０ａを示す。
【００２６】
特定の例示的な閲覧角度及び位置が、図４Ａ〜図６Ｂに関連して示され、説明されたが、本明細書に記載される例示的実施形態は他のシナリオと協働し得ることが理解されるであろう。
【００２７】
図７は、特定の例示的実施形態に関連して構成され得る例示的な電子デバイス１０６’のブロック図である。上記から理解されるように、デバイス１０６’は、ユーザに面するカメラ１１０ａ及びターゲットに面するカメラ１１０ｂ、並びに（例えば、タッチスクリーンインターフェース、ＬＣＤパネル、ＯＬＥＤディスプレイパネル、及び／又は同様のものを含み得る）ディスプレイデバイス１０８を含む。上述したように、これらの２つのカメラ１１０ａ〜１１０ｂの代わりに（例えば、３６０度の視野を有する）単一のカメラが提供されてもよい。上述したように、スマートデバイス上の多くの標準的カメラとは対照的に、本明細書に開示される特定の例示的実施形態は、例えば、いくつかの実装では、３００〜３６０度の視野の組み合わせのために、１つ以上の広視野カメラを使用することができる。そのような場合、単一のカメラは、デバイス１０６’と一体であってもよく、又はそれに取り外し可能に接続されてもよい。デバイス１０６’はまた、ネットワークカード、８０２．１１タイプ通信、ＩＲ、ＮＦＣ、３Ｇ／４Ｇ／５Ｇ又は他のモバイル及び／若しくはセルラサービス機能などを可能にするチップセットを含み得る、ネットワークインターフェース７１０を含む。
【００２８】
デバイス１０６’のハードウェアプロセッサ７０２は、（例えば、フラッシュメモリ、ソリッドステートドライブ、ハードディスクドライブ、ＲＡＭ、及び／又は同様のものを含む）一時的及び／又は非一時的記憶媒体の任意の好適な組み合わせであり得るデバイスメモリ７０４に動作可能に結合される。メモリ７０４は、デバイス１０６’が動作するのを助けるオペレーティングシステム（operating system、ＯＳ）７０６を含む。ＯＳ７０６は、いくつかの例では組み込み型ＯＳであってもよく、例えば、カメラ機能、電話通話、インターネットブラウジング、ゲームプレーなど、例えば、デバイスの他の能力を提供してもよい。
【００２９】
ハードウェアドライバ及び／又はアプリケーションプログラミングインターフェース（application programming interface、ＡＰＩ）７０８は、デバイス１０６’に記憶されたプログラムモジュールが、少なくともそのハードウェア特徴にアクセスすることを可能にする。例えば、ハードウェアドライバ及び／又はＡＰＩ７０８は、ＡＲ制御プログラム論理プログラムモジュール７１２が、ユーザに面する及び／又はターゲットに面するカメラ１１０ａ／１１０ｂにアクセスすることを可能にしてもよく、それにより、それは、写真を撮影するか又はさもなければビデオ入力を受信し、出力をディスプレイデバイス１０８に提供し、ネットワークインターフェース７１０を介して更新をダウンロードすることなどを行うことができる。
【００３０】
ＡＲ制御プログラム７１２は、所望の適用例のためにカスタマイズされるか又はさもなければそれに関連し得る、いくつかのモジュール又はサブモジュールを含む。ＡＲ窓使用ケースの場合、例えば、ユーザが、シミュレーションされる窓のコンポーネントを指定することができるように、製品構成器７１４が設けられてもよい。特定の例示的実施形態では、ＡＲ制御プログラム論理７１２は、既定の構成の選択、「自己構築」配置用の部品の選択、及び／又は美的特性の選択を通してユーザを誘導するディスプレイデバイス１０８に関連してユーザインターフェースを提示する。
【００３１】
コンポーネントストア７１６は、製品構成器７１４を使用して選択され得るユーザ選択可能コンポーネントに関する情報を記憶してもよい。この点に関して、コンポーネントストア７１６は、データベース（例えば、リレーショナルデータベース、ＸＭＬデータベース、又は同様のもの）として配置されてもよい。特定の例示的実施形態では、異なる設計構成オプションのために、異なるデータベース構造が使用されてもよい。特定の例示的実施形態では、別個の表が、既定の構成、（例えば、ガラス、プラスチックなどの材料の仕様、厚さ、製品若しくは商品名などを伴う）基材のタイプ、スペーサのタイプ（例えば、温かい縁部若しくは冷たい縁部、アルミニウム、商品名など）、コーティングのタイプ（例えば、特定の低放射率、反射防止、防汚、及び／若しくは他のコーティング）、積層材料（例えばＰＶＢ、ＥＶＡ、ＰＥＴ、ＰＵなど）、及び／又は同様のもの、の各々に提供されてもよい。追加又は代替として、性能メトリックを記憶している異なるデータベース構造（例えば、色合い、透過、反射など）が提供され、既定の及び／又はコンポーネント情報にリンクされてもよい。特定の例示的実施形態では、これらの性能メトリックは、属性ストア７１８に記憶されてもよい（ただし、別個のデータベース及び／又はデータベース構造が必ず提供される必要はない）。性能メトリックは、ＣＩＥ色座標情報（例えば、ａ*、ｂ*、Ｌ*など）、光対太陽利得（light-to-solar gain、ＬＳＧ）値、太陽熱利得係数（solar heat gain coefficient、ＳＨＧＣ）データ、及び／又は同様のものの計算を含んでもよく、かつ／又はこれを容易にすることができ、関連する場合は角度データが提供されるか又は計算可能である。
【００３２】
ユーザは、例えば、単一の低Ｅコーティングを有する単一の３ｍｍ厚の透明ガラス基材（例えば、ＳｕｎＧｕａｒｄ、ＣｌｉｍａＧｕａｒｄ、又は譲受人から市販されている他の特定のコーティング）、ＰＶＢ中間層と一緒に積層された２つの３ｍｍガラス基材を有する積層物品、表面２上にＣｌｉｍａＧｕａｒｄコーティングされたＩＥＴスペーサによって分離された８０／２０アルゴン対酸素バックフィルを用いて１０ｍｍだけ分離された２つの３ｍｍガラス基材を含むＩＧユニットを選択してもよい。これらはもちろん、ユーザ選択の単なる例である。完全に又は部分的に事前に構成されたコーティングされた物品、グレージング、ＩＧユニット、ＶＩＧユニットなどは、ユーザ選択可能であってもよい。譲受人、若しくは他の当事者、及び／又は同様のものからのコーティング、基材、構成なども選択されてもよい。選択可能なオプションのデータベースは、更なる（例えば、将来開発される）コーティング、基材、及び／又は同様のものが経時的に追加され選択可能になり得るように、リモートで更新され、及び／又はリモートで維持されてもよい（この後者の場合、インターネット又は他の好適なネットワーク接続を介してデバイスによってアクセスされてもよい）。選択は、特定の例示的実施形態では、より細かい又はより細かくない粒度であってもよい。また、上述したように、選択は、性能特徴（例えば、色合い、可視透過、反射、放射率など）に関して全体的に又は部分的に特定されてもよく、選択は、受け入れられるか又は場合によっては更にカスタマイズされ得る既定の構成に基づいてもよい。また、反射光情報及び／又は他の光学性能を伝達するのを助けるために、動き効果を使用することもできる。動的色表現は、例えば、特定の例示的実施形態に係るデバイスを使用して閲覧可能である「デジタル見本」に示されてもよい。このような見本は、ユーザによって選択され、次いで、得られた画像上に重ね合わされ得る。
【００３３】
視線認識モジュール７１６は、ユーザがどこを見ているかを認識する。視線認識モジュール７１６は、例えば、ユーザの視線が追跡されるように、静的又はリアルタイムであってもよい。どのようにユーザの視線が追跡され得るかの例が、以下に（例えば、図９に関連して）提供されるが、本明細書に詳述される例示的な手法に加えて、又はその代わりに使用され得る既知の画像処理技術が存在することが理解されるであろう。特定の例示的実施形態では、画像取得モジュール７１８は、ターゲットに面するカメラ１１０ｂを使用して写真を撮影し、かつ／又は対象オブジェクトのビデオフィードを受信する。あるいは、又はそれに加えて、画像取得モジュール７１８を使用して、キャプチャされた画像及び／又はビデオを取り出し、それにより、ユーザは、どのように異なる構成が互いに比較されるかを見ることができる。すなわち、ユーザは、画像及び／又はビデオをキャプチャし、及び／又はビデオのライブラリから選択し、次いで、それに（以下に記載される）カスタム生成フィルタを適用してもよく、それにより、ユーザは、共通のベースラインに基づいて、異なる選択された構成を比較することができる。
【００３４】
変換モジュール７２０は、例えば、図１０〜図１１に詳述されるように、図４Ａ〜図６Ｂに概略的に示される動作を実行するのを助ける。すなわち、変換モジュール７２０は、キャプチャされた画像及び／又はビデオが、ユーザにとって有意義な形で表示されるようにどのように操作されるべきであるかを判定するのを助ける。このモジュールはまた、画像及び／又はビデオに適用されるカスタムフィルタを生成する役目を果たし得る。この点に関して、変換モジュール７２０は、製品構成器モジュール７１４を使用して生成された設計をとることができ、画像が表示される共通座標空間に基づいて属性ストア７１８から性能特徴をルックアップし、共通座標空間内の変換された画像がどのように更に操作されるべきかを決定することができる。これは、例えば、（例えば、窓を通る色シフトに基づいて及び／又は閲覧角度に基づいて）色合いを変更すること、（例えば、同じく閲覧角度に基づき得る、ヘイズ及び／又は低下した透過に起因して）その透明度を低減すること、（例えば、閲覧角度に基づき得る）反射をシミュレートすること、異なる表面適用例（例えば、ガラス、塗装ガラス、「バードフレンドリー」コーティングなどの第１の表面及び／又は第２の表面上に形成された「ドット」パターン及び同様のものが典型的に存在する、いくつかの太陽制御及び／又は適用例のコンテキストにおける、スクリーン印刷又は他の方法で適用されたフリット）の影響を示すこと、酸エッチング又は他のガラスの拡散的な外観を示すことなどを含んでもよい。画像の更なる修正は、画像に適用されるフィルタに基づいてもよく、フィルタは変換モジュール７２０によって生成されてもよい。フィルタが適用された画像は、（特定の例示的実施形態では画像をフィルタと組み合わせる役目を果たし得る）出力モジュール７２２を介してディスプレイデバイス１０８に提供されてもよい。特定の例示的実施形態では、ゲーム認識モジュール７１６、画像取得モジュール７１８、変換モジュール７２０、及び出力モジュール７２２のいくつか又は全ては、例えば、ユーザ及び／又はデバイスの移動、画像である実社会シーンの変化などに基づいて、ユーザにリアルタイム出力を表示することができるように、多かれ少なかれ連続的に動作することができる。
【００３５】
顔検出及び位置、並びに前方（ユーザに面する）及び後方（ターゲットに面する）画像レンダリングを判定するための例示的な画像処理技術が提供される。これらの手法は、例として提供され、限定するものではないことが理解されるであろう。説明を容易にするために、以下の例における電子デバイス１０６’は、「縦向き」の配向に保持された２０１７ｉＰａｄ  Ｐｒｏ１０．５”（Ａ１７０１又はＡ１７０９）であると仮定される。異なる実装では、異なるデバイス及び／又は配向が使用され得ることが理解されるであろう。そのような場合、画素毎インチ、スクリーン寸法、カメラ仕様などに関する仮定を調整することができる。この例では以下のとおりである。
・ｐ＝２６４、スクリーンの画素毎インチ
・ω＝１６６８、画素でのスクリーン幅
・η＝２２２４、画素でのスクリーン高さ
また、この例における魚眼カメラの視野は均一であると仮定され、したがってｖ＝πである。当然ながら、以下の処理は、異なるタイプのカメラ及び／又は不均一な視野を考慮するように更新されてもよい。
【００３６】
異なる座標空間が、本明細書に記載される例示的な画像変換に関与する。特定の例示的実施形態に関連する第１の座標空間は、デカルト座標で表される魚眼画像空間である。この空間は、デカルト座標（ｕ、ｖ）によってパラメータ化された正方形の２次元空間である。図８Ａから理解され得るように、この空間では以下のとおりである。
・（０、０）が正方形の左下に位置する。
・ｕ及びｖが画素で測定される。
・（ｕ、ｖ）＝（ｄ、ｄ）が正方形の右上に位置する（ここでｄ＝直径）。
・この正方形内にキャプチャされた魚眼画像が、（ｕ、ｖ）＝（ｄ／２、ｄ／２）となるように、正方形の中心を中心とした半径ｄ／２の円内に完全に位置すると仮定される。特定の例示的実施形態ではこの仮定及び他の仮定が行われてもよいが、異なる例示的実施形態では他の仮定が使用されてもよいことに留意されたい。更に、特定の例示的実施形態は、これらなどの係数を自動的に計算及び／又は判定してもよい。一例として、特定の例示的実施形態は、魚眼画像がスクリーンの中心に置かれることを仮定してもよいが、その一方で、異なる例示的実施形態は、代わりに、例えば画像処理ルーチンを使用して、正確な手動のセンタリングなしに、魚眼画像の位置を自動的に識別してもよい。
・この正方形内にキャプチャされた魚眼画像が直立していると仮定される。この仮定は、殆どの既存の顔追跡ＡＰＩが直立画像を必要とするために行われたことに留意されたい。しかしながら、この仮定は、本発明の他の実施形態では、例えば、ユーザがデバイスに対して直立していない角度で可視である場合には、真のままではない可能性がある。
【００３７】
（デカルト座標を持つ）魚眼画像空間内の点（ｕ0、ｖ0）は、次式を使用して（極座標を持つ）魚眼画像空間内の点（ｒ0、θ0）にコンバートすることができる。
・ｒ0＝√［（ｕ0−ｄ／２）2＋（ｖ0−ｄ／２）2］
・θ0＝ａｔａｎ２（ｖ0−ｄ／２、ｕ0−ｄ／２）
【００３８】
特定の例示的実施形態に関連する第２の座標空間は、極座標で表される魚眼画像空間であることになる。この空間は、極座標（ｒ、θ）によってパラメータ化された円形の２次元空間である。図８Ｂから理解され得るように、この空間では以下のとおりである。
・ｒが画素で測定され、０とｄ／２との間で変動する。
・θがラジアンで測定され、−πとπとの間で変動し、θ＝π／２が上を直接ポイントする。
・魚眼画像がこの空間を完全にカバーすると仮定される。
・この空間内にキャプチャされた魚眼画像が直立していると仮定される。
【００３９】
（極座標を持つ）魚眼画像空間内の点（ｒ0、θ0）は、次式を使用して（デカルト座標を持つ）魚眼画像空間内の点（ｕ0、ｖ0）にコンバートすることができる。
・ｕ0＝ｄ／２＋ｒ0  ｃｏｓ（θ0）
・ｖ0＝ｄ／２＋ｒ0  ｓｉｎ（θ0）
【００４０】
（極座標を持つ）魚眼画像空間内の点（ｒ0、θ0）は、次式を使用して（光学座標を持つ）カメラ空間にコンバートすることができる。
・Ψ0＝ｖｒ0／ｄ＝πｒ0／ｄ
・φ0＝θ0
【００４１】
特定の例示的実施形態に関連する第３の座標空間は、ターゲット画像空間である。この空間は、デカルト座標（ｘ、ｙ）によってパラメータ化された矩形の２次元空間である。図８Ｃから理解され得るように、この空間では以下のとおりである。
・（０、０）が矩形の左下に位置する。
・ｘ及びｙが画素で測定される。
・（ｘ、ｙ）＝（ｗ、ｈ）が矩形の右上に位置し、ｗ及びｈが、例示的なｉＰａｄスクリーンのアスペクト比と一致するためにｗ：ｈ＝２：３を満たす。
・この空間内に表示される出力画像が直立していると仮定される。
【００４２】
ターゲット画像空間内の点（ｘ0、ｙ0）は、次式を使用してスクリーン空間内の点（Ｘ0、Ｙ0、０）にコンバートすることができる。
・Ｘ0＝（ｘ0−ｗ／２）／ｐ
・Ｙ0＝（ｙ0−ｈ／２）／ｐ
【００４３】
特定の例示的実施形態に関連する第４の座標空間は、スクリーン空間である。スクリーン空間は、デカルト座標（Ｘ、Ｙ、Ｚ）によってパラメータ化された３次元空間である。図８Ｄから理解され得るように、この空間では以下のとおりである。
・（０、０、０）が、例示的なｉＰａｄのスクリーンの中心に位置する。
・Ｘ、Ｙ、及びＺがインチで測定される。
・Ｘ−Ｙ平面が、例示的なｉＰａｄのスクリーンと同一平面上にあり、Ｘ軸が、例示的なｉＰａｄの短辺に平行であり、前方から閲覧されたときに左から右へと増加し、Ｙ軸が、例示的なｉＰａｄの長辺に平行であり、下から上へと増加する。
・Ｚ軸が、例示的なｉＰａｄのスクリーンに垂直である。半空間｛Ｚ＞０｝が、例示的なｉＰａｄの前に完全に位置する。
・（Ｘ、Ｙ、Ｚ）が右手座標系を形成する。
【００４４】
前方／ユーザに面するカメラは、スクリーン空間内の
【数１】
2022502771.tif 000003
に位置すると仮定される。バックカメラは、スクリーン空間内の
【数２】
2022502771.tif 000004
に位置すると仮定される。異なる場所は、異なるデバイスの異なるカメラに提供されるか、又は異なるデバイスに接続されること、及びすぐ下で考察される例示的なコンバージョンは、これらの異なる配置を考慮するように修正され得ることが理解されるであろう。
【００４５】
スクリーン空間内の点（Ｘ0、Ｙ0、Ｚ0）は、次式を使用して（デカルト座標を持つ）バックカメラ空間にコンバートすることができる。
・Ｉ0＝Ｘ0−３．０７
・Ｊ0＝−Ｚ0
・Ｋ0＝Ｙ0−４．５５
【００４６】
スクリーン空間内の点（Ｘ0、Ｙ0、Ｚ0）は、次式を使用して前方カメラ空間（デカルト座標）にコンバートすることができる。
・Ｉ0＝−Ｘ0
・Ｊ0＝Ｚ0
・Ｋ0＝Ｙ0−４．５７
【００４７】
デカルト座標で表される前方（ユーザに面する）カメラ空間及びバック（ターゲットに面する）カメラ空間もまた、特定の例示的実施形態に関連する。これらの空間は、デカルト座標（Ｉ、Ｊ、Ｋ）によってパラメータ化された３次元空間である。前方（ユーザに面する）カメラ空間及びバック（ターゲットに面する）カメラ空間にそれぞれ関連する図８Ｅ及び図８Ｆから理解されるように、これらの空間では以下のとおりである。
・カメラが（０、０、０）に位置する。
・カメラの視点からは、（１、０、０）がカメラのすぐ右側にあり、（０、１、０）がカメラの真前にあり、（０、０、１）がカメラの真上にある。
【００４８】
（デカルト座標を持つ）カメラ空間内の点（Ｉ0、Ｊ0、Ｋ0）は、次式を使用して（光学座標を持つ）カメラ空間にコンバートすることができる。
・Ψ0＝ａｔａｎ２（Ｋ0、Ｉ0）
・φ0＝ａｔａｎ２（ｓｑｒｔ（Ｉ02＋Ｋ02）、Ｊ0）
【００４９】
（デカルト座標を持つ）前方カメラ空間の点（Ｉ0、Ｊ0、Ｋ0）は、次式を使用してスクリーン空間にコンバートすることができる。
・Ｘ0＝−Ｉ0
・Ｙ0＝Ｋ0＋４．５７
・Ｚ0＝Ｊ0
【００５０】
光学座標で表される前方（ユーザに面する）カメラ空間及びバック（ターゲットに面する）カメラ空間もまた、特定の例示的実施形態に関連する。これらの空間は、角度（Ψ、φ）によってパラメータ化された任意の半径の２次元半球である。図８Ｆから理解されるように、この空間では以下のとおりである。
・両方の角度がラジアンで測定される。
・Ψが範囲［−π、π］内にあり、線Ψ＝０がカメラのすぐ右側に位置する。
・φが範囲［０、π／２］内にあり、線φ＝０がカメラの光軸に対応し、平面φ＝π／２が、例示的なｉＰａｄと同一平面上にある。
【００５１】
（光学座標を持つ）カメラ空間内の点（Ψ0、Ψ0）は、次式を使用して（極座標を持つ）魚眼画像空間にコンバートすることができる。
・ｒ0＝ｄΨ0／ｖ＝ｄΨ0／π
・θ0＝Ψ0
【００５２】
カメラから距離ｄにおける（光学座標を持つ）カメラ空間内の点（Ψ0、Ψ0）は、次式を使用して（デカルト座標を持つ）カメラ空間にコンバートすることができる。
・Ｉ0＝ｄ  ｓｉｎ（Ψ0）ｃｏｓ（φ0）
・Ｊ0＝ｄ  ｃｏｓ（Ψ0）
・Ｋ0＝ｄ  ｓｉｎ（Ψ0）ｓｉｎ（φ0）
【００５３】
この背景を考慮し、この例示的な電子デバイス１０６’に関して、顔検出及び位置決め画像処理に関する更なる詳細が次に提供される。この点に関して、図９は、特定の例示的実施形態に関連して使用され得る、顔検出及び位置決めのための例示的プロセスを示すフローチャートである。図９のフローチャートは、入力として、（デカルト座標を持つ）前方魚眼画像空間内の眼の場所（ｕ1、ｖ1）及び（ｕ2、ｖ2）をとる。特定の例示的実施形態では、２つの眼の物理的分離ｓを判定することができる。この特定の例では、２つの眼の仮定された物理的分離は２．５インチである。前処理を実行して、スクリーン空間内の、ユーザの平均的な眼の場所
【数３】
2022502771.tif 000005
を判定することができる。
【００５４】
工程Ｓ９０２において、眼の位置（ｕ1、ｖ1）及び（ｕ2、ｖ2）が、（デカルト座標を持つ）魚眼画像空間から（極座標を持つ）魚眼画像空間にコンバートされる。この点に関して、次式を使用してもよい。
・ｒ1＝√［ｕ12＋ｖ12］
・θ1＝ａｔａｎ２（ｖ1、ｕ1）
・ｒ2＝√［ｕ22＋ｖ22］
・θ2＝ａｔａｎ２（ｖ2、ｕ2）
【００５５】
工程Ｓ９０４において、眼の位置が、（極座標を持つ）魚眼画像空間から（光学座標を持つ）前方カメラ空間にコンバートされる。この点に関して、次式を使用してもよい。
・Ψ1＝ｖｒ1／ｄ＝πｒ1／ｄ
・φ1＝θ1
・Ψ2＝ｖｒ2／ｄ＝πｒ2／ｄ
・φ2＝θ2
【００５６】
工程Ｓ９０６において、（光学座標を持つ）前方カメラ空間が、
【数４】
2022502771.tif 000006
になるように正規化された（デカルト座標を持つ）前方カメラ空間にコンバートされる。次の工程は、入力ベクトルが既に正規化されていると仮定することに留意されたい。この点に関して、次式を使用してもよい。
・Ｉ1＝ｓｉｎ（Ψ1）ｃｏｓ（φ1）
・Ｊ1＝ｃｏｓ（Ψ1）
・Ｋ1＝ｓｉｎ（Ψ1）ｓｉｎ（φ1）
・Ｉ2＝ｓｉｎ（Ψ2）ｃｏｓ（φ2）
・Ｊ2＝ｃｏｓ（Ψ2）
・Ｋ2＝ｓｉｎ（Ψ2）ｓｉｎ（φ2）
【００５７】
工程Ｓ９０８において、十分に調整されたベクトル式
【数５】
2022502771.tif 000007
を使用して、球体上の２つの点の間の中心角度δ。当業者に既知であるように、中心角度は、それらの２つの点の間の弧によって定められ、弧長は、（ラジアンで測定された）半径１の円の中心角度である。中心角度は、弧の角度距離としても知られている。
【００５８】
工程Ｓ９１０において、ユーザと前方（ユーザに面する）カメラとの間の（インチでの）距離Ｄが推定される。この点に関して、式Ｄ＝（ｓ／２）／ｔａｎ（δ／２）を使用してもよい。場合によっては、ユーザがカメラに近づくときの精度を向上させるために、（直線距離とは対照的に）大きい円距離を考慮することが必要であるか、又は有利であり得る。
【００５９】
工程Ｓ９１２において、（デカルト座標を持つ）魚眼画像空間内の平均的な眼の場所が計算される。この点に関して、次式を使用してもよい。
・ｕa＝（ｕ1＋ｕ2）／２
・ｖa＝（ｖ1＋ｖ2）／２
【００６０】
工程Ｓ９１４において、（デカルト座標を持つ）魚眼画像空間内のこれらの場所が、（極座標を持つ）魚眼画像空間にコンバートされる。この点に関して、次式を使用してもよい。
・ｒa＝√［ｕa2＋ｖa2］
・θa＝ａｔａｎ２（ｖa、ｕa）
【００６１】
工程Ｓ９１６において、（極座標を持つ）魚眼画像空間内のこれらの場所が、次いで、（光学座標を持つ）前方カメラ空間にコンバートされる。この点に関して、次式を使用してもよい。
・Ψa＝ｖｒa／ｄ＝πｒa／ｄ
・φa＝θa
魚眼画像空間から前方カメラ空間への変換が非線形であるため、単純にΨ1，2及びφ1，2を平均化してΨa及びφaを得ることが実現可能でないことがあることに留意されたい。
【００６２】
工程Ｓ９１８において、（光学座標を持つ）前方カメラ空間内の平均的な眼の場所をカメラから距離Ｄだけ射影し、（デカルト座標を用いた）前方カメラ空間へのコンバージョンが行われる。この点に関して、次式を使用してもよい。
・Ｉa＝Ｄ  ｓｉｎ（Ψa）ｃｏｓ（φa）
・Ｊa＝Ｄ  ｃｏｓ（Ψa）
・Ｋa＝Ｄ  ｓｉｎ（Ψa）ｓｉｎ（φa）
【００６３】
工程Ｓ９２０において、この情報がスクリーン空間にコンバートされる。この点に関して、次式を使用してもよい。
・Ｘa＝−Ｉa
・Ｙa＝Ｋa＋４．５７
・Ｚa＝Ｊa
【００６４】
ユーザは、典型的には、デバイスを移動して対象オブジェクトを「ポイントする」か又はそうでなければ「フレーム化する」ため、ユーザの場所が重要であり得ることが理解されるであろう。すなわち、ユーザは、本質的に、プロのカメラマンが行い得るのと殆ど同様に、デバイスを用いてショットをフレーム化している。これを考慮すると、特定の例示的実施形態は、ユーザが、代替又は追加としてデバイスがどこにあるか及び／又はどのように配向されているかを判定するのではなく、ユーザがどこにいるかのみを判定することによって実行される計算を単純化することができる。当然のことながら、デバイスがどこにあるか及び／又はどのように配向されているかに関するこの判定は、特定の例示的実施形態では、例えば、画像処理が正しく実行されていることを検証するために考慮に入れることができる。これは、加速度計、ジャイロスコープ、並びに／又はタブレット及びスマートフォンのようなスマートデバイスにおいて典型的に見られる他のデバイスに関連して達成され得る。いずれにしても、ユーザが位置決めされると、視点の変化、（例えば、窓を通して見ることがどのようなものであり得るかをシミュレートするための）拡張現実などを処理するための、更なる画像処理が可能である。
【００６５】
図１０は、特定の例示的実施形態に関連して使用され得る、後方（ターゲットに面する）画像レンダリングのための例示的な手法を示すフローチャートである。図１０のプロセスは、ターゲット画像空間内のターゲット点（ｘ0、ｙ0）、並びにスクリーン空間内のユーザの眼の場所
【数６】
2022502771.tif 000008
で開始する。この情報を使用して、ターゲット点において表示されるべき（デカルト座標を持つ）後方魚眼画像空間内のソース点（ｕ0、ｖ0）を生成する。工程Ｓ１００２において、ターゲット点がスクリーン空間座標にコンバートされる。この点に関して、次式を使用してもよい。
・Ｘ0＝（ｘ0−ｗ／２）／ｐ
・Ｙ0＝（ｙ0−ｈ／２）／ｐ
ここで、
【数７】
2022502771.tif 000009
は、スクリーン空間内のターゲット点を示す。
【００６６】
工程Ｓ１００４において、ターゲット点
【数８】
2022502771.tif 000010
及びユーザの眼
【数９】
2022502771.tif 000011
を通過するスクリーン空間内の線の式が、次いで、次のように与えられる。
【数１０】
2022502771.tif 000012
ここで、
【数１１】
2022502771.tif 000013
は、ユーザの眼
【数１２】
2022502771.tif 000014
からターゲット点
【数１３】
2022502771.tif 000015
までをポイントする長さ１のベクトルであり、λは、
【数１４】
2022502771.tif 000016
から開始してこのベクトルに沿って移動した距離を表す実数である。
【００６７】
半空間｛Ｚ＜０｝の正しい部分が、ユーザの視点に従って表示されることになる。しかしながら、その半空間の画像は、バックカメラの視点からキャプチャされる。この視点オフセットの補正を可能にすることを試みるために、半空間｛Ｚ＜０｝は（通常）、バックカメラの場所
【数１５】
2022502771.tif 000017
を中心とした半径Ｒの半球
【数１６】
2022502771.tif 000018
上に折り畳まれる。次いで、（ａ）何らかのヒューリスティックに従ってＲを選ぶか、又は（ｂ）ユーザがＲの値を手動で較正できるようにすることが可能である。これらの点に関しては工程Ｓ１００６を参照されたい。
【００６８】
工程Ｓ１００８において、スクリーン座標
【数１７】
2022502771.tif 000019
において表示されるべき半球上の点を見つけるために、式（１）からの線が、半球と交差するまで延在される（ユーザのサイトラインを本質的に追跡する）。この点に関しては図８Ｈを参照されたい。次いで、この交差点が、以下の式の１つのルートによって与えられる。
【数１８】
2022502771.tif 000020
【数１９】
2022502771.tif 000021
であるとき、この式の解はおよそ±Ｒであり、したがって、オフセットが完全に無視された場合に予想され得るのと同じ解であることに留意されたい。式（２）において正のルートを選ぶべきか負のルートを選ぶべきかを判定するために、
【数２０】
2022502771.tif 000022
である、
【数２１】
2022502771.tif 000023
のＺ成分が考慮される。これは、例示的なｉＰａｄの前に位置する交差点ではなく、例示的なｉＰａｄの背後に位置する交差点を選ぶように、負であるべきである。これは、λ0＞０である場合にのみ可能なはずである。したがって、典型的には、次のように式（２）における正のルートが選択される。
【数２２】
2022502771.tif 000024
【００６９】
スクリーン空間内の交差点
【数２３】
2022502771.tif 000025
は知られておらず、これは、工程Ｓ１０１０において（デカルト座標を持つ）バックカメラ空間にコンバートされる。この点に関して、次式を使用してもよい。
・Ｉ0＝Ｘi−３．０７
・Ｊ0＝−Ｚi
・Ｋ0＝Ｙi−４．５５
上記のように、これらの式は、例示的デバイスの物理的パラメータなどに基づいて変更されてもよい。
【００７０】
工程Ｓ１０１２において、これらの座標が、（光学座標を持つ）バックカメラ空間にコンバートされる。この点に関して、次式を使用してもよい。
・Ψ0＝ａｔａｎ２（Ｋ0、Ｉ0）
・φ0＝ａｔａｎ２（ｓｑｒｔ（Ｉ02＋Ｋ02）、Ｊ0）
【００７１】
工程Ｓ１０１４において、これらの座標が、魚眼空間（極座標）にコンバートされる。この点に関して、次式を使用してもよい。
・ｒ0＝ｄφ0／ｖ＝ｄφ0／π
・θ0＝Ψ0
【００７２】
工程Ｓ１０１６において、（デカルト座標を持つ）魚眼空間値が判定される。この点に関して、次式を使用してもよい。
・ｕ0＝ｄ／２＋ｒ  ｃｏｓ（θ0）
・ｖ0＝ｄ／２＋ｒ  ｓｉｎ（θ0）
【００７３】
特定の例示的実施形態の前方画像レンダリング技術は、それにおいて使用される後方画像レンダリング技術と同様であってもよい。図１１は、特定の例示的実施形態に関連して使用され得る、前方画像レンダリングのための例示的プロセスを示すフローチャートである。図１１のプロセスは、ターゲット画像空間内のターゲット点（ｘ0、ｙ0）、並びにスクリーン空間内のユーザの眼の場所
【数２４】
2022502771.tif 000026
で開始する。この情報を使用して、ターゲット点において表示されるべき（デカルト座標を持つ）前方魚眼画像空間内のソース点（ｕ0、ｖ0）を生成する。工程Ｓ１１０２において、ターゲット点がスクリーン空間座標にコンバートされる。この点に関して、次式を使用してもよい。
・Ｘ0＝（ｘ0−ｗ／２）／ｐ
・Ｙ0＝（ｙ0−ｈ／２）／ｐ
ここで、
【数２５】
2022502771.tif 000027
は、スクリーン空間内のターゲット点を示す。
【００７４】
工程Ｓ１１０４において、ターゲット点
【数２６】
2022502771.tif 000028
及びユーザの眼
【数２７】
2022502771.tif 000029
を通過するスクリーン空間内の線の式が、次いで、次のように与えられる。
【数２８】
2022502771.tif 000030
ここで、
【数２９】
2022502771.tif 000031
は、ユーザの眼
【数３０】
2022502771.tif 000032
からターゲット点
【数３１】
2022502771.tif 000033
までをポイントする長さ１のベクトルであり、λは、
【数３２】
2022502771.tif 000034
から開始してこのベクトルに沿って移動した距離を表す実数である。
【００７５】
式（３）の線に沿って反射される入射光線を表すスクリーン空間内の線の式が、次いで、次のようになる。
【数３３】
2022502771.tif 000035
ここで、
【数３４】
2022502771.tif 000036
は、ターゲット点
【数３５】
2022502771.tif 000037
をポイントする長さ１の反射ベクトルであり、μは、
【数３６】
2022502771.tif 000038
から開始してこの反射ベクトルに沿って移動した距離を表す実数である。特定の例示的実施形態では平面｛Ｚ＝０｝において反射が生じるため、
【数３７】
2022502771.tif 000039
は、Ｚ成分の符号を切り替えることによって
【数３８】
2022502771.tif 000040
から得ることができる。この点に関しては工程Ｓ１１０６を参照されたい。
【００７６】
半空間｛Ｚ＞０｝の正しい部分が、ユーザの視点に従って表示されることになる。しかしながら、その半空間の画像は、前方（ユーザに面する）カメラの視点からキャプチャされる。この視点オフセットの補正を可能にすることを試みるために、半空間｛Ｚ＞０｝は（通常）、ユーザに面するカメラの場所
【数３９】
2022502771.tif 000041
を中心とした半径Ｒの半球
【数４０】
2022502771.tif 000042
上に折り畳まれる。次いで、（ａ）何らかのヒューリスティックに従ってＲを選ぶか、又は（ｂ）ユーザがＲの値を手動で較正できるようにすることが可能である。これらの点に関しては工程Ｓ１１０８を参照されたい。
【００７７】
工程Ｓ１１１０において、スクリーン座標
【数４１】
2022502771.tif 000043
において表示されるべき半球上の点を見つけるために、式（４）からの線が、半球と交差するまで延在される（ユーザの反射したサイトラインを本質的に追跡する）。次いで、この交差点が、以下の式の１つのルートによって与えられる。
【数４２】
2022502771.tif 000044
【数４３】
2022502771.tif 000045
であるとき、この式の解はおよそ±Ｒであり、したがって、オフセットが完全に無視された場合に予想され得るのと同じ解であることに留意されたい。式（５）において正のルートを選ぶべきか負のルートを選ぶべきかを判定するために、
【数４４】
2022502771.tif 000046
である、
【数４５】
2022502771.tif 000047
のＺ成分が考慮される。これは、例示的なｉＰａｄの背後に位置する交差点ではなく、例示的なｉＰａｄの前に位置する交差点を選ぶように、正であるべきである。これは、μ0＞０である場合にのみ可能なはずである。したがって、典型的には、次のように式（５）における正のルートが選択される。
【数４６】
2022502771.tif 000048
【００７８】
スクリーン空間内の交差点
【数４７】
2022502771.tif 000049
は知られておらず、これは、工程Ｓ１１１２において（デカルト座標を持つ）前方カメラ空間にコンバートされる。この点に関して、次式を使用してもよい。
・Ｉ0＝−Ｘi
・Ｊ0＝Ｚi
・Ｋ0＝Ｙi−４．５７
上記のように、これらの式は、例示的デバイスの物理的パラメータなどに基づいて変更されてもよい。
【００７９】
工程Ｓ１１１４において、これらの座標が、（光学座標を持つ）前方カメラ空間にコンバートされる。この点に関して、次式を使用してもよい。
・Ψ0＝ａｔａｎ２（Ｋ0、Ｉ0）
・φ0＝ａｔａｎ２（ｓｑｒｔ（Ｉ02＋Ｋ02）、Ｊ0）
【００８０】
工程Ｓ１１１６において、これらの座標が、魚眼空間（極座標）にコンバートされる。この点に関して、次式を使用してもよい。
・ｒ0＝ｄφ0／ｖ＝ｄφ0／π
・θ0＝Ψ0
【００８１】
工程Ｓ１１１８において、（デカルト座標を持つ）魚眼空間値が判定される。この点に関して、次式を使用してもよい。
・ｕ0＝ｄ／２＋ｒ  ｃｏｓ（θ0）
・ｖ0＝ｄ／２＋ｒ  ｓｉｎ（θ0）
【００８２】
図１２Ａ〜図１２Ｃは、特定の例示的実施形態に係る、人間の閲覧者が図７の例示的デバイスのバージョンを使用して、オブジェクトが窓の反対側に位置しているかのようにそのオブジェクトを閲覧するための、例示的なセットアップを示す。図１２Ａは、デバイス１０６’’が窓であるかのようにデバイス１０６’’を「通して」対象オブジェクト１０４を見ているユーザ１０２を示す。図１２Ａに示すデバイス１０６’’は、３６０度カメラ１１０’を含み、視野は主にデバイス１０６’’に直交する。しかしながら、例えば、本明細書に開示されるものなどの顔追跡技術及び後方画像レンダリング技術を使用して、対象オブジェクト１０４に対する適切な視点は、それでもなお、デバイス１０６’’を介して判定及び表示することができる。図１２Ｂは、ユーザの視点の適切な配向反射性を有するように修正され、かつユーザ１０２とオブジェクト１０４との間の「仮想窓」の挿入によって生じる任意のシフトを考慮するように変更されていることを除いて、デバイス１０６’’のディスプレイ１０８上に表示されている対象オブジェクト１０４を示す。前者の修正は、オブジェクト１０４に対する変更に反映され、後者の修正は、フィルタ１２００の包含に反映される。上記から理解されるように、フィルタ１２００は、修正された対象オブジェクト１０４’の色合いを変化させ、反射を提供することなどを行ってもよい。
【００８３】
図１２Ａ及び図１２Ｂは、ユーザ１０２及び電子デバイス１０６’’の静的提示を示す。しかしながら、（例えば、ユーザが身体の任意の部分を移動させた場合）ユーザの視点が変化したり、デバイス１０６’’が移動したりなどすることがある。したがって、画像操作は、例えば、図１２Ｃに関連して示されるように、リアルタイムで実行されてもよい。図１２Ｃの左側は、図１２Ｂからの初期ビューを示す。しかしながら、変化は、Ｘ、Ｙ、及びＺ軸のいずれか１つ以上に沿った移動によって、及び／又はこれらの軸のいずれか１つ以上の周りの回転を介して引き起こされ得る。したがって、ディスプレイ１０８は、対象オブジェクト１０４’の初期に修正された画像を更に修正し、この更に修正されたバージョン１０４’’を表示するように更新されてもよい。更に、この６の自由度移動は、窓の異なる特性を支配的になるようにトリガすることができるため、異なるフィルタ１２００’が適用されてもよい。
【００８４】
図１３は、特定の例示的実施形態に係る、図１２Ａ〜図１２Ｃの例示的なセットアップで動作するように図７の例示的デバイスのバージョンを制御するための例示的プロセスを示すフローチャートである。工程Ｓ１３０２において、ユーザから構成の詳細が得られる。工程Ｓ１３０４において、ユーザの視線が判定される。工程Ｓ１３０６において、例えば、デバイスの後方（ターゲットに面する）カメラを使用して、対象オブジェクト（複数可）の画像が取得される。工程Ｓ１３０８において、後方画像レンダリング計算が実行される。任意選択的に、例えば、特定の使用事例に関連する画像が暗示されている場合、前方画像レンダリング計算を実行することができる。例えば、仮想窓によって反射が「生成された」場合、前方画像レンダリング計算は、デバイスのユーザに面するカメラによってキャプチャされた画像に基づいて同様に実行されてもよい。工程Ｓ１３１０において、後方画像レンダリング計算に基づいてカスタムフィルタが作成される。特定の例示的実施形態では、前方画像レンダリング計算が実行される場合にそれらを考慮するための別個のフィルタが生成されてもよく、並びに／又は前方画像レンダリング計算と後方画像レンダリング計算の両方をとる単一のフィルタが生成されてもよい。工程Ｓ１３１２において、対象オブジェクト（複数可）の取得された画像に顧客フィルタ（複数可）が適用される。工程Ｓ１３１４において、仮想窓を考慮しているＡＲ重複であるカスタム画像が表示用に生成され、電子デバイスのディスプレイを介してユーザに提示され得る。この手法は、異なる例示的実施形態において、静的又は動的であってもよい。図１３に示すように、工程Ｓ１３１４において移動が検出された場合、この手法は、プロセスの関連部分が繰り返されるように動的である。
【００８５】
図１３Ａ〜図１３Ｏは、特定の例示的実施形態に従って構成された例示的なモバイルアプリケーションのスクリーンショットである。図１３Ａは、シミュレーションされた窓を通して建築物の外側から建築物の内側を見ているユーザを表すシーンを示すスクリーンショットである。スクリーンは、多数の窓が同時にシミュレートされることを可能にする、いくつかの異なる領域に分割される。図１３Ａの例では、４つの別個の領域が存在する。これらの異なる領域の各々は、異なる製品の品質、並びに特定の他の調整可能なパラメータ（例えば、０〜１００％透過及び１００％〜０％反射など）を示すように設定され得る。任意選択の中央領域（例えば、４つの象限の中心に示された円）は、一定の基準として１００％反射及び０％透過を示す。中央領域は、色及び他の光学特性が一定の（例えば、中性の）基準と迅速に比較され得ることができるように、異なる領域と重複する。
【００８６】
図１３Ａに示すシーンは、デバイスによって撮影され、ビデオキャプチャに基づいてリアルタイムで更新され、既定のシーンのストアから取り出された画像などから得ることができることが理解されるであろう。特定の例示的実施形態では、ユーザに面する側における魚眼又は他のタイプのレンズを使用して、ビューの位置を追跡し、デバイスに対するユーザの位置／配向の変化などに基づいて動的に更新可能である、動的なシーン及び／又は事前撮影されたシーンを表示することができる。事前撮影されたシーンが使用されるシナリオでは、オブジェクトに面するカメラ及び／又はレンズを使用する必要がない場合がある。
【００８７】
加速度計、ジャイロ、及び／又は同様のものなどの１つ以上の慣性センサを使用して、デバイスの配向の変化を検出することができる。特定の例示的実施形態では（例えば、静的又は予め記録された画像が使用される場合）、例えば、（ジャイロと画像追跡の両方を使用する）ＡｐｐｌｅのＡＲ  Ｋｉｔなどのツールを使用して、デバイスの非常に正確な空間的位置決めを得ることができる。
【００８８】
モバイルアプリケーションの（例えば、ジャイロが使用されない）カメラ追跡バージョンは、ラップトップ、デスクトップコンピュータ、（例えば、Ｍｉｃｒｏｓｏｆｔ  ｓｕｒｆａｃｅ  ｈｕｂのような）壁に取り付けられた大型スクリーンなどのために実装され得ることが理解されるであろう。概して、これらの例示的なスクリーンショットに関連して説明される例示的なアプリケーションは、例えば、スマートフォン、タブレット、ラップトップ、デスクトップ、ビデオウォールなどを含む任意の好適な電子デバイス上に提供され得ることが理解されるであろう。
【００８９】
図１３Ｂは、前者が、同じ位置からの反射シーン（隔離中）を示すという点で、図１３Ａとは対照的である。図１３Ｃは、材料のスペクトル特性を考慮して図１３Ａ及び図１３Ｂのシーンを修正（減衰）し、したがって、組み合わされた（合計された）「最終」体験を示す。この例では、中央領域は、象限の全てがそれと同じコンテンツを表示しているため、不可視であるように現れる。
【００９０】
上述したように、ディスプレイの異なる領域内で異なる製品をシミュレートすることができる。例えば、象限内の任意の場所でタップすることにより、例えば、図１３Ｄに示すように、その象限の外観を変更して選択されたオプションをシミュレートするためにユーザによって選択され得る、予め構成されたオプションのリストを生成することができる。図１３Ｄの例示的なスクリーンショットは、異なる種類のベアガラス、異なるガラスタイプ上の異なるコーティング、及び異なるガラス厚さなどを含む。図１３Ｄに示す製品及び構成のリストは、例としてかつ限定なしに提供されることが理解されるであろう。異なる例示的実施形態では、譲受人及び／又は同様のものによって提供される異なるコーティング及び／又は構成が選択可能であってもよい。特定の例示的実施形態では、ユーザは、例えば、製品のタイプ（例えば、ベアガラス、モノリシックコーティング物品、絶縁ガラス（ＩＧ）ユニット、真空絶縁ガラス（vacuum insulating glass、ＶＩＧ）ユニット、積層製品など）、基材タイプ（例えば、透明フロートガラス、緑色ガラスなど）、基材厚さ、コーティングタイプ（例えば、異なる例示的な低Ｅ、反射防止、ＵＶ遮断、「バードフレンドリー」、及び／又は他のコーティング）、コーティング場所（複数可）（例えば、ＩＧユニットの表面２及び／又は３上の低Ｅなど）、並びに／あるいは同様のものに関して、構成される製品の部分を指定してもよい。図１３Ｅのスクリーンショットは、３つのグレージングサンプル、及び１００％反射を持つ非修正反射を示す。この例示的な可視化は、コーティングとガラスの組み合わせが、提示されたシーンを反射する黒い背景の前に配置された場合にどのように見え得るかを示す。
【００９１】
図１３Ｆは、日中のシーンの隔離された反射を示す４つの製品を含む。シーンは、上部のボタンを押すことによって変更することができ、例えば、ユーザが新しい場所（例えば、異なるシーン、建築物に向かう異なる配向など）、及び／又は異なる照明条件を選択することが可能になる。図１３Ｇは、夜間におけるシーンの隔離された反射を示す４つの製品を含む。
【００９２】
図１３Ｈ及び図１３Ｉは、（例えば、隔離された色調及びぼけに関連する）異なる透過オプションが設定されることを可能にする。図１３Ｈは、最小化されたバランスオプションを有し、反射が見えないため、色調が隔離されることが可能になる。しかしながら、図１３Ｉは、透過画像が隔離され、ぼかされている画像を示す。反射と透過の合成体の視覚的複雑さは、例えば、それらの要素のうちの１つをぼかすことによって低減することができる。スライダバー（又は他の例示的実施形態における他のユーザインターフェース要素）が、これら及び／又は他の目的のために使用されてもよい。
【００９３】
実社会のガラスを見ると、それは、ガラスにおいて反射されたシーンと、ガラスを透過したシーンとの合成体として見られ、各々の色は、母材及びコーティング（例えば、コーティングされた物品の場合）によって修正される。図１３Ｊ及び図１３Ｋは、異なる反射オプション（例えば、鮮鋭度及びぼけ）が設定されることを可能にする。例えば、図１３Ｊは、焦点が合っている透過画像を用いて、透過と反射の両方を論証する。図１３Ｋは、焦点がずれた透過画像を用いて、透過と反射の両方を論証する。この効果は、動きが関与するとき、例えば、より自然な閲覧体験を複製することを可能にするときに特に有用であり得る。
【００９４】
多数の効果を組み合わせてもよい。例えば、透過と反射の合成は、日中ビュー及び夜間ビューと組み合わせることができる。この点に関して、図１３Ｌ及び図１３Ｍは、それぞれ、日中及び夜間における合成を示す。同様に、隔離及びハイライト閾値が、例えば、図１３Ｎ及び図１３Ｏに示されるように指定されてもよい。図１３Ｎは、各サンプルのスペクトル測定値に基づく減衰アルゴリズムからの標準出力を示す。実社会シーンからｓＲＧＢ（又は他の）画像に遷移する際に、露光、ダイナミックレンジ、フォーマットロシンス、及び／又は同様のもののうちの１つ以上の結果として、情報が失われることがある。これにより、場合によっては、顕著な量の強度データが失われ、及び／又は圧縮され、潜在的に画像の全体的な「減光」がもたらされる可能性がある。図１３Ｏは、どのように輝度限界を閾値として使用して、実社会閲覧に存在する鏡面ハイライト挙動を保持することができるかを示す。
【００９５】
上述のように、特定の例示的実施形態では、基材、コーティング、又はこれらの組み合わせの選択を伴う動的な見本特徴が実装されてもよい。概して、見本は、製品性能の詳細の隣に個々に示されるか、又はより容易な審美的比較のために異なる製品のアレイ中に示される、製品審美性の小さい視覚例である。従来のガラス見本は、マーケティング材料上に提供されることがあり、典型的には、実際の製品をスタジオで撮影することによって作成されるか、あるいは単一の色値（例えば、パントン色、ＲＧＢ／ＣＭＹＫ値など）に基づいて色のソリッドフィールドとして表される。ガラス製品は、多くの場合、２つの見本によって表され、一方は透過色の隔離であり、他方は反射色の隔離である。
【００９６】
図１３Ｐは、見本の例示的なセットである。（典型的には上部選択に関連付けられている）透過色の見本は、ガラス片を白色の紙の上に置くための良好な類似物である。これは、建築家及び他の設計者にとって直感的であり、特定のガラス選択を与えられたときに建築家が建築物の内部がどのように見え得るかの考えを得ることを可能にする。しかしながら、透過における色効果の範囲は、静的な見本では限定される。例えば、図１３Ｐに示される見本では、見本の暗さは、光透過の割合及び色を表す。（典型的には、より下部の選択に関連付けられる）反射色は、概して、建築物及び他の設計者がガラスに反射させて色を評価する現実の標準的なオフィスオブジェクトがないため、直感的なものにすることがはるかにより困難である。反射の例示的なシナリオは、本曇りの空又は部分的に曇った午後の空を伴うが、そのようなシナリオは、反射される白色の紙と共に存在しない独自の色バイアスを導入する。残念ながら、単に白色を反射することは、建築物上でコーティングがどのように見え得るかに関して非常に有益ではない。
【００９７】
特定の例示的実施形態は、シミュレートされたガラス見本を作成することによってこれらの技術を改善する。すなわち、特定の例示的実施形態は、実際の製品を撮影すること及び／又は単一の色値を使用する制限が必要でない、デジタル的に作成された見本を伴う。ガラス製品スペクトル曲線を使用して、任意のソリッドカラー又は任意の数の画像（典型的には１〜２個で十分である）を、ガラス隔離透過、隔離反射、又は両方の合成体のレンダリングにコンバートすることができる。
【００９８】
特定の例示的実施形態では、ガラス見本は静的又は動的であり得る。ガラスの色は、（とりわけ）環境内で反射されているものに依存し、環境条件は流動しやすいため、静的な見本から、建築物上の所与の製品の実際の審美性がどんなものになるのかを推定することが時々困難になり得る。
【００９９】
この問題に対処するのを助けるために、したがって、特定の例示的実施形態は、静的な見本及び／又は動的な見本を使用し得る。後者に関しては、例えば、特定の例示的実施形態は、デジタル的に生成された見本を使用するため、ガラスがフィールド内で論証する種類の環境流動を示すために動き及び／又はビデオを使用することが可能になる。これにより、閲覧者は、様々な色／シーンが、任意の特定のグレージングオプションでは透過、反射、又は両方の合計においてどのように見え得るかのより良好な考えを得ることができる。動きの効果は、モバイルデバイス上の加速度計及び／又はジャイロスコープから、固定マシン上のタッチ／クリック又はスワイプ／ドラッグなどまで、様々な方式でトリガすることができる。予め記録された又は「記録済み」ビデオが常に流れることができるか、又はページをスクロールしながら始動することができる。異なる例示的実施形態では、多くの他のユーザインターフェースオプションも可能である。
【０１００】
図１３Ｑ〜図１３Ｓは、特定の例示的実施形態に係る、いくつの異なる製品のための見本を示す。製品はこれらの図面にわたって同じであるが、変化は明らかである。これらの変化は、デバイスのチルトによって駆動される。
【０１０１】
本明細書に記載される例示的技術は、設計建築家、学生、仕様作成者、及び／又は他者が、提案される設計に関する迅速な視覚フィードバックを得て、異なる設計及び同様のものを迅速かつ容易に企図することを可能にするために使用されてもよいことが理解されるであろう。有利には、サンプルの多くのコレクションを維持する必要のない代わりに、特定の例示的実施形態におけるユーザは、有意義なメトリックによってグループ化及びソートすることができる製品の最新リストを迅速かつ容易に見て、既定の製品を比較し、カスタム製品を生成し、デバイス上で動作するアプリケーションの使用によって行われたインテリジェントな選択に基づいて調整された特定のサンプルを注文することができる。例えば、再利用可能かつ再構成可能なＩＧユニット製品が、注文されると迅速に準備され得る。特定の例示的実施形態では、電子計算デバイス上で動作するアプリケーションは、リモート注文システムと統合されてもよく、選択が行われると、ユーザがアプリケーションから直接注文を始動することが可能になる。
【０１０２】
特定の例示的実施形態は、ガラス／窓シミュレーションに有用であると記載されているが、本明細書に記載される例示的技術は、多種多様な適用例において適用可能性を有することが理解されるであろう。例えば、追加又は代替の適用例の第１のスイートは、「視点共有」適用例であるものとして考えられるであろう。これらの適用例は、必ずしも、透視依存のビデオストリームと共に提示されるＡＲ情報を必要とするわけではなく、それでもなお、３６０度視野カメラ（複数可）によって収集された異なる視点を考慮することから利益を得ることができる。この点に関して、図１４Ａ〜図１４Ｃは、特定の例示的実施形態に係る、異なる視点の共有適用例のために図７の例示的デバイスのバージョンを使用している人間の閲覧者を示す異なる例示的なセットアップである。例示的なビデオ会議シナリオは、例示的実施形態に係る、本明細書の技術を使用することができる。時々、ビデオ会議における１人の参加者は、「ショウアンドテル」に参加することを望み、これは、この場合、ラップトップ、デスクトップに接続されたカメラ、スマートデバイス、及び同様のものを物理的又は仮想的に回転させることをしばしば伴い、その結果、１人以上の他の参加者は、議論されていることを理解することができる。換言すれば、ハンドヘルドモバイルデバイス又は同様のものを使用するビデオ会議通話では、１人の人が、その人の周囲からの何らかの物を他の人（複数可）と共有するために、ターゲットに面するカメラをオンに切り替えることによって電子デバイスを仮想的に回転させる、「ショウアンドテル」の瞬間がしばしば存在する。現在、この視点共有は、デバイスのカメラの直交する配向に限定されており、これは、共有体験の親密さを制限し、その結果、ぎこちない機械的な感覚が生じ、有機的でない及び／又は実物そっくりでないような感じが起こり得る。本明細書に開示される例示的技術を使用して、この「ショウアンドテル」の瞬間は、例えば、１人がシーン内に窓マスクを保持し、ビューを構成する場合、特にデバイスの仮想回転が存在する場合、アーティストのビューファインダを使用することにより類似したものにすることができる。これにより、この瞬間が、見せているユーザの視点を通してより共有されることが可能になり得る。例えば、見せているユーザが電子デバイスを再配向し、及び／又は反対のカメラを使用のために指定すると、見せているユーザは、示されるべきシーンをフレーム化することができる。配向は、代替又は追加として、例えば、閲覧しているユーザの視点に基づいて調整することができる。したがって、閲覧しているユーザが自分の身体を移動させる場合、自分の目線を変化させる場合など、本明細書に開示される画像処理技術を適用して、閲覧しているユーザにとってより現実的に見える画像をレンダリングすることができる。このようにして、オブジェクトは、見せているユーザによってうまくフレーム化されていない場合であっても、閲覧しているユーザの視点に適切な様式で、閲覧しているユーザに提示され得る。特定の例示的実施形態では、見せているユーザのデバイスに、ターゲットに面するカメラが装備されている場合、類似の技術を使用して、そのユーザがどこに位置しているかを識別し、見せているユーザの顔の画像を、閲覧しているユーザのデバイス上に表示することができ、その画像は、ターゲットに面するカメラの視野、及びそれに対する見せているユーザの顔の位置を考慮するように調整される。この説明は、主に仮想回転に関連することが理解されるであろう。しかしながら、例えば、電子デバイスが単一のカメラを有する場合、物理的な回転に関して同じ又は類似の技術を適用することができる。この点に関して、図１４Ａは、例示的実施形態に係る、本明細書の技術を使用する例示的なビデオ会議シナリオを含み、物理的な回転を伴う。
【０１０３】
図１５Ａ〜図１５Ｄは、特定の例示的実施形態を使用し得る「ショウアンドテル」シナリオに関連するように、（自分たちの前に正方形の穴を有する厚紙の一片を保持するとき、又は自分たちの指を使用して自分たちの前のシーンのセクションをフレーム化するときのように）閲覧者が自分たちの前のシーンを遮ったとき、「自然な挙動」を示すのを助ける。このタイプの挙動は、モバイル計算デバイス（並びに関連するディスプレイ及びカメラ）を使用してビューの前のシーンをフレーム化するとき、デバイスのカメラ（複数可）が典型的には直交する視野に限定されるので、現在再現されていない。しかしながら、本明細書に記載される例示的技術を使用して、このタイプの挙動は、モバイル計算デバイス又は同様のものを使用して作成できる。より具体的には、図１５Ａは、開口部を通して見ており、かつ限定された視野を有するビューを示す。ビューシフトが（例えば、図１５Ｂに示されるように左から右へ）位置決めされると、視野は反対方向にシフトする。図１５Ｃに示されるように、ビューが開口部のより近くに配置されるようにシフトすると、視野シフトは拡大する。図１５Ｄに示されるように、より近い閲覧角度では、（例えば）右から左への位置シフトは、視野に対してより動的な影響を及ぼす。
【０１０４】
別の例示的な適用例は、リモート存在デバイスに関する。この実施例の機能性を図１４Ｂに論証する。例えば、本明細書に開示される例示的技術をリモート存在デバイス（例えば、リモート、例えば、存在ロボット、固定デスクトップビデオ通話、又は同様のもの）に配備することによって、バリア内の開口部（例えば、壁内の窓など）を介して誰かに関与するのと同様の体験を作り出すことが可能である。そうすることにより、通信を強化し、両方の当事者が同じ空間内にいる感覚を増すことができる。例えば、１人のユーザが自分の頭部の位置を変化させたとき、第２のユーザの背景に対する第２のユーザの表示は、それに応じて変化し得る。この効果により、現実シーン内の移動に対する、仮想シーン内のスクリーン上の視点のシフトが生成される。特定の実施形態例では、視差補正のためにステレオカメラを使用することができることに留意されたい。
【０１０５】
図１６Ａ〜図１６Ｃは、特定の例示的実施形態を使用することができる「リモート存在」シナリオに関連するように、背景の前のスピーカのビューによって見られるような、視点シフトの「自然な挙動」を示すのを助ける。図１６Ａは、中性位置にある閲覧者を示す。ここで、スピーカ及び背景は、中性の開始位置にある。図１６Ｂに示されるように閲覧者が右に移動すると、スピーカは、背景に対して左に移動する。図１６Ｃに示されるように閲覧者が左に移動すると、スピーカは、背景に対して右に移動する。この例では、眼、顔、身体、及び／又は他の追跡技術が使用されてもよい。
【０１０６】
別の例示的な適用例は、没入型パノラマに関する。パノラマを一緒に撮影又はステッチするためのソフトウェアはかなり一般的になり、３６０度カメラは益々普及している。多くのプログラムは、スクロールスワイプ、ジャイロスコープ動き、及び同様のものなどを使用することにより、これらの幅広いフォーマット画像の没入型表示を可能にした。しかしながら、残念ながら、これらの手法は、閲覧者の視点を考慮せず、したがって、実物そっくりの没入型体験を常に作り出すわけではない。本明細書に開示される例示的技術をこの使用事例に展開することにより、はるかに実物そっくりの没入型体験を作り出すことができる。例えば、本明細書に開示される技術の一態様は、ユーザがデバイスにより接近するときの視野の増大に関する。これは、グラフィカルにリッチな社会的及び他の情報を表示する際の強力な視覚的制御である。このタイプの効果は、パノラマ及び全３６０度画像に対する標準的なアスペクト比からの、静止した及び移動中の、ライブの、又は予め記録された写真及びビデオを使用して作成することができる。この視点は、ユーザの６の自由度移動に基づいてシフトすることができる。図１４Ｃは、この機能の一例を論証する。
【０１０７】
更に別の例示的な適用例は、ドローン又はロボットの操縦に関し、これは、いくつかの意味では、上記のリモート存在適用例と没入型パノラマ適用例の両方の延長として考えられ得る。例えば、特定の例示的実施形態は、閲覧者の視点が、ロボティクス、ドローン、及び／又は同様のものへの入力の基礎として機能することを可能にする。例えば、ロボット又はドローンに設けられた、取り付けられた３６０度カメラ、２つの１８０カメラ、及び／又は同様のものは、全視野を提供することができる。ユーザは、ユーザ自身の視点に基づいてデバイスを「駆動」し、加速度及び／又は同様のものの入力を提供することができる。すなわち、本明細書に開示される例示的技術を使用して、ユーザのデバイスからの視点と、ドローン又はロボットに設けられたカメラ（複数可）からの視点とを比較し、それに応じてユーザ制御に応答することによって、ユーザが何を見ているかを理解し得る。
【０１０８】
図１７Ａ〜図１７Ｂは、特定の例示的実施形態に係る、リモート操縦入力システムに依存してどのように視点が変化し得るかを示すのを助ける。図１７Ａに示されるように、閲覧者は、閲覧者の視点によって制御されるシーンの動的可視化を提示される。例えば、デバイスに対して自分の頭部を移動させている閲覧者は、まさに閲覧者が厚紙の一片内の正方形の穴を通して見ているか、又は広視野カメラによってキャプチャされたシーンの周囲でパンニングしているかのように、シーンの異なる部分を明らかにする。図１７Ａの位置１〜３は、経時的な閲覧者の視点のシフトを論証する。図１７Ｂは、（例えば、実社会内、ゲーム又はシミュレータなどのデジタル環境内、など）ドローン若しくは他の車両、ターゲット化システム、又は同様のものの上のカメラによって提供され得る、閲覧者に提示される視点駆動可視化を示す。閲覧者の視点のシフトは、車両又はターゲット化システムを方向付けることができる。例えば、特定の例示的実施形態では、車両は閲覧者の視点の中心に移動させられ得、ターゲットは閲覧者の視点の中心へとトレーニングされ得る、など。経時的に一緒につながれると、この視点シフトを使用して、例えば、図１７Ｂに示されるように、空間中で車両を操縦することができる。上記のように、この例では、眼、顔、身体、及び／又は他の追跡技術が使用されてもよい。
【０１０９】
（場合によっては、コンテンツ認識グラフィックス及びメタデータを使用し得る）合成ＡＲオーバーレイ適用例も、本明細書に開示される例示的技術から利益を得ることができる。これらの適用例は、ＡＲ情報がビデオストリーム又は他の画像情報源の上に又は別の方法でそれに関連して提示されることを伴う。上記の視点共有適用例はＡＲ処置から利益を得ることができることが理解されるであろう。いずれの場合も、本明細書に開示される技術を使用して、ＡＲゲーム及びＡＲゲーム体験を改善することができる。例えば、本明細書に記載される例示的実施形態の品質及び特徴に基づく新しいゲームは、例えば、視点及び同様のものを考慮することによって、デバイスを実社会内のより現実的な感覚のＡＲオーバーレイ窓に転じることによって利益を得るように設計することができる。
【０１１０】
ターゲット化システムも、本明細書に開示される例示的技術から利益を得ることができる。モバイルデバイス上に配備されたときの現在のＡＲシステムの１つの欠点は、ユーザと、対象オブジェクトと、デバイスとの間のサイトライン位置合わせが存在しないことである。サイトラインの欠如は、デバイス上の情報が、ユーザ自身の視点から遮断される画像上に更なる情報を重ねるため、デバイス上の体験が実社会から切り離されているように感じる可能性がある。対照的に、更なる情報が、デバイスがユーザと対象オブジェクトとの間の直接的サイトラインを遮断するときのみユーザに示される場合、ユーザの知覚は、ユーザ自身の（個人的）ビューが拡張されているというものになる。これにより、ユーザがデバイスの視点と自分の視点との間であちこち見る必要性も軽減される。この技術は、上で考察されたドローン又はロボット操縦手法に関連して、又は別の方法で関連して使用されるものとして見ることができる。
【０１１１】
ウェイファインディングのアリーナに関して本明細書に開示される技術のための多くの潜在的適用例が存在する。ローカルエリアの外側の任意の対象点がミニマップの周辺においてマークされた状態で、いくつのビデオゲームが、限られたローカルエリアミニマップを有するのかに酷似して、特定の例示的実施形態は、ユーザの直近の視野の外側にある対象オブジェクト／情報の場所を示すことができる。これらの通知は、スクリーンの縁部に現れることができ、潜在的な対象オブジェクトを見るために行われる必要がある調整のタイプ（回転、横方向ジョグなど）を示唆し得る。この概念は、コンピュータビジョンシステムを使用して更に拡張することができ、例えば、（例えば、どのように場所までナビゲートすべきか、視野内にあるコーナーを回るべきか、などをユーザに示すフロア上又は空中に描かれた矢印）対象オブジェクトに着くためのシーン固有の移動命令を提供し得る。ストア内売上調査結果は、関連領域である。買い物体験は、本明細書に開示される例示的技術を使用することによって、例えば、セール中であり得るアイテム、自分たちがカート内に既に有するものとうまく合うアイテム、自分たちの買い物リストからのアイテムなどにユーザの注意を向けることによって向上され得る。これらの通知は、ユーザが自分たちの視点を食料品通路に沿って向けたとき、セール中アイテムを点灯させ得る。
【０１１２】
図１８Ａ〜図１８Ｂは、特定の例示的実施形態における、どのように視覚情報が視点依存シーンに重ねられ得るかについての説明を提供する。図１８Ａに示されるように、閲覧者の視点を追跡し、スクリーン上に適切なコンテンツを表示するために使用する。図１８Ｂに示されるように、ターゲットに面するカメラを使用して、デバイスは、コンテンツ（例えば、どの建築物がどのタイプのガラスを有するか、ストアアイテムがセール中であるかどうか、場所に着くためにどの経路をとるべきかなど）をシーン上にオーバーレイすることができる。デバイスが閲覧者とシーンとの間のサイトラインと交差しているとき、情報が提示されるであろう。情報は、例えば、どのオブジェクトが識別されたかに基づいて、ローカル又はリモートストアから取り出されてもよい。識別されたオブジェクトは、デバイスが視点を調べることによってどのオブジェクトが見られているかを判定すると、ＱＲ又は他のコードを読み取ること、ＧＰＳ又は他の場所を参照することなどによって判定されてもよい。上記のように、この例では、眼、顔、身体、及び／又は他の追跡技術が使用されてもよい。
【０１１３】
複合現実（mixed reality、ＭＲ）ドキュメントビューも、本明細書に開示される例示的技術から利益を得ることができる。例えば、食料品ストア、混雑した買い物地区、又は多くの他のオプションのような空間内に配備されたとき、ユーザがどのオブジェクトを見るかに関するデータは（又は、ユーザが無視することを選択するオブジェクトさえも）、推奨及びテーラー買い物体験、ナビゲーションなどを改善するためにまとめられ得る。これは、インターネット「ページビュー」と少なくとも幾分類似しているが、実社会のオブジェクトに関する。
【０１１４】
特定の例示的実施形態は、ユーザに面するステレオワイド（例えば、１５０〜１８０度）視野カメラを使用することができる。この構成では、特定の例示的実施形態は、改善された前景／背景動き分離を作り出すために画像処理技術を活用することができる。１つのカメラでは、ユーザは、背景の部分を自分の存在で本質的にマスキングすることができ、（視点変化動きグラフィックスを静止画像に追加する分野では一般的な）スケーリング技術を使用してマスキングを補うことができる。ステレオカメラでは、スケール変更は、同様の効果を作り出すために常に必要とされるわけではない場合がある。
【０１１５】
更なる画像処理の詳細は、本明細書に添付された付録に記載されており、その内容は、この特許出願の一部と見なされるべきである。すなわち、以下の付録の各々の全容は、参照により本明細書に組み込まれる。
・付録Ａ：異なる形状間でコンバートするための例示的技術
・付録Ｂ：二重画像キャプチャ及びバランシングのための例示的技術
・付録Ｃ：グレージング色効果に関する例示的技術
・付録Ｄ：ホワイトバランシングのための例示的技術
・付録Ｅ：クロマティック収差を処理するための例示的技術
・付録Ｆ：パン／チルトモードのための例示的技術
・付録Ｇ：歪み検証のための例示的技術
・付録Ｈ：画像をインポートするための例示的技術
・付録Ｉ：反射ハイライトを処理するための例示的技術
・付録Ｊ：魚眼レンズ補正のための例示的技術
・付録Ｋ：例示的魚眼の数学
・付録Ｌ：画像を合成するための例示的フローチャート
【０１１６】
特定の例示的実施形態では、電子デバイスが提供される。電子デバイスは、ユーザインターフェースと、少なくとも１つのプロセッサ及びメモリを含む処理リソースであって、メモリが、電子デバイスを使用する閲覧者と画像との間に仮想的に挿入される少なくとも１つの閲覧者選択製品を通して画像のビューをシミュレートするために、処理リソースによって実行可能なプログラムを記憶している、処理リソースと、を含み、シミュレートすることは、画像を取得することと、ユーザインターフェースに関連した少なくとも１つの製品の閲覧者選択を容易にすることと、少なくとも１つの閲覧者選択製品に関連付けられた表示特性を取り出すことと、閲覧者選択製品ごとに、取り出された表示特性に基づいて、取得された画像に適用されるフィルタを生成することと、電子デバイスを介して表示するために、取得された画像に適用される生成されたフィルタ（複数可）に対応する出力画像を生成することと、を含む機能を実行することによって行われる。
【０１１７】
前の段落の特徴に加えて、特定の例示的実施形態では、プログラムは、予め記憶された画像のストアからの画像の閲覧者選択を容易にすることを含む更なる機能を実行するように実行可能であり得、画像を取得することは、ストアから、閲覧者選択画像を取り出すことを含み得る。
【０１１８】
２つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、画像を取得することは、電子デバイスに動作可能に接続されたカメラから画像を得ることを含み得る。
【０１１９】
前の段落の特徴に加えて、特定の例示的実施形態では、カメラは、少なくとも１５０度の視野を有し得る。
【０１２０】
前の４つの段落のいずれかの特徴に加えて、特定の例示的実施形態では、取得された画像は静止画像及び／又はビデオであり得る。
【０１２１】
５つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１つの製品の閲覧者選択を容易にすることは、閲覧者が、複数の予め構成された製品候補から少なくとも１つの製品を選択することを可能にすることを含み得る。
【０１２２】
前の段落の特徴に加えて、特定の例示的実施形態では、複数の予め構成された製品候補は、少なくとも１つのコーティングされた物品、少なくとも１つの絶縁ガラス（ＩＧ）ユニット、少なくとも１つの真空絶縁ガラス（ＶＩＧ）ユニット、及び／又は少なくとも１つの積層製品を含み得る。
【０１２３】
２つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、予め構成された製品候補の各々は、その構成部品に関して指定され得、例えば、構成部品は、それぞれの予め構成された製品候補に適切な基材材料候補（複数可）、基材厚さ（複数可）、コーティング（複数可）、コーティング配置（複数可）、及び／又は積層材料（複数可）を含む。
【０１２４】
８つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１つの製品の閲覧者選択を容易にすることは、閲覧者が、カスタマイズされた製品を構成することを可能にすることを含み得、例えば、カスタマイズされた製品は、構成部品に関して構成可能であり、構成部品は、カスタマイズされた製品に適切な、基材材料候補（複数可）、基材厚さ（複数可）、コーティング（複数可）、コーティング配置（複数可）、及び／又は積層材料（複数可）を潜在的に含む。
【０１２５】
９つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、多数の製品が閲覧者選択可能である。
【０１２６】
前の段落の特徴に加えて、特定の例示的実施形態では、閲覧者選択製品ごとに異なるフィルタが生成され得、異なるフィルタは、１つの出力画像を生成する際に、取得された画像の異なる領域に適用され得る。
【０１２７】
１１個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、表示特性は、少なくとも１つの閲覧者選択製品の光学特性に対応し得る。
【０１２８】
前の段落の特徴に加えて、特定の例示的実施形態では、表示特性は、少なくとも１つの閲覧者選択製品の透過、反射、及び色関連光学特性に関連付けられ得る。
【０１２９】
１３個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、表示特性はデータベースから取り出され得る。
【０１３０】
前の段落の特徴に加えて、特定の例示的実施形態では、通信インターフェースが提供され得、データベースは、電子デバイスから離れて位置し、通信インターフェースを介してアクセスされ得る。
【０１３１】
１５個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、表示特性は（例えば、ローカルに又はリモートで）計算され得る。
【０１３２】
前の段落の特徴に加えて、特定の例示的実施形態では、表示特性を計算することは、出力画像が提供されるディスプレイデバイスの特徴に少なくとも部分的に基づき得る。
【０１３３】
１７個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、プログラムは、電子デバイスと閲覧者との間の相対移動を検出することと、電子デバイスと閲覧者との間の相対移動の検出に応答して、電子デバイスを介して表示するために、検出された相対移動を反映する更新された出力画像を生成することと、を含む更なる機能を実行するように実行可能であり得る。
【０１３４】
前の段落の特徴に加えて、特定の例示的実施形態では、プログラムは、電子デバイスと閲覧者との間の相対移動の検出に応答して、少なくとも１つの閲覧者選択製品に関連付けられた取り出された表示特性が、相対移動の後に依然として適用されるかどうかを判定することと、少なくとも１つの閲覧者選択製品に関連付けられた取り出された表示特性が、相対移動の後にもはや適用されないという判定に応答して、少なくとも１つの閲覧者選択製品に関連付けられた更新された表示特性を取り出すことと、閲覧者選択製品ごとに、取り出された表示特性に基づいて、取得された画像に適用される更新されたフィルタを生成することと、更新されたフィルタ（複数可）に関連して、更新された出力画像を生成することと、を含む更なる機能を実行するように実行可能であり得る。
【０１３５】
前の段落の特徴に加えて、特定の例示的実施形態では、少なくとも１つの閲覧者選択製品に関連付けられた取り出された表示特性が、相対移動の後に依然として適用されるかどうかを判定することは、移動が、配向の変化を伴わない位置の変化に対応するかどうかに関する判定に基づき得る。
【０１３６】
前の段落の特徴に加えて、特定の例示的実施形態では、１つ以上の慣性センサが提供され得、例えば、１つ以上の慣性センサは、電子デバイスの配向の変化を検出するように構成されている。
【０１３７】
３つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、相対移動は、電子デバイスの移動（例えば、その位置及び／又は配向の変化）、閲覧者の移動（例えば、閲覧者の位置の変化）、閲覧者の視線のシフト、並びに／あるいは同様のものに対応し得る。３つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１つのユーザに面するカメラが提供され得、例えば、ユーザに面するカメラは、閲覧者の視線にシフトがあったかどうかに関する判定に関連して、眼及び／又は顔追跡を実行するためにプログラムによって処理可能な信号を提供するように構成されている。
【０１３８】
前の段落の特徴に加えて、特定の例示的実施形態では、眼及び／又は顔追跡は、デバイス及び／又は閲覧者が移動している間に実行可能であり得る。
【０１３９】
５つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、更新された表示特性は、少なくとも１つの閲覧者選択製品の軸外透過、反射、及び色関連光学特性に関連付けられ得る。
【０１４０】
２４個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、出力画像が表示されるディスプレイデバイスが提供され得る。
【０１４１】
２５個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１５０度の視野を有する少なくとも１つのカメラが、電子デバイスに動作可能に接続され得る。
【０１４２】
２６個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、それぞれ、通常閲覧者に向かって、及び通常閲覧者に背を向けて配向された第１のカメラ及び第２のカメラが提供され得る。
【０１４３】
２７個の前の段のいずれかの特徴に加えて、特定の例示的実施形態では、電子デバイスはスマートフォン又はタブレットであり得る。
【０１４４】
特定の例示的実施形態では、電子デバイスを使用する閲覧者と画像との間に仮想的に挿入される少なくとも１つの閲覧者選択製品を通して画像のビューをシミュレートする方法が提供される。電子デバイスは、少なくとも１つのプロセッサ及びメモリを含む処理リソースを含む。この方法は、画像を取得することと、電子デバイス上で実行されるユーザインターフェースに関連した少なくとも１つの製品の閲覧者選択を容易にすることと、少なくとも１つの閲覧者選択製品に関連付けられた表示特性を取り出すことと、閲覧者選択製品ごとに、取り出された表示特性に基づいて、取得された画像に適用されるフィルタを生成することと、電子デバイスを介して表示するために、取得された画像に適用される生成されたフィルタ（複数可）に対応する出力画像を生成することと、を含む。
【０１４５】
前の段落の特徴に加えて、特定の例示的実施形態では、予め記憶された画像のストアからの画像の閲覧者選択が促進され得、画像を取得することは、ストアから、閲覧者選択画像を取り出すことを含み得る。
【０１４６】
２つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、画像を取得することは、電子デバイスに動作可能に接続されたカメラから画像を得ることを含み得る。
【０１４７】
前の段落の特徴に加えて、特定の例示的実施形態では、カメラは、少なくとも１５０度の視野を有し得る。
【０１４８】
前の４つの段落のいずれかの特徴に加えて、特定の例示的実施形態では、取得された画像は静止画像及び／又はビデオであり得る。
【０１４９】
５つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１つの製品の閲覧者選択を容易にすることは、閲覧者が、複数の予め構成された製品候補から少なくとも１つの製品を選択することを可能にすることを含み得る。
【０１５０】
前の段落の特徴に加えて、特定の例示的実施形態では、複数の予め構成された製品候補は、少なくとも１つのコーティングされた物品、少なくとも１つの絶縁ガラス（ＩＧ）ユニット、少なくとも１つの真空絶縁ガラス（ＶＩＧ）ユニット、及び／又は少なくとも１つの積層製品を含み得る。
【０１５１】
２つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、予め構成された製品候補の各々は、その構成部品に関して指定され得、例えば、構成部品は、それぞれの予め構成された製品候補に適切な基材材料候補（複数可）、基材厚さ（複数可）、コーティング（複数可）、コーティング配置（複数可）、及び／又は積層材料（複数可）を含む。
【０１５２】
８つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１つの製品の閲覧者選択を容易にすることは、閲覧者が、カスタマイズされた製品を構成することを可能にすることを含み得、例えば、カスタマイズされた製品は、構成部品に関して構成可能であり、構成部品は、カスタマイズされた製品に適切な、基材材料候補（複数可）、基材厚さ（複数可）、コーティング（複数可）、コーティング配置（複数可）、及び／又は積層材料（複数可）を潜在的に含む。
【０１５３】
９つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、多数の製品が閲覧者選択可能である。
【０１５４】
前の段落の特徴に加えて、特定の例示的実施形態では、閲覧者選択製品ごとに異なるフィルタが生成され得、異なるフィルタは、１つの出力画像を生成する際に、取得された画像の異なる領域に適用され得る。
【０１５５】
１１個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、表示特性は、少なくとも１つの閲覧者選択製品の光学特性に対応し得る。
【０１５６】
前の段落の特徴に加えて、特定の例示的実施形態では、表示特性は、少なくとも１つの閲覧者選択製品の透過、反射、及び色関連光学特性に関連付けられ得る。
【０１５７】
１３個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、表示特性はデータベースから取り出され得る。
【０１５８】
前の段落の特徴に加えて、特定の例示的実施形態では、通信インターフェースが提供され得、データベースは、電子デバイスから離れて位置し、通信インターフェースを介してアクセスされ得る。
【０１５９】
１５個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、表示特性は（例えば、ローカルに又はリモートで）計算され得る。
【０１６０】
前の段落の特徴に加えて、特定の例示的実施形態では、表示特性を計算することは、出力画像が提供されるディスプレイデバイスの特徴に少なくとも部分的に基づき得る。
【０１６１】
１７個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、電子デバイスと閲覧者との間の相対移動が検出され得、電子デバイスと閲覧者との間の相対移動の検出に応答して、電子デバイスを介して表示するために、検出された相対移動を反映する更新された出力画像を生成すること。
【０１６２】
前の段落の特徴に加えて、特定の例示的実施形態では、電子デバイスと閲覧者との間の相対移動の検出に応答して、少なくとも１つの閲覧者選択製品に関連付けられた取り出された表示特性が、相対移動の後に依然として適用されるかどうかに関する判定が行われ得、少なくとも１つの閲覧者選択製品に関連付けられた取り出された表示特性が、相対移動の後にもはや適用されないという判定に応答して、追加の機能は、少なくとも１つの閲覧者選択製品に関連付けられた更新された表示特性を取り出すことと、閲覧者選択製品ごとに、取り出された表示特性に基づいて、取得された画像に適用される更新されたフィルタを生成することと、更新されたフィルタ（複数可）に関連して、更新された出力画像を生成することと、を含む。
【０１６３】
前の段落の特徴に加えて、特定の例示的実施形態では、少なくとも１つの閲覧者選択製品に関連付けられた取り出された表示特性が、相対移動の後に依然として適用されるかどうかを判定することは、移動が、配向の変化を伴わない位置の変化に対応するかどうかに関する判定に基づき得る。
【０１６４】
前の段落の特徴に加えて、特定の例示的実施形態では、１つ以上の慣性センサが提供され得、例えば、１つ以上の慣性センサは、電子デバイスの配向の変化を検出するように構成されている。
【０１６５】
３つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、相対移動は、電子デバイスの移動（例えば、その位置及び／又は配向の変化）、閲覧者の移動（例えば、閲覧者の位置の変化）、閲覧者の視線のシフト、並びに／あるいは同様のものに対応し得る。３つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１つのユーザに面するカメラが提供され得、例えば、ユーザに面するカメラは、閲覧者の視線にシフトがあったかどうかに関する判定に関連して、眼及び／又は顔追跡を実行するために処理可能な信号を提供するように構成されている。
【０１６６】
前の段落の特徴に加えて、特定の例示的実施形態では、眼及び／又は顔追跡は、デバイス及び／又は閲覧者が移動している間に実行可能であり得る。
【０１６７】
５つの前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、更新された表示特性は、少なくとも１つの閲覧者選択製品の軸外透過、反射、及び色関連光学特性に関連付けられ得る。
【０１６８】
２４個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、出力画像が表示されるディスプレイデバイスが提供され得る。
【０１６９】
２５個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１５０度の視野を有する少なくとも１つのカメラが、電子デバイスに動作可能に接続され得る。
【０１７０】
２６個の前の段落のいずれかの特徴に加えて、特定の例示的実施形態では、それぞれ、通常閲覧者に向かって、及び通常閲覧者に背を向けて配向された第１のカメラ及び第２のカメラが提供され得る。
【０１７１】
２７個の前の段のいずれかの特徴に加えて、特定の例示的実施形態では、電子デバイスはスマートフォン又はタブレットであり得る。
【０１７２】
特定の例示的実施形態では、計算デバイスのプロセッサによって実行されたとき、２８の先行する請求項のいずれか一項の方法を実行するプログラムをタンジブルに記憶している非一時的コンピュータ可読記憶媒体が提供される。
【０１７３】
本発明が、最も実用的で好ましい実施形態と現在考えられるものに関連して説明されてきたが、本発明は、開示される実施形態に限定されるものではなく、寧ろ、特許請求の範囲の趣旨及び範囲内に含まれる様々な修正及び同等の構成を網羅することを意図するものであることを理解されたい。
・付録Ａ：異なる形状間でコンバートするための例示的技術
【０１７４】
この例の目的のために、以下の説明は、ホストｉＰａｄが「縦向き」の配向にあると仮定する。これらの例示的技術は、上記に提供された例と共に、又はその代わりに使用され得ることが理解されるであろう。
Ｉ．序論
Ａ．定数
【０１７５】
この例の目的のために、以下の説明は、ホストｉＰａｄが「縦向き」の配向にあると仮  ホストデバイスは、２０１７ｉＰａｄ  Ｐｒｏ１０．５”（Ａ１７０１又はＡ１７０９）である。ｐ＝２６４、スクリーンの画素毎インチ。
【０１７６】
カメラに関しては、ν＝π、魚眼カメラの視野（一様であると仮定）。
Ｂ．空間及び座標系
１．全エクイレクタングラ画像空間
【０１７７】
全エクイレクタングラ画像空間は、ω画素幅×η画素高さの矩形であり、ω及びηは、ω：η＝２：１を満たす。この空間は、単一の視点からキャプチャされた３６０°×１８０°シーンを表すために使用される。
【０１７８】
デカルト座標に関して、この座標系では、全エクイレクタングラ画像空間がデカルト座標（ｓ、ｔ）によってパラメータ化され、（０、０）は空間の左下に位置し、（ｓ、ｔ）＝（ω、η）は空間の右上に位置する。この点に関しては図１９を参照されたい。
【０１７９】
コンバージョンに関して、全エクイレクタングラ画像空間（デカルト座標）内の点（ｓ0、ｔ0）は、次式を使用して全エクイレクタングラ画像空間（地理的座標）にコンバートすることができる。
【数４８】
2022502771.tif 000050
【０１８０】
地理座標系に関して、全エクイレクタングラ画像空間は、デカルト座標（α、β）によってパラメータ化され、αは、緯度を表し、−π／２とπ／２との間で変動し、βは、経度を表し、−π／２と３π／２との間で変動する。この点に関しては図２０を参照されたい。
【０１８１】
コンバージョンに関して、全エクイレクタングラ画像空間（地理的座標）内の点（α0、β0）は、次式を使用して全エクイレクタングラ画像空間（デカルト座標）にコンバートすることができる。
【数４９】
2022502771.tif 000051
【０１８２】
全エクイレクタングラ画像空間（地理的座標）内の点（α0、β0）は、式Ａ0＝α0、Ｂ0＝β0、及びＣ0＝任意を使用して全世界空間（３６０カム中心の地理的座標）に射影することができる。
２．半エクイレクタングラ画像空間
【０１８３】
半エクイレクタングラ画像空間は、η画素幅×η画素高さの矩形である。この空間は、単一の視点からキャプチャされた１８０°×１８０°シーンを表すために使用される。
【０１８４】
デカルト座標に関して、この座標系では、半エクイレクタングラ画像空間がデカルト座標（ｓ、ｔ）によってパラメータ化され、（０、０）は空間の左下に位置し、（ｓ、ｔ）＝（η、η）は空間の右上に位置する。この点に関しては図２１を参照されたい。
【０１８５】
地理的座標に関して、半エクイレクタングラ画像空間は、デカルト座標（α0、β0）によってパラメータ化され、αは、緯度を表し、−π／２とπ／２との間で変動し、βは、経度を表し、−π／２とπ／２との間で変動する。この点に関しては図２２を参照されたい。
【０１８６】
半エクイレクタングラ画像空間（地理的座標）内の点（α0、β0）は、次式を使用して半エクイレクタングラ画像空間（デカルト座標）にコンバートすることができる。
【数５０】
2022502771.tif 000052
３．魚眼画像空間
【０１８７】
魚眼画像空間は、ｄ画素×ｄ画素の正方形である。この空間は、単一の視点からキャプチャされた１８０°×１８０°シーンを表すために使用される。キャプチャされたシーンは、直径ｄの中央円板内に完全に位置し、キャプチャされたシーンは直立していると仮定される。
【０１８８】
デカルト座標に関して、この座標系では、魚眼画像空間はデカルト座標（ｕ、ｖ）によってパラメータ化され、（０、０）は空間の左下に位置し、（ｕ、ｖ）＝（ｄ、ｄ）は空間の右上に位置する。この点に関しては図２３を参照されたい。
【０１８９】
魚眼画像空間（デカルト座標）内の点（ｕ0、ｖ0）は、次式を使用して魚眼画像空間（極座標）にコンバートすることができる。
【数５１】
2022502771.tif 000053
【０１９０】
極座標に関して、この座標系では、魚眼画像空間は極座標（ｒ、θによってパラメータ化され、ｒは、とｄ／２との間で変動し、θは、ラジアンで測定され、−πとπとの間で変動し、θ＝π／２は、すぐ上をポイントする。この点に関しては図２４を参照されたい。
【０１９１】
魚眼画像空間（極座標）の点（ｒ0、θ0）は、式ｕ0＝ｄ／２＋ｒ0  ｃｏｓ（θ0）及びｖ0＝ｄ／２＋ｒ0  ｓｉｎ（θ0）を使用して魚眼画像空間（デカルト座標）にコンバートすることができる。
【０１９２】
魚眼画像空間（極座標）内の点（ｒ0、θ0）は、式Θ0＝θ0及びΦ0＝ｖｒ0／ｄ＝πｒ0／ｄを使用して半世界空間（カム中心の光学座標）にコンバートすることができる。
４．画像空間を表示する
【０１９３】
表示画像空間は、ｗ画素幅×ｈ画素高さの矩形であり、ｗ及びｈは、ｉＰａｄスクリーンのアスペクト比と一致するためにｗ：ｈ＝２：３を満たす。この空間は、ｉＰａｄスクリーン上に表示される画像を表すために使用される。
【０１９４】
デカルト座標に関して、この座標系では、表示画像空間はデカルト座標（ｘ、ｙ）によってパラメータ化され、（０、０）は矩形の左下に位置し、（ｘ、ｙ）＝（ｗ、ｈ）は矩形の右上に位置し、この空間内に表示される出力画像は直立していると仮定される。この点に関しては図２５を参照されたい。
【０１９５】
表示画像空間（デカルト座標）内の点（ｘ0、ｙ0）は、式Ｘ0＝（ｘ0−ｗ／２）／ｐ、Ｙ0＝（ｙ0−ｈ／２）／ｐ、Ｚ0＝０を使用して全世界空間（スクリーン中心のデカルト座標）にコンバートすることができる。
５．全世界空間
【０１９６】
全世界空間は、物理世界を表す３次元空間である。この例では、全ての長さはインチで与えられる。
【０１９７】
スクリーン中心のデカルト座標に関して、この座標系では、全世界空間はデカルト座標によってパラメータ化され、Ｘ、Ｙ、及びＺは全て、範囲（−∞、∞）内にある。（０、０、０）は、ｉＰａｄのスクリーンの中心に位置し、Ｘ−Ｙ平面は、ｉＰａｄのスクリーンと同一平面上にあり、Ｘ軸は、ｉＰａｄの短辺に平行であり、前方から閲覧されたときに左から右へと増加し、Ｙ軸は、ｉＰａｄの長辺に平行であり、この配向で下から上へと増加し、Ｚ軸は、ｉＰａｄのスクリーンに垂直であり、半空間｛Ｚ＞０｝は、ｉＰａｄの前に完全に位置する。この点に関しては図２６を参照されたい。
【０１９８】
物理デバイスの姿勢（ピッチ、ロール、及びヨー）を表現するためにｉＯＳフレームワークによって使用される座標系は、スクリーン中心のデカルト座標とほぼ同一である。この点に関しては図２７を参照されたい。したがって、特定の例示的実施形態は、いくつかの計算ではデバイス中心のデカルト座標を近似するために、スクリーン中心のデカルト座標を使用することができる。
【０１９９】
ｉＰａｄの前方カメラは、全世界空間（スクリーン中心のデカルト座標）内のＸf＝（Ｘf、Ｙf、Ｚf）＝（０、４．５７、０）に位置すると仮定される。ｉＰａｄのバックカメラは、全世界空間（スクリーン中心のデカルト座標）内のＸb＝（Ｘb、Ｙb、Ｚb）＝（３．０７、４．５５、０）に位置すると仮定される。
【０２００】
全世界空間（スクリーン中心のデカルト座標）内の点（Ｘ0、Ｙ0、Ｚ0）は、式Ｉ0＝Ｘ0−Ｘb、Ｊ0＝−Ｚ0、及びＫ0＝Ｙ0−Ｙbを使用して半世界空間（バックカム中心のデカルト座標）にコンバートすることができる。
【０２０１】
全世界空間（スクリーン中心のデカルト座標）内の点（Ｘ0、Ｙ0、Ｚ0）は、式Ｉ0＝−Ｘ0、Ｊ0＝Ｚ0、及びＫ0＝Ｙ0−Ｙfを使用して半世界空間（前方カム中心のデカルト座標）にコンバートすることができる。
【０２０２】
全世界空間（スクリーン中心のデカルト座標）内の点（Ｘ0、Ｙ0、Ｚ0）は、次式を使用して全世界空間（スクリーン中心のデカルト座標）にコンバートすることができる。
【数５２】
2022502771.tif 000054
【０２０３】
３６０カム中心の地理的座標に関して、この座標系では、全世界空間は地理的座標（Ａ、Ｂ、Ｃ）によってパラメータ化され、ＡとＢは両方ともラジアンで測定され、Ａは、緯度を表し、−π／２とπ／２との間で変動し、Ｂは、経度を表し、−π／２と３π／２との間で変動し、Ｃは、［０、∞）の範囲内にある。この点に関しては図２８を参照されたい。
【０２０４】
全世界空間（３６０カム中心の地理的座標）内の点（Ａ0、Ｂ0、Ｃ0）は、式α0＝Ａ0及びβ0＝Ｂ0を使用して全エクイレクタングラ画像空間（地理的座標）内の点（α0、β0）に折り畳むことができる。
【０２０５】
全世界空間（３６０カム中心の地理的座標）内の点（Ａ0、Ｂ0、Ｃ0）は、式Ｘ0＝ｃｏｓ（Ａ0）ｓｉｎ（Ｂ0）、Ｙ0＝ｓｉｎ（Ａ0）、及びＺ0＝−ｃｏｓ（Ａ0）ｃｏｓ（Ｂ0）を使用して全世界空間（スクリーン中心のデカルト座標）にコンバートすることができる。
６．半世界空間
【０２０６】
半世界空間は、物理世界の半分を表す３次元の半空間である。この例では、全ての長さはインチで与えられる。
【０２０７】
（前方／バック）カム中心のデカルト座標に関して、この座標系では、半世界空間はデカルト座標（Ｉ、Ｊ、Ｋ）によってパラメータ化され、Ｉ及びＫは（−∞、∞）の範囲内にあり、Ｊは［０、∞）の範囲内にあり、カメラは（０、０、０）に位置する。カメラの視点からは、（１、０、０）はカメラのすぐ右側に位置し、（０、１、０）はカメラのすぐ右側に位置し、（０、０、１）はカメラの真上に位置する。これらに関しては、前方ビュー及びバックビューについてそれぞれ図２９〜図３０を参照されたい。
【０２０８】
半世界空間（カム中心のデカルト座標）内の点（Ｉ0、Ｊ0、Ｋ0）は、次式を使用して半世界空間（カム中心の光学座標）にコンバートすることができる。
【数５３】
2022502771.tif 000055
【０２０９】
半世界空間（前方カム中心のデカルト座標）内の点（Ｉ0、Ｊ0、Ｋ0）は、式Ｘ0＝−Ｉ0、Ｙ0＝Ｋ0＋Ｙf＝Ｋ0＋４．５７、及びＺ0＝Ｊ0を使用して全世界空間（スクリーン中心のデカルト座標）にコンバートすることができる。
【０２１０】
半世界空間（カム中心のデカルト座標）内の点（Ｉ0、Ｊ0、Ｋ0）は、次式を使用して半世界空間（カム中心の幾何座標）にコンバートすることができる。
【数５４】
2022502771.tif 000056
【０２１１】
（前方／バック）カム中心の光学座標に関して、この座標系では、半世界空間は光学座標（Θ、Φ、Γ）によってパラメータ化され、θとΦは両方ともラジアンで測定され、Θは［−π、π］の範囲内にあり、線Θ＝０はカメラのすぐ右側に位置し、Φは［０、π／２］の範囲内にあり、線Φ＝０はカメラの光軸に対応し、｛Φ＝π／２｝はｉＰａｄと同一平面上にあり、Γは［０、∞）の範囲内にある。この点に関しては図３１を参照されたい。
【０２１２】
半世界空間（カム中心の光学座標）内の点（Θ0、Φ0、Γ0）は、式ｒ0＝ｄΦ0／ν＝ｄΦ0／π及びθ0＝Θ0を使用して魚眼画像空間（極座標）に折り畳むことができる。
【０２１３】
半世界空間（カム中心の光学座標）中の点（Θ0、Φ0、Γ0）は、式Ｉ0＝Γ0  ｓｉｎ（Φ0）ｃｏｓ（Θ0）、Ｊ0＝Γ0  ｃｏｓ（Φ0）、及びＫ0＝Γ0  ｓｉｎ（Φ0）ｓｉｎ（Θ0）を使用して半世界空間（カム中心のデカルト座標）にコンバートすることができる。
【０２１４】
カム中心の地理的座標に関して、この座標系では、半世界空間は地理的座標によってパラメータ化され、ＡとＢは両方ともラジアンで測定され、Ａは、緯度を表し、−π／２とπ／２との間で変動し、Ｂは、経度を表し、−π／２とπ／２との間で変動し、Ｃは［０、∞）の範囲内にある。この点に関しては図３２を参照されたい。
【０２１５】
半世界空間（カム中心の地理的座標）内の点（Ａ0、Ｂ0、Ｃ0）は、式α0＝Ａ0及びβ0＝Ｂ0を使用して半エクイレクタングラ画像空間（地理的座標）に折り畳むことができる。
ＩＩ．二重動的魚眼からユーザ視点調整
Ａ．顔の場所を推定する
【０２１６】
この技術は、前方魚眼画像空間（デカルト座標）内の眼の場所（ｕ1、ｖ1）及び（ｕ2、ｖ2）、並びにＳ＝２．５（２つの眼の（インチでの）仮定される物理的分離）を所与として、全世界空間（スクリーン中心のデカルト座標）でのユーザの平均的な眼の場所Ｘa＝（Ｕa、Ｖa、Ｗa）（Ｗa＞０）を計算するために使用することができる。これを行うために、特定の例示的実施形態は以下を行い得る。
【０２１７】
工程１．眼の位置（ｕ1、ｖ1）及び（ｕ2、ｖ2）ｒｏｍ魚眼画像空間（デカルト座標）を以下のように魚眼画像空間（極座標）にコンバートする。
【数５５】
2022502771.tif 000057
【０２１８】
工程２．半世界空間（前方カム中心の光学座標）へと射影する。この工程では、半径は任意であり、したがって、一般性の損失なしにΓ１＝Γ２＝１を固定する。
Θ1＝θ1
Φ1＝νｒ1／ｄ＝πｒ1／ｄ
Θ2＝θ2
Φ2＝νｒ2／ｄ＝πｒ2／ｄ
【０２１９】
工程３．半世界空間（前方カム中心のデカルト座標）にコンバートする（注：次の工程は入力ベクトルが正規化されることを仮定し、これらは以下のとおりである）。
Ｉ1＝ｓｉｎ（Φ1）ｃｏｓ（Θ1）
Ｊ1＝ｃｏｓ（Φ1）
Ｋ1＝ｓｉｎ（Φ1）ｓｉｎ（Θ1）
Ｉ2＝ｓｉｎ（Φ2）ｃｏｓ（Θ2）
Ｊ2＝ｃｏｓ（Φ2）
Ｋ2＝ｓｉｎ（Φ2）ｓｉｎ（Θ2）
【０２２０】
工程４．十分に調整されたベクトル式δ＝ａｒｃｔａｎ（｜Ｉ1×Ｉ2｜、Ｉ1・Ｉ2）を使用して、球体上の２つの点の間の中心角度δを計算する。
【０２２１】
工程５．角度δを所与として、ユーザと前方カメラとの間のインチでの距離Ｄを推定する：Ｄ＝（Ｓ／２）／ｔａｎ（δ／２）。ユーザがカメラに近づくときの精度を向上させるために、（直線距離とは対照的に）大きい円距離が考慮され得る。
【０２２２】
工程６．以下のように魚眼画像空間（デカルト座標）内の平均的な眼の場所を計算する。
ｕa＝（ｕ1＋ｕ2）／２
ｖa＝（ｖ1＋ｖ2）／２
【０２２３】
工程７．以下のように魚眼画像空間（極座標）にコンバートする。
【数５６】
2022502771.tif 000058
【０２２４】
工程８．以下のように半世界空間（前方カム中心の光学座標）へと射影する。
Θa＝θa
Φa＝νｒa／ｄ＝πｒa／ｄ
Γa＝Ｄ
魚眼画像空間から半世界空間への変換が非線形であるため、単純にΘ1,2及びΦ1,2を平均化してΘa及びΦaを得ることが適切でないことあることが理解されるであろう。
【０２２５】
工程９．以下のように半世界空間（前方カム中心のデカルト座標）にコンバートする。
Ｉa＝Γa  ｓｉｎ（Φa）ｃｏｓ（Θa）
Ｊa＝Γa  ｃｏｓ（Φa）
Ｋa＝Γa  ｓｉｎ（Φa）ｓｉｎ（Θa）
【０２２６】
工程１０．以下のように全世界空間（スクリーン中心のデカルト座標）にコンバートする。
Ｘa＝−Ｉa
Ｙa＝Ｋa＋４．５７
Ｚa＝Ｊa
Ｂ．後方画像ワーピング
【０２２７】
この技術は、表示画像空間（デカルト座標）内のターゲット点（ｘ0、ｙ0）、及び全世界空間（スクリーン中心のデカルト座標）内のユーザの眼の場所Ｘu＝（Ｘu、Ｙu、Ｚu）（Ｚu＞０）を所与として、ターゲット点において表示されるべき後方魚眼画像空間（デカルト座標）内のソース点（ｕ0、ｖ0）を計算するために使用することができる。これを行うために、特定の例示的実施形態は以下を行い得る。
【０２２８】
工程１．以下のようにターゲット点を全世界空間（スクリーン中心のデカルト座標）にコンバートする。
Ｘ0＝（ｘ0−ｗ／２）／ｐ
Ｙ0＝（ｙ0−ｈ／２）／ｐ
Ｘ0＝（Ｘ0、Ｙ0、０）としてそれを示す。
【０２２９】
工程２．ターゲット点Ｘ0及びユーザの眼Ｘuを通過する全世界空間（スクリーン中心のデカルト座標）内の線の式は、次いで、Ｘ＝Ｘ0＋λＤ（１）であり、Ｄ＝（Ｘ0−Ｘu）／｜Ｘ0−Ｘu｜は、ユーザの眼Ｘuからターゲット点Ｘ0をポイントする長さ１のベクトルであり、λは、Ｘ0から開始してこのベクトルの方向に移動した距離を表す実数である。
【０２３０】
工程３．ユーザの視点に従って半空間｛Ｚ＜０｝の正しい部分を表示することが望ましいであろう。しかしながら、その半空間の画像は、バックカメラの視点からキャプチャされる。この視点オフセットの補正を可能にすることを試みるために、バックカメラの場所Ｘbを中心とした半径Ｒの半球｛Ｚ＜０、｜Ｘ−Ｘb｜2＝Ｒ2｝に半空間｛Ｚ＜０｝を折り畳むことを（通常は）考える。次いで、（１）何らかのヒューリスティックに従ってＲを選ぶか、又は（２）ユーザがＲの値を手動で較正することを可能にする。
【０２３１】
工程４．Ｘ0において表示されるべき半球上の点を見つけるために、線（１）を延在することを考え、半球と交差するまでユーザのサイトラインを追跡する。この交差点は、次式の１つのルートによって与えられる。
【数５７】
2022502771.tif 000059
Ｒ＞＞｜Ｘb−Ｘu｜、｜Ｘ0−Ｘb｜であるとき、この式の解はほぼ±Ｒであり、視点オフセットをまったく無視した場合に予想され得るのと同じ解である。（５）において正のルートを選ぶべきか負のルートを選ぶべきかを判定するために、μ0Ｗ／｜Ｘ0−Ｘu｜である、Ｘ0＋μ0ＥのＺ成分を考慮する。これは正であるべきであり、なぜなら、これは、ｉＰａｄの前の交差点ではなく、ｉＰａｄの後ろに位置する交差点が選ばれるべきであり、これはλ0＞０であるときに可能である。したがって、（２）における正のルートが選ばれる。
【数５８】
2022502771.tif 000060
概略については図３３を参照されたい。
【０２３２】
工程５．全世界空間（スクリーン中心のデカルト座標）内の交差点Ｘi＝Ｘ0＋λ0Ｄがここで知られる。これは半世界空間（バックカム中心のデカルト座標）にコンバートされるべきである：Ｉ0＝Ｘi−３．０７、Ｊ0＝−Ｚi、及びＫ0＝Ｙi−４．５５。
【０２３３】
工程６．以下のように半世界空間（バックカム中心の光学座標）にコンバートする。
【数５９】
2022502771.tif 000061
【０２３４】
工程７．魚眼画像空間（極座標）に折り畳む：ｒ0＝ｄΦ0／ν＝ｄΦ0／π及びθ0＝Θ0。
【０２３５】
工程８．魚眼画像空間（デカルト座標）にコンバートする：ｕ0＝ｄ／２＋ｒ  ｃｏｓ（θ0）及びｖ0＝ｄ／２＋ｒ  ｓｉｎ（θ0）。
Ｃ．前方画像ワーピング
【０２３６】
この技術は、表示画像空間（デカルト座標）内のターゲット点（ｘ0、ｙ0）、及び全世界空間（スクリーン中心のデカルト座標）内のユーザの眼の場所Ｘu＝（Ｘu、Ｙu、Ｚu）（Ｚu＞０）を所与として、ターゲット点において表示されるべき前方魚眼画像空間（デカルト座標）内のソース点（ｕ0、ｖ0）を計算するために使用することができる。これを行うために、特定の例示的実施形態は以下を行い得る。
【０２３７】
工程１．以下のようにターゲット点を全世界空間（スクリーン中心のデカルト座標）にコンバートする。
Ｘ0＝（ｘ0−ｗ／２）／ｐ
Ｙ0＝（ｙ0−ｈ／２）／ｐ
Ｘ0＝（Ｘ0、Ｙ0、０）としてそれを示す。
【０２３８】
工程２．ターゲット点Ｘ0及びユーザの眼Ｘuを通過する全世界空間（スクリーン中心のデカルト座標）内の線の式は、次いで、Ｘ＝Ｘ0＋λＤ（３）であり、Ｄ＝（Ｘ0−Ｘu）／｜Ｘ0−Ｘu｜は、ユーザの眼Ｘuからターゲット点Ｘ0をポイントする長さ１のベクトルであり、λは、Ｘ0から開始してこのベクトルの方向に移動した距離を表す実数である。
【０２３９】
工程３．線（３）に沿って反射される入射光線を表す全世界空間（スクリーン中心のデカルト座標）内の線の式は、次いで、Ｘ＝Ｘ0＋μＥ（４）であり、Ｅは、ターゲット点Ｘ0から離れてポイントする長さ１の反射ベクトルであり、μは、Ｘ0から開始してこの反射ベクトルに沿って移動した距離を表す実数である。ここで、平面｛Ｚ＝０｝において反射が生じるため、Ｅは、Ｚ成分の符号を切り替えることによってＤから得ることができる。
【０２４０】
工程４．ユーザの視点に従って半空間｛Ｚ＞０｝の正しい部分を表示することが望ましいであろう。しかしながら、その半空間の画像は、前方カメラの視点からキャプチャされる。この視点オフセットの補正を可能にすることを試みるために、前方カメラの場所Ｘfを中心とした半径Ｒの半球｛Ｚ＞０、｜Ｘ−Ｘf｜2＝Ｒ2｝に半空間｛Ｚ＞０｝を折り畳むことを（通常は）考える。次いで、（１）何らかのヒューリスティックに従ってＲを選ぶか、又は（２）ユーザがＲの値を手動で較正することを可能にする。
【０２４１】
工程５．Ｘ0において表示されるべき半球上の点を見つけるために、線（４）を延在することを考え、半球と交差するまでユーザの反射したサイトラインを追跡する。この交差点は、次式の１つのルートによって与えられる。
【数６０】
2022502771.tif 000062
Ｒ＞＞｜Ｘf−Ｘu｜、｜Ｘ0−Ｘf｜であるとき、この式の解はほぼ±Ｒであり、視点オフセットをまったく無視した場合に予想され得るのと同じ解である。（２）において正のルートを選ぶべきか負のルートを選ぶべきかを判定するために、−λ0Ｗ／｜Ｘ0−Ｘu｜である、Ｘ0＋λ0ＤのＺ成分を考慮する。これは負であるべきであり、なぜなら、これは、ｉＰａｄの後ろの交差点ではなく、ｉＰａｄの前に位置する交差点が選ばれるべきであり、これはμ0＞０であるときに可能である。したがって、（５）における正のルートが選ばれる。
【数６１】
2022502771.tif 000063
【０２４２】
工程６．全世界空間（スクリーン中心のデカルト座標）内の交差点Ｘi＝Ｘ0＋μ0Ｅがここで知られる。これは半世界空間（前方カム中心のデカルト座標）にコンバートされるべきである：Ｉ0＝−Ｘi、Ｊ0＝Ｚi、及びＫ0＝Ｙi−４．５７。
【０２４３】
工程６．以下のように半世界空間（前方カム中心の光学座標）にコンバートする。
【数６２】
2022502771.tif 000064
【０２４４】
工程７．魚眼画像空間（極座標）に折り畳む：ｒ0＝ｄΦ0／ν＝ｄΦ0／π及びθ0＝Θ0。
【０２４５】
工程８．魚眼画像空間（デカルト座標）にコンバートする：ｕ0＝ｄ／２＋ｒ  ｃｏｓ（θ0）及びｖ0＝ｄ／２＋ｒ  ｓｉｎ（θ0）。
ＩＩＩ．単一の静的エクイレクタングラからデバイス姿勢調整
Ａ．エクイレクタングラ画像ワーピング
【０２４６】
ここで、高レベルの目標は、画像の左半分が、３６０°カメラの前方に面する部分によってキャプチャされた１８０°×１８０°シーンを表し、かつ画像の右半分が、３６０°カメラの後方に面する部分によってキャプチャされた１８０°×１８０°シーンを表す、３６０°×１８０°シーンを表す単一のエクイレクタングラ画像と、エクイレクタングラ画像がキャプチャされた基準姿勢に対する現在のデバイス姿勢に関する情報と、を所与として、同じ位置及び現在のデバイス姿勢からそれがキャプチャされたはずである元の３６０°×１８０°シーンを表すエクイレクタングラ画像を構築することとして考えられ得る。実装の視点からは、これは、全エクイレクタングラ画像空間（デカルト座標）内のターゲット点（ｓ0、ｔ0）と、相対的デバイス姿勢を記述するＣＭＡｔｔｉｔｕｄｅインスタンスと、を所与として、ターゲット点において表示されるべき全エクイレクタングラ画像空間（デカルト座標）内のソース点（ｓ1、ｔ1）を計算することとして考えられ得る。（Ａｐｐｌｅ開発者ガイドラインに係るＣＭＡｔｔｉｔｕｄｅは、ある時点における既知の基準フレームに対するデバイスの配向を表す。）これは、特定の例示的実施形態では以下によって達成され得る。
【０２４７】
工程１．以下のように全エクイレクタングラ画像空間（地理的座標）にコンバートする。
【数６３】
2022502771.tif 000065
【０２４８】
工程２．全世界空間（３６０カム中心の地理的座標）に射影する。半径は任意であり（工程５を参照）、したがって、一般性の損失なしにＣ0＝１を固定する：Ａ0＝α0及びＢ0＝β0。
【０２４９】
工程３．全世界空間（スクリーン中心のデカルト座標）にコンバートする：Ｘ0＝ｃｏｓ（Ａ0）ｓｉｎ（Ｂ0）、Ｙ0＝ｓｉｎ（Ａ0）、及びＺ0＝−ｃｏｓ（Ａ0）ｃｏｓ（Ｂ0）。
【０２５０】
工程４．基準姿勢に対して現在のデバイス姿勢を表すＣＭＡｔｔｉｔｕｄｅインスタンスを所与として、我々は、対応する回転行列Ｒを得ることができる。（線形代数における回転行列は、３次元ユークリッド空間内の物体の回転を記述する。）Ｒの値は、デバイス中心（同等スクリーン中心）のデカルト座標において解釈されるべきである。実験を通して、以下が判定された。
・Ψラジアンの純粋な相対ピッチが以下の回転行列を生成する
【数６４】
2022502771.tif 000066
・Ψラジアンの純粋な相対ロールが以下の回転行列を生成する
【数６５】
2022502771.tif 000067
・Ψラジアンの純粋な相対ヨーが以下の回転行列を生成する
【数６６】
2022502771.tif 000068
デバイス中心の座標内に位置Ｘを有する全世界空間内の任意の所与の点を考慮する。デバイス姿勢が変化した後に、全世界空間内のその同じ点は、ここで、デバイス中心の座標ＲＸを有する。例えば、Ψ＝π／４を有する純粋な相対ピッチの場合、
【数６７】
2022502771.tif 000069
所与のターゲット点に対するソース点が求められているため、逆演算が実行される。換言すれば、デバイス回転後のデバイス中心の座標内に位置Ｘ0を有する点を所与として、回転前のデバイス中心の座標におけるその点の位置を判定する。これは、逆回転行列Ｘ1＝Ｒ-1Ｘ0を適用することによって達成され得る。Ｒは回転行列であるため、これはＸ1＝ＲTＸ0と同等である。
【０２５１】
工程５．全世界空間（３６０カム中心の地理的座標）にコンバートする：Ａ1＝ａｒｃｓｉｎ（Ｙ1）、Ｂ1＝ａｒｃｔａｎ（Ｘ1、−Ｚ１）、及びＣ1はここでは無関係である。
【０２５２】
工程６．全エクイレクタングラ画像空間（地理的座標）に折り畳む：α1＝Ａ1及びβ1＝Ｂ1。
【０２５３】
工程７．以下のように全エクイレクタングラ画像空間（デカルト座標）にコンバートする。
【数６８】
2022502771.tif 000070
Ｂ．魚眼画像抽出
【０２５４】
ここで、高レベルの目標は、画像のη画素×η画素左半分が、スクリーンの中心に位置していると仮定される前方に面するカメラによってキャプチャされた１８０°×１８０°シーンを表し、かつ画像のη画素×η画素右半分が、スクリーンの中心に位置していると仮定される後方に面するカメラによってキャプチャされた１８０°×１８０°シーンを表す、３６０°×１８０°シーンを表す単一のエクイレクタングラ画像とを所与として、エクイレクタングラ画像の左（前方に面した）半分及び右（後方に面した）半分内の２つの１８０°×１８０°シーンを表す２つの魚眼画像を構築することとして考えられ得る。実装の視点からは、これは、魚眼画像空間（デカルト座標）内のターゲット点（ｘ0、ｙ0）を所与として、ターゲット点において表示されるべき半エクイレクタングラ画像空間（デカルト座標）内のソース点（ｓ0、ｔ0）を計算することとして考えられ得る。これは、特定の例示的実施形態では以下のように達成され得る。以下の工程は、前方シーン／魚眼画像を指すが、同じ工程及びコンバージョンは後方シーン／魚眼画像のために動作することが理解されるであろう。
【０２５５】
工程１．以下のように魚眼画像空間（極座標）にコンバートする。
【数６９】
2022502771.tif 000071
【０２５６】
工程２．半世界空間（前方カム中心の光学座標）へと射影する。半径は任意であり（工程５を参照）、したがって、一般性の損失なしにこれは固定することができる：Θ0＝θ0及びΦ0＝νｒ0／η＝πｒ0／η。
【０２５７】
工程３．半世界空間（前方カム中心のデカルト座標）にコンバートする：Ｉ0＝ｓｉｎ（Φ0）ｃｏｓ（Θ0）、Ｊ0＝ｃｏｓ（Φ0）、及びＫ0＝ｓｉｎ（Φ0）ｓｉｎ（Θ0）。
【０２５８】
工程４．以下のように半世界空間（前方カム中心の地理的座標）にコンバートする。
【数７０】
2022502771.tif 000072
【０２５９】
工程５．半エクイレクタングラ画像空間（地理的座標）に折り畳む：α0＝Ａ0及びβ0＝Ｂ0。
【０２６０】
工程６．以下のように半エクイレクタングラ画像空間（デカルト座標）にコンバートする。
【数７１】
2022502771.tif 000073
付録Ｂ：二重画像キャプチャ及びバランシングのための例示的技術
【０２６１】
以下の説明は、透過／反射画像キャプチャのための例示的技術を提供する。例えば、以下の説明は、同じカメラ被験者によって均一な露光及びホワイトバランス調整にそれらが撮影されたかのように別個の前方入力画像及び後方入力画像をキャプチャするための動的体験において従い得る工程を概説する。
【０２６２】
工程１：自動ホワイトバランス及び自動露光を使用してユーザが後方魚眼画像をキャプチャすることを可能にする。
【０２６３】
工程２：後方キャプチャからのメタデータを使用して前方カメラを構成する。前方キャプチャ持続時間は、後方キャプチャ持続時間と正確に一致するように設定される。一部のハードウェアでは、前方キャプチャ開口はｆ／２．２に固定され、これは、常にｆ／１．８である後方キャプチャ開口とバランシングすることができない。開口の強制的な差を補償するために、後部キャプチャに使用されるＩＳＯは、（２．２／１．８）2の係数によって調整されてもよい。２乗は、ｆ値が開口直径に直線的に関係するが、センサルミナンスが開口面積に直線的に関係するということを考慮する。この補正は、ｆ値スケールの設計によって、レンズ焦点距離差とは無関係に有効である。
【０２６４】
この点に関して、１００ｍｍの焦点距離ｆ／４レンズは、２５ｍｍの入射瞳直径を有する。２００ｍｍの焦点距離ｆ／４レンズは、５０ｍｍの入射瞳直径を有する。２００ｍｍレンズの入射瞳は、１００ｍｍレンズの入射瞳の面積の４倍を有し、したがってレンズの視野内の各オブジェクトから４倍の光を収集する。しかし、１００ｍｍレンズと比較すると、２００ｍｍレンズは、各オブジェクトの画像を高さとして２倍、幅として２倍射影し、面積の４倍をカバーし、そのため、両方のレンズは、所与のルミナンスのシーンを撮像するときに焦点面において同じルミナンスを生成する。
【０２６５】
前方カメラホワイトバランス（チャネルごとの乗法）利得は、約１．８２８８６／２．３０５６６の係数で乗算される赤色チャネル利得を除いて、後方カメラホワイトバランス利得と一致するように設定される。この係数は、前方カメラと後方カメラの両方を用いて同じ照明下で単一のシーンを撮影し、自動ホワイトバランス調整によって計算されたホワイトバランス利得を比較することによって実験的に判定された。
付録Ｃ：グレージング色効果に関する例示的技術
【０２６６】
以下の説明は、グレージングスペクトルデータに基づいてＲＧＢ画像色を調整するための例示的技術を説明する。概して、解決すべき問題は、以下の形態を有する。
【数７２】
2022502771.tif 000074
を所与とし、式中、
・ｋ∈｛Ｒ、Ｇ、Ｂ｝
・Ｉx、kは、シーン内の点ｘに対応するｋ番目のチャネル画素強度を表し
・Ｌ（λ）は、シーン光源のスペクトルパワー分布を表し、
・Ｒx（λ）は、シーン内の点ｘのスペクトル反射率を表し、
・Ｃk（λ）は、ｋ番目のチャネルにおけるキャプチャシステムスペクトル感度を表し
【数７３】
2022502771.tif 000075
を計算し、式中、Ｇ（λ）は、グレージングサンプルによるスペクトル減衰を表す。
【０２６７】
概して、Ｌ、Ｒ、及びＣk、は不明である。Ｇ（λ）の値はＩＧＤＢにおいて入手可能である。
【０２６８】
この問題を十分に提起するのを助けるため、例えば、積分が被積分関数の成分の形式に関する情報を廃棄することを補償するのを助けるための仮定を行うことができる。この点に関して、例えば、既知のキャプチャシステム感度及び均一なシーンルミナンスを考慮することができる。
【０２６９】
例えば、シーン放射輝度がシーン内の各点ｘに対して全ての波長にわたって一定であるように、かつキャプチャシステムスペクトル感度Ｃk（λ）が既知であるように、照明シーン全体を通してＬ（λ）Ｒx（λ）＝Ｂxであると仮定される場合、
【数７４】
2022502771.tif 000076
及び
【数７５】
2022502771.tif 000077
したがって、
【数７６】
2022502771.tif 000078
【０２７０】
これは、ホワイトバランシングアルゴリズムにおいて使用される「グレー世界理論」と緩やかに類似していると見ることができ、ここでは、シーンが平均として１８％グレーである「べきである」と仮定される。
付録Ｄ：ホワイトバランシングのための例示的技術
【０２７１】
ホワイトバランシングは、以下の問題を解決することを目的とする：シーンの画素ごとの一般ＲＧＢ測定値であって、それらの測定値が、（少なくとも）シーンのスペクトル特性／感度、光源（複数可）、カメラレンズ及びコーティング、カメラＩＲフィルタ、カメラベイヤーフィルタ、並びにカメラセンサフォトサイト自体によって影響を受ける、測定値を所与として、シーンが代わりに既知の及び比較的スペクトル的に中性の光によって照明された場合に人間によって観測されるはずであるｓＲＧＢ値を計算する。
【０２７２】
この問題を解決することは、元の照明下で元のシーンを閲覧している人が、シーン内の色を解釈するときに色の一定性の利益を享受することになるが、（色の一定性は、写真表現、例えば「周囲光」を閲覧しているときに欠けているコンテキストキューに重度に依存しているため）元の照明下で元のシーンの写真表現を閲覧しているその同じ人が、それらの同じ利益を享受しないであろうことを補償する。
【０２７３】
この問題は、少なくとも以下の理由から複雑である。
（１）スペクトル限定された光によって失われた情報を反転させることが不可能である。極端な場合には、残念な照明に供される２つのスペクトル的に区別される材料は、同一の一般ＲＧＢ値として記録されることがある。いかなる量のキャプチャ後補正も、この失われた情報を回復することはできず、局所的な推論及び回復が必要である。
（２）カメラによって識別可能な同等の色クラスと、人間によって識別可能な同等の色クラスが、同一でない。より平易には、人間には区別できない色をカメラが識別できるいくつかの色があり、逆もまた同様である。このカメラの特性は、ホワイトバランシングに直接影響を及ぼさないが、確認されない場合には、結果をスキューさせることがある。これは、例えば感度条件等色指数に反映される。
【０２７４】
殆どの解決策はブラックボックス手法をとる。すなわち、カメラコンポーネントのスペクトル特性の知識を使用してスペクトル領域内で推理することを試みるのではなく、全ての推理は３次元色空間内で行われ、焦点は中性出力上にある。シーンスペクトルデータは殆どまったく利用不可能なため、これは実際的なオプションである。
【０２７５】
特定の例示的実施形態に関連して使用され得るいくつかのアルゴリズムが存在する。ＣｏｌｏｒＣｈｅｃｋｅｒ補正が第１の例である。既知のスペクトル特性の多くの領域が撮影シーン（例えば、２４個の見本を有するＣｏｌｏｒＣｈｅｃｋｅｒチャート）内でキャプチャされた場合、（より中性の光源下で観測され得るような）所与の画素における「実際の」Ｒ／Ｇ／Ｂは、以下のように観測されるＲ／Ｇ／Ｂ値の関数であると仮定することができる。
Ｒactual＝ρ0＋ρ1Ｒobs＋ρ2Ｇobs＋ρ3Ｂobs＋ρ4Ｒ2obs＋ρ5Ｇ2obs＋ρ6Ｂ2obs＋．．．
Ｇactual＝γ0＋γ1Ｒobs＋γ2Ｇobs＋γ3Ｂobs＋γ4Ｒ2obs＋γ5Ｇ2obs＋γ6Ｂ2obs＋．．．
Ｂactual＝β0＋β1Ｒobs＋β2Ｇobs＋β3Ｂobs＋β4Ｒ2obs＋β5Ｇ2obs＋β6Ｂ2obs＋．．．
【０２７６】
観測された色チャネルを混合するクロス項は、通常重要ではなく、より高いパワーは、典型的には精度を向上させることができない。）
【０２７７】
２４セットの３つの観測値を使用して、各々に１０個の未知数がある、３セットの２４個の方程式のシステムを書くことが可能であり、次いで、線形最小２乗を使用してそれらの１０個の未知数について近似的に解くことができる。この近似法は、行列が不良に条件付けされている場合（例えば、既知の別個のＣｏｌｏｒＣｈｅｃｋｅｒ色が元の光源下で観測デバイスに対して同一に見えるとき）、失敗する可能性がある。
【０２７８】
使用され得る別のアルゴリズム手法は、中性パッチ補正である。この点に関して、既知の中性パッチが撮影シーン（例えば、ホワイトバランスカード）内でキャプチャされた場合、（より中性の光源下で観測され得るような）所与の画素における「実際の」Ｒ／Ｇ／Ｂは、以下のように観測されるＲ／Ｇ／Ｂ値の線形関数であると仮定することができる。
Ｒactual＝ρＲobs
Ｇactual＝γＧobs
Ｂactual＝βＢobs
【０２７９】
ここで、ρ、γ、及びβは、報告されるようなチャネルごとの「ホワイトバランス利得」と一致する。測定されるパッチは中性であることが既知であるため、Ｒactual＝Ｇactual＝Ｂactual≡λである。適切にスケーリングされたとき、これらの式は次のようになる。
Ｒactual＝λＲobs／Ｒ’obs
Ｇactual＝λＧobs／Ｇ’obs
Ｂactual＝λＢobs／Ｂ’obs
【０２８０】
ハイライトの吹き付け又は色付けを回避することを選択することが望ましい場合がある。
【０２８１】
特定の例示的実施形態に関連して使用され得る更に別のアルゴリズムは、中性推定補正である。既知の中性パッチが撮影シーン内でキャプチャされない場合、中立性の領域が推測される。これは、（画像全体を平均化する）グレー世界モデル、（近ハイライトの色合いを見る）レティネックス理論、又は同様のものを使用して達成され得る。次に、中性パッチ補正技術からの工程が繰り返される。
【０２８２】
追加情報は、例えば、以下に提供されている。
・ｈｔｔｐ：／／ｗｗｗ．ｏｄｅｌａｍａ．ｃｏｍ／ｐｈｏｔｏ／Ｄｅｖｅｌｏｐｉｎｇ−ａ−ＲＡＷ−Ｐｈｏｔｏ−ｂｙ−ｈａｎｄ／
・ｈｔｔｐ：／／ｗｗｗ．ｏｄｅｌａｍａ．ｃｏｍ／ｐｈｏｔｏ／Ｄｅｖｅｌｏｐｉｎｇ−ａ−ＲＡＷ−Ｐｈｏｔｏ−ｂｙ−ｈａｎｄ／Ｄｅｖｅｌｏｐｉｎｇ−ａ−ＲＡＷ−Ｐｈｏｔｏ−ｂｙｈａｎｄ＿Ｐａｒｔ−２
・ｈｔｔｐｓ：／／ｗｗｗ．ｄｘｏｍａｒｋ．ｃｏｍ／Ａｂｏｕｔ／Ｉｎ−ｄｅｐｔｈ−ｍｅａｓｕｒｅｍｅｎｔｓ／Ｍｅａｓｕｒｅｍｅｎｔｓ／Ｃｏｌｏｒ−ｓｅｎｓｉｔｉｖｉｔｙ
・ｈｔｔｐ：／／ｔｈｅｒｅｆｒａｃｔｅｄｌｉｇｈｔ．ｂｌｏｇｓｐｏｔ．ｃｏｍ／２０１１／０９／ｗｈｉｔｅ−ｂａｌａｎｃｅ−ｐａｒｔ−２−ｇｒａｙ−ｗｏｒｌｄ．ｈｔｍｌ
・ｈｔｔｐｓ：／／ｗｗｗ．ｒａｗｄｉｇｇｅｒ．ｃｏｍ／ｈｏｗｔｏｕｓｅ／ｃｏｌｏｒ−ｉｓ−ａ−ｓｌｉｐｐｅｒｙ−ｔｒｉｃｋｓｔｅｒ
・ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｌｏｒｔｅｍｐｅｒａｔｕｒｅ＃Ｄｉｇｉｔａｌｐｈｏｔｏｇｒａｐｈｙ
・ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｌｏｒ＿ｂａｌａｎｃｅ
・ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｗｈｉｔｅ＿ｐｏｉｎｔ
・ｈｔｔｐｓ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／ｈｅｌｐ／ｉｍａｇｅｓ／ｅｘａｍｐｌｅｓ／ｃｏｍｐａｒｉｓｏｎ−ｏｆ−ａｕｔｏ−ｗｈｉｔｅ−ｂａｌａｎｃｅ−ａｌｇｏｒｉｔｈｍｓ．ｈｔｍｌ
・ｈｔｔｐｓ：／／ｗｗｗ．ａｄｏｂｅ．ｃｏｍ／ｄｉｇｉｔａｌｉｍａｇ／ｐｄｆｓ／ｕｎｄｅｒｓｔａｎｄｉｎｇ＿ｄｉｇｉｔａｌｒａｗｃａｐｔｕｒｅ．ｐｄｆ
付録Ｅ：クロマティック収差を処理するための例示的技術
【０２８３】
横方向及び長手方向という、２つのタイプのクロマティック収差（chromatic aberration、ＣＡ）が存在する。両方の画像補正技術は、ＲＡＷ画像内にキャプチャされた３つのＲＧＢチャネルの形状に基づいて歪みマップを推定することを含む。長手方向ＣＡでは、歪みは、概して半径方向である。横方向ＣＡでは、歪みは概して、未知の係数を持つ何らかの多項式関数を介してモデル化される。次いで、ランドマーク（エッジ）検出が、３つの色チャネル上で別々に実行され、最小２乗を介して未知のスケーリング／パラメータを推定するために使用される。
【０２８４】
これらの固定は、全ての上流キャプチャ技術及び処理についてアグノスティックであり、したがって、色モデリングに関連する特定の例示的実施形態に関連して使用される必要はない。
付録Ｆ：パン／チルトモードのための例示的技術
【０２８５】
以下の説明は、デバイスがパン／チルトモードにおいて使用される場合に使用され得る例示的な計算を説明する。パンは、（空間内で固定されていると仮定される）ユーザの眼からデバイスの中心までのベクトルの方向であり、チルトは、ユーザの眼からデバイスの中心までのベクトルと、デバイスのスクリーンに垂直なベクトルとの間に形成される角度である。
【０２８６】
概して、（例えば）ユーザがデバイスをそれの中心に関して横に回転させることによるデバイスロールの変化と、ユーザがデバイスをそれら自体の周りで横に並進させることによるデバイスロールの変化との間で区別するための信頼性の高い方法が存在しないため、デバイス姿勢の変化のみからパンとチルトを同時に推測することは困難である。しかしながら、ユーザが現在チルトしているかパンニングしているかが既知である場合、デバイス姿勢の観測される変化を適切に解釈することが可能である。以下の説明は、どのようにこれが達成され得るかを説明する。
【０２８７】
例えば、ｉＰａｄに対処するとき、全体の相対的デバイス姿勢は、静的シーンのどの部分がｉＰａｄの前にあり、静的シーンのどの部分がｉＰａｄの後ろにあるかを指示する。これは、デバイスをパニングすることを介して、デバイスをチルトすることを介して、又はこれら２つの何らかの組み合わせを介して全体の相対的デバイス姿勢に到達したかにかかわらず、当てはまる。更に、アプリをチルトさせることは、スクリーン中心の座標内のユーザの眼の位置に影響を及ぼす一方で、パンニングは影響を及ぼさない。
【０２８８】
したがって、特定の例示的実施形態は、全体の相対的デバイス姿勢を入力として受信して、我々の静止画像から前方シーン及び後方シーンを計算し、かつ正味のチルトのみの相対的デバイス姿勢（例えば、チルトモードにある間に生じた移動に起因する全体の相対的デバイス姿勢の部分）を計算して、スクリーン中心の座標における正味のユーザ位置を計算する。
【０２８９】
前者は、現在の中心基準姿勢と比較することによって、デバイス動き更新ごとに容易に計算され、それは頻繁に変化する。後者は、デバイス姿勢の変化のサブセットが処理される必要があり得るため、より複雑であり得る。以下を実装することができる。
【０２９０】
工程１．（フレームごとにデバイス姿勢の変化を計算することが可能になるように）受信された最後の全体の相対的デバイス姿勢に対する基準を維持する。
【０２９１】
工程２．正味のチルトのみの相対的デバイス姿勢に一致する正味のチルト行列に対する基準を保持する（インスタンスが修正されないか又は新たに構築されない場合があるので、この情報を追跡するためにＣＭＡｔｔｉｔｕｄｅインスタンスが使用できない場合があるため）。
【０２９２】
工程３．新しい全体の相対的デバイス姿勢がチルトモードにあるとき、最後のフレームからのデバイス姿勢の変化を計算し、このデバイス姿勢の変化をチルト増分行列にコンバートし、それをチルト増分行列によって乗算することによって正味のチルト行列を更新する。
付録Ｇ：歪み検証のための例示的技術
【０２９３】
以下の説明は、我々の一次画像処理コードによって可能になる完全一般変換の検証を可能にするために、どのように特定の例示的実施形態が、特定の限られたデバイス移動のために大域的変換関数を計算できるかを論証するのを助ける。これは、例えば、純粋なロールを含む。原点がｉＰａｄの中心と一致する固定のデカルト座標系を考慮する。（これは、付録Ａにおいて上で考察されたスクリーン中心の座標系ではない。）ｉＰａｄが平面｛Ｚ＝０｝内に位置すると考える。
【０２９４】
ｉＰａｄが、空間内に固定された中心でローリングされたとき、完全一般画像処理コードは、（０、０、Ｄ）に位置するユーザによって閲覧されたときに厳密に静止して見えるように、ｉＰａｄのスクリーン上に表示される画像をスキューさせるはずである。同等に、ｉＰａｄは、我々がそれを通して固定シーンを閲覧しているポータルとして考えることができる。スキューは、スキューされた画像をとり、かつ元の基準平面｛Ｚ＝０｝にそれを数学的に射影し戻すことによって正しくなるものとして検証できる。このスキューされ次いで射影された画像は、オーバーレイされたとき、ｉＰａｄによって（場合によってはクロップされて）表示される元の画像と正確に一致しなければならない。
【０２９５】
純粋なロールについてのこの検査は、一般的な移動と比較して、射影の計算が比較的簡単であるときに実行されてもよい。同じことが、純粋なピッチ及び純粋なヨーに適用される。
【０２９６】
この点に関して、ラジアンでのロールの量をαとし、それにより、ｉＰａｄのスクリーン上の点（Ｘ0、Ｙ0、０）が（Ｘ0  ｃｏｓ（α）、Ｙ0、−Ｘ0  ｓｉｎ（α））に移動するようにする。
【０２９７】
（０、０、Ｄ）に位置するユーザから見られた平面｛Ｚ＝０｝へのこの点の射影し戻しは、
【数７７】
2022502771.tif 000079
【０２９８】
この射影をＣＩＦｉｌｔｅｒとして実装するために、（ターゲット（射影）点を所与として、ソース（スクリーン）点を見つける）逆変換を計算することが有用である：
【数７８】
2022502771.tif 000080
付録Ｈ：画像をインポートするための例示的技術
【０２９９】
以下の説明は、特定の例示的実施形態に関連してどのように画像をインポートし使用することができるかを論証する。どんな画像もインポートされ得るが、エクイレクタングラ３６０画像を使用することが最も望ましい場合がある。
【０３００】
図３４は、特定の例示的実施形態に関連して使用され得る例示的なインポートスクリーンである。図３４から理解されるように、「ライブ」モードに切り替えるためのオプションが提供され、既にインポートされた静止画像がリストに示されている。インポート画像ボタン上でタップすることにより、ファイルピッカーが開く。画像が選択されると、それに名前が付けられてもよい。この点に関しては図３５を参照されたい。画像に名前が付けられると、それは、「インポートされたシーン」ヘッダの下の、シーンのメインリスト上に現れる。画像は、リスト内の画像名の上でスワイプすること、削除確認ボタンを押すこと、及び／又は同様のものによって除去することができる。
付録Ｉ：反射ハイライトを処理するための例示的技術
【０３０１】
以下の説明は、反射においてより高いハイライトを維持するようにグレージングフィルタを修正するために使用され得る例示的プロセスを説明する。使用され得る例示的技術は、反射グレージングフィルタを修正するために、画素の相対ルミナンス、又は知覚輝度を計算することを伴う。この相対ルミナンスは、線形ＲＧＢからコンバートされるとき、Ｙ値がＣＩＥ  ＸＹＺ色空間内で計算されるのと同じ方法で計算される。
【０３０２】
画素の線形ＲＧＢ値を所与として、相対ルミナンスは、式Ｙ＝０．２１２６Ｒlinear＋０．７１５２Ｇlinear＋０．０７２２Ｂlinearを用いて計算される。この正規化されたＹ値は、入力画像に適用されるフィルタリングの量を変更するためにグレージングフィルタに適用される。画素の相対ルミナンスが増大するにつれて、より少ないグレージング効果及びより多くの元画像が示される。グレージング効果は、いくつかの実装では完全に除去されない。
【０３０３】
更に、このハイライト強調Ｙmodifiedは、次式を使用して効果の閾値ｐ及び線形性ｓの周辺でパラメータ化されている。
【数７９】
2022502771.tif 000081
（以下を使用）
【数８０】
2022502771.tif 000082
ここで、
【数８１】
2022502771.tif 000083
【０３０４】
この式は、所与のシーン内で所望の効果を達成することを試みるためにパラメータを調整することができるように、ハイライト効果を線形化解除するために使用される。この線形化解除の式は、ゼロによる除算エラーに起因して特定のパラメータが使用されるときに破壊される可能性があり、したがって、他の好適なアルゴリズムで置き換えられてもよい。
【０３０５】
更なる情報については以下を参照されたい。ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｌａｔｉｖｅ＿ｌｕｍｉｎａｎｃｅ及びｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／ＣＩＥ１９３１ｃｏｌｏｒ＿ｓｐａｃｅ
付録Ｊ：魚眼レンズ補正のための例示的技術
【０３０６】
いくつかの既知の眼用レンズ補正アルゴリズムが存在する。特定の例示的実施形態に関連して使用され得る一例は、ｈｔｔｐ：／／ｐａｕｌｂｏｕｒｋｅ．ｎｅｔ／ｄｏｍｅ／ｆｉｓｈｅｙｅｃｏｒｒｅｃｔ／に記載されており、その全容は参照により本明細書に組み込まれ、以下の関連部分において説明される。
付録Ｋ：例示的魚眼の数学
【０３０７】
線形（数学的）魚眼内の任意の点Ｐは、経度及び緯度の角度、したがって、世界への３Ｄベクトルを定義する。この点に関しては図３６Ａ〜図３６Ｂを参照されたい。任意の現実の魚眼は、以下のように１Ｄ補正多項式を使用して線形魚眼に転じることができる。
θ＝経度＝ａｔａｎ２（Ｐ．ｙ、Ｐ．ｘ）
φ＝緯度＝ｒφmax／２であり、ここで、φmaxは魚眼レンズの視野である。
【０３０８】
世界へのベクトルは以下によって与えられる。
ｘ＝ｓｉｎ（φ）ｃｏｓ（θ）
ｙ＝ｓｉｎ（φ）ｓｉｎ（θ）
ｚ＝ｃｏｓ（φ）
【０３０９】
魚眼への鍵は、３Ｄベクトルの緯度φと、２Ｄ魚眼画像上の半径との間の関係、すなわち、φ（ｒ）＝ｒφmax／２である線形関係であり、ここで、ｒは、正規化座標（魚眼円にわたって−１〜１）内の魚眼上の点の半径であり、φmaxは、魚眼円にわたる魚眼の視野である。魚眼レンズは、他のレンズのように、スピニングプロセスから形成され、したがって半径方向に対称であるため、２次元曲線であるもののためのこの１次元関数が機能することに留意されたい。図３６Ｃを参照されたい。
【０３１０】
実社会の魚眼が、理想的な関係から逸脱する場合、上記のことは、現実の魚眼レンズが、（あるにしても）滅多に完全に線形にならないということである。線形魚眼レンズは、しばしば「真のｆ−シータレンズ」と呼ばれることに留意されたい。したがって、任意の魚眼マッピングプロセスの何らかの段階において、レンズが真のｆ−シータレンズ（又は十分に近い近似）でないと仮定することは、魚眼上の現実の点を理想的な魚眼上のそれらの位置にマッピングする関数である。
【０３１１】
正規化された半径を実際の緯度にコンバートする必要があるかどうか、又は緯度を実際の半径にコンバートする必要があるかどうかに依存して、２つの関数候補が存在する。どちらの場合も、４次多項式関数が通常は適切である。この形式は、ａｘ＋ｂｘ2＋ｃｘ3＋ｄｘ4になる。
【０３１２】
曲線の原点は常に原点を通過するので、定数項は存在せず、別の言い方をすれば、ｒ＝０は常に緯度＝０であることに留意されたい。
【０３１３】
特に非線形である実際の魚眼レンズでこれを示して、ｉＺｕｇａｒ  ＭＫＸ２２  ２２０度魚眼が図３６Ｄに示されている。図３６Ｄにおいて、水平軸は緯度φであり、垂直軸は正規化半径（０〜１）である。４次多項式を当てはめることにより、ｒ（φ）＝０．６６２２φ−０．０１６３φ2＋０．００２９φ3−０．０１６９φ4が与えられる。
【０３１４】
換言すれば、３Ｄベクトルの緯度φを所与として、上記は、魚眼上の正規化半径を与える。これは通常、別の画像射影タイプへの魚眼の画像マッピングに使用されるものであり、すなわち、出力画像内の画素ごとに３Ｄベクトルを計算し、上記は、現実の魚眼画像内の画素の半径を与える。
【０３１５】
時々、他のマッピングが必要とされる。このようにして、現実の魚眼画像内の半径を所与として、対応する３Ｄベクトルの緯度に関する判定を行うことができる。場合によっては、多項式を反転させるか、又は数値的に逆を解くことができるが、スワップされたデータに別の多項式をただ当てはめることがより容易であり得る。図３６Ｅは、水平軸上の正規化半径、及び垂直軸上のラジアンでの緯度を示す。当てはめられた多項式は、φ（ｒ）＝１．３２０２ｒ＋１．４５３９ｒ2−２．９９４９ｒ3＋２．１００７ｒ4である。換言すれば、魚眼画像上の正規化半径ｒを所与として、これは、真の緯度φを与える。これは、個々の点を魚眼から３Ｄ空間にマッピングする場合に通常使用される関数である。
【０３１６】
上記の説明は、ｒと、φ曲線と、緯度を所与として魚眼画像上の正しいｒを導出するために、あるいは魚眼画像上のｒを所与として正しい緯度を計算するために、どのように多項式がそれらに当てはめられ得るかとの例を提供する。これらの曲線のための点を計算するいくつかの方法が存在し、いくつかの例が本明細書に記載される。
【０３１７】
魚眼レンズ／カメラシステムのゼロ視差点の概念は、パノラマ写真における「節点」に関連する。ゼロ視差位置を中心にレンズを回転させることにより、視差によるいかなるステッチ誤差も存在しなくなることが保証される。魚眼からの測定を行うとき、原点であるべきであるのはこのゼロ視差点である。
【０３１８】
ゼロ視差点は、典型的には、眼用レンズの鏡胴に沿ったどこかに位置する。時には、それは、レンズの金属鏡胴にマークが付けられる。異なる距離にあるシーン内の２つのオブジェクトを位置合わせし、次いで、レンズ／カメラを回転させ、画像上の２つのオブジェクトを検査することによって、ゼロ視差位置を測定することができる。ゼロ視差では、２つのオブジェクトが位置合わせされたままであり、他の位置を中心に回転させると、近くのオブジェクトの位置と、遠くのオブジェクトの位置とが分離するのを見ることになる。これは、図３７に概念的に示される。
【０３１９】
ゼロ視差位置が知られると、線形化曲線のための点を直接測定することができる。１つの方法は、例えば、５（又は他の）度の増分で、回転するカメラヘッドを用いることである。図３８は、使用され得る、線形化曲線のための点を測定するための例示的なセットアップを示す。このセットアップでは、シーンのためのマーカー（例えば、壁上の線）が選択され、カメラ／レンズは等しい角度ステップで回転され、写真が撮影される。各写真上のマーカーの位置を測定し、ｒを与える。典型的には、最初に、マーカー線がフレームのちょうど中心になるようにカメラを位置合わせする。また、典型的には、例えば、−φmax／２〜φmax／２まで回転させる。図３９に示すグラフなどのグラフが生成され得る。
【０３２０】
別の手法は、カメラの周囲に、等しい角度のマーキングを有するか、又は少なくとも角度を測定することができるような構造を配置することである。カメラ画像上の角度マーキングを読み取って、実社会におけるそれらの緯度を知る。これは、図４０〜図４１に概略的に示される。
【０３２１】
図４２〜図４３は、線形化曲線のための点を測定するための更に別の手法を示す。この手法は、フロアに沿って間隔を置いて、かつ両側の壁の上にマーカーを配置することを伴う。唯一の現実の要件は、マーカーの線が、この例では天井から真っ直ぐ下向きにポイントしている魚眼の軸を通過することである。ｘ及びｚを測定することにより、緯度φを計算することができる。次いで、カメラ画像内に記録されたマーカーから、単にｒ値を記録する。
【０３２２】
測定の原点は、視差問題を低減するために、レンズ鏡筒上のゼロ視差位置であるべきである。しかしながら、小型レンズを扱う場合が多いため、レンズの前方面又はカメラの前方プレートを選択することは、恐らく、１センチメートル以下だけ外れるようになるだけであり、したがって、いくつかの実装では許容可能であり得る。
【０３２３】
理論的には、上記の（又は他の）手順のうちの１つについて、一方の半分のみを行う必要がある。しかし、両方の半分を行うことは、対称性のための良好なテスト（レンズが真っ直ぐ下にポイントしているか、魚眼円の中心を正確に測定しているか、など）になることが可能であり、したがって、精度及び信頼性を向上させ得る。
付録Ｌ：画像を合成するための例示的フローチャート
【０３２４】
図４４Ａ〜図４４Ｂは、特定の例示的実施形態に係る、本明細書に記載される特定の例示的技術をどのように使用して合成画像を見ることができるかを示すフローチャートである。工程Ｓ１４０２において、元のエクイレクタングラ画像が選択されるか又は得られる。画像がその上で選択されたデバイスが、工程Ｓ１４０４において何らかの方法で移動された場合（例えば、それが回転された場合）、これが検出され、画像は修正される必要がある。画像の後方部分及び前方部分は、並行して、直列に、ただ１つの視点が考慮されるべきかどうかに応じて、などで処理されてもよい。特定の例示的実施形態では、合成体が最終的に生成される場合、後方画像と前方画像の両方が修正される。この点に関して、工程Ｓ１４０６Ａ〜Ｓ１４０６Ｂにおいて、後方画像及び前方画像がクロップされる。工程Ｓ１４０８Ａ〜Ｓ１４０８Ｂにおいて、後方画像及び前方画像のために魚眼歪みが考慮される。任意の他の調整が行われ、その結果は、（例えば、工程Ｓ１４１０Ａ〜Ｓ１４１０Ｂにおいて）更なる処理のための準備が整っていると見なされる。工程Ｓ１４１２において、グレージング選択及び合成効果が選択又は指定されてもよい。これが完了すると、選択されたグレージング及び／又は他の効果をシミュレートするために、任意の更なる処理が適宜に実行されてもよく、後方画像及び前方画像の結果は、（例えば、工程Ｓ１４１４Ａ〜Ｓ１４１４Ｂにおいて）スクリーン上に表示される準備ができる。工程Ｓ１４１６Ａ〜Ｓ１４１６Ｂにおいて、選択に基づいてグレージングフィルタが適用され、工程Ｓ１４１８において、最終合成画像が生成されて表示される。
【図１】
2022502771.tif 000084
【図２】
2022502771.tif 000085
【図３】
2022502771.tif 000086
【図４Ａ】
2022502771.tif 000087
【図４Ｂ】
2022502771.tif 000088
【図５Ａ】
2022502771.tif 000089
【図５Ｂ】
2022502771.tif 000090
【図６Ａ】
2022502771.tif 000091
【図６Ｂ】
2022502771.tif 000092
【図７】
2022502771.tif 000093
【図８Ａ】
2022502771.tif 000094
【図８Ｂ】
2022502771.tif 000095
【図８Ｃ】
2022502771.tif 000096
【図８Ｄ】
2022502771.tif 000097
【図８Ｅ】
2022502771.tif 000098
【図８Ｆ】
2022502771.tif 000099
【図８Ｇ】
2022502771.tif 000100
【図８Ｈ】
2022502771.tif 000101
【図９】
2022502771.tif 000102
【図１０】
2022502771.tif 000103
【図１１】
2022502771.tif 000104
【図１２Ａ】
2022502771.tif 000105
【図１２Ｂ】
2022502771.tif 000106
【図１２Ｃ】
2022502771.tif 000107
【図１３】
2022502771.tif 000108
【図１３Ａ】
2022502771.tif 000109
【図１３Ｂ】
2022502771.tif 000110
【図１３Ｃ】
2022502771.tif 000111
【図１３Ｄ】
2022502771.tif 000112
【図１３Ｅ】
2022502771.tif 000113
【図１３Ｆ】
2022502771.tif 000114
【図１３Ｇ】
2022502771.tif 000115
【図１３Ｈ】
2022502771.tif 000116
【図１３Ｉ】
2022502771.tif 000117
【図１３Ｊ】
2022502771.tif 000118
【図１３Ｋ】
2022502771.tif 000119
【図１３Ｌ】
2022502771.tif 000120
【図１３Ｍ】
2022502771.tif 000121
【図１３Ｎ】
2022502771.tif 000122
【図１３Ｏ】
2022502771.tif 000123
【図１３Ｐ】
2022502771.tif 000124
【図１３Ｑ】
2022502771.tif 000125
【図１３Ｒ】
2022502771.tif 000126
【図１３Ｓ】
2022502771.tif 000127
【図１４Ａ】
2022502771.tif 000128
【図１４Ｂ】
2022502771.tif 000129
【図１４Ｃ】
2022502771.tif 000130
【図１５Ａ】
2022502771.tif 000131
【図１５Ｂ】
2022502771.tif 000132
【図１５Ｃ】
2022502771.tif 000133
【図１５Ｄ】
2022502771.tif 000134
【図１６Ａ】
2022502771.tif 000135
【図１６Ｂ】
2022502771.tif 000136
【図１６Ｃ】
2022502771.tif 000137
【図１７Ａ】
2022502771.tif 000138
【図１７Ｂ】
2022502771.tif 000139
【図１８Ａ】
2022502771.tif 000140
【図１８Ｂ】
2022502771.tif 000141
【図１９】
2022502771.tif 000142
【図２０】
2022502771.tif 000143
【図２１】
2022502771.tif 000144
【図２２】
2022502771.tif 000145
【図２３】
2022502771.tif 000146
【図２４】
2022502771.tif 000147
【図２５】
2022502771.tif 000148
【図２６】
2022502771.tif 000149
【図２７】
2022502771.tif 000150
【図２８】
2022502771.tif 000151
【図２９】
2022502771.tif 000152
【図３０】
2022502771.tif 000153
【図３１】
2022502771.tif 000154
【図３２】
2022502771.tif 000155
【図３３】
2022502771.tif 000156
【図３４】
2022502771.tif 000157
【図３５】
2022502771.tif 000158
【図３６Ａ】
2022502771.tif 000159
【図３６Ｂ】
2022502771.tif 000160
【図３６Ｃ】
2022502771.tif 000161
【図３６Ｄ】
2022502771.tif 000162
【図３６Ｅ】
2022502771.tif 000163
【図３７】
2022502771.tif 000164
【図３８】
2022502771.tif 000165
【図３９】
2022502771.tif 000166
【図４０】
2022502771.tif 000167
【図４１】
2022502771.tif 000168
【図４２】
2022502771.tif 000169
【図４３】
2022502771.tif 000170
【図４４Ａ】
2022502771.tif 000171
【図４４Ｂ】
2022502771.tif 000172
【国際調査報告】
2022502771.tif 000173
2022502771.tif 000174
2022502771.tif 000175
2022502771.tif 000176
2022502771.tif 000177