(57)【要約】      （修正有）【課題】拡張現実アプリケーションの妥当性を向上させる能力がある、現実環境の視野におけるバーチャルオブジェクトを表現するための方法を提供する。【解決手段】第１カメラによりキャプチャされた人間の顔の少なくとも一部に係る第１画像の画像情報を供給する段階１３０１、人面固有特性が、顔の少なくとも一部に係る放射輝度伝達特性を具備する、人面固有特性を供給する段階、第１画像の顔領域として、第１画像における顔の画像領域の少なくとも一部を測定する段階１３０２、第１画像の顔領域及び人面固有特性によって、顔の上にかかる第１光を測定する段階１３０６並びに第１光によって、現実環境の視野において、ディスプレイ装置上のバーチャルオブジェクトを調和させる段階１３１９と、を具備する。【選択図】図１３
2015185176.tif 000002
【特許請求の範囲】
【請求項１】
現実環境の視野におけるバーチャルオブジェクトの表現方法であって、
ａ）第１カメラによりキャプチャされた人間の顔の少なくとも一部に係る第１画像の画像情報を供給する段階、
ｂ）少なくとも１つの人面固有特性が、顔の少なくとも一部に係る放射輝度伝達特性を具備する、該少なくとも１つの人面固有特性を供給する段階、
ｃ）前記第１画像の顔領域として、前記第１画像における前記顔の画像領域の少なくとも一部を測定する段階、
ｄ）前記第１画像の前記顔領域及び前記少なくとも１つの人面固有特性によって、前記顔の上にかかる少なくとも１つの第１光を測定する段階、並びに
ｅ）前記少なくとも１つの第１光によって、前記現実環境の視野において、ディスプレイ装置上の前記バーチャルオブジェクトを調和させる段階
を具備し、
前記ｄ）に係る段階は、
ｄ１）複数の顔サンプル位置を供給する段階、
ｄ２）前記複数の顔サンプル位置のそれぞれのために、放射輝度関数を供給する段階、
ｄ３）前記第１画像における前記顔サンプル位置の少なくとも一部に係る画像位置を測定する段階、並びに
ｄ４）前記第１画像における前記顔サンプル位置の少なくとも一部に係る前記画像位置に関連する強度情報及び前記第１画像における前記顔サンプル位置の少なくとも一部に関連する前記放射輝度伝達関数によって、前記少なくとも１つの第１光を測定する段階
を具備し、
前記放射輝度伝達関数は、
ｆ１）複数の異なる照明が既知である、該複数の異なる照明における人間の顔に係る複数の画像の画像情報を供給する段階、
ｆ２）該複数の画像のそれぞれのために、前記顔サンプル位置の少なくとも一部に係る画像位置を測定する段階、並びに
ｆ３）前記複数の顔サンプル位置のそれぞれに、前記複数の画像の少なくとも一部における前記画像位置に関連する強度情報による前記各個の放射輝度伝達関数並びに前記複数の画像の少なくとも一部に関連する前記照明及びポーズを測定する段階
を具備することを特徴とする現実環境の視野におけるバーチャルオブジェクトの表現方法。
【請求項２】
前記第１カメラは、前記人間の顔が前記ディスプレイ装置に面しているときに、前記人間の顔の少なくとも一部が前記第１カメラによりキャプチャされるような前記ディスプレイ装置に関連し、前記ディスプレイ装置が法線を有し、且つ前記第１カメラが光学軸を有し、並びに前記ディスプレイ装置の法線及び前記第１カメラの光学軸が、十分に同じ方向に合わせられている請求項１に記載の方法。
【請求項３】
前記少なくとも１つの第１光を測定する段階は、前記少なくとも１つの第１光の少なくとも一部を放射若しくは反射若しくは屈折させる少なくとも１つの光源の少なくとも１つの特性を測定する段階を具備し、前記少なくとも１つの光源の前記少なくとも１つの特性が、球面調和関数係数を具備する請求項１又は２に記載の方法。
【請求項４】
前記現実環境における前記視野は、前記第１カメラによる画像としてキャプチャされ、且つ前記バーチャルオブジェクトを調和させる段階は、測定された前記少なくとも１つの第１光によって、前記バーチャルオブジェクトの少なくとも一部を照らす段階を具備する請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記現実環境における前記視野は、第２カメラによる画像としてキャプチャされ、前記第２カメラは、前記第１カメラと既知の空間関係を有し、且つ前記バーチャルオブジェクトを調和させる段階は、測定された前記少なくとも１つの第１光並びに前記第１カメラ及び前記第２カメラの間における前記既知の空間関係によって、前記バーチャルオブジェクトの少なくとも一部を照らす段階を具備する請求項１乃至３のいずれか１項に記載の方法。
【請求項６】
前記少なくとも１つの第１光を測定する段階は、前記第１カメラの前記顔領域に関連する深度情報を供給する段階、並びに強度及び前記第１カメラの前記顔領域に関連する前記深度情報によって、前記少なくとも１つの第１光を測定する段階を具備する請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
バックグラウンド領域として、前記第１画像における非顔領域の少なくとも一部を測定する段階、前記少なくとも１つの第１光を測定する段階とは異なる方法で、前記バックグラウンド領域によって、少なくとも１つの第２光を測定する段階、並びに測定された前記少なくとも１つの第１光及び測定された前記少なくとも１つの第２光を結合する段階により、測定された前記少なくとも１つの第１光を更新する段階を更に具備する請求項１乃至６のいずれか１項に記載の方法。
【請求項８】
第２カメラが、前記第１カメラと既知の空間関係を有し、前記第２カメラによりキャプチャされた前記現実環境の少なくとも一部の第２画像に係る画像情報を供給する段階、該第２画像により、少なくとも１つの第３光を測定する段階、並びに測定された前記少なくとも１つの第１光及び前記既知の空間関係によって測定された前記少なくとも１つの第３光を結合する段階によって、測定された前記少なくとも１つの第１光を更新する段階を更に具備する請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
前記第１カメラが前記第１画像をキャプチャしたときの、前記第１カメラに関連する前記顔の第１ポーズを測定する段階、前記第１カメラによりキャプチャされた前記顔の少なくとも一部に係る第３画像の画像情報を供給する段階、前記第３画像により少なくとも１つの第４光を測定する段階、前記第１カメラが前記第３画像をキャプチャしたときの、前記第１カメラに関連する前記顔の第３ポーズを測定する段階、並びに測定された前記少なくとも１つの第１光、及び、前記第１ポーズ及び前記第３ポーズによって測定された前記少なくとも１つの第４光を結合する段階によって測定された前記少なくとも１つの第１光を更新する段階を更に具備する請求項１乃至８のいずれか１項に記載の方法。
【請求項１０】
前記第１カメラによりキャプチャされた前記顔の少なくとも一部に係る第３画像の画像情報を供給する段階、前記第３画像により少なくとも１つの第４光を測定する段階、前記第１カメラが、前記現実環境の少なくとも一部に関連する現実環境座標系において、前記第１画像及び前記第３画像をキャプチャしているところでのモーションを測定する段階、並びに測定された前記少なくとも１つの第１光及び前記モーションによって測定された前記少なくとも１つの第４光を結合する段階によって測定された前記少なくとも１つの第１光を更新する段階を更に具備する請求項１乃至９のいずれか１項に記載の方法。
【請求項１１】
前記モーションは、前記第１及び第３画像に係る非顔領域によって、並びに／又はとりわけ慣性センサ、ＧＰＳセンサ、及びコンパスのうち少なくとも１つのような、少なくとも１つの追跡センサによって、並びに／又は第２カメラによりキャプチャされた前記現実環境の少なくとも一部に係る少なくとも１つの画像によって測定され、前記第２カメラは、前記第１カメラとの既知の空間関係、又は前記第１カメラに関連して固く固定される請求項１０に記載の方法。
【請求項１２】
前記測定された前記少なくとも１つの第１光及び前記少なくとも１つの第４光を結合する段階は、前記少なくとも１つの第１光の方向及び前記少なくとも１つの第４光の方向を測定する段階、並びに測定された該２つの方向に沿った線の間における交点を測定する段階を具備する請求項９乃至１１のいずれか１項に記載の方法。
【請求項１３】
前記測定された前記少なくとも１つの第１光及び前記少なくとも１つの第４光を結合する段階は、前記少なくとも１つの第１光の特性値によって、更新された前記少なくとも１つの第１光の特性値、並びにとりわけ平均化、最小二乗法、ランダム・サンプル・コンセンサス、及び確率最大化のような数学的方法に基づいた前記少なくとも１つの第４光の特性値を計算する段階を具備する請求項９乃至１１のいずれか１項に記載の方法。
【請求項１４】
前記ｄ４）に係る段階は、前記少なくとも１つの第１光に係る解法の範囲に対するより低い範囲制約を供給する段階及び前記少なくとも１つの第１光に係る前記解法のための少なくとも１つの方程式システムを解決する段階を更に具備し、前記少なくとも１つの方程式システムは、前記少なくとも１つの第１光に係る未知の変数、前記第１画像における前記顔サンプル位置の少なくとも一部に係る前記画像位置に関連する前記強度情報に係る既知のパラメータ、及び前記第１画像における前記顔サンプル位置の少なくとも一部に関連する前記放射輝度伝達関数に係る既知のパラメータを具備する請求項１乃至１３のいずれか１項に記載の方法。
【請求項１５】
測定された前記少なくとも１つの第１光及び前記顔サンプルの少なくとも一部に関連する前記放射輝度伝達関数により、前記顔サンプルの少なくとも一部に対するターゲット強度値を測定する段階、前記ターゲット強度値及び前記第１画像における前記サンプル位置の少なくとも一部に係る前記画像情報に関連する強度情報の間の強度差を測定する段階、並びに第５画像及び前記第１画像が同じ画像若しくは異なる画像である、前記人間の顔及び測定された前記強度差に係る前記第５画像によって、前記顔の上にかかる少なくとも１つの第５光を測定する段階を更に具備する請求項１乃至１４のいずれか１項に記載の方法。
【請求項１６】
前記第５光を測定する段階は、測定された前記強度差により前記顔サンプルの少なくとも一部に係る重さを測定する段階を具備し、前記測定された重さは、前記少なくとも１つの第５光を測定する段階のために使用される請求項１５に記載の方法。
【請求項１７】
請求項１乃至１６のいずれか１項に記載の方法を実行するように構成されているソフトウェアコードセクションを具備するコンピュータプログラムプロダクト。
【請求項１８】
現実環境の視野におけるバーチャルオブジェクトの表現システムであって、
ａ）第１カメラによりキャプチャされた人間の顔の少なくとも一部に係る第１画像の画像情報を受信する手段、
ｂ）少なくとも１つの人面固有特性が、顔の少なくとも一部に係る放射輝度伝達特性を具備する、該少なくとも１つの人面固有特性を供給する手段、
ｃ）前記第１画像の顔領域として、前記第１画像における前記顔の画像領域の少なくとも一部を測定する手段、
ｄ）前記第１画像の前記顔領域及び前記少なくとも１つの人面固有特性によって、前記顔の上にかかる少なくとも１つの第１光を測定する手段、並びに
ｅ）前記少なくとも１つの第１光によって、前記現実環境の視野において、ディスプレイ装置上の前記バーチャルオブジェクトを調和させるための前記ディスプレイ装置と連絡を取る手段
を実行するために設定されている処理システムを具備し、
前記ｄ）に係る手段は、
ｄ１）複数の顔サンプル位置を供給する手段、
ｄ２）前記複数の顔サンプル位置のそれぞれのために、放射輝度関数を供給する手段、
ｄ３）前記第１画像における前記顔サンプル位置の少なくとも一部に係る画像位置を測定する手段、並びに
ｄ４）前記第１画像における前記顔サンプル位置の少なくとも一部に係る前記画像位置に関連する強度情報及び前記第１画像における前記顔サンプル位置の少なくとも一部に関連する前記放射輝度伝達関数によって、前記少なくとも１つの第１光を測定する手段
を具備し、
前記放射輝度伝達関数は、
ｆ１）複数の異なる照明が既知である、該複数の異なる照明における人間の顔に係る複数の画像の画像情報を供給する手段、
ｆ２）該複数の画像のそれぞれのために、前記顔サンプル位置の少なくとも一部に係る画像位置を測定する手段、並びに
ｆ３）前記複数の顔サンプル位置のそれぞれに、前記複数の画像の少なくとも一部における前記画像位置に関連する強度情報による前記各個の放射輝度伝達関数並びに前記複数の画像の少なくとも一部に関連する前記照明及びポーズを測定する手段
を具備することを特徴とする現実環境の視野におけるバーチャルオブジェクトの表現システム。
【請求項１９】
前記第１カメラ及び前記ディスプレイ装置を具備するモバイル機器を具備し、前記ディスプレイ装置は、法線を有し、且つ前記第１カメラは光学軸を有し、並びに前記ディスプレイ装置の法線及び前記第１カメラの光学軸は、十分同じ方向に合わせられる請求項１８に記載のシステム。
【請求項２０】
前記モバイル機器は、携帯電話、タブレットコンピュータ、又はモバイルコンピュータのいずれかである請求項１９に記載のシステム。
【請求項２１】
前記処理システムは、前記モバイル機器及び／又は前記モバイル機器で連絡を取るために構成されているサーバコンピュータの中に含まれる請求項１９又は２０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実環境の視野におけるバーチャルオブジェクトを表現するための方法及びシステムに関する。
【背景技術】
【０００２】
拡張現実（ＡＲ）において、例えば現実環境におけるビデオ画像のような、現実環境の視野は、現実環境に対する空間関係において、１つ以上のバーチャルオブジェクトのオーバーレイと結合している。多くのＡＲアプリケーションの代わりに、バーチャルオブジェクトは、現実及びバーチャルオブジェクトが識別されないように、視野においては途切れなく一体化されるべきである。従って、現実世界で見える同じような光条件を伴うバーチャルオブジェクトを照らす若しくは表示すること、及び、例えば現実シーンからの部分の上へ影を投げ掛ける（投影する）ことにより、バーチャルオブジェクトに光（照明）を変化させることが、重要である。拡張現実シーンにとって、光条件は、一般的に解明されておらず、且つ無作為なものであり、そしてそれゆえに、現実及びバーチャルオブジェクトのために一貫した光を有することは、一般的に難しく或いは実に不可能である。
【０００３】
現実及びバーチャルオブジェクトのために一貫した光を有するために可能な方法とは、現実環境から放射された光を推定することである。その技術態様における一般的なアプローチは、環境光を推定するために、例えば鏡、例えばフィッシュアイカメラのような特別なカメラ等の追加的なセットアップを必要とする。このことは、これらのアプローチの妥当性を最終的に制限する。更に、一般的なアプローチの多くは、あらゆる光源の位置ではなく、環境光の方向を推定することができるのみであった。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Gruber,  Lukas,  Thomas  Richter-Trummer,  and  Dieter  Schmalstieg.  “Real-time  photometric  registration  from  arbitrary  geometry.”  Mixed  and  Augmented  Reality  (ISMAR),  2012  IEEE  International  Symposium  on.  IEEE,  2012.
【非特許文献２】P.  Debevec.  Rendering  synthetic  objects  into  real  scenes:  bridging  traditional  and  image-based  graphics  with  global  illumination  and  high  dynamic  range  photography.  In  Proceedings  of  the  25th  annual  conference  on  Computer  graphics  and  interactive  techniques,  SIGGRAPH  ’98,  pages  189-198,  New  York,  NY,  USA,  1998.  ACM.
【非特許文献３】Sato,  I.,  Sato,  Y.,  and  Ikeuchi,  K.  Acquiring  a  radiance  distribution  to  superimpose  virtual  objects  onto  a  real  scene.  IEEE  Transactions  on  Visualization  and  Computer  Graphics  5,  1  (January  -  March  1999).
【非特許文献４】Lee,  Kuang-Chih,  Jeffrey  Ho,  and  David  J.  Kriegman.  "Acquiring  linear  subspaces  for  face  recognition  under  variable  lighting."  Pattern  Analysis  and  Machine  Intelligence,  IEEE  Transactions  on  27.5  (2005):  684-698.
【非特許文献５】Georghiades,  Athinodoros  S.,  Peter  N.  Belhumeur,  and  David  J.  Kriegman.  "From  few  to  many:  Illumination  cone  models  for  face  recognition  under  variable  lighting  and  pose."  Pattern  Analysis  and  Machine  Intelligence,  IEEE  Transactions  on  23.6  (2001):  643-660.
【非特許文献６】Wang,  Yang,  et  al.  "Face  relighting  from  a  single  image  under  arbitrary  unknown  lighting  conditions."  Pattern  Analysis  and  Machine  Intelligence,  IEEE  Transactions  on  31.11  (2009):  1968-1984.
【非特許文献７】Yang,  Ruigang,  and  Zhengyou  Zhang.  "Model-based  head  pose  tracking  with  stereovision."  Automatic  Face  and  Gesture  Recognition,  2002.  Proceedings.  Fifth  IEEE  International  Conference  on.  IEEE,  2002.
【非特許文献８】Fanelli,  Gabriele,  Juergen  Gall,  and  Luc  Van  Gool.  "Real  time  head  pose  estimation  with  random  regression  forests."  Computer  Vision  and  Pattern  Recognition  (CVPR),  2011  IEEE  Conference  on.  IEEE,  2011.
【非特許文献９】Suh,  Sungho,  Minsik  Lee,  and  Chong-Ho  Choi.  "Robust  Albedo  Estimation  From  a  Facial  Image  With  Cast  Shadow  Under  General  Unknown  Lighting."  Image  Processing,  IEEE  Transactions  on  22.1  (2013):  391-401.
【非特許文献１０】Nishino,  Ko,  Peter  N.  Belhumeur,  and  Shree  K.  Nayar.  "Using  eye  reflections  for  face  recognition  under  varying  illumination."  Computer  Vision,  2005.  ICCV  2005.  Tenth  IEEE  International  Conference  on.  Vol.  1.  IEEE,  2005.
【非特許文献１１】Knecht,  Martin,  et  al.  "Differential  instant  radiosity  for  mixed  reality."  Mixed  and  Augmented  Reality  (ISMAR),  2010  9th  IEEE  International  Symposium  on.  IEEE,  2010.
【非特許文献１２】Zhang,  Lei,  and  Dimitris  Samaras.  "Face  recognition  under  variable  lighting  using  harmonic  image  exemplars."  Computer  Vision  and  Pattern  Recognition,  2003.  Proceedings.  2003  IEEE  Computer  Society  Conference  on.  Vol.  1.  IEEE,  2003.
【非特許文献１３】Miika  Aittala.  “Inverse  lighting  and  photorealistic  rendering  for  augmented  reality”.  The  visual  computer,  26(6-8):669-678,  2010.
【非特許文献１４】Georghiades,  Athinodoros  S.,  Peter  N.  Belhumeur,  and  David  Kriegman.  "From  few  to  many:  Illumination  cone  models  for  face  recognition  under  variable  lighting  and  pose."  Pattern  Analysis  and  Machine  Intelligence,  IEEE  Transactions  on  23.6  (2001):  643-660.
【非特許文献１５】Kan,  Peter,  and  Hannes  Kaufmann.  "High-quality  reflections,  refractions,  and  caustics  in  aug-mented  reality  and  their  contribution  to  visual  coherence."  Mixed  and  Augmented  Reality  (ISMAR),  2012  IEEE  International  Symposium  on.  IEEE,  2012.
【非特許文献１６】Blanz,  Volker,  and  Thomas  Vetter.  "A  morphable  model  for  the  synthesis  of  3D  faces."  Proceedings  of  the  26th  annual  conference  on  Computer  graphics  and  interactive  techniques.  ACM  Press/Addison-Wesley  Publishing  Co.,  1999.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
環境光を推定若しくはキャプチャするためのアプローチは、全方位カメラ（非特許文献３に開示されているような）により、又は鏡の球面の画像をキャプチャすることにより（非特許文献２に開示されているような）、現実環境のパノラマ画像を作り出すことである。環境光は、パノラマ画像に沿って、直接的に測定され得た。このアプローチの１つの問題は、例えばフィッシュアイカメラ若しくは鏡の球面のいずれかを必要とする、追加的セットアップの必要性があり、シーンに付加される余分なオブジェクトが、オリジナルのシーンを変える。更に、このアプローチは、環境光の方向を測定する。
【０００６】
環境光を推定することに対する別のアプローチは、現実環境の画像及び現実環境に係る既知のモデルに基づいている。例えば、グラバー（Gruber）らは、非特許文献１にて、現実環境における深度画像をキャプチャするためのＲＧＢ−Ｄカメラを用い、且つその時に現実環境の面を再現することを提案している。環境光は、ＲＧＢ−ＤカメラにおけるＲＧＢデータからの深度及びテクスチャ情報に基づいた表面方法から推定され得る。
【０００７】
それゆえに、とりわけ未知の光条件を伴う環境において、拡張現実アプリケーションの妥当性を向上させる能力がある、現実環境の視野におけるバーチャルオブジェクトを表現する方法を提供することが望ましい。
【課題を解決するための手段】
【０００８】
態様によれば、第１カメラによりキャプチャされた人間の顔面の少なくとも一部に係る第１画像の画像情報を供給すること、少なくとも１つの人面固有特性を供給すること、前記第１画像の顔面領域として、前記第１画像の中に前記顔面に係る画像領域の少なくとも一部を測定すること、前記第１画像の顔面領域及び前記少なくとも１つの人面固有特性によって、前記顔面に位置している少なくとも１つの第１光を測定すること、並びに前記少なくとも１つの第１光によって、前記現実環境の視野におけるディスプレイ装置で、前記バーチャルオブジェクトを調和させることを具備する、現実環境の視野におけるバーチャルオブジェクトを表現する方法が開示される。
【０００９】
更にとりわけ、態様によれば、現実環境の視野におけるバーチャルオブジェクトを表現する方法であって、
ａ）第１カメラによりキャプチャされた人間の顔の少なくとも一部に係る第１画像の画像情報を供給する段階、
ｂ）少なくとも１つの人面固有特性が、顔の少なくとも一部に係る放射輝度伝達特性を具備する、該少なくとも１つの人面固有特性を供給する段階、
ｃ）前記第１画像の顔領域として、前記第１画像における前記顔の画像領域の少なくとも一部を測定する段階、
ｄ）前記第１画像の前記顔領域及び前記少なくとも１つの人面固有特性によって、前記顔の上にかかる少なくとも１つの第１光を測定する段階、並びに
ｅ）前記少なくとも１つの第１光によって、前記現実環境の視野において、ディスプレイ装置上の前記バーチャルオブジェクトを調和させる段階
を具備し、
前記ｄ）に係る段階は、
ｄ１）複数の顔サンプル位置を供給する段階、
ｄ２）前記複数の顔サンプル位置のそれぞれのために、放射輝度関数を供給する段階、
ｄ３）前記第１画像における前記顔サンプル位置の少なくとも一部に係る画像位置を測定する段階、並びに
ｄ４）前記第１画像における前記顔サンプル位置の少なくとも一部に係る前記画像位置に関連する強度情報及び前記第１画像における前記顔サンプル位置の少なくとも一部に関連する前記放射輝度伝達関数によって、前記少なくとも１つの第１光を測定する段階
を具備し、
前記放射輝度伝達関数は、
ｆ１）複数の異なる照明が既知である、該複数の異なる照明における人間の顔に係る複数の画像の画像情報を供給する段階、
ｆ２）該複数の画像のそれぞれのために、前記顔サンプル位置の少なくとも一部に係る画像位置を測定する段階、並びに
ｆ３）前記複数の顔サンプル位置のそれぞれに、前記複数の画像の少なくとも一部における前記画像位置に関連する強度情報による前記各個の放射輝度伝達関数並びに前記複数の画像の少なくとも一部に関連する前記照明及びポーズを測定する段階を具備する訓練方法によって、測定される。
【００１０】
別の態様によれば、現実環境の視野におけるバーチャルオブジェクトを表現するシステムであって、前述の手段を実行するように設定される処理システムを具備することが開示される。
【００１１】
態様によれば、その処理システムは、第１カメラによりキャプチャされた顔の少なくとも一部に係る第１画像の画像情報を受信し、少なくとも１つの人面固有特性を供給し、前記第１画像の顔面領域としての、前記第１画像における顔面の画像領域の少なくとも一部を測定し、並びに少なくとも１つの第１光によって、現実環境の視野におけるディスプレイ装置上で、バーチャルオブジェクトを調和させるためのディスプレイ装置と通信するように設定される。
【００１２】
例えば、その処理システムは、モバイル機器（例えば、携帯電話、タブレットコンピュータ、若しくはしばしばラップトップと称されるモバイルコンピュータ）、並びに／又は、該モバイル機器と通信するように構成されるサーバ用コンピュータに備わる。その処理システムは、例えば携帯電話若しくはサーバ用コンピュータのような、これらの装置の１つのみに備わり、又は１つ以上の処理タスクが、例えば２地点間通信若しくはネットワーク経由により、お互いに分散され、及び、通信しているような１つ以上のコンポーネントにより、分散及び処理されるような分散システムになり得る。
【００１３】
態様によれば、第１カメラは、人間の顔がディスプレイ装置に向いている場合に、該人間の顔の少なくとも一部が、第１カメラによってキャプチャされるような、ディスプレイ装置と関連する。
【００１４】
態様によれば、前記システムは、前記第１カメラ及び前記ディスプレイ装置を備えるモバイル機器を具備し、前記ディスプレイ装置の法線及び前記第１カメラの光軸が、実質的に同じ方向に方向づけられる。実質的に同じ方向とは、例えば５°〜１０°位の方位角における小さな偏差が、包含されるということを意味するものとする。
【００１５】
本発明の態様によれば、環境光（即ち環境から放射される光）を推定するために、ＡＲアプリケーションを体験し、且つ現実環境の中にすでにある、ユーザの顔を使用することが提案される。このことは、いろいろな利点を有する。追加の形状が追加されなくてはならないこと、並びにつまらないセットアップが必要とされることが無いので、ユーザの顔が、得られる。人間の顔は、形状及び材料におけるバリエーションの範囲により限定され、並びにそれに従って、いくつかの種類の前処理だけでなく、より早く且つより効率的に実行することができる効果的な仮定及び制約に基づいた最適化されたアルゴリズムも認容される。ユーザの顔がいつも得られるだけでなく、ユーザが現実環境の拡張された視野に面している若しくは見ている場合に、光を動的に変化することが、保持される。例えば、バーチャルオブジェクトが、人間のウェアラブルオブジェクト若しくは衣服であるようなケースを用いた場合、ユーザの顔面は、拡張の位置に接近し、且つ別の便益になることがある。
【００１６】
人間の顔からの照明は、非特許文献４及び５に開示されているように、光の影響を差し引き、且つ顔の特徴のより良い認識のための光自由画像を読み出すために、可変光の下で、画像認識に係る領域において、推定される。ここで、照明は、取り除かれるべきかく乱要因である。
【００１７】
顔に対する照明は、非特許文献６に開示されているように、顔の再照射に係る領域において別の光のために、推定されたり、且つ変えられたりがある。焦点は、一貫して追加的オブジェクトを照らすための回収された光を使用するのではなく、顔面それ自体の外観を変化させるのに横たわっている。
【００１８】
態様によれば、測定された少なくとも１つの光は、第１カメラが第１画像をキャプチャしたときの第１カメラに関連する。
【００１９】
態様によれば、前記少なくとも１つの人面固有特性は、次に示す、一般的な３次元フェイスモデル、顔の少なくとも一部に係る形状、顔の少なくとも一部に係る材料の特性、顔の少なくとも一部に係る色、顔の少なくとも一部に係る放射輝度伝達属性、顔の少なくとも一部に係る反射特性及び顔の少なくとも一部に係る適合性評価のうち少なくとも１つに限らず、光推定における使用のために具備する。
【００２０】
態様によれば、少なくとも１つの第１光を測定することは、少なくとも１つの第１光に係る少なくとも１つの特性を測定することを具備し、前記少なくとも１つの第１光に係る少なくとも１つの特性は、強度、波長、及び方向のうち少なくとも１つを具備する。
【００２１】
態様によれば、少なくとも１つの第１光を測定することは、少なくとも１つの第１光の一部を放射若しくは映す若しくは屈折させている、少なくとも１つの光源の少なくとも１つの特性を測定することを具備し、前記少なくとも１つの光源の少なくとも１つの特性は、次に示す、型、強度、波長、方向、距離、位置、次元、領域、形状、球面調和関数係数、ウェーブレット基底係数、及びフォン・ミーゼス−フィッシャー分布の混合の係数であって、特にモードの数の少なくとも１つ、平均方位及び集中パラメータの少なくとも１つを具備する。
【００２２】
例えば、前記少なくとも１つの光源は、次に示す、間接光、点光、スポットライト、エリア光源、及び環境光のうち少なくとも１つを具備し、前記環境光は、環境マップ、球面調和関数、ウェーブレット又はフォン・ミーゼス−フィッシャー分布の混合として表現される。
【００２３】
態様によれば、現実環境の視野は、前記第１カメラにより画像としてキャプチャされ、及び、前記バーチャルオブジェクトを調和させることは、前記測定された少なくとも１つの第１光によって、前記バーチャルオブジェクトの少なくとも一部を照らすことを具備する。
【００２４】
態様によれば、現実環境の視野は、第２カメラにより画像としてキャプチャされ、前記第２カメラは、前記第１カメラに対して既知の空間関係を有し、並びに前記バーチャルオブジェクトを調和させることは、前記測定された少なくとも１つの第１光及び前記第１及び第２カメラの間の既知の空間関係によって、前記バーチャルオブジェクトの少なくとも一部を照らすことを具備する。
【００２５】
例えば、前記バーチャルオブジェクトを調和させることは、前記第２カメラが現実環境の視野をキャプチャしたとき、現実環境に対応した前記第２カメラのポーズを供給すること、及び該供給されたポーズによって、現実環境の視野を伴ったバーチャルオブジェクトをアラインすることを具備する。
【００２６】
態様によれば、前記バーチャルオブジェクトを調和させることは、前記第１カメラが現実環境の視野をキャプチャしたとき、顔若しくは現実環境に対応した前記第１カメラのポーズを供給すること、及び該供給されたポーズによって、現実環境の視野を伴ったバーチャルオブジェクトをアラインすることを具備する。
【００２７】
態様によれば、前記少なくとも１つの第１光を測定することは、前記第１画像に係る顔面領域に関連した深度情報を供給すること、並びに強度及び前記第１画像に係る顔面領域に関連した前記深度情報によって、前記少なくとも１つの第１光を測定することを具備する。
【００２８】
態様によれば、前記少なくとも１つの第１光を測定することは、３次元顔モデルの少なくとも一部を供給することを具備し、前記３次元顔モデルは、第１カメラが第１画像をキャプチャしたときの第１カメラに対応した顔のポーズを供給し、並びに顔面領域及び前記３次元顔モデルの少なくとも一部に関連した強度情報によって、少なくとも１つの第１光を測定する、一般的な３次元モデル若しくは顔の３次元モデルである。
【００２９】
態様によれば、前記少なくとも１つの第１光を測定することは、複数の異なる照明及びポーズにおいて、人間の顔に係る複数の画像の画像情報を供給することを具備し、前記複数の異なる照明及びポーズは、複数の顔サンプルの位置を供給すること、前記複数の画像のそれぞれに対して、前記顔サンプルの位置の少なくとも一部に係る画像の位置を測定すること、前記複数の顔サンプルの位置のそれぞれに対して、前記複数の画像の少なくとも一部における画像の位置、及び、前記複数の画像の少なくとも一部に対応した光及びポーズによって、放射輝度伝達関数を測定すること、前記第１画像における顔面サンプル位置の少なくとも一部の画像位置を測定すること、並びに前記第１画像における顔面サンプルの位置の少なくとも一部に係る画像位置に関連する強度情報及び前記第１画像における顔面サンプルに関連する放射輝度伝達関数によって、前記少なくとも１つの第１光を測定することが知られている。
【００３０】
態様によれば、顔面領域は、前記顔の少なくとも一部に係る熱画像によって、測定され、該熱画像の少なくとも一部が、前記第１画像の少なくとも一部にアラインされる。
【００３１】
態様によれば、顔面領域は、次の、鼻、頬、額、下顎、目及び顎先の少なくとも１つを具備する、少なくとも１つの顔面部位を含む。
【００３２】
態様によれば、当該方法は、バックグラウンド領域としての第１画像における非顔画像領域の少なくとも一部を測定すること、少なくとも１つの第１光を測定することとは異なった方法で、バックグラウンド領域によって少なくとも１つの第２光を測定すること、並びに前記測定された少なくとも１つの第１光及び前記測定された少なくとも１つの第２光を結合させることにより、前記少なくとも１つの第１光を更新することを更に具備する。
【００３３】
態様によれば、当該方法は、第２カメラによりキャプチャされた現実環境の少なくとも一部に係る第２画像の画像情報を供給することを具備し、前記第２カメラは、第２カメラによって少なくとも１つの第３光を測定し、且つ既知の空間関係によって、前記測定された少なくとも１つの第１光及び前記測定された少なくとも１つの第３光を結合させることにより、前記測定された少なくとも１つの第１光を更新するような、第１カメラに対する既知の空間関係を有する。
【００３４】
態様によれば、当該方法は、現実環境の少なくとも一部に対応する異なるポーズにおける顔の多重画像に係る画像情報を供給すること並びに前記多重画像によって、様々な光の少なくとも１つ及び光源の位置を計算することを更に具備する。
【００３５】
態様によれば、当該方法は、第１カメラが第１画像をキャプチャしたときの第１カメラに対応する顔の第１ポーズを測定すること、第１カメラによりキャプチャされた顔の少なくとも一部に係る第３画像の画像情報を供給すること、第３画像によって少なくとも１つの第４光を測定すること、第１カメラが第３画像をキャプチャしたときの第１カメラに対応する顔の第３ポーズを測定すること、並びに第１及び第３ポーズによって、測定された少なくとも１つの第１光及び測定された少なくとも１つの第４光を結合させることにより、測定された少なくとも１つの第１光を更新することを更に具備する。
【００３６】
態様によれば、当該方法は、第１カメラによりキャプチャされた顔の少なくとも一部に係る第３画像の画像情報を供給すること、第３画像によって少なくとも１つの第４光を測定すること、第１カメラが、現実環境の少なくとも一部に関連する現実環境座標系の中で、第１及び第３画像をキャプチャしている間のモーションを測定すること、並びに前記モーションによって、測定された少なくとも１つの第１光及び測定された少なくとも１つの第４光を結合させることにより、測定された少なくとも１つの第１光を更新することを更に具備する。
【００３７】
態様によれば、当該方法は、第１ポーズ、第３ポーズ及びモーションによって、測定された少なくとも１つの第１光及び測定された少なくとも１つの第４光を結合させることにより、測定された少なくとも１つの第１光を更新することを更に具備する。
【００３８】
例えば、前記モーションは、少なくとも１つの追跡センサ、特に慣性センサ、ＧＰＳセンサ、及びコンパスのうち１つによって、測定される。前記モーションはまた、第１及び第３画像に係る非顔領域によって、測定される。前記モーションはまた、第２カメラによりキャプチャされた現実環境の少なくとも一部に係る少なくとも１つの画像によって、測定され、前記第２カメラは、第１カメラに対する既知の空間関係を有し、又は第１カメラに関連してロバスト固定される。
【００３９】
態様によれば、当該方法は、第１及び第３画像に関連する共通座標系を供給することを具備し、前記共通座標系は、前記現実環境座標系、顔に関連した共通座標系、及び第１カメラに関連した共通座標系のうち１つである。
【００４０】
例えば、測定された少なくとも１つの第１光及び測定された少なくとも１つの第４光を結合するとは、少なくとも１つの第１光に係る方向及び少なくとも１つの第４光に係る方向を測定すること、並びに該２つの測定された方向に沿った線の間における交点を測定することを含む。
【００４１】
別態様によれば、測定された少なくとも１つの第１光及び測定された少なくとも１つの第４光を結合するとは、前記更新された少なくとも１つの第１光の特性値並びに数学的方法、とりわけ、平均化、最小二乗法及び確率最大化のうち少なくとも１つに基づいた少なくとも１つの第４光の特性値によって、前記更新された少なくとも１つの第１光の特性値を計算することを含む。
【００４２】
態様によれば、バーチャルオブジェクトを調和させることは、バーチャルオブジェクト及び少なくとも１つの第１光によって、現実環境の視野の少なくとも一部に係る光を変化させることを具備する。例えば、光を変化させるとは、差動レンダリングによって作られる。
【００４３】
本発明の態様によれば、環境光は、人面画像に基づき推定され、並びにその後に推定された光が、現実環境の視野の中にブレンドされたバーチャルオブジェクトを照らすのに応用される。とりわけ、現在の発明は、ディスプレイ画面及び１若しくは２つのカメラ（例えば、スクリーンに対して同じ側に目を向けるフロントカメラ及びスクリーンに対して反対側に目を向けるバックカメラ）が備わっている最新型モバイル機器（例えば、携帯電話若しくはタブレットコンピュータ）を使用することを開示している。ユーザが、ＡＲ画像を体験するために、スクリーンに目を向けてから、フロントカメラがユーザの顔を常にキャプチャすることができるのと同時に、バックカメラが、現実環境の視野をキャプチャすることができる。
【００４４】
本発明の態様によれば、現実環境から放射された少なくとも１つの光が測定される。現実環境から放射された光は、環境光であり、且つまた照明若しくは現実照明と呼ばれる。
【００４５】
現在開示された発明によれば、現実及びバーチャルコンテンツに係る一貫した照射のために、現実照明を測定するという先行技術との１つの重要な違いは、ユーザがディスプレイ装置上の拡張シーンに係るビジュアルコンテンツを観測しているときに、ユーザ面カメラ（「user  facing  camera」。即ち、ユーザを指し示している又はユーザの顔をキャプチャするための、例えば鏡や光学レンズといった１つ以上の光学機器により写された画像を指し示しているカメラ）によりキャプチャされた照明の下、ユーザの顔の１つ以上の人間の顔固有の特性に係る明確な使用である。このことは、人間の顔に対する推測的知識に係る応用を認める。画像は、ユーザ面カメラにより一般的にキャプチャされ、且つ光のプローブに対して、シーンにおける既知の配列に係る付加的なオブジェクトを信頼すること又はそれから照明を推定するのに無作為にふさわしくないような任意シーン配列を使用することの代わりに、照明を推定するのに使用される。拡張を観測するユーザに係る全体の継続を越えて、大抵は若しくは常に得られる、顔を明確に使用すること（例えば、人面固有特性を使用すること）により、照明が、シーン上の影響を要することなく、如何なる場合において、推定され得る。更に、全ての人間における配列及び素材と関連した、限定された範囲のバリエーションを有する顔に対して明確に焦点を合わせることにより、ユーザの顔から光を推定するための専門のアルゴリズムが、適用される。任意のシーン表面のために無効となるような仮定は、表面反射率及び光の強度／色の間における不明確さに係る物理的問題を減らすような、肌反射のための固有のモデルのように、適用される。照明を推定するのに特にふさわしい顔の領域は、予習及び／若しくは予め定義され、並びに他の領域から区別され得る。これらの領域は、顔の探知及びポーズの探知に係る規定されたアルゴリズムを通じてライブトラッキングの中に記録される。推定において悪い衝撃を有するのであろう領域は、アカウント（額のような）の中へと入れられる。
【００４６】
更に、より多くが使用する場合、ユーザが装置を手に持っている、或いは、ユーザが、ＡＲアプリケーションを体験するため、且つそれによってまた、ユーザ面カメラに近接するディスプレイ装置に隣接するという理由で、ユーザの顔面及びユーザ面カメラの間の距離における限定されたバリエーションが、例えば装置に接近しているユーザで満たされ得る。この限定された距離は、ユーザの前におけるシーンと比較された限定された深度／精度範囲を示す深度カメラを適用するためによりロバスト（堅固）なシナリオを作り出し、遠く離れる（隣家のように）ことが可能である。
【００４７】
更に、ユーザの顔は、ユーザがＡＲシナリオを見ている間に、全周期を通じて追跡されるという理由で、本発明は、事前に、光プローブ及び全ての方向のための入射照明の長さをキャプチャする全方向（３６０°パノラマの）高ダイナミックレンジをキャプチャするといういずれのオフラインの前処理を必要とせず、並びに照明を動的に変化させることを保持する。
【００４８】
部屋の中に明確に設置され、且つ照明の推定のためのカメラによりキャプチャされるべき、非特許文献１３にて使用されているような、卓球ボール若しくは円盤標識のような特殊なオブジェクトを使用する技術の最先端と比較すると、ユーザの顔は、人が、拡張の全体的処理の間におけるカメラの視野の領域内で、オブジェクトを保持するために特別な注意を払う必要がないという、大きな利点を有している。
【００４９】
１つのカメラを伴うセットアップ：
本発明の一態様は、カメラによりキャプチャされた画像の中で、現実及びバーチャルオブジェクトの間における一貫した照明を伴う拡張をレンダリングするためのカメラにより、キャプチャされたユーザの顔の画像から推定される環境光を使用することである。カメラは、例えば携帯電話、パッド、若しくはタブレットといったモバイル機器に接続されている。例えばＬＣＤスクリーンのようなディスプレイ装置もまた、モバイル機器に接続されている。
【００５０】
現代的な携帯電話、パッド、若しくはタブレットは、２つの反対方向を指し示す２つの搭載カメラ（例えば、ユーザ面カメラ及び背面カメラ）を有する。携帯電話のスクリーンは、ユーザ面カメラとして同じ方向を有する。最新のセットアップに使用されるカメラは、ユーザ面カメラ又は背面カメラのいずれかになる。
【００５１】
２つのカメラを伴うセットアップ：
本発明の可能な態様は、別カメラ（例えば、ユーザ面カメラと比較して、反対方向を指し示すような背面カメラ）によりキャプチャされた別のカメラ画像の中で、現実及びバーチャルオブジェクトの間における一貫した照明を伴う拡張をレンダリングするためのユーザ面カメラにより、キャプチャされたユーザの顔の画像から推定される環境光を使用することである。２つのカメラは、例えば携帯電話、パッド、若しくはタブレットといったモバイル機器に接続されている。更に、例えばＬＣＤスクリーンのようなディスプレイ装置が、モバイル機器に接続されている。
【００５２】
現代的な携帯電話、パッド、若しくはタブレットは、２つの反対方向を指し示す２つの搭載カメラ（即ち、ユーザ面カメラ及び背面カメラ）を有する。モバイル機器の２つのカメラは、固定された空間関係を有し、且つその空間関係は、既知の平面グリッドマーカ若しくは追加的トラッキングシステムを使用することにより、例えばハンドアイ校正のような校正手段により測定される。
【００５３】
２つのカメラは、該２つのカメラの座標系の間の既知の関係に係る仮定と組み合わせて使用される。背面カメラは、現実環境に関連する現実環境座標系及び／又は現実環境に位置付けられる現実オブジェクトに関連するオブジェクト座標系に対応して、背面カメラのポーズを測定することができるようなトラッキング（追跡）のために使用される。このことは、背面カメラによりキャプチャされた画像における現実環境において、バーチャルオブジェクト及び現実オブジェクトの間における望ましいアラインメントを認める。２つのカメラに係る座標系の間の既知の関係を仮定することは、ユーザ面カメラによりキャプチャされたユーザの顔からの推定された照明が、現実環境座標系及び／又はオブジェクト座標系へと変換されるということである。このことは、背面カメラのカメラ画像の中での、現実及びバーチャルオブジェクトの間の一貫した照明を伴った拡張をレンダリングすることを認める。
【００５４】
本発明の別態様は、ユーザ面カメラによりキャプチャされた画像の中で、現実及びバーチャルオブジェクトの間の一貫した照明を伴う拡張をレンダリングするために、ユーザ面カメラによりキャプチャされたユーザの顔の画像から推定される環境光を使用することである。このような場合、背面カメラは、現実環境に関連する現実環境座標系において、第１カメラのモーションを推定するために使用される。
【００５５】
本発明の別態様において、２つのカメラのうち１つは、他のカメラでキャプチャされた画像が、解析若しくは処理され得ることにより、環境光を推定するために使用される。種々の画像処理若しくはコンピュータビジョンの方法は、その推定された環境光によって、キャプチャ画像上で実行される。例えば、画像ベースの顔認識方法は、顔に係る照明に重く依存している。顔認識方法は、別のカメラによりキャプチャされた画像により推定される環境光によって、２つのカメラのうち１つによりキャプチャされた顔の画像における顔を認識するために実行される。その推定された環境光は、顔の画像における顔照明の一部を移動させる若しくは測定するために使用される。更に、視覚ベースのトラッキング方法は、別のカメラによりキャプチャされた画像を使用することにより推定された環境光によって、２つのカメラのうち１つによりキャプチャされたオブジェクトの画像における、オブジェクト（例えば、テーブル）を追跡するのに適用される。推定された環境光は、オブジェクト上の照明の一部を移動させる若しくは測定するために、又は、画像におけるオブジェクトの元のテクスチャを取り戻すために使用される。深度カメラは、顔若しくはオブジェクトの画像をキャプチャするための２つのカメラのうちの１つとして使用されるのが好ましい。深度カメラ及び推定された光により供給された、顔若しくはオブジェクトの３Ｄ表面は、顔若しくはオブジェクト上で、照明の少なくとも一部を移動させる若しくは測定するために共に使用される。とりわけ、２つのカメラのうち１つによりキャプチャされた画像の中の、顔若しくはオブジェクトの上に係る環境光が、他の反対のカメラにより直接的にキャプチャされるので、反対方向を有する２つのカメラのセットアップは、本態様から便益を得るであろう。
【００５６】
１つのカメラ及び２つのカメラのセットアップの両方において、いくつかのシナリオにおける、ユーザ面カメラに関連する顔のポーズは、ユーザ面カメラによりキャプチャされた画像の中の顔を伴ったバーチャルオブジェクトをアラインするために測定されなければならないかもしれない。例えば、顔の画像の上へと、例えばメガネ若しくは帽子のような、ヘッドウェアラブルバーチャルオブジェクトを重ね合わせることは、顔の画像における望ましい位置の上へ、該ヘッドウェアラブルバーチャルオブジェクトを設置することを必要とするであろう。カメラに関連した顔のポーズを測定することは、カメラによりキャプチャされた顔の画像によって、モデルベースの方法（非特許文献７）又は機械学習ベースの方法（非特許文献８）に基づいて成る。
【００５７】
セットアップ、即ち１つのカメラ及び２つのカメラのセットアップに係る両方の態様のために、モバイル機器のディスプレイ装置に係る法線及びユーザ面カメラに係る光学軸は、同じ方向を有するのが望ましい。この場合において、ユーザが、ディスプレイ装置上の拡張シーンに係る視覚情報を観測するにつれて、ユーザの顔は、大抵若しくは常にユーザ面カメラによりキャプチャされる。従って、環境光は、顔の画像に基づいて、常に推定される。
【００５８】
態様によれば、上述したｄ４）手段（段階）は、前記少なくとも１つの第１光に係る解法の範囲のための下位範囲制約を供給すること、及び、前記少なくとも１つの第１光に係る解法のための少なくとも１つの方程式系を解決することを更に具備し、前記少なくとも１つの方程式系は、前記少なくとも１つの第１光に係る未知の変数、第１画像における顔サンプルの位置の少なくとも一部に係る画像位置に関連する強度情報に係る既知のパラメータ、及び第１画像における顔サンプルの位置の少なくとも一部に関連する放射輝度伝達関数に係る既知のパラメータを具備する。
【００５９】
態様によれば、当該方法は、決定された第１光及び顔サンプルに関連する放射輝度伝達関数によって、顔サンプルの少なくとも一部のためのターゲット強度値を測定すること、前記ターゲット強度値及び第１画像における顔サンプルの位置の少なくとも一部に係る画像位置に関連する強度情報の間における、明暗（強度）差を測定すること、並びに人間の顔に係る第５画像及び決定された強度差によって、顔に向かっている少なくとも１つの第５光を測定することを更に具備し、前記第５画像及び第１画像は、同じ画像若しくは異なる画像である。
【００６０】
態様によれば、前記少なくとも１つの第５光を決定する段階は、決定された明暗差によって、顔サンプルの一部のための加重を測定することを具備し、且つ測定された加重は、前記少なくとも１つの第５光を測定するのに使用される。
【００６１】
本方法に関連してここに開示される形態等は、各段階を実行するために（ソフトウェア及び／又はハードウェアにより）構成されている処理システムにより、公平に実行される。使用される処理装置のいずれも、１以上のカメラ及び／若しくは他のいずれのコンポーネントと、例えばサーバ用コンピュータ若しくは２地点間通信経由のような通信ネットワーク経由で、通信する。
【００６２】
別態様によれば、本発明はまた、本発明の方法を実行するために付随したソフトウェアコードセクションを具備するコンピュータプログラムプロダクトに関する。とりわけ、前記コンピュータコードセクションは、非変動であるコンピュータ可読媒体に含まれる。前記コンピュータコードセクションは、上述の１つ以上の処理装置に係る記憶の中で起動される。使用されるいずれの処理装置も、前述の例えばサーバ用コンピュータ若しくは２地点間通信経由のような通信ネットワーク経由で、通信する。
【図面の簡単な説明】
【００６３】
【図１】画像におけるユーザの顔のキャプチャ方法、及び本発明の実施形態に係る一般的なセットアップを示す。
【図２】本発明の実施形態に係るヘッドポーズを推定するための段階を示す。
【図３】本発明の実施形態に係る照明を推定するための段階を示す。
【図４】本発明の実施形態に係る差分レンダリング段階を示す。
【図５】本発明における可能な実施形態を示す。
【図６】図５にて開示された典型的なシナリオを伴う、本発明の実施形態におけるフローチャートを示す。
【図７】本発明における可能な実施形態を示す。
【図８】図７にて開示された典型的なシナリオを伴う、本発明の実施形態におけるフローチャートを示す。
【図９】本発明に係る可能な実施形態を示す。
【図１０】本発明に係る可能な実施形態を図示する。
【図１１】本発明に係る別の可能な実施形態を示す。
【図１２】図１１にて開示された典型的なシナリオを伴う、本発明の実施形態におけるフローチャートを示す。
【図１３】本発明の実施形態に係る現実環境の視野におけるバーチャルオブジェクトを表現するための態様に係るフローチャートを示す。
【発明を実施するための形態】
【００６４】
以下に、図面を参照しながら、本発明の更なる態様、有益な特徴及び実施形態をより詳細に説明する。
【００６５】
図１は、ユーザ面カメラ（user  facing  camera）１０１が、ユーザの顔１０３に係る画像１０２を記録しているところでの、画像におけるユーザの顔をキャプチャする方法及び本発明の実施形態に係る一般的なセットアップを図示する。ユーザの顔１０３は、例えば領域光源１０４及び／又は点光源１０５のようなシーンから来ている光により、照らされる。例えば、光１０８の反射光線が、最終画像１０２における位置１０９にて１つ以上のピクセル強度へと変換するところで、光１０６の光線は、点光源１０５から放射され、額１０７にて顔に当たり、且つカメラ１０１に向かって、光１０８の反射光線として部分的に反射する。顔にかかっている光１０６はまた、顔面‐入射光と称される。
【００６６】
より多く、光強度が、カメラの方へ向かって反射されるほど、より輝いて、対応する領域が、画像の中に現れる。顔の特定の位置にて反射される光の光線の強度は、とりわけこの位置に効果的に達する光の光線の強度に、依存する。このことは、表面が光の入射光（例えば、付着影と呼ばれる顔の額に係る暗い方の右側部１１０と比較される、額１０９に係る明るい方の左側部を参照のこと）に向かって方向づけられるかどうかに依存する。また、そのことは、例えば鼻１１１が、右頬１１２へ向かって、点光源１０５により放射される光の光線を塞ぎ、並びに鼻の下及び右頬の上へと影を投じる所で、投影として視認できる他の表面部分により、光線の閉塞に依存する。
【００６７】
図２は、本発明の実施形態に係るヘッドポーズを推定するための手段（ステップ）を示す。画像２０１は、ユーザの顔を示し、並びにユーザ面カメラ２０７及びそれの画像座標系２０６それぞれに係る座標系に対応した頭部２０８のポーズを測定するための、頭部姿勢推定器（ＨＰＥ）２０５の中で使用される、口２０２、鼻２０３及び目２０４のような多数の顔のパーツを含む。
【００６８】
図３は、本発明の実施形態に係る照明を推定するための手段を示す。測定されたヘッド３０２のポーズと共にユーザの顔の画像３０１は、顔照明推定器（ＦＩＥ）３０３に入力される。例えば深度値のような追加入力（ＡＩ）に、付加的に備わっている顔に係る光領域３０６及び影領域３０４、３０５を示す画像強度に基づいて、ユーザ面カメラ座標系３１０に関連して測定される顔の特定位置２０９にて、現実世界の光フィールドの一部である顔面‐入射光３０８は、主な入射光強度３１１、３１２を伴う方向の２つのグループを示すことを再構成される。顔の固有特性（下部の人間の顔及び人面固有特性を参照のこと）はまた、顔照明推定器（ＦＩＥ）３０３で、顔面‐入射光３０８を測定するために使用される。
【００６９】
図４は、照明推定手段で測定される少なくとも１つの第１光によって、現実環境の視野において、ディスプレイ装置上でバーチャルオブジェクトを調和させるために使用される、本発明の実施形態に係る差分レンダリング手段を示す。バーチャルコンテンツを加えることにより影響を与えられる現実世界シーンの３次元形状及び素材部分を置換するプロキシオブジェクト４０１に基づいて、２つのグローバル照明解法（global  illumination  solutions）が、レンダリングされる。第１の解法は、現実世界の推定光条件４０２の条件下でのプロキシオブジェクト４０１単独の画像４０３となる。第２の解法は、例えばバーチャルグラス４０５のような、バーチャルオブジェクトにより影響を与えられるプロキシオブジェクトの照明を伴う現実世界における推定光条件４０２の条件下での、プロキシオブジェクト４０１の画像４０４となる。画像４０４は、例えば現実シーンからの影４０７及び現実シーンの上へとバーチャルオブジェクトからキャストされる影４０６のような、プロキシ及びバーチャルオブジェクトから成る結合的シーンに係るシャドウイング及び光の相互反射を含む。結果画像４０９が、前に影に覆われた影領域４１１ではなく、例えばバーチャルオブジェクトにより導入された影領域４１０のような、２つの解法の間の照明における差のみを含むことができるように、第１画像４０３は、第２画像４０４から差し引かれる（手段４０８）。
【００７０】
画像４０９は、現実環境のためにキャプチャされた画像４１４に対して、手段４１３に加えられる。このことは、現実シーンの中へ、バーチャルオブジェクト４０５を結合することにより追加的に修正された推定光条件４０２の下で、現実シーンの画像４１５を作り出すであろう。最終的に、この画像４１５は、最終拡張画像４１７におけるプロキシオブジェクトにより影響を与えられるバーチャルオブジェクトの照明を伴う推定光条件４０２の下で、バーチャルオブジェクト４０５に係るレンダリングと結合する。
【００７１】
図５は、ユーザ５０１が、バーチャルグラス５０４のようなバーチャルコンテンツと結合されるユーザの頭部及び顔５０３に係る画像を示しているディスプレイ画面５０２で、拡張現実シナリオを体験しているところでの、本発明における可能な実施形態を示す。ユーザの顔は、光源５０５により照らされ、且つ視野５０７に係る確かなフィールドを有するユーザ面カメラ５０６によりキャプチャされる。
【００７２】
カメラ５０６は、モバイル機器５００（例えば、タブレットコンピュータ若しくはスマートフォン）の一部若しくは関連しており、該モバイル機器は、処理装置５１８（例えばマイクロプロセッサのような）を含む。例として、モバイル機器５００（若しくはそれの処理装置５１８）は、処理装置５２１（例えばマイクロプロセッサのような）を有するサーバ用コンピュータ５２０と通信し、該処理装置５２１の少なくとも一部は、上述のいくつかの方法手段を運用するために構成される。そのようなものとして、処理装置５１８及び５２１は、有線様態若しくはワイヤレスで（例えば、インターネットのようなネットワーク越しで）、互いに通信し、且つ処理システムを形成し、該処理システムは、上述のような方法手段の少なくとも一部を実行するための適切なハードウェア及びソフトウェアの設定により、構成される。上述に記載された方法を実行するための処理システムはまた、他の処理装置の各個と一緒にならない処理装置５１８若しくは５２１を具備する。モバイル機器５００及び／若しくはサーバ用コンピュータ５２０、又は処理装置５１８若しくは５２１のいずれかは、ディスプレイ画面５０２上で、現実環境の視野におけるバーチャルオブジェクトを表現するためのシステムを形成する。
【００７３】
類似の構成もまた、ここに開示された別の実施形態、例えば図７に関連して示される実施形態にて使用されることが可能である。
【００７４】
カメラ５０６によりキャプチャされた画像５０８は、光源５０５により照らされる顔５０３を示す。画像５０８におけるユーザの顔の外観から、光源５０５から放射される顔面‐入射光を推定することにより、バーチャルオブジェクトは、推定現実世界照明と共にレンダリングされ、且つ異なるレンダリングを用いているキャプチャされたユーザ面画像と結合される。この結果は、可視バーチャル及び現実部分の間の一貫した照明を特徴づけている画像５０９となる。バーチャルグラス５０４に係る一貫したシェーディング５１０並びに現実の顔の上にて、バーチャルグラス５０４によりキャストされた影５１１を参照のこと。現実及びバーチャルコンテンツの間における一貫した照明を伴わない画像５１２と比較すると、画像５０９は、ずっとより現実的な結果を供給する。
【００７５】
顔５０３の上にかかる測定された照明はまた、該測定された照明により引き起こされた画像５０８における顔５０３の外観上の効果（例えばシェーディング５３０）を取り除くために使用される。そのときに、顔の画像（即ちシェーディング５３０を取り除いた後の画像５０８）並びに同じ照明の現実及びバーチャルオブジェクト（即ち、顔５０３及びバーチャルグラス５０４）を有するための画像へ重ね撮りされるバーチャルオブジェクトを照らすために、少なくとも１つのバーチャル光（例えばコンピュータ発生光）を適用する。
【００７６】
図６は、ユーザが、バーチャルグラスのようなバーチャルコンテンツに結合されたユーザの顔自身の画像を示しているディスプレイ画面上で、拡張現実シナリオを体験するようなところでの、図５に関連して開示される典型的なシナリオを伴う本発明に係る実施形態に係るフローチャートを示す。ユーザの顔の画像６０１は、ユーザ面カメラによりキャプチャされる。ヘッドポーズは、画像６０１に基づいて、手段ＨＰＥ（ヘッドポーズ推定器）６０２で測定される。画像６０１及び手段６０２により測定されたポーズに基づいて、現実シーンの中における光源からの顔面‐入射光は、手段ＦＩＥ（顔面照明推定器）６０３で測定される。測定されたポーズに基づき、バーチャルオブジェクト６０４が、記録される。形状を記録し、照明を推定された画像６０１並びにバーチャルコンテンツの追加により影響される現実世界シーンの３次元形状及び材料部分を置換するようなプロキシ形状定義（手段６０５）（ＰＧＤ）に基づいて、差動レンダリング手段６０６（ＡＲ）に係る処理は、拡張画像６０７を作り出す。
【００７７】
図７は、ユーザ７０１が、例えばラビット７１２のようなバーチャルコンテンツと結合されるユーザの前に、例えばテーブル７０８のような現実シーンの画像７１４を示しているディスプレイ装置７０２上で、拡張現実シナリオを体験するようなところでの、本発明に係る可能な実施形態を図示する。ユーザ７０１は、モバイル機器７００（例えば、タブレットコンピュータ若しくはスマートフォン）を手にしており、該モバイル機器は、処理装置７１８、ディスプレイ装置７０２、ユーザ面カメラ７０５及び別の（ここでは、背面）カメラ７０９を備えている。
【００７８】
ユーザの顔７０３は、光源７０４により照らされ、且つ確かなフィールドの視野７０６を有するユーザ面カメラ７０５（第１カメラ）によりキャプチャされる。結果たる画像７０７は、光源により照らされる顔を示す。光源７０４から放射される顔面‐入射光（一般的には、照明の表現）は、画像７０７におけるユーザの顔の外観から推定される（若しくは再構成される）。テーブル７０８を備えている、ユーザの前のシーンは、確かなフィールドの視野７１０を有するカメラ７０９（第２カメラ）によりキャプチャされ、且つ照明の下で、テーブルの画像７１１を創り出す。この画像から、現実世界の中のカメラ７０９のポーズが、測定される。
【００７９】
両方のカメラ７０５及び７０９に係るカメラ座標系が、お互いに記録されるという仮定の下、照明の再構成された表現は、ユーザ面カメラ７０５に係る座標系から背面カメラ７０９に係る座標系の中へと、転写される。ところで、ラビット７１２のようなバーチャルコンテンツは、推定された現実世界照明とレンダリングされ、且つ例えばバーチャルのラビット上のハイライト７１５及び影７１６並びに現実のテーブル７０８の上へとバーチャル形状によりキャストされる影７１７のような、現実のテーブル及びバーチャルのラビットに係る一貫した照明を特徴づける拡張画像７１４にもたらされる異なるレンダリングを用いている背面カメラ７０９によりキャプチャされた、画像７１１と結合される。
【００８０】
図８は、ユーザが、バーチャルのラビット８１２のようなバーチャルコンテンツに結合されたテーブル８１１を備えるユーザの前に、現実シーンの画像８１０を示しているディスプレイ装置上で、拡張現実シナリオを体験するところでの、図７に関連して開示される典型的なシナリオを伴う本発明に係る実施形態に係るフローチャートを図示する。画像８０１は、ユーザ面カメラによってキャプチャされたユーザの顔である。ヘッドポーズは、画像８０１に基づいて、手段ＨＰＥ（ヘッドポーズ推定器）８０２で測定される。顔の画像８０１及び手段８０２により測定されたポーズに基づいて、現実シーンの中における光源からの顔面‐入射光は、手段ＦＩＥ（顔面照明推定器）８０３で測定される。更に例えば、同じように、画像８０４は、背面カメラを用いている現実シーンについて、キャプチャされる。シーンの中でのカメラポーズは、手段ＰＥ（ポーズ推定器）８０５で測定される。両方のカメラに係る座標系がお互いに記録されるという仮定の下、照明の再構成された表現は、手段ＰＥ８０５からのシーンの中での現実のポーズ推定に基づいて、それぞれ背面カメラの座標系の中若しくは世界座標系の中へと、手段ＩＴ（照明変換）８０６で変換される。手段ＰＥ８０５から返還されたポーズに基づいて、バーチャル形状が、記録される（手段８０７）。キャプチャされた画像８０４、記録された形状（８０７）、推定された変換照明並びにバーチャルコンテンツの追加により影響を与えられる現実世界シーンの３次元形状及び材料を置換するような、プロキシ形状定義８０８（ＰＧＤ）に基づいて、手段ＤＲ８０９（差動レンダリング）における差動レンダリング処理は、ハイライト８１３及び付属影８１４並びにシャドウキャスト８１５のような、一貫したシャドウイングを含む現実オブジェクト８１１及びバーチャルオブジェクト８１２に係る一貫した照明を有する拡張画像８１０を作り出す。
【００８１】
図９は、ユーザ面カメラ９０１が、背景環境の前にユーザ９０３を示している画像９０２を撮影するところでの、本発明に係る実施形態を図示する。とりわけ、魚眼レンズのような広角レンズが備わっているカメラは、視野の広い領域をキャプチャするのに好ましい。画像９０２は、ユーザを示しているユーザ部９０５及び背景環境を示している背景環境部９０６に変化して、手段ＳＰ（例えば深度情報に基づいた、セグメント化手段）９０４でセグメント化される。顔に対応する画像に係るユーザ部の領域９０７は、ユーザの顔９０９へ入射したユーザ９０３の前において、対象９０８の方向から来た顔面‐入射光を推定するために使用される。２つの光源９１０及び９１１のために、顔面‐入射光は、２つの方向９１２、９１３から来ることを推定する。
【００８２】
環境を示している画像に係る背景環境部９０６は、主にユーザの背後における固有の対象の方向９１４からの入射光の直接的なキャプチャとして使用される。主要な光の強度を有する２つの主要な方向９１６，９１７は、画像で測定される。ユーザ９１５の後方の光源９１８に対応する１つの方向９１６は、窓９２０から導かれるものとして可視化でき、且つユーザ９１５の前方の光源９１９に対応する１つの方向９１７は、月９２１から導かれるものとして可視化できる。
【００８３】
背景環境画像部９０６からの直接光キャプチャから、光方向９１２、９１３、９１６、９１７についての推定情報並びに手段ＣＩＥ（結合照明推定）９２２におけるユーザの顔部９０５からの推定光を結合することは、より大きな対象９２３の方向を有するユーザの位置９２４にて、現実照明のより完璧な表現をもたらす。方向９１２及び９１７は、ユーザ部９０５及び環境部９０６に存在し、並びに例えば平均化若しくはより確実な推定を採ることによって、よりロバスト推定９２６の中へと結合される。ユーザ後方からの光（照明）９２５が、環境部９０６から採られるのと同時に、ユーザの前の光９２７が、ユーザ部９０５から採られる。
【００８４】
図１０は、回転セットアップをそれぞれ伴う多数の測定が、光推定１０３５の中へと統合されるところでの、本発明に係る可能な実施形態を図示する。シーン１００１、１００２、１００３は、時間内で、異なる点での前方からのシナリオを示す。ユーザ１００４、１００５、１００６は各個に、顔の前にユーザ面カメラ１００７、１００８、１００９を十分に保持している周りで、方向転換している。２つの光源１０１０、１０１１は、ユーザ１００４、１００５、１００６の顔１０１２、１０１３、１０１４を包含するシーンを照らす。正確なそれぞれの位置にて、顔１０１２、１０１３、１０１４に係る画像は、カメラ１００７、１００８、１００９により撮影される。それぞれの画像からの手段ＦＩＥ（顔照明推定器）１０１５、１０１６、１０１７において、ユーザ１００４、１００５、１００６の前におけるカバレージ１０１８、１０１９、１０２０の方向に対する顔面‐入射光が推定される。推定された“照明１”１０２１は、光源１０１０から来た光線に対応する主要な入力光方向１０２２に係る推定を含む。光源１０１１に係る方向から来た光線は、それが、ユーザ１００４のかなり後方に位置付けられ、且つそれによってユーザ１００４の顔１０１２の外観上で、殆ど影響がないという理由で、推定されない。推定された“照明２”１０２３は、光源１０１０から来た光線に対応する主要な入力光方向１０２４に係る推定を含む。また、第２の主な入射光方向１０２５は、光源１０１１から来た光線に対応して推定される。推定された“照明３”１０２６は、光源１０１１から来た光線に対応する主要な入力光方向１０２７に係る推定を含む。光源１０１０に係る方向から来た光線は、それが、ユーザ１００６のかなり後方に位置付けられ、且つそれによってユーザ１００６の顔１０１４の外観上で、殆ど影響がないという理由で、推定されない。
【００８５】
画像のキャプチャと共に、それぞれのカメラポーズは、それぞれ決定された“ポーズ１”１０３１、“ポーズ２”１０３２、“ポーズ３”１０３３をもたらす手段ＰＥ（ポーズ推定器）１０２８、１０２９、１０３０における環境に対応して測定される。ポーズ測定は、例えば、慣性センサ、コンパス、ユーザ面カメラの背景上での画像ベースのトラッキング又は追加的な背面カメラの使用に基づいて可能である。その結果は、測定されたポーズ１０３１、１０３２、１０３３、及び推定照明１０２１、１０２３、１０２６に対応した、異なる回転の下で、照らされた顔を示すユーザの顔１０１２、１０１３、１０１４に係る画像のキャプチャ配列となる。推定された入射方向の現実世界光条件（照明）１０２１、１０２３、１０２６に係る異なる重複部１０１８、１０１９、１０２０は、手段ＣＩＥ（結合光測定器）１０３４において、特に測定されたポーズ１０３１、１０３２、１０３３に基づいた結合光推定に変化して結合される。もたらされた結合推定１０３５は、現実世界光条件のより堅固且つ完璧な推定を与え、並びに光源１０１０、１０１１に対応した方向１０３６、１０３７からの入射を含んでいる全ての光の方向のための推定を含む。
【００８６】
図１１は、異なる位置での多数の測定結果が、光推定の中で統合されるところでの、本発明に係る可能な実施形態を図示する。ユーザ１１０１は、初めに、位置１１０２で位置付けられる。ユーザ面カメラ１１０３は、位置１１０２に関連するユーザ１１０１の前におけるカバレージ１１０５の方向からきた光についての情報が推定されるユーザの顔１１０４の画像をキャプチャする。入射光は、２つの方向１１０６及び１１０７のために測定される。その時、ユーザ１１０９は、第２位置１１１０（右表現）へ動く（ムーブ１１０８により表現される）。ここで再び、画像が、ユーザ面カメラ１１１２を用いて、動くユーザ１１０９の顔１１１１を撮影される。この画像から、位置１１１０に対応したユーザ１１０９の前における対象１１１３の方向から来た光についての情報が、推定される。入射光が、２つの方向１１１４及び１１１５のために測定される。
【００８７】
２つのポーズ１１０２及び１１１０の間の差（ムーブ１１０８）が、測定される（例えば、慣性センサ、又はユーザ面カメラの背景上での画像ベーストラッキング、又は追加的な背面カメラを用いること）ということを仮定することで、入射光に係る測定された方向に対応する光源についての３次元情報が、背面投影光方向の三角測量を通じて抽出される。測定された光方向１１０７及び光方向１１１５の直接的方向情報から、光源１１１６の３次元情報は、方向１１０２及び１１１０から方向１１０７及び１１１５へと、対応する背面投影光線１１１７及び１１１８の交点にて記録される。方向１１０２及び１１１０から方向１１０６及び１１１４へと、決定された光方向１１０６及び光方向１１１４の方向情報のために対応した背面投影光線１１１９及び１１２０は、平行であり、且つそれゆえに無限遠で、交わる。対応する光源は、無限に遠く離れるということを仮定される。いまだに、方向１１０６及び１１１４に対する２つの推定は、例えば、よりロバスト推定を得るために平均化を採ることにより、結合される。
【００８８】
図１２は、異なる位置における入射光についての多数の推定が、光についての位置情報を抽出するために結合されるところでの、図１１に関連して示された典型的なシナリオを伴う、本発明の実施形態に係るフローチャートを示す。位置Ａ１２０１にて、ユーザの顔に係る画像Ａ１２０３は、手段ＩＣ（画像キャプチャ）１２０２にてキャプチャされ、同様に手段１２０２の中で使用されるカメラに係る対応するポーズＡ１２０５が、ＰＥ（ポーズ推定）手段１２０５により測定される。この手段は、例えば、慣性センサ、或いはユーザ面カメラの背景上での画像ベースのトラッキング、或いは追加的な背面カメラを使用することに基づくことができる。画像Ａ１２０３及びポーズＡ１２０５から、位置Ａにおける入射光についての方向情報１２０７は、ＦＩＥ（顔照明推定器）手段１２０６により推定される。
【００８９】
その時ユーザは、カメラと共に、新しい位置Ｂ１２０８へ移動する。位置Ｂ１２０８にて、ユーザの顔の画像Ｂ１２１０が、手段ＩＣ（画像キャプチャ）１２０９でキャプチャされ、同様に、ポーズＡ１２０５に関連する手段１２０９の中で使用されるカメラの対応するポーズＢ１２１２が、ＰＥ（ポーズ推定）手段１２１１により測定される。この手段は、例えば、慣性センサ、或いはユーザ面カメラの背景上での画像ベースのトラッキング、或いは追加的な背面カメラを使用することに基づくことができる。画像Ｂ１２１０及びポーズＢ１２１２から、位置Ｂにおける入射光についての方向情報１２１４は、ＦＩＥ（顔照明推定器）手段１２１３により推定される。
【００９０】
ＣＩＥ（結合光推定）手段１２１５の範囲内で、測定１２０３、１２１０及び方向推定１２０７、１２１４及び対応し、且つ決定されたポーズ１２０５、１２１２が、結合され、並びにシーンの中での光についての位置情報が、抽出される。
【００９１】
図１３は、本発明の実施形態に係る現実環境の視野におけるバーチャルオブジェクトを表現するための実施形態に係るフローチャートを示す。次の中で、図７に係る実施形態の構成に付託される場合、それぞれの段階（ステップ）は、逆の場合も同じ図５に係る実施形態による構成に類似適用される。
【００９２】
段階１３０１は、第１カメラによりキャプチャされた人間の顔（とりわけ、ユーザの顔）の第１画像を供給する。その顔は、第１カメラが第１画像をキャプチャしたときに、ディスプレイ装置上にディスプレイされたビジュアルコンテンツを観測しているユーザの顔である。第１カメラは、ディスプレイ装置が備わっているモバイル機器に（例えば、図５及び図７それぞれに示されているモバイル機器５００又は７００に）固定される。図５若しくは図７に示されている例の代わりとして、第１カメラは、カメラ５０６若しくは７０５になり、且つディスプレイ装置は、スクリーン５０２若しくは７０２になる。スクリーン５０２、７０２の法線並びにカメラ５０６、７０５の光学軸はそれぞれ、同じ方向を有する。ユーザ５０１、７０１の顔５０３，７０３は、画像５０８、７０７（即ち、第１画像）において、カメラ５０６、７０５によりキャプチャされる。
【００９３】
段階１３０２は、第１画像における顔領域を測定する。顔領域は、第１画像において、顔の少なくとも一部を含む。顔領域は、顔の画像エリア又は第１画像における顔に係る多数の切断画像エリアを含む。顔領域は、例えば機械学習ベースの顔認識（非特許文献８参照）、モデルベースのレジストレーション（非特許文献７参照）、テンプレートマッチング、及び／又は特徴マッチングなどの種々の方法によって、自動的に測定される。顔領域はまた、手動的に測定される。顔領域はまた、深度画像若しくは赤外線画像を使用することにより、自動的に測定される。深度画像若しくは赤外線画像は、深度カメラ若しくは赤外線カメラにより、キャプチャされる。顔領域は、深度カメラ（若しくは赤外線カメラ）及び第１カメラの間の既知若しくは固定された関係によって成る。顔領域はまた、深度カメラ（若しくは赤外線カメラ）及び第１カメラの間のマッチングによって成る。
【００９４】
現実環境の少なくとも一部に係る視野は、第１カメラ（段階１３０３）又は第１カメラと既知の空間関係を有する第２カメラ（段階１３０４）により、キャプチャされる。現実環境の少なくとも一部に係る視野は、第１画像において、又は、第１画像とは異なる第１カメラによる画像において、キャプチャされる。図５に示される例において、カメラ５０６（第１カメラに相当する）によりキャプチャされた画像５０８（第１画像に相当する）は、現実環境の少なくとも一部に係る視野を供給する。この場合、ユーザ５０１の顔５０３が、現実環境の一部となる。図７に示される例において、第２カメラ７０９（第２カメラに相当する）は、画像７１１における現実環境の少なくとも一部をキャプチャする。この場合、テーブル７０８が、現実環境の一部となる。ここで留意すべきは、現実環境の少なくとも一部に係る視野はまた、目によりキャプチャされ、その目は、光学シースルーのＡＲアプリケーションにおける共通のセットアップとなる。
【００９５】
段階１３０５は、少なくとも１つの人面固有特性を供給する。人面固有特性は、例えば特定の顔領域において、学習された若しくはモデルにされた肌の色となり、第１画像においてキャプチャされた照明の下、対応する領域の平均的な色から平均的な光の色を測定するために使用される。
【００９６】
別の人面固有特性は、光量が、例えば顔の異なる領域にて、平均表面配向になり、第１画像においてキャプチャされた照明の下、対応する領域の強度における差から来ているような方向を測定するために使用されるような、顔の異なる領域にて、平均表面配向になる。
【００９７】
別の人面固有特性は、鼻の領域及び形状になり、該鼻の領域及び形状は、鼻により投じられた影を検出する、又は影の輪郭／位置から主要な光の方向を測定するための第１画像においてキャプチャされた照明の下、対応する鼻領域において、影の輪郭の検出と共に使用される。
【００９８】
別の人面固有特性は、別の顔領域により、特定の顔領域にて遠隔環境（及びそれによる入射光）の閉塞となり、前記別の顔領域はまた、光量が、例えば第１画像においてキャプチャされた照明の下、対応する領域の強度における差から来ているような方向を測定するために使用される。
【００９９】
別の人面固有特性は、顔に対する反射特性、拡散量の測定、光沢、鏡面反射、及び／又は異なる顔領域における表面下散乱となり、それらは、単純なランバート反射モデルを仮定するための限定を打開するために使用される。
【０１００】
別の人面固有特性は、目の中又は額の上における反射となり、顔上の光の入射を測定するのに使用される。
【０１０１】
別の人面固有特性は、顔の基礎画像のような特定の顔領域又は入射光のための推定をもたらしている最も良いフィッティング線形結合を発見するために使用される基礎照明（球面調和関数基礎、若しくは点光）下の顔領域のためのいくつかのプレモデル化放射輝度伝達となる。
【０１０２】
人面固有特性は、例えば光推定における使用のための特定の顔領域の適切な評価である。このことは、例えば特定の顔領域における異なる人間又は照明による特定の顔領域の干渉の間における形状及び材料を基準として、バリエーションの量を形作ることができる。もしその分散（相違）が低ければ、その領域は、光推定によりふさわしい。
【０１０３】
上述の人面固有特性は、個別に若しくはあらゆるところで、並びに本発明に係る目的のための組み合わせで使用される。
【０１０４】
段階１３０６は、第１画像に係る測定された顔領域及び少なくとも１つ以上の人面固有特性によって、顔にかかる少なくとも１つの照明を測定する。顔にかかる照明はまた、顔面‐入射光と称される。少なくとも１つの人面固有特性を有することで、少なくとも１つの第１光に係る少なくとも１つの特性が、測定される（ここでまた“人面固有特性”の下で参照のこと。）。少なくとも１つの第１光の特性は、強度、波長及び方向のうち少なくとも１つに限らずに含む。顔面‐入射光の測定に係る異なる実施形態は、次に記す。
【０１０５】
１つの実施形態において、顔面‐入射光（例えば、少なくとも１つの第１光）は、第１カメラが第１画像をキャプチャするときの、第１カメラに関連する顔の第１画像及び顔のポーズによって、測定される。別の実施形態において、顔面‐入射光（例えば、少なくとも１つの第１光）は、第１画像の顔領域に関連する深度情報によって、測定される。深度カメラは、市販の３次元顔形状モデルによる近似の必要性を軽減するために使用される。形状定義、並びにそれによる表面配向及び閉塞は、特定のユーザの顔についての深度情報から測定される。少なくとも１つの人面固有特性はまた、上述した少なくとも１つの第１光を推定するための深度情報と共に使用される。
【０１０６】
別の実施形態において、顔面‐入射光（例えば、少なくとも１つの第１光）は、顔照明の統計モデルによって、測定される。その統計モデルは、異なった既知の照明の下での人面に係る複数の画像並びに顔のポーズ若しくは３次元モデルに基づいて、生み出される。例えば、非特許文献１２は、顔に係る複数の３次元モデルに基づいた顔照明の統計モデルを作り出すための方法を提案している。
【０１０７】
別の実施形態において、顔面‐入射光（例えば、少なくとも１つの第１光）は、画像（即ち、顔に係る複数の画像）においてキャプチャされた顔照明によって、測定され、かつ“顔の訓練画像に基づく光推定”の下でここに開示される。
【０１０８】
段階１３０６から決定された少なくとも１つの第１光を有することで、段階１３１９が実行される。段階１３１９は、少なくとも１つの第１光によって、現実環境の少なくとも一部に係る視野の中で、ディスプレイ装置上のバーチャルオブジェクトと調和する。図５及び７に示されている実施例において、ディスプレイ装置がそれぞれ、ディスプレイ画面５０２及び７０２となる。
【０１０９】
例えば、図５において、現実環境の少なくとも一部に係る視野は、画像５０８（即ち、第１画像）において、キャプチャされる。バーチャルグラス５０４は、画像５０８と調和され、ディスプレイ画面５０２上に示される合成画像５０９をもたらす。バーチャルグラス５０４に係る一貫したシェーディング５１０及び現実の顔の上へとバーチャルグラス５０４により投じられた影５１１は、少なくとも１つの第１光により測定される。この例において、現実環境の少なくとも一部に係る視野は、画像５０８とは異なる画像における第１カメラによりキャプチャされる。一貫したシェーディング５１０及び影５１１を測定することに係る実施形態のデータフローチャートは、図４にて図示される。
【０１１０】
図７に示される別の実施例において、現実環境の少なくとも一部に係る視野は、カメラ７０９（即ち第２カメラ）により、画像７１１において、キャプチャされる。少なくとも１つの第１光は、画像７０７（即ち第１画像）によって、カメラ７０５（即ち第１カメラ）の座標系で測定され、且つ２つのカメラの間の空間関係により、カメラ７０９の座標系へと変換された。そのとき、少なくとも１つの第１光は、例えばバーチャルラビット上のハイライト７１５及び影７１６並びに現実のテーブル７０８上に、バーチャル形状により投じられる影７１７のような、現実のテーブル及びバーチャルラビットに対する一貫した照明を特徴づける画像７１４を生み出すために、画像７１１の中で、バーチャルオブジェクト７１２と調和するのに直接的に適用される。
【０１１１】
少なくとも１つの第１光の中へ更に推定若しくは測定された環境光を統合するために、段階１３０７乃至１３０９、段階１３１０乃至１３１２、及び／又は段階１３１４乃至１３１８を実行することは、任意である。
【０１１２】
段階１３０７は、第１画像における非顔領域を測定する。非顔領域は、第１画像における顔を含まない少なくとも１つの画像領域である。例えば、非顔領域は、図９におけるバックグラウンド環境を示しているバックグラウンド部９０６であると同時に、その第１画像が、画像９０２である。この例において、非顔領域はまた、ユーザ９０５に属する身体を含まない。非顔領域は、段階１３０２から測定された顔領域に基づいて、測定される。非顔領域はまた、第１画像若しくは３次元顔モデルに関連する深度情報によって測定される。
【０１１３】
段階１３０８は、非顔領域によって、少なくとも１つの第２光を測定する。少なくとも１つの第２光の測定は、少なくとも１つの第１光の測定とは異なる。画像が、ユーザの後ろの環境から来ている光についての情報を直接的に含むように、ユーザの後ろのバックグラウンドが、環境に対応する。顔からの光推定を比較すると、顔からの反射光（画像の中では可視的である）が、もとは光が顔の上に入射するのを推定するために使用されるところで、ここでピクセルあたりの測定された強度（強度）は、非特許文献３のように、ピクセルに対応する方向からの入射光として使用される。
【０１１４】
段階１３０９は、測定された少なくとも１つの第１光の中へと、測定された少なくとも１つの第２光の少なくとも一部を統合する。それの中へと多数の推定を統合することは、異なる方法でなされる。異なる推定が、同じ量を目的として推定を与えるとき、統合のための１つの方法は、例えば、特定の量を目的としたそれぞれの推定に係る信頼性によって、異なる推定を越えて、加重平均を採ることである。他の統合方法は、最大尤度推定、異常値検出、及び／又はクラスター解析に基づいてできる。もし、異なる推定が、異なる量、例えば異なる位置における光の２つの推定を目的とした推定を供給するならば、その情報は、いまだに統合されるであろう。例えば図１１を見ると、方向１１０７から位置１１０２へと来た光のための推定及び方向１１１５から位置１１１０へと来た光のための推定は、背面投影光線１１１７、１１１８に係る交点１１１６を見つけることにより統合される。ここで、２つの推定は、光についての３次元情報を回復させるために結合される。
【０１１５】
図９は、上述の段階１３０７乃至１３０９に関連した実施形態を表現する。
【０１１６】
非顔領域による少なくとも１つの第２光はまた、顔領域からの第１光に係る光推定手段の中へとすでに組み込まれている。例えば図９を見ると、方向９１７からの光は、月９２１に対応する非顔領域９０６において、キャプチャされる。この既にキャプチャされた光は、顔領域９０５に基づいた光推定手段に対する追加的なインプットとして与えられる。
【０１１７】
段階１３１０は、第１カメラと既知の空間関係を有する第２カメラによってキャプチャされた、現実環境の少なくとも一部に係る第２画像を供給する。例えば、図７に示されているように、第２カメラがカメラ７０９であるのと同時に、第１カメラがカメラ７０５である。この実施形態において、両方のカメラは、ディスプレイ画面７０２を有するモバイル機器（例えば、タブレットコンピュータ若しくはスマートフォン）に接続されており、並びにお互いに固定され且つ既知の空間関係を有する。第２カメラは、テーブル７０８（即ち、現実環境の少なくとも一部）の画像７１１（即ち、第２画像）をキャプチャする。
【０１１８】
段階１３１１は、第２画像によって、少なくとも１つの第３光を測定する。現実環境の少なくとも一部から反射され、及び、第２画像の中でキャプチャされる光は、少なくとも１つの第３光の少なくとも一部として測定される。例えば、テーブル７０８から反射され、及び、画像７１１の中でキャプチャされる光は、少なくとも１つの第３光の少なくとも一部として測定される。１つ以上の放射オブジェクト（例えば、太陽、ランプ等）から直接的に放射される光はまた、少なくとも１つの第３光の少なくとも一部として測定され、段階１３０７に係る同じ実施形態が適用される。
【０１１９】
段階１３１２は、空間関係（段階１３０９に類似する）によって、少なくとも１つの第１光の中へと、少なくとも１つの第３光の少なくとも一部を統合する。
【０１２０】
段階１３１４は、第１カメラによりキャプチャされた顔の第３画像を供給する。段階１３１５は、第３画像によって、少なくとも１つの第４光を測定する。少なくとも１つの第４光は、少なくとも１つの第１光を測定するという実施形態の１つとして、類似的に測定される。段階１３１６は、第１カメラがそれぞれ第１画像及び第３画像をキャプチャするとき、顔に関連する第１カメラの第１ポーズ及び第３ポーズを測定する。
【０１２１】
段階１３１７は、現実環境に係る座標系における第１及び第３画像のキャプチャの間における第１カメラのモーションを測定する。第１カメラのモーションは、例えば１つ以上のＧＰＳ、慣性センサ、カメラなどを用いる、トラッキングシステムにより測定される。例えば、第２カメラは、第１カメラに固定され、且つ現実環境の画像をキャプチャする。第２カメラのモーションは、現実環境の画像によって測定される。第２カメラの測定されたモーションは、現実環境の座標系における第１及び第３画像のキャプチャの間の第１カメラのモーションを測定するために使用される。
【０１２２】
第１カメラのモーションは、第１及び第３画像によって、測定される。とりわけ、第１及び第３画像は、現実環境の少なくとも一部をキャプチャし、そしてそれゆえに、モーションが、第１画像及び第３画像におけるキャプチャされた現実環境の少なくとも一部によって推定される。
【０１２３】
段階１３１８は、モーション、第１ポーズ及び第３ポーズによって（段階１３０９に類似する）、少なくとも１つの第１光の中へと、少なくとも１つの第４光の少なくとも一部を統合する。
【０１２４】
図１０及び１１は、上述の段階１３１４乃至１３１８に関連するそれぞれの例を表現する。
【０１２５】
本発明の態様によれば、照明は、逆光、或いは、例えば拡散シェーディング、肌及び目の上での反射及び光沢反射、顔の異なるパーツ間における相互反射、表面下散乱、並びに投影のような、外観上で光の異なる効果の量（組み合わせ）を考慮することにより、顔の画像から例えば測定される。照明は、低周波光、高周波光のウェーブレット基礎、局所光ための主要な方向及び点光源のための球面調和関数の係数、又は、エリア光源、フォン・ミーゼス‐フィッシャー分布の混合物、若しくは再構成された環境マップのような他の表現を基準として、例えば測定及び表現される。
【０１２６】
現実及びバーチャルコンテンツを含む混合シーンの一貫した照明を伴うレンダリングは、例えばシャドウマッピング、インスタントラジオシティ（例えば非特許文献１１を参照のこと）、レイトレーシング、光子マッピング（例えば非特許文献１５を参照のこと）、反射シャドウマップ、光子スプラッティング、球面調和関数光、前計算放射輝度伝達等を用いる２つの近似全体照明解法を計算するための近似方法と共に、非特許文献２にて提案された差動レンダリング方法を使用することで実行できる。
【０１２７】
本発明の可能な実施形態は、ユーザ面深度カメラとの組み合わせを具備し、該カメラは、現実の顔のモデル形状についてのより正確な情報を信頼するために、ユーザの顔の外観から、照明の推定を可能にする。このことは、より多くの詳細を抽出することを認め、並びに基本的な顔モデルからの統計を信頼する、若しくはいくつかの一般的な顔モデルを適合及び曲げるかのいずれかの必要性を高くする。深度カメラの別の便益は、標準的な低ダイナミックレンジカメラが、より好ましくは、顔を検出及びポーズを推定することができないであろうところでの、かなり暗い若しくはかなり明るい（若しくは強い変化の）シナリオの範囲内における顔の検出及びポーズ推定である。
【０１２８】
本発明の別の可能な実施形態は、動画像列の使用を具備する。一方で、動的に変化する照明の状況が、保持される。そのことは、照明が、動画像列の実行時間中変化するとき、新しい照明の状況が推定される（それには、分離前処理がなく、且つユーザの顔が、いつも見られるという理由で）ということを意味する。それに対して、非変化光条件の場合、多数のフレーム（一連の画像データ）からの情報が、より良い推定のために統合される。顔は、異なるヘッドポーズの下、時間と共に追跡される。ある期間にわたって同じ照明を仮定することは、ヘッドポーズが変化するときの影及びシェーディングが変化するところでの、多数のフレームからの照明についての情報が、より多くの詳細（深度カメラを伴う若しくは伴わないで）をキャプチャすることを結合する。多数のフレームを観測することは、よりロバスト推定、反射に係る反射／光沢及び拡散部の間を識別すること、及びより高周波な照明を再構成することを認める。
【０１２９】
動作の異なる型は、次のように区別される。
【０１３０】
動作の２つの型のために、ユーザは、ユーザ面カメラに対応した固定ポーズを有する。第１の型は、１つのロバスト方向光推定の中へ多数の測定を統合することによって（例えば図１０参照のこと）、ユーザの周囲の光条件に係るより完璧な（みなし光方向を単位として）推定を認める、ユーザの上方軸（up-axis）の周りの回転である。顔の画像から、顔の上の光入射に係るいくらかの範囲（方向を単位とした）が、異なる推定を結合することにより（図１０における例を参照のこと）、測定される。更に、より完璧な推定を得るために、方向のための多数の推定は、よりロバスト推定を引き起こすことにより（例えば異なる推定を越えた方向あたりで推定された強度を平均化することにより）結合される。動作に係る第２の型は、ユーザ面カメラと共に、ユーザの移動である。方向光条件は、２つの異なる位置で推定される。２つの測定から、光源に係る第３次元は、推定に係る原点から光源の方向へと（例えば図１１及び１２を参照のこと）、光線に交差することより抽出される。
【０１３１】
動作に係る第３の型は、ユーザ面カメラの前における顔の動きである。異なるヘッドポーズは、同じ照明の多数の動作を与え、並びにそれにより、よりロバスト推定を引き起こすことができる。例えば、鼻によるシャドウキャストは、異なるヘッドポーズ間を移動している。
【０１３２】
動作の異なる型はまた、組み合わせに使用される。
【０１３３】
多数のフレームを組み込むために、ヘッドポーズは、ユーザ面カメラの動きと、頭の動きとを区別するための現実環境に関連する現実環境座標系に対応して、追跡されるべきである。このことは、固定世界座標系を追跡する背面カメラ又は次の実施形態のうちいずれかによる２つのカメラのセットアップにて達成される。
【０１３４】
本発明に係る可能な実施形態は、多数の画像から１つの光推定の中へと情報を統合するために、単独のユーザの顔を追跡するとき、傾き／ジャイロスコープセンサ及び／又はコンパスからの方向及び／又は移動を考慮することである。
【０１３５】
例：ユーザがモバイル機器（例えばスマートフォン）に面しており、且つそれにより、カメラの周囲を移動若しくは傾くとき、頭の動き及びカメラの動きは、共通の“世界座標系”の中へ多数の測定を統合するためにということと、照明を共に推定するためにそれらを使用することとが区別されるべきである。
【０１３６】
本発明に係る可能な実施形態は、アルベド推定における限界を克服するために、ユーザの顔を人工的に照らすための追加的な活性光（写真の光／フラッシュ又はスクリーンからのライトになり得る）の使用を具備する。画像の強度／色は、顔にかかる光の量に依存するだけでなく、特定の肌の肌色／反射性質にも依存する。追加された人工の写真の光及びそれを伴わない画像をキャプチャすることにより、２つの画像の間の差は、人工光によりちょうどよく照らされた顔となる。もし我々が、この光の強度／色を知っていれば、我々は、アルベドのような表面反射率についての情報を差し引くことができる。
【０１３７】
本発明に係る可能な実施形態は、顔を検出し、且つカメラの前におけるポーズを推定する（例えば、暗く又は露出過度（若しくは強く変化した）なシナリオのために）ことを補助することができる、ユーザ面熱赤外線カメラとの組み合わせを具備する。熱赤外線カメラの画像はまた、肌のアルベドに係る仮定を害するような髪を含むエリアを受け入れないために、肌のエリア及び髪のエリアの間を区別するために使用され、並びに肌の領域が、それゆえに光推定にとっては好ましい。
【０１３８】
本発明に係る可能な実施形態は、表面反射に係る拡散及び反射要素が分離でき、且つ照明のより良い推定を認められるように、偏光子を有するユーザ面色カメラの組み合わせを具備する。
【０１３９】
本発明に係る可能な実施形態は、線形強度と連動することが可能なように、ユーザ面カメラのための生の画像データに対するアクセスを具備する。反射から光の強度を推定するために、観測は、線形形式であるべきであり、該線形形式は、光の強度及び画像の輝度の間で直線である。異なる因子が、カメラレスポンス曲線、トーンマッピング、ガンマ変換のような非線形形式の中での光強度を変換する。
【０１４０】
本発明に係る可能な実施形態は、強度のフルダイナミックレンジをキャプチャすることができ、且つ線形形式において強度を表現するユーザ面カメラのための高ダイナミックレンジ画像装置の使用を具備する。低ダイナミック（レンジ）画像は、光強度及び画像輝度の間の線形がもはや与えられないところでの、露出領域の上下を有する。
【０１４１】
本発明に係る可能な実施形態は、照明の色の強度のための絶対的スケールを得るための環境光センサの使用を具備する。
【０１４２】
ユーザ面フィッシュアイカメラとの組み合わせ：
本発明に係る可能な実施形態は、ユーザ面カメラのための広角（フィッシュアイ）レンズの使用を具備する（例えば図９を参照のこと）。ユーザの顔の外観から照明を推定するとき、ユーザの後方方向から来た光に対するより少ない手がかりがあり、それゆえにこの光は、顔の外観上での弱い影響のみを有し、且つ推定するのが難しい。ユーザ面カメラが、視野に係る広いフィールドを有するとき、それはまた、ユーザの後方から来た光を直接的にキャプチャするのに使用される。ユーザの顔を示す画像の一部が、ユーザの前から第一に来た光を推定するのに使用されると同時に、バックグラウンドを示す画像の一部が、これらの特定の方向のための光キャプチャとして使用される。両方のソースからの情報を結合することにより、１つは、照明に係るより完璧且つよりロバスト推定を取り戻すことができる。
【０１４３】
ユーザ面カメラ及び背面カメラからの照明推定の組み合わせ：
本発明に係る可能な実施形態は、ユーザの顔を示すユーザ面画像及び現実シーンを示す背面カメラ画像の組み合わせ、並びにキャプチャされた画像から照明を推定するために共に両方（ＲＧＢ若しくはＲＧＢ−Ｄ）の画像を使用することを具備する。
【０１４４】
１つのカメラの動画は、カメラに向いている表面配向のみを含む。確かに、カメラから離れて面している、表面配向におけるバリエーションのおおよそ半分は、画像においては見えない。結果として、照明のパーツのみが、シェーディング若しくは反射のような表面配向に依存する光の効果から推定される。ユーザの顔を向いている前面カメラと共に、シーン上で背面カメラを使用することは、画像における表面バリエーション／配向のより大きな範囲をキャプチャする。光推定のための前面及び背面カメラによる２つの動画からの情報を結合することは、光の方向に対して、より堅固で且つ完璧な推定を得ることを認める。更に、それは、光源についての（２次元）方向情報だけでなく、三角化を通じてシーンの異なる部分からの方向光推定を結合することによる（３次元）位置情報をも推定することによって、両方のカメラ画像の中で推定された光源のための遠隔シーンの仮定を抑制する。
【０１４５】
推定のための光源の異なる型における照明（インドア／アウトドア）の型の考慮：
本発明に係る可能な実施形態は、異なるアルゴリズム及び照明を推定するための光源表現の型を使用するための、照明の型（例えば、インドア及びアウトドアを区別するといった）を考慮することを具備する。例えば、アウトドア日光照明は、スカイライトのための平坦な半球領域エリア光源に加えて、太陽のための強い“事実上の”方向光源として、モデル化され、並びに窓の前若しくは局部化人工光源を備えるインドア光を推定することよりも、異なる推定手段及び光源表現から便益を得る。
【０１４６】
異なるパラメータ／光源の表現が推定され、且つ異なるアルゴリズムが、その推定（例えば投影対シェーディング）のために使用されるべきである。
【０１４７】
表現及びアルゴリズムは、使用事例によって規定されるか、又は、１つは、光の型／環境が、キャプチャされた画像における若しくは例えば照明の第１推定、アンビエント光センサからの光の温度若しくはＧＰＳ受信波長を用いることによる検出された特徴からふさわしいということを差し引くことを試みることができるかのいずれかである。ＧＰＳ受信は、インドアのためのヒントが無い。光の温度を測定するアンビエント光センサは、おおよそ１７００Ｋ（ケルビン）〜４８００Ｋの間での人工的光測距、４３００Ｋ〜３００００Ｋの間での太陽及び空（日の出及び日の入りを除く）測距からの自然日光に伴って、光源の型の着想を得るために使用される。従って、インドア（又は人工光）及びアウトドア（又は自然光）は、光の温度によって区別される。また、カメラ画像における肉眼で見える空は、シーンがアウトドアに位置付けられることを測定するために使用される。更に、鼻から顔の上への投影は、強い方向光を示し、それが太陽であるかもしれない。影の領域に隣接した光の領域の色と比べた影の領域は、閉鎖光源の色を差し引くのに使用される。この色は、光源の型のためのヒントとして使用される（例えば、もしその色が太陽の光に合わせた場合）。
【０１４８】
測定機器（例えばスマートフォン）により作り出される光の発散／投影に係る考慮：
本発明に係る可能な実施形態は、キャプチャ装置及び／若しくはモバイル機器（例えばスマートフォン画面）により作り出された光並びにキャプチャされた画像（若しくは一般的にシーンにおいてもまた）におけるキャプチャ装置及び／若しくはモバイル機器により投げ掛けられた影を考慮することができる。一般的に、キャプチャやディスプレイに使用される装置は、シーンにおける照明に影響を与える。その効果は、光推定又は明確にモデル化されるかのいずれかから動かされるために試みられ、且つ考慮される。
【０１４９】
顔の訓練画像に基づく光推定：
本発明の実施形態によるアプローチは、管理された機械学習アプローチに基づく。我々は、例えばオフラインの訓練過程において、顔の上の１つ以上の異なるサンプル位置（即ち、顔サンプル位置）のための１つ以上の放射輝度伝達関数（後述する）を学習若しくは生み出すために、既知の１つ以上の異なる照明（即ち、１つ以上の顔面‐入射光が知られている）の下で、１つ以上のカメラによりキャプチャされた１つ以上の顔に係る複数の訓練画像を使用するだろう。１つ以上の異なるサンプル位置のそれぞれは、放射輝度伝達関数に関連する。１つ以上の異なるサンプル位置は、人面固有特性によって手動的及び／若しくは自動的に顔と関連する座標系において、予め定義される。
【０１５０】
１つの顔サンプル位置に対する放射輝度伝達関数は、顔サンプル位置に関連する放射輝度比率に係る出力及び光方向パラメータの入力の関係を記す。放射輝度比率は、顔サンプル位置における反射光の放射輝度（例えば強度）及び環境からの入射光の放射輝度（例えば強度）の間について定義される。光パラメータは、入射光の方向を含む。光パラメータは、顔サンプル位置にて、反射光の方向を更に含む。画像における顔のポーズが知られている場合、顔サンプル位置における反射光の方向は、放射輝度伝達関数においては含まれない。
【０１５１】
顔面‐入射光は、単位球面の表面に係る領域を越えた正規直交基底関数、即ち球面調和関数としてモデル化され、及び球面調和基底関数の対応する係数を含むベクトルにより、規定される。１つ以上の放射輝度伝達関数のそれぞれは、球面調和基底関数の対応する係数を含むベクトルに規定される。
【０１５２】
１つの顔サンプル位置の代わりに、１つの画像（あらゆる訓練画像若しくはあらゆる目に見えない画像）における反射光強度（顔サンプル位置の画像位置にて、ピクセル強度の中へ符号化された）は、関連する放射輝度伝達関数の積に関する積分及び画像に関連する顔面‐入射光として定義される。この積分は、それぞれの関数を表現する係数ベクトルの単純なドット積になる。この訓練画像において、反射光の強度及び顔面‐入射光は既知であり、且つそれゆえに顔サンプル位置のための放射輝度伝達関数が推定される。それぞれの画像は、放射輝度伝達関数のための方程式を供給する。放射輝度伝達関数は、方程式システムを解決することにより推定される。
【０１５３】
顔に係るあらゆる新しく且つ以前は目に見えない画像の代わりに（目に見えない画像は、例えば顔領域に基づいた環境光推定のためのインプット画像のような複数の訓練画像の中に含まれない。）、我々は、訓練段階において定義される１つ以上のサンプル位置の少なくとも一部における顔のインプット画像で測定するために、インプット画像上の顔ポーズ検出を先ず実行する。
【０１５４】
インプット画像における１つ以上のサンプル位置の少なくとも一部に係る強度は、１つ以上のサンプル位置の少なくとも一部に関連する放射輝度伝達関数によって、環境光（即ち顔面‐入射光）を測定するのに使用される。放射輝度伝達関数は、訓練段階において推定される。
【０１５５】
顔は、（可視）光を放射するのではなく、顔の上の光入射を反射する。光は、ローカルオブジェクト（例えば顔）の次元と比較した距離である環境から、由来しているということを仮定される。従って、遠隔環境から入射光をみなす視差効果は、ローカルシーンにおける位置づけの範囲のために無視され、並びに環境から来た光は、方向のみに依存して定義される。
【０１５６】
ここにおける放射輝度伝達関数は、どのようにして、顔の特定表面点が、カメラに向かうこの点にて反射された放射輝度に関する特定の方向から、環境から入射光に対応するかを明確にする。放射輝度伝達関数は、局部形状による表面位置における遠隔環境の一部位置および閉鎖において、表面配向に主に依存するだけでなく、局部形状の間の光に係る材料の性質及び相互反射を含む。一人あたりのアルベド因子を相殺した後、我々は、顔における特定の位置の代わりに、同じ放射輝度伝達関数が異なる全ての人に対して使用されるということを仮定する。顔における特定の位置とは、例えば画像における目の位置によって定義される座標系の中で特定される。差し当たり、我々は、我々自身を前頭骨のヘッドポーズに限定する。
【０１５７】
顔の上における特定の顔サンプル位置の代わりに、放射輝度伝達関数は、固定された外向き反射方向を有し、且つ環境からの入射光の方向のための２次元パラメータのために、１つの変数のみを有する。それは、特定方向からの環境から来た光入射へ、反射光強度の比率をモデル化する。
【０１５８】
ほとんどの場合、現実環境は、光が来ているところでの単一方向だけでなく、全ての方向の範囲すべてにわたり、光強度に係る全体の高濃度分布をも具備する。多数の入射光方向からもたらされる結合反射光は、それぞれの入射光方向ごとの反射光強度の全ての総和である。方向に係る連続的な範囲の代わりに、該総和は、全ての方向（また、単位球面として規定される）からの入射光に対する反射光にわたる積分となる。その被積分関数は、放射輝度伝達関数の積及び特定方向からの入射光強度である。
【０１５９】
遠隔照明の推定のための実施形態は、オフライン学習段階及びリアルタイム光推定を具備する。該学習段階において、我々は、異なる既知の方向照明（Yale  Face  Database  B  +  The  Extended  Yale  Face  Database  B。非特許文献１４を参照のこと）の下、一連の顔の画像を使用する。照明下における顔の画像から、我々は、同じサンプル位置（カメラに向いて、対応する表面位置にて反射光を符号化する）にて、ピクセル強度を抽出し、該サンプル位置は、この特定点及び遠隔照明における放射輝度伝達関数の積の積分に係るサンプルである。我々は、放射輝度伝達関数並びに球面関数、即ち単位球面の表面における領域に関する正規直交基底関数を使用する遠隔環境からの入射光をモデル化する。特定の放射輝度伝達関数及び特定の遠隔照明は、その結果、球面調和基底関数の対応する係数により特定される。放射輝度伝達関数の積及び特定の遠隔照明についての積分は、それぞれの関数を表現する係数ベクトルに係る単純なドット積となる。
【０１６０】
画像における特定の表面点を考慮することは、全ての画像から、我々が、顔における位置に係る未知の放射輝度伝達関数並びに既知のピクセル強度及び対応する既知の照明の間における方程式を得る。一連の画像及びそれゆえのキャプチャされたサンプル（ピクセル強度）から、我々は、連立方程式を組み立てること、且つ放射輝度伝達関数の係数のための最小平方解法を計算することができる。オフライン段階は、顔におけるいくつかの位置のために再生された放射輝度伝達関数（球面調和関数係数においてそれぞれ特定された）をもたらす。
【０１６１】
オンライン段階において、我々は、入力としての顔の画像を受信し、及び未知の照明を推定することを望む。顔検出を実行することにより、我々は、座標系及びそれによる画像における同じ位置を先ず測定する。顔における位置のために再生された放射輝度伝達関数に基づいて、我々は、未知の間隔照明並びに既知のピクセル強度及び対応する既知の放射輝度伝達関数の間の異なるサンプル位置に係る連立方程式についての、別の最小面積の最小化の結果としての球面調和関数係数を基準として、ひいては照明を推定することができる。
【０１６２】
シーンからの放射輝度（即ち光強度）は、センサ上の画像照射入射をもたらすカメラの画像／センサ面の上へと投影される。特定のカメラエレクトロニクスに係るカメラ応答関数は、いかにして画像照射が、測定されたピクセル強度値へとマッピングされるかを測定する。
【０１６３】
ピクセル強度が、入射光の強度を考慮する物理的な意味を再び与えられることができるように、放射校正は、ピクセル強度から画像照射への逆マッピングを測定することが可能である。これは、光の強度と共に計算される多くのアルゴリズムのための前処理手段である。
【０１６４】
次に、本発明に係る更なる態様及び実施形態は、前述の本発明に係るあらゆる態様及び実施形態と組み合わせて応用されることが開示される。
【０１６５】
サンプル位置（訓練段階‐適合性）の選択：
次に示す実施形態は、通常多数の人間についての照明を推定するのに十分にふさわしい人間の顔における良いサンプル位置と、多数の人間についての照明を推定するのに十分にふさわしくない人間の顔における悪いサンプル位置とを識別するために使用される。良い及び悪いサンプル位置に係る識別は、例えば放射輝度伝達関数の訓練のための顔に係る複数の画像のデータセットを使用するというような、異なる既知の照明の下、異なる人々の顔に係る複数の画像に基づいた訓練段階の中若しくはその点で、一度オフラインで成される。この結果たる識別は、光推定の間のサンプル位置の数を減らすのを助ける、並びに、光推定方法のスピードアップ及び推定照明のロバスト化をもたらすために、後で使用される。例えば、良いサンプル位置のみが、照明を推定するために使用される。別の例において、悪いサンプル位置は、照明を推定するための良いサンプル位置よりも、低い重量で受信する。
【０１６６】
実施形態において、サンプル位置は、顔の領域について一様に分配されて先ず選ばれる。
【０１６７】
実施形態において、サンプル位置は、座標系を明確にするマニュアル、ポアソンディスクサンプリング、リラクゼーション、一様格子、ランク‐１格子、擬似乱数低較差配列、又はそれらの組み合わせのうち少なくとも１つによって、顔の領域について一様に分配されて先ず選ばれる。
【０１６８】
実施形態において、最初に選ばれ且つ一様に分配されたサンプル位置の一部は、例えば訓練のために同様に使用されるデータセットのような、異なる既知の照明の下、異なる人々の顔の画像に基づいた複数の人のための光推定に特に十分にふさわしいということを測定される。
【０１６９】
実施形態において、ＲＴＦ（放射輝度伝達関数）学習段階からの不確実結果を潜在的に含む一連のサンプル位置に係る学習されたＲＴＦは、サンプル位置が、光推定にとてもふさわしいかどうかを測定するのに使用される。
【０１７０】
サンプル位置は例えば、それが、例えばいくつかのパーセンタイルを超えた絶対係数値のような、少なくとも１つの基底関数における強い影響（高絶対係数値）を伴う学習されたＲＴＦを有する場合、十分にふさわしいと考えられる。
【０１７１】
サンプル位置は例えば、それが、例えばいくつかのパーセンタイルを超えた絶対結合係数値のような、基底関数の特定グループに対する強い影響（高絶対係数値）を伴う学習されたＲＴＦを有する場合、十分にふさわしいと考えられる。
【０１７２】
サンプル位置は例えば、ＲＴＦのみが、顔上のサンプル位置の近傍による結末の中での位置を伴って、わずかに変化するとき、十分にふさわしいと考えられる。
【０１７３】
実施形態において、異なる人々及び異なる照明に関するサンプル位置の強度値の変化は、サンプル位置が光推定に十分にふさわしいかどうかを測定するのに使用される。
【０１７４】
サンプル位置は、異なる光方向に関する人（人に係るアルベドために潜在的に補正された）あたりの強度における変化が高いとき、強度値が、照明についての情報を持っているということ意味するのに、十分にふさわしいと考えられる。
【０１７５】
サンプル位置は、異なる人（人に係るアルベドために潜在的に補正された）に関する光方向あたりの強度における変化が低いとき、強度値が、特定の人についての十分でない情報を持っているということを意味するのに、十分にふさわしいと考えられる。
【０１７６】
サンプル位置は、多数の適正な評価の中央値を採ることにより、十分にふさわしいと考えられる。
【０１７７】
サンプル位置は、例えば単一の適正な評価に関する多項式の加重和としての単一適正評価の組み合わせによって、多数の適正評価を結合することにより、十分にふさわしいと考えられる。
【０１７８】
サンプル位置は、閾値を適正評価値に設定することにより、十分にふさわしいと考えられる。
【０１７９】
サンプル位置は、例えばブーリアン連結によって、多数の適正評価を結合することにより、十分にふさわしいと考えられる。
【０１８０】
サンプル位置の選択（光推定段階‐異常値検出）：
示された方法は、１つの特定の人間の顔に係る画像から照明を後で推定するために、多数の人から顔の画像を含むデータセットを使用する放射輝度伝達関数を学習する。次に示す実施形態は、照明を推定するのに十分ふさわしいサンプル位置と、照明を推定するのに十分ふさわしくないサンプル位置との間の特定の人の顔のための識別のために使用される。例えば特定の人が、マスカラ、タトゥー、あごひげ又はサンプル位置の領域を覆う前髪を有するという理由で、これは、学習された放射輝度伝達関数を有するその特定の人の顔に対して矛盾している同一のサンプル位置である。この識別は、推定された照明をロバスト化することを助けることができる。次に示す実施形態は、この識別に取り組む。
【０１８１】
特定の人の画像から照明を推定するとき、いくつかのサンプル位置は、学習されたＲＴＦと比較された強度を基準として、一貫性なくふるまう。
【０１８２】
実施形態において、学習されたＲＴＦと比較された強度を単位として、一貫性なくふるまういくつかのサンプル位置は、光推定から識別及び除外される。
【０１８３】
サンプル位置に係る不一致は、推定された照明及びサンプル位置に係るそれぞれのＲＴＦに基づいたサンプル位置にて、期待強度値を先ず決定することにより、並びに現実強度値（人のアルベドのために潜在的に補正される）と比較される差／残余をその時計算することにより、計算される。
【０１８４】
実施形態において、推定された照明及びサンプル位置に係るそれぞれのＲＴＦに基づいたサンプル位置における期待強度値は、推定された照明に係る球面調和関数係数ベクトルのドット積及びサンプル位置におけるＲＴＦ（人のアルベドのために潜在的に補正される）の各個の球面調和関数係数ベクトルにより測定される。
【０１８５】
実施形態において、若干の閾値を超えた不一致な評価を伴ういくつかのサンプル位置は、異常値として標識され、且つ光推定から除かれる。
【０１８６】
実施形態において、いくつかのサンプル位置は、連立方程式において対応する行を除くことにより、光推定から除かれる。
【０１８７】
実施形態において、いくつかのサンプル位置は、連立方程式において対応する行を０にセットすることにより、光推定から除かれる。
【０１８８】
実施形態において、若干の閾値を超えた不一致な評価を伴ういくつかのサンプル位置は、異常値として標識され、且つ例えば加重を伴う連立方程式において対応する行を乗じることにより、光推定における低い加重を受信する。
【０１８９】
実施形態において、閾値は、一連のサンプル位置に係る不一致な評価の分布に基づいて測定される。
【０１９０】
実施形態において、閾値は、一連のサンプル位置に係る不一致な評価の分布の四分位範囲にｎ（例えば３）倍したものをプラスした第３四分位として測定される。
【０１９１】
実施形態において、閾値は、一連のサンプル位置に係る不一致な評価の分布のパーセンタイルとして測定される。
【０１９２】
多数の測定：
示された方法は、顔の単一の画像から照明を推定する。もし顔に係る多数の画像が得られるならば、この追加的知識は、よりロバストに、時間的にスムーズな前進、又は全ての画像からの追加的情報を利用することにより、照明のより完璧な推定を創り出すのに使用される。次に示す実施形態は、この多数の画像からの情報の結合に取り組む。
【０１９３】
実施形態において、多数の連続的に実行された光推定は、単一の光推定の中へと結合される。
【０１９４】
実施形態において、多数の連続的に実行された光推定は、異なる光推定に関する加重和を採ることにより、単一の光推定の中へと結合される。
【０１９５】
実施形態において、光推定に係る加重は、光推定のための強度値を与える、キャプチャされた画像から、通過した時間に基づいて、測定される。
【０１９６】
実施形態において、光推定に係る加重は、最新のポーズと比較される光推定のための強度値を与える画像に対応したポーズにおける差に基づいて、測定される。
【０１９７】
実施形態において、光推定は、加重和を採る前に、共通座標系の中へと先ず変換される。
【０１９８】
実施形態において、多数の連続的にキャプチャされた画像からの強度値は、１つの単一光推定の中へと結合される。
【０１９９】
実施形態において、多数の連続的にキャプチャされた画像からの強度値は、サンプル位置に係る強度値及び対応するＲＴＦの間の方程式の結合システムをセットアップ及び解答することにより、１つの単一光推定の中へと結合される。
【０２００】
実施形態において、異なる画像から対応するＲＴＦは、光推定のための強度値を与えるそれぞれの画像に対応するポーズに基づいて、共通座標系の中へと変換される。
【０２０１】
多数の画像が照明を推定するために使用される実施形態において、ＲＴＦに対応する球面調和関数は、カメラのポーズの少なくとも１つに基づいた球面調和関数及び強度値を与える特定画像の顔のポーズにより、共通座標系の中へと変換され、並びにそれぞれの画像は、サンプル位置あたりの１つの和を、ＲＴＦ、照明及び強度値の間の連立方程式へ、潜在的に追加する。
【０２０２】
制約ソルバ：
示された方法は、対応する予め学習された放射輝度伝達関数と共に一連の強度観測を一番うまく説明する特定の照明を見つけることにより、照明を推定する。このことは、最小化問題として数学的に説明され、該最小化問題は、最小二乗法で解決される。
【０２０３】
数学的に、非制約の解の結果はまた、解を含むことができ、その解は、いくつかの光の方向のための負の光強度のような、物理的な説得力がない。従って、それは、制約を可能な解空間に置くのに都合がよく、それによって、例えば物理的説得力となるための解を強制する。次に示す実施形態は、解空間の制約に対処する。
【０２０４】
実施形態において、推定された照明のための解空間は、非制約である。
【０２０５】
実施形態において、推定された照明のための解空間は、最小二乗法ソルバにより、見つけられる。
【０２０６】
実施形態において、推定された照明のための解空間は、制限される。
【０２０７】
実施形態において、推定された照明のための解空間は、厳密に制限され、制限された空間の外側の意図する解が、可能ではない。このような場合、値のみを認めることは、厳密に実行する値を参照する。
【０２０８】
実施形態において、推定された照明のための解空間は、弱く制限され、制限された空間の外側の意図する解が、恐らくより少なく、評価される。このような場合、値のみを認めることは、好ましいこれらの値を参照する。
【０２０９】
実施形態において、推定された照明のための解空間は、いくつかの組の光の方向のための一定値を超えて、光強度のみを認めることにより、限定される。
【０２１０】
実施形態において、推定された照明のための解空間は、いくつかの組の光の方向のための一定値にて及び／又は前／後に、光強度のみを認めることにより、限定される。
【０２１１】
実施形態において、光の方向のこの組は、分散方向を一様に含む。
【０２１２】
実施形態において、光の方向のこの組は、あらゆる種類の分散方向を含む。
【０２１３】
実施形態において、光の方向のこの組は、ユーザの後方から来た光に対応した方向を含む。
【０２１４】
実施形態において、一定値は、前推定の光強度に依存する。
【０２１５】
実施形態において、一定値は、前推定の光分布の球面調和関数係数に依存する。
【０２１６】
実施形態において、一定値は、画像強度に依存する。
【０２１７】
実施形態において、一定値は、ユーザの顔／シルエットの周りのバックグラウンド領域として見做される位置にて、ユーザの画像の画像強度に依存する。
【０２１８】
実施形態において、一定値は、位置のみを光強度に認める場合、下限を０とする。
【０２１９】
実施形態において、一定値は、負の光強度の明確な量を認める場合、下限を０以下とする。
【０２２０】
実施形態において、一定値は、下限を−０．１４とする。
【０２２１】
実施形態において、解空間を限定することは、追加的制約による連立方程式を増やすことにより、モデル化される。
【０２２２】
従来の連立方程式（下記数１に示す）：
【０２２３】
【数１】
2015185176.tif 000003
2015185176.tif 000004
は、サンプルの数であり、
2015185176.tif 000005
は、基底関数係数ベクトルの形でのサンプル位置ｊに対する学習されたＲＴＦであり、
2015185176.tif 000006
は、照明のために推定された基底関数係数ベクトルであり、並びに
2015185176.tif 000007
は、サンプル位置ｊのための強度値である（アルベド及びガンマにより潜在的に相殺された）。
【０２２４】
追加的制約は、非制約最小二乗法問題から、制約を伴う二次計画法へと問題を変換する。
【０２２５】
【数２】
2015185176.tif 000008
2015185176.tif 000009
であることに依存し、
2015185176.tif 000010
及び
2015185176.tif 000011
であり、
2015185176.tif 000012
は、積み重ねられた学習ＲＴＦであり、ｉは、積み重ねられた強度のベクトルであり、Ｎは基底関数の次元であり、Ｍは、制約の数であり、Ａ及びｂは、制約をモデル化する。
【０２２６】
この連立方程式／不等式におけるそれぞれの行は、１つの制約をモデル化する。マトリクスＡは、１つの特定限定の方向を明確にする。下限の代わりに、行に係る列の値は、特定方向のための異なる基底関数の評価のために設定される。ｂに係る対応する行は、境界値を明確にする。上限をモデル化する代わりに、Ａに係る対応する行及び限定値は、否定されなければならない。
【０２２７】
実施形態において、基底関数が、球面調和関数である。
【０２２８】
実施形態において、追加的制約を伴う二次プログラミング問題は、ゴールドファルブ‐イドナニアクティブセット（Goldfarb-Idnani  active-set）双対法により、解決される。
【０２２９】
実施形態において、追加的制約を伴う二次プログラミング問題は、ラグランジュ未定乗数法を採用することにより、解決される。
【０２３０】
更に、次に示す態様及び実施形態は、前述の本発明に係る態様及び実施形態と関連して応用される。
【０２３１】
現実オブジェクト及び環境：
現実環境（又は現実世界）は、インドアシーン又はアウトドアシーンであろう。例えば、現実環境は、インドアのオフィス又はアウトドアの通りになる。現実環境はまた、例えばソファ、車、人間、人間の顔、樹木、及び／若しくは建物のような現実オブジェクトになる又は含むであろう。現実環境の少なくとも一部は、現実環境の一部及び／又は現実環境に位置付けられる少なくとも１つの現実オブジェクトになり得る。現実環境若しくは現実オブジェクトは、解剖学的視覚又は光学イメージング装置のための視覚的に知覚可能な情報である。例えば、現実環境若しくは現実オブジェクトは、人間の目若しくはカメラによりキャプチャされる可視光を放射若しくは反射する。現実環境若しくは現実オブジェクトはまた、人間の目によってはキャプチャされず、カメラによりキャプチャされる不可視光を放射若しくは反射する。例えば、現実環境若しくは現実オブジェクトは、赤外図になり、且つ赤外線カメラによりキャプチャされる。
【０２３２】
バーチャルオブジェクト：
バーチャルオブジェクトは、解剖学的視覚又は光学イメージング装置のための視覚的に知覚可能な情報から発生したあらゆるコンピュータである。バーチャルオブジェクトは、ディスプレイ装置上でディスプレイされる。バーチャルオブジェクトは、例えば文、図、画像、コンピュータで生成した若しくはカメラにより撮影されたオブジェクト、シンボルドローイング又はそれらの組み合わせにより成る。
【０２３３】
カメラ：
本発明は、画像を供給するあらゆるカメラを伴って、応用且つ実行される。それは、ＲＧＢ様式におけるカラー画像を供給するカメラに限定されない。それはまた、他のあらゆる色様式に応用され、並びに例えばグレースケール様式若しくはＹＵＶ様式における画像を供給するカメラのような、モノクローム画像にも応用され得る。ここで使用されるカメラは、深度データを伴う画像を更に供給する。深度データは、（色／グレースケール）画像としての同じ解像度で供給される必要がない。深度データを伴う画像を供給するカメラは、通常深度カメラと称される。深度カメラシステムは、タイムオブフライト（ＴＯＦ）カメラ或いは受動ステレオカメラ或いは構造光に基づくアクティブステレオカメラとなる。本発明はまた、多数の異なる視点から並びに異なる視点のための異なる焦点を付加的に伴う画像をキャプチャする光照射野カメラを使用する。
【０２３４】
ここで開示されたカメラは、光強度を測定する及び画像として見做されるデジタル表現の中へと、測定を変換する装置である。画像をキャプチャすることにより、カメラは、時間の特定範囲にわたる方向の特定範囲から、位置における特定の範囲にて、放射の量の測定を取る。位置及び方向のキャプチャ範囲から、デジタル表現に係る特定部分へのマッピングは、カメラの外部及び固有パラメータにより測定される。簡易化ピンホール若しくはフィッシュアイカメラモデルを有する標準的カメラモデルの代わりに、一点、即ちピンホールに落ちる光のみが測定される。画像におけるキャプチャ範囲は、従って、入射光の方位に対応する２つの次元により特定される。故に、画像の２次元配列内での“ピクセル”位置から、入射光の方位への連続的マッピングが存在する。光照射野カメラは、一点に落ちる光のみをキャプチャすることにのみに限定されずに、異なる位置における複数の光強度入射をも測定する。画像におけるキャプチャ範囲は従って、２つの次元における連続的マッピングにより、もはや特定されない。この開示において、タームカメラは、前述のあらゆるデジタルカメラを参照することができる。
【０２３５】
カメラはまた、バーチャルカメラによりシミュレートされる。バーチャルカメラは、一連のパラメータにより定義され、且つバーチャルオブジェクト若しくはシーンの画像を創り出すことができ、該画像は、合成画像である。バーチャルカメラの決定的なパラメータは、それのポーズ、即ちバーチャルオブジェクト若しくはシーンに対応する３次元変換及び３次元方位である。バーチャルカメラは、２次元空間の方に向けられて、３次元空間の中に３次元オブジェクトをマッピングする。例えば、バーチャルカメラは、２次元画像面の方に、３次元オブジェクトをマッピングすることができる。バーチャルカメラのマッピングは、ピンホールカメラモデルとなり、並びにこのような場合、カメラ固有のパラメータは、焦点距離及び主点を含む。バーチャルカメラはまた、フィッシュアイカメラを使用する、又は任意の光学系をシミュレートすることができる。バーチャルカメラに係る共通の実行は、オープンジーエル（Open  GL）ラスタ化パイプライン、光線投影、又は光線透写を使用する。一般的に、バーチャルカメラは、現実のカメラが現実オブジェクトを撮像するときにおこるキャプチャ処理の近似により、（潜在的に３次元の）バーチャルオブジェクトの視野（即ち２次元画像）を創り出す。拡張現実において、カメラの固有及び外部パラメータは、現実カメラを伴う、又は、それらが拡張現実システムのセットアップに対応するかのいずれかが、一貫するように通常選択される。
【０２３６】
光学軸が、現実環境の方向の中へ示されるときに、コンピュータビジョンシステムによりアドレスされているシーンの画像が、画像面に形成されることによって、カメラは、光学軸及び画像面を概して有する。光学軸の方向は、現実環境の中へ向いている。概して、光学軸は、画像面に対して垂直である。
【０２３７】
画像：
画像は、視覚情報又は認知を、描写又は記録するあらゆるデータである。画像は、２次元画像になり得る。画像はまた、深度画像になり得る。画像は、現実の画像又は合成画像になり得る。現実の画像は、カメラによりキャプチャされる。例えば、ＲＧＢカメラは、一つの現実ＲＧＢ画像における、オブジェクトオブインタレスト又は該オブジェクトオブインタレストの一部をキャプチャする。合成画像は、コンピュータにより自動的に又は人間により手動的に生み出される。例えば、コンピュータレンダリングプログラム（例えばopenGLに基づく）は、オブジェクトオブインタレストの合成画像又はオブジェクトオブインタレストの一部を生み出す。合成画像は、カメラによりキャプチャされた場合、透視投影から生み出される。合成画像は、直交投影から生み出される。
【０２３８】
深度画像は、対応する深度地図を伴う２次元画像である。深度画像は、あらゆる２次元（カラー／グレースケール）画像としての同じ解像度にて供給されることを必要としない。深度画像はまた、３次元画像と称される。人間の顔に係る複数の画像は、１つ以上の現実の顔をキャプチャするために、１つ以上の現実のカメラを使用することにより、キャプチャされる。人間の顔に係る複数の画像はまた、コンピュータにおいて、顔の１つ以上の３次元モデルをレンダリングすることにより、生み出される。
【０２３９】
この開示において、１つ以上の画像が、供給若しくは受信されるということを記載している。例えば、画像は、カメラによりキャプチャされ、並びに例えばモバイル機器（スマートフォンやタブレットコンピュータ）及び／又はサーバコンピュータに含まれる処理システムに供給される。画像が供給若しくは受信されるとき、画像に関連する対応する画像情報（若しくはデータ）が、例えば有線方法若しくはワイヤレスで、供給若しくは受信されるということをここで理解されるべきである。これが、画像、画像の一部並びに／又は特徴認識及び／若しくはポーズ推定を認める画像の特徴に係るあらゆる処理若しくは非処理情報（データ）を供給若しくは受信することを含むということは、当業者にとって知られていることである。本発明は、あらゆる生画像データを供給若しくは受信することを必要としない。そのことによって、処理は、例えば圧縮、暗号化、別の色空間若しくはグレースケールへの変換などを含む。すべてのこのような画像処理方法は、付加的に実行され、且つ画像に係る画像情報若しくはデータの用語により含まれるべきである。
【０２４０】
光：
光は、１つ以上の電磁放射であり、該放射は、例えば、フォトセル若しくは電荷結合素子（ＣＣＤ）により、並びに例えば、人間の目の網膜に係る特殊な細胞により、測定される。光は、環境の視覚のための基礎入力である。光は、人間の目に対して、可視若しくは不可視である。例えば、赤外線光は、人間の目にとっては不可視である。
【０２４１】
光の一次性質は、周波数／波長（４００ｎｍ〜７００ｎｍの範囲にある可視光を伴う色、並びに可視スペクトルの後若しくは前にある赤外線若しくは紫外線のような不可視光に対応する）、伝搬方向及び強度である。光は電磁放射であり、且つ放射エネルギーとして空間を伝搬する。光線に沿って運ぶ光の量は、放射輝度として測定される。現実環境における放射オブジェクト（例えば、太陽、電球など）によって放射され、又は現実環境の少なくとも一部（例えば、顔、壁、空、月）の面にて反射若しくは屈折される光はまた、環境光と称される。あらゆる放射オブジェクト及び現実環境の少なくとも一部の面は、光源として考慮される。
【０２４２】
目下の開示において、光（例えば、少なくとも１つの第１光、少なくとも１つの第２光、少なくとも１つの第３光、及び／又は少なくとも１つの第４光）は、１つ以上の光線を表現する。１つ以上の光線のそれぞれは、方向、強度、及び／又は色（波長）を有するであろう。光線は、異なる光源から放射若しくは反射された１つ以上の電磁放射の組み合わせである。空間内での配光は、光照射野として記載され、該光照射野は、空間における多数点を通過して多数の方向に運ぶ光の量を測定する関数である。波長のフルスペクトルは、色知覚の原因となる人間の目の光受容体層における、３つの異なる型の円錐に対応する赤、緑、及び青の３つの原色のみを考慮する人間の視覚のために近似される。蛍光を除いたとき、放射はまた、表面の相互作用における波長を変化させることもない。その結果、カラー画像及び逆レンダリングの代わりに、カラーチャネルそれぞれは、この特定波長の光の強度を推定するためのグレースケール画像のように、別々に考慮される。特定波長の代わりに、５次元のプレノプティック関数が、３次元位置及び２次元方位にて定義された光線に沿って放射を戻す。
【０２４３】
逆レンダリングは、オブジェクトの画像及びオブジェクトの対応する表面モデルについての知識によって、オブジェクトの上にかかる入射光（例えば、１つ以上の光線を含んでいる）を推定する。それによって、ほとんどの場合、入射光は、遠隔環境から来ていると考慮される。このことは、入射光を注視する視差効果が、ローカルシーンに係るこの考慮された範囲内での位置に対して無視されるように、光源が、局所的に照らされ且つディスプレイされたシーン部から遠くに位置付けられるために考慮されるということを意味する。遠隔シーンからの光入射は、その時のみ、方向に依存し、位置には依存しない。方向にのみ依存する遠隔シーンからの光入射に係るこの２次元関数（波長あたりの１つの関数）は、ここで、入射光の方向分布として参照される。逆レンダリングにおける共通のアプローチは、与えられた画像のための入射光に係る最も妥当且つふさわしい方向分布を見つけることである。表面上にかかる光の効果的な量は、閉塞及び相互反射により、いまだに影響を及ぼされるということに留意しなくてはならない。遠隔環境からの光入射は、いまだにローカルオブジェクトの別の部分により、ローカルオブジェクトの表面点に対して閉塞されるか、又は別の１つの上へと、ローカルオブジェクトのローカル表面点から反射される。逆レンダリングの特定実行に依存することで、これらの相互反射及びシャドウイング効果が、考慮される若しくはされないかである。
【０２４４】
入射光のモデルは、周辺光のみ（１つのスカラー値（波長あたりの））、１つの方向指示灯（２次元）、１つの方向指示灯（２次元＋波長あたりの強度）、又はそれぞれの方向から入射光の量を戻す関数（例えば、環境マップ、球面調和関数表現、ウェーブレット）になり得る。入射光の使用されたモデルに依存する場合、方向分布の推定が、スカラー値、即ち全ての方向についての平均放射を単純に推定することから、光強度の多くが来ている最初に方向（＝２つの値／角）を推定すること、可能な方向及び多数の他のバリエーションの間における全体の範囲についての放射（〜強度）の最終的な連続的推定へと及ぶ。
【０２４５】
キャプチャされたオブジェクトの材料特性（例えば、人間の顔の人面固有特性）についてのキャプチャツールチェーン及び知識の有効な校正に依存する場合、推定が、放射の絶対値か相対値のいずれかである。相対強度は、例えば１つの特定方向（例えば、上よりも左から来た光の量が２倍になる）についての参照値に関連する、又は１つの特定波長（入射青色光よりも入射赤色光の量が２倍になる）についての参照値に関連する。更に、多数の波長（若しくは赤、緑、青）のための分離した推定が可能である。異なる推定間のスケーリングは、例えばキャプチャされたオブジェクトの材料特性についての情報のような追加的知識によってのみ、測定される。
【０２４６】
画像からの光推定は、キャプチャツールチェーンの放射測定校正及び画像をキャプチャするカメラから便益を得る。放射測定校正は、光の絶対値を推定するために必要とされる。別の推定は、カメラパラメータ（カメラレスポンス曲線、露出、ホワイトバランス、コントラスト、カラー強度、トーンマッピング等）によって、影響を与えられ、又は変形させられる。バーチャルオブジェクトが、例えばまた、カメラ画像のように露出過度にされた、カメラ画像との調和を表すように、それが、推定された環境光におけるカメラ効果を包含するという理由から、このことはまた、望まれる。
【０２４７】
光源表現：
光の特性に依存する場合、異なる光源表現が使用される。光の色は、波長あたりの強度に対応し、且つそれによって波長（例えば、赤色に対する波長、緑色に対する波長、青色に対する波長）あたりの強度のための１つ以上のスカラー値により表現される。全体シーンの中で光の一定強度を通常明確にするような周辺光は、波長（例えば３つの値で、赤色に対するもの、緑色に対するもの、青色に対するもの）あたりの１つ以上のスカラー値により表現される。方向光源は、方向のための２つの角度についての２次元ベクトル（たいていの場合、方向がまた、３次元単位ベクトルにより表現される）により、表現される。またこの方向光源のための強度を表現するために、該表現は、波長あたりのスカラー値により拡張される。
【０２４８】
非局所化領域の光源は、方向光源の連続的な範囲に対応する。方向の範囲とは、球面形状定義、平均方位及び拡張、角度の区間、又は単位方向（例えば２次元画像）に係る定義域についてのいくらかの離散化のいずれかにより定義される。
【０２４９】
方向（単位球面について定義される）に係る全てのスペクトルに関する強度を変化させると共に、方向光源は、単位球面の定義域から、この方向からの光の強度へとマッピングする波長あたりのスカラー値関数により表現される。これらの関数は、球面調和関数（及び係数）、球面（及び係数）についてのウェーブレット、フォン・ミーゼス‐フィッシャー分布（モードの数、平均方位、及び合成パラメータ）又は例えば環境マップのような単位球面に対するマッピングを伴う離散２次元画像表現を使用することにより、例えば特定される。
【０２５０】
点光源は、位置に対応する３次元ベクトルにより表現される。点光源は概して、全ての方向の中に平等に光を放射する。従って、この点光源のための強度を表現する代わりにまた、表現が、波長あたりのスカラー値により拡張される。
【０２５１】
スポット光源は、原点に対応する３次元ベクトル、最初の光方向に対応する方向（２次元若しくは３次元単位ベクトル）、光方向の円錐に係る軸、及び円錐の開口角度により表現される。方向に関連する放射線挙動を明確にする追加的パラメータが、追加される（例えば、最初の光方向から開口角度における方向への線形減衰）。
【０２５２】
局所領域光源は、シーンの中における３次元形状（三角形メッシュ、一般的オブジェクト定義（球面のような）、又は例えばＮＵＲＢＳのようないくつか他の表面表現）により、並びに方向に関する放射線挙動を明確にする追加的パラメータにより定義される。
【０２５３】
点光源、スポット光源、及び局所領域光源は、光源の効果的な強度が、光源の位置及び表面点の位置に依存するという意味があるローカル光源である。表面点の方に向けられる強度は、距離に依存する。光源が表面点で見える状況下の方向はまた、表面点の位置に依存する。
【０２５４】
一般的に、あらゆる局所光源は、方向に関連する強度（方向の全てのスペクトルに関する強度を変化させることを伴う方向光源に類似する）を基準として、関連する放射線挙動をそれぞれ伴った発光の原点を明確にする一連の３次元の位置により表現される。
【０２５５】
光強度は、例えば放射輝度のような絶対値又は相対値にて特定される。相対強度は、例えば特定方向（上よりも左から来た光の量が２倍である）のための参照値又は特定波長（青色光よりも赤色光の量が２倍である）のための参照値に関連する。
【０２５６】
人間の顔及び人面固有特性：
ここに開示されている人面固有特性は、一般的な３次元顔モデルの少なくとも１つ、顔の少なくとも一部に係る形状、顔の少なくとも一部に係る材料特性、顔の少なくとも一部に係る色、顔の少なくとも一部に係る放射輝度伝達性質及び顔の少なくとも一部に係る反射性質に限られずに、具備する。
【０２５７】
カメラの方を向いているオブジェクトの特定領域にて反射される光の量は、画像におけるピクセル強度のように見える。この量は、光源によりもともと放射される光並びにどのように光がシーンにおけるオブジェクトにて分散されるかに依存する。光が分散されることによる挙動は、例えば表面配向及び材料特性といった異なるファクター、並びに形状による光路の閉塞に依存する。
【０２５８】
画像からの光推定である逆照明は、既知の形状及び可視オブジェクトの材料特性をしばしば頼りにする。既知の基本的な形状（及びそれによる既知の表面配向及び閉塞）並びに材料特性と共に、光強度（画像）の測定の変形から、測定された反射入射を引き起こす入射照明に係るもっともよくあるバージョンが測定される。基本的な形状が多角的であるほど、照明の特徴がより多く回収される。不適当な形状のための例とは、例えば、表面配向におけるバリエーションが無いところでは、単一面となることである。
【０２５９】
別の側面における顔の形状は、表面配向の潜在的な可視半球面に係る、十分に密な範囲をほぼ覆い、及び入射光方向の閉塞におけるバリエーションを引き起こす、鼻のような異なる領域を含む光推定にふさわしい。顔の形状は、一般的な３次元顔モデルから得られる。
【０２６０】
任意の未知のシーンの代わりに、形状及び材料が先ず測定される。形状が、現在では空中で測定されると同時に、それは、深度若しくはステレオカメラのような特別なハードウェアをいまだによく頼りにしている。別に側面における顔の形状は、予め定義されたモデルが使用されるような、バリエーションの限定範囲を有する。これらのモデルは、直接的に使用されるか、又は更に画像（３次元モーフィングモデル）に基づいて、より良く調和するように成されるかのいずれかである。従って、一般的には、特別のハードウェアは、顔の形状を得るのに必要とされない。
【０２６１】
更に、これらのモデルは、材料特性若しくは閉塞のような顔に対する光推定のために、重要な情報の全てを、既に含むことができる。一般的に、全体の光伝達（どのようにして特定方向からの入射光の多くが、カメラに向かって効果的に反射するかを特定する）は、既に前もって計算されている。例えば、光条件の広範な種類の下での顔に係る一連の画像は、低次元の線形部分空間、例えば球面調和関数基底照明の下での顔に係る９基底の線形組み合わせによって、近似される。これらの画像は、前もって計算され、且つ非特許文献１２に示されているような、照明の球面調和関数表現に係る推定を導く顔に係るキャプチャ画像のための、線形組み合わせの最適な係数を推定するために使用される。
【０２６２】
未知の光条件の下で、空中で材料特性を得ることは、例えば光及び材料の間で曖昧であるという理由で、なかなか難しく且つ追加的仮定を伴わない１つの画像から概して殆ど可能ではない。緑色球面を示す画像は、例えば、白色光を伴う緑色球面、又は緑色光を伴う白色球面を使用することで創り出す。空中で材料特性を得ることは、材料特性が表面一面にたくさん変化するときに、より難しくなる。多くの場合、調和された材料特性は、任意のオブジェクトに対して勝手に悪くなるよう仮定される。
【０２６３】
人間の顔の代わりに、人面固有特性（例えば、材料特性、色、特定位置における表面配向等）の範囲が、前もって限定される。従って、人面固有特性のための１つのエレメント（アルベドの平均値若しくは反射関数のような）の代わりに、人面固有特性のための一連のエレメント（例えば限定された範囲若しくは部分空間）は、モデル化され、並びに特定の顔に対する対応するエレメントは、中で最適化され、且つ光推定を伴って結合される。例えば、一連の“アルベド”又は“反射率関数”は、前もって定義される（手動的若しくは自動的に抽出される）。人面固有特性に係る一連の前もって定義された異なるエレメントから、最も良く適合するエレメントが、選択され得る（自動的若しくは手動的に選択される）。
【０２６４】
例えばあざ、タトゥー、あごひげ、髪、幾何偏差といったモデルに適合しない、特定の顔に係る顔領域は、不一致として検出され、且つ光推定から除外される。
【０２６５】
特定の顔の画像を用いる環境光を測定するために、顔領域の少なくとも一部が、顔領域の特定部分の特性の範囲内での不一致に基づいた推定から除外される。不一致は、特定の顔領域（例えば荒いコントラストのない）のためにモデル化された特性に基づいて、又はどのようにして良く、顔領域の特定部分が推定された環境光と適合するかに基づいてのいずれかで検出される。例えば、肌の色に係る仮定（例えば、あざ、タトゥー、あごひげ、髪のせいで）に対応しない顔の画像からのパーツは、検出され、且つ光推定のためには使用されない。異なる特徴における一致は、チェックされ、且つ異常値が推定から取り除かれた。
【０２６６】
更に、調和された材料特性の領域は、前もって確認され（前もって学習され）、並びに照明を推定するのに不適合な領域（例えば眉毛）は、除外される。また、肌の色が、ＲＧＢカラー空間（入射光に係る３つの初期色度を反射するということと同等である）に係る３つの初期色度（赤色、緑色、及び青色）の全てを含むという事実は、推定光（色を含む）に十分にふさわしい。
【０２６７】
赤色光が、全てにおいて反射されないように、対照的に緑色球面は、例えば光の緑色部分のみを反射する。このような問題は、人間の肌には存在しない。しかしながら、波長あたりの異なる加重の反射が、異なる肌の色で変化する。アルベドの異なる型は、非特許文献９で提案された方法を使用することで、例えば推定される。肌は、完全拡散材料として実行するだけでなく、いくつかの光沢のある反射をも含む。追加的な目が、鏡面反射を表す（非特許文献１０参照のこと）。これ並びに例えば鼻による投影は、例えば完全拡散球面と比較される入射光の変形にて、より高い周波数の回復を認める。
【０２６８】
人間の顔の別の便益は、十分に理解され、且つ顔のトラッキング及びヘッドポーズ推定を安定させる。主に固定されたシーンの中での可動部になる顔と共に、シーン及び顔の間のモーションは、多数の測定及び光推定共に結合するために、分離されるべきである。ユーザがシーンを通り抜けて動いているときでさえ、ユーザ面カメラの前になるユーザの顔と一緒に、光推定のためのユーザと共に動く追加の形状に係る追加的な成果が、取り消される。時間を変換すると同時にユーザが動いている、任意の可視形状から推定することと比較して、顔は、入手でき且つ拡張の全体の処理にふさわしくするための可能性を供給する。
【０２６９】
“顔”又は顔のあらゆるパーツ若しくは領域にここで付託するときはいつでも、これが、人間の顔、とりわけユーザの顔並びにそれらのあらゆる領域若しくはパーツをそれぞれ、参照すべきということが理解される。
【０２７０】
モデル：
モデルは、オブジェクトの形状又はオブジェクトのグループの一般的な形状を表す。オブジェクトの２次元モデルは、オブジェクトの少なくとも一部に係る２次元形状を表す。オブジェクトは、現実オブジェクト又はバーチャルオブジェクトになる。一般的な２次元若しくは３次元モデルは、オブジェクトのグループの一般的な２次元若しくは３次元形状を示す。例えば、３次元モデルは、オブジェクトに対して特異的である。３次元モデルは、オブジェクトに対して特異的ではなく、類似のオブジェクトのグループのための一般的な形状を表す。類似のオブジェクトは、同じタイプに属し、且ついくつかの共通特性をシェアする。例えば、異なる人々の顔は、目、口、耳、鼻などを有する同じ型に属している。異なるモデルの若しくは異なるブランドからの車は、４つのタイヤ、少なくとも２つのドア、及びフロント窓ガラスなどを有する同じオブジェクトタイプに属する。
【０２７１】
一般的な３次元顔モデルは、あらゆる本当に存在する個人の顔として、同じになるわけではなく、それが、存在する個人の顔に近づく。例えば、３次元モデルの顔のシルエットは、存在する顔のシルエットに正確にマッチングするのではなく、それらは、食の形全てである。一般的な３次元顔モデルは、非特許文献１６に記載されているように、顔に係る複数の３次元モデルによって、測定される。顔モデルはまた、例えば少なくとも１つの人面固有特性のための平均及び分散を伴う主要な成因分析を含むことで、既に更なる処理がされる。
【０２７２】
形状は、形状、フォーム、表面、シンメトリー、幾何学的サイズ、次元、及び／又は構造を含むが、これらに限られないオブジェクトの１つ以上の性質を参照する。現実オブジェクト若しくはバーチャルオブジェクトのモデルは、ＣＡＤモデル、多角形モデル、ポイントクラウド、容積データセット、及び／若しくはエッジモデルにより表現され、又はあらゆる他の表現を使用することが可能である。モデルは更に、オブジェクトの材料を表す。オブジェクトの材料は、モデルにおけるテクスチャ及び／若しくは色により表現され、且つ例えばモデルの反射若しくは放射輝度特性を表現することが可能になる。オブジェクトのモデルは、オブジェクトの異なるパーツのために異なる表現を使用する。
【０２７３】
形状の少なくとも一部は、少なくとも１つの座標（離散表現）又は２次元若しくは３次元座標系における少なくとも１つの数式（連続的表現）により、数学的に表現される。例えば、円若しくは球面は、一連の点により、又は、２次元若しくは３次元座標系における方程式により表現される。２次元形状の円は、２次元若しくは３次元空間で定義される。３次元形状の球面は、２次元空間上の球面（即ち３次元形状）の投影として、２次元空間で定義される。
【０２７４】
３次元モデルは更に、例えば、３次元の頂点並びにこれらの頂点により結ばれる多角形面及び／若しくはエッジを具備するモデルとして表現される。モデルのエッジ及び面はまた、スプライン又はＮＵＲＢＳ表面として表現される。３次元モデルは、多角形モデルにおける各頂点が、ビットマップテクスチャにおけるこの頂点の材料が記憶されるところで表しているテクスチャ座標を有するところで、テクスチャ及び材料を表すビットマップファイルにより、加えられる。３次元モデルはまた、例えばレーザースキャナと共にキャプチャされたような一連の３次元点により表現される。点は、それらの色に係る追加情報、強度、及び／又は特定点に関するあらゆる他の追加情報を持っている。
【０２７５】
変換及びポーズ：
変換は、２つのオブジェクト間又は２つの座標系における空間関係を表す、即ちどのようにしてオブジェクト若しくは座標系が、並進、及び／若しくは回転、及び／若しくはスケールを基準とした他のオブジェクト又は他の座標系に関連する２次元又は３次元空間に位置付けられるかを明確にする。変換は、固定された変換となり、又は類似変換にもなり得る。固定された変換は、並進及び／又は回転を含む。２つのオブジェクト間の空間関係は、２つのオブジェクト間の固定された変換を表す。座標系若しくは別のオブジェクトに対応する、カメラのポーズ若しくはオブジェクトのポーズは、固定された変換である。カメラのモーションは、共通座標系における１つの場所でのカメラ及び別の場所でのカメラの間での空間関係若しくは固定された変換を表す。
【０２７６】
現実環境における視野：
現実環境の視野又は現実環境の一部は、カメラ若しくは目によりキャプチャ（キャプチャ）される。例えば、視野は、ユーザの目による視覚的印象として、キャプチャされ、又はユーザにより使い古された若しくはユーザにより縛り付けられた装置に設置されているカメラにより、１つ以上の画像として得られる。人間の目及びカメラは、同じイメージング数学的モデル、即ちピンホール投影モデルを有する。視野は、２次元画像情報を少なくとも表現する。視野は、ビジョンの領域を定義する。ディスプレイ装置上の視野における空間的に登録されたバーチャルオブジェクトを調和させることにより、現実オブジェクト若しくは環境の上へ、ユーザの視野を向上させるために用いられる異なるハードウェアセットアップがある。その例は、上述の背景技術で述べた、光学シースルーＡＲ、ビデオシースルーＡＲ、及び投影ＡＲのためのセットアップを含む。
【０２７７】
ディスプレイ装置（ＡＲセットアップ）：
現実環境の視野の中へ少なくとも１つのバーチャルオブジェクトを統合するための異なるセットアップ又は装置がある。１つの例は、ユーザの目及び現実オブジェクトの間の光学シースルー装置を設置することである。現実オブジェクトは、光学シースルー装置の半透明スクリーンを通じて直接的に観測され、同時にバーチャルオブジェクトは、コンピュータ処理され、且つ半透明のスクリーン上に映し出される。この構造は、光学シースルーＡＲと称される。この場合、ユーザの目が視聴者になり、並びに半透明のスクリーンがディスプレイ装置となる。
【０２７８】
バーチャルオブジェクト及び現実オブジェクト（若しくは環境）の視覚統合はまた、カメラ並びに例えば、ＬＣＤ、ＬＥＤ、ＯＬＥＤ若しくは電子インクのような反射若しくは放射スクリーンを具備するビデオシースルー装置を使用することにより実行される。この構造において、カメラは、現実オブジェクト若しくは環境の画像をキャプチャし、且つそれゆえに、ディスプレイ装置上の空間的に記録され且つコンピュータ処理のバーチャルオブジェクトと共に重ね撮りされたキャプチャ画像をディスプレイする。この構造は、ビデオシースルーＡＲと称される。この場合、カメラが視聴者になり、並びに反射若しくは放射スクリーンがディスプレイ装置となる。
【０２７９】
別のアプローチは、現実オブジェクト若しくは現実環境の上へ空間的に記録されたコンピュータ処理のバーチャルオブジェクトを投げ掛けるための可視光プロジェクタを使用することである。ユーザはそのとき、あらゆる物理的ディスプレイを通じる若しくは見る必要性なしで、現実オブジェクト及び投影されたバーチャルオブジェクトを直接的に観測する。投影ＡＲのような場合、プロジェクタが視聴者となり、並びに投影表面（例えば、バーチャルオブジェクトが投影される現実オブジェクトの表面）の少なくとも一部が、ディスプレイ装置となる。
【０２８０】
ディスプレイ装置の一部は、平面になり、且つ該平面部に関連する正常方向を有する。概して、正常方向は、平面部と垂直になる。正常方向は、ディスプレイ装置から、ディスプレイ装置の前面にて、ディスプレイ装置の少なくとも一部の上にディスプレイされた可視情報を観測するユーザへと、通常は指し示す。
【０２８１】
種々の実施形態が、いくつかの構成要素に関してここで開示されているが、ここで開示されている或いは当業者にとっては明らかである、あらゆる他の構成の要素がまた、これらの実施形態のいずれかを実行するとき、使用される。ここで開示されている装置若しくは構成要素のいずれかは、例えばマイクロプロセッサのような、ここで開示されているいくつか若しくは多くのタスクを実行するための、各処理装置になる若しくは具備する。１つ以上の処理タスクは、１つ以上の構成要素又はお互いに連絡を取るそれらの処理装置、例えば各個のポイントツーポイント通信若しくはサーバコンピュータのようなネットワーク経由によって、処理される。
【符号の説明】
【０２８２】
１０１，２０７，５０６，７０５，９０１，１００７，１００８，１００９，１１０３，１１１２  ユーザ面カメラ
１０３，６０１，７０３，１０１２，１０１３，１０１４，１１０４  顔
５０５，７０４，９１０，９１１，９１８，９１９，１０１０，１０１１，１１１６  光源
【図１】
2015185176.tif 000013
【図２】
2015185176.tif 000014
【図３】
2015185176.tif 000015
【図４】
2015185176.tif 000016
【図５】
2015185176.tif 000017
【図６】
2015185176.tif 000018
【図７】
2015185176.tif 000019
【図８】
2015185176.tif 000020
【図１１】
2015185176.tif 000021
【図１２】
2015185176.tif 000022
【図１３】
2015185176.tif 000023
【図９】
2015185176.tif 000024
【図１０】
2015185176.tif 000025
【外国語明細書】
2015185176000001.pdf
2015185176000002.pdf
2015185176000003.pdf
2015185176000004.pdf