【手続補正書】
【提出日】平成28年10月7日(2016.10.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
現実環境の視野におけるバーチャルオブジェクトを表現する方法であって、
第１カメラによりキャプチャされた現実環境内の人間の顔の少なくとも一部に係る第１画像の画像情報を取得し、
少なくとも１つの人面固有特性を取得し、
前記第１画像における前記顔の画像領域の少なくとも一部を前記第１画像の顔領域として決定し、
前記第１画像の顔領域及び前記少なくとも１つの人面固有特性に従い、前記顔を照らす第１の光源を決定し、
決定された前記第１の光源に従う照明によりバーチャルオブジェクトを生成し、
前記バーチャルオブジェクトを、前記現実環境の視野にあるディスプレイ装置に表示する、
ことを含む方法。
【請求項２】
第１カメラは、前記人間の顔が前記ディスプレイ装置に面しているときに、前記人間の顔の少なくとも一部が前記第１カメラによりキャプチャされるような前記ディスプレイ装置に関連する、請求項１に記載の方法。
【請求項３】
前記少なくとも１つの人面固有特性は、光推定における使用のために、一般的な３次元フェイスモデル、顔の少なくとも一部に係る形状、顔の少なくとも一部に係る材料の特性、顔の少なくとも一部に係る色、顔の少なくとも一部に係る放射輝度伝達属性、顔の少なくとも一部に係る反射特性、及び顔の少なくとも一部に係る適合性評価のうち少なくとも１つを含む、請求項１に記載の方法。
【請求項４】
前記第１の光源を決定することは、型、強度、波長、方向、距離、位置、次元、領域、形状、球面調和関数係数、ウェーブレット基底係数、及びフォン・ミーゼス−フィッシャー分布の混合の係数である、請求項１に記載の方法。
【請求項５】
前記現実環境の視野は、第２カメラにより画像としてキャプチャされ、前記第２カメラは、前記第１カメラに対して既知の空間関係を有し、
前記バーチャルオブジェクトを調和させることは、決定された前記第１の光源と、前記第１の光源及び第２カメラの間の前記既知の空間関係とによって、前記バーチャルオブジェクトの少なくとも一部を照らすことを含む、請求項１に記載の方法。
【請求項６】
前記第１の光源を決定することは、
一般的な３次元フェイスモデル又は顔の３次元モデルである、３次元顔モデルの少なくとも一部を取得すること、
前記第１カメラが前記第１画像をキャプチャしたとき、前記第１カメラに対する顔のポーズを決定すること、
顔面領域及び前記３次元顔モデルの少なくとも一部に関連した強度情報によって、前記第１の光源を決定すること、
を含む、請求項１に記載の方法。
【請求項７】
前記第１の光源を決定することは、
複数の異なる既知の照明及びポーズにおいて、人間の顔に係る複数の画像の画像情報を取得すること、
複数の顔サンプルの位置を提供すること、
前記複数の画像のそれぞれに関して、前記顔サンプルの位置の少なくとも一部に係る画像の位置を決定すること、
前記複数の顔サンプルの位置のそれぞれに関して、前記複数の画像の少なくとも一部における画像の位置、及び、前記複数の画像の少なくとも一部に関係する前記照明及びポーズによって、放射輝度伝達関数を決定すること、
前記第１画像における顔面サンプル位置の少なくとも一部の画像位置を決定すること、
前記第１画像における顔面サンプル位置の少なくとも一部に係る画像位置に関連する強度情報、及び前記第１画像における顔面サンプル位置の少なくとも一部に関連する前記放射輝度伝達関数によって、前記第１の光源を決定すること、
を含む、請求項１に記載の方法。
【請求項８】
バックグラウンド領域としての前記第１画像における非顔画像領域の少なくとも一部を決定すること、
前記第１の光源を決定することとは異なった方法で、前記バックグラウンド領域に従い第２の光源を決定すること
決定された前記第１の光源及び前記第２の光源を用いながら前記バーチャルオブジェクトの前記照明を更新すること、
を更に含む、請求項１に記載の方法。
【請求項９】
現実環境の視野におけるバーチャルオブジェクトを表現するためのシステムであって、
１以上のカメラと、
１以上のプロセッサと、
前記１以上のプロセッサに結合するメモリと、を備え、
前記メモリは、前記プロセッサが、
前記１以上のカメラのうちの第１カメラによりキャプチャされた現実環境内の人間の顔の少なくとも一部に係る第１画像の画像情報を取得すること、
少なくとも１つの人面固有特性を取得すること、
前記第１画像における前記顔の画像領域の少なくとも一部を前記第１画像の顔領域として決定すること、
前記第１画像の顔領域及び前記少なくとも１つの人面固有特性に従い、前記顔を照らす第１の光源を決定すること、
決定された前記第１の光源に従う照明によりバーチャルオブジェクトを生成すること、
前記バーチャルオブジェクトを、前記現実環境の視野にあるディスプレイ装置に表示すること、
を実行するための命令を記憶している、システム。
【請求項１０】
第１カメラは、前記人間の顔が前記ディスプレイ装置に面しているときに、前記人間の顔の少なくとも一部が前記第１カメラによりキャプチャされるような前記ディスプレイ装置に関連する、請求項９に記載のシステム。
【請求項１１】
前記少なくとも１つの人面固有特性は、光推定における使用のために、一般的な３次元フェイスモデル、顔の少なくとも一部に係る形状、顔の少なくとも一部に係る材料の特性、顔の少なくとも一部に係る色、顔の少なくとも一部に係る放射輝度伝達属性、顔の少なくとも一部に係る反射特性、及び顔の少なくとも一部に係る適合性評価のうち少なくとも１つを含む、請求項９に記載のシステム。
【請求項１２】
前記現実環境の視野は、第２カメラにより画像としてキャプチャされ、前記第２カメラは、前記第１カメラに対して既知の空間関係を有し、
前記バーチャルオブジェクトを調和させることは、決定された前記第１の光源と、前記第１の光源及び第２カメラの間の前記既知の空間関係とによって、前記バーチャルオブジェクトの少なくとも一部を照らすことを含む、請求項９に記載のシステム。
【請求項１３】
前記第１の光源を決定することは、
一般的な３次元フェイスモデル又は顔の３次元モデルである、３次元顔モデルの少なくとも一部を取得すること、
前記第１カメラが前記第１画像をキャプチャしたとき、前記第１カメラに対する顔のポーズを決定すること、
顔面領域及び前記３次元顔モデルの少なくとも一部に関連した強度情報によって、前記第１の光源を決定すること、
を含む、請求項９に記載のシステム。
【請求項１４】
前記第１の光源を決定することは、
複数の異なる既知の照明及びポーズにおいて、人間の顔に係る複数の画像の画像情報を取得すること、
複数の顔サンプルの位置を提供すること、
前記複数の画像のそれぞれに関して、前記顔サンプルの位置の少なくとも一部に係る画像の位置を決定すること、
前記複数の顔サンプルの位置のそれぞれに関して、前記複数の画像の少なくとも一部における画像の位置、及び、前記複数の画像の少なくとも一部に関係する前記照明及びポーズによって、放射輝度伝達関数を決定すること、
前記第１画像における顔面サンプル位置の少なくとも一部の画像位置を決定すること、
前記第１画像における顔面サンプル位置の少なくとも一部に係る画像位置に関連する強度情報、及び前記第１画像における顔面サンプル位置の少なくとも一部に関連する前記放射輝度伝達関数によって、前記第１の光源を決定すること、
を含む、請求項９に記載のシステム。
【請求項１５】
バックグラウンド領域としての前記第１画像における非顔画像領域の少なくとも一部を決定すること、
前記第１の光源を決定することとは異なった方法で、前記バックグラウンド領域に従い第２の光源を決定すること
決定された前記第１の光源及び前記第２の光源を用いながら前記バーチャルオブジェクトの前記照明を更新すること、
を実行する命令を更に含む、請求項９に記載のシステム。
【請求項１６】
１以上のプロセッサによって実行可能なコンピュータコードを記録したコンピュータ読み取り可能な記録媒体であって、
第１カメラによりキャプチャされた現実環境内の人間の顔の少なくとも一部に係る第１画像の画像情報を取得すること、
少なくとも１つの人面固有特性を取得すること、
前記第１画像における前記顔の画像領域の少なくとも一部を前記第１画像の顔領域として決定すること、
前記第１画像の顔領域及び前記少なくとも１つの人面固有特性に従い、前記顔を照らす第１の光源を決定すること、
決定された前記第１の光源に従う照明によりバーチャルオブジェクトを生成すること、
前記バーチャルオブジェクトが前記現実環境の視野にあるディスプレイ装置に表示されること、
を実行させるコンピュータ読み取り可能な記録媒体。
【請求項１７】
第１カメラは、前記人間の顔が前記ディスプレイ装置に面しているときに、前記人間の顔の少なくとも一部が前記第１カメラによりキャプチャされるような前記ディスプレイ装置に関連する、請求項１６に記載のコンピュータ読み取り可能な記録媒体。
【請求項１８】
前記少なくとも１つの人面固有特性は、光推定における使用のために、一般的な３次元フェイスモデル、顔の少なくとも一部に係る形状、顔の少なくとも一部に係る材料の特性、顔の少なくとも一部に係る色、顔の少なくとも一部に係る放射輝度伝達属性、顔の少なくとも一部に係る反射特性、及び顔の少なくとも一部に係る適合性評価のうち少なくとも１つを含む、請求項９に記載のシステム。
【請求項１９】
前記現実環境の視野は、第２カメラにより画像としてキャプチャされ、前記第２カメラは、前記第１カメラに対して既知の空間関係を有し、
前記バーチャルオブジェクトを調和させることは、決定された前記第１の光源と、前記第１の光源及び第２カメラの間の前記既知の空間関係とによって、前記バーチャルオブジェクトの少なくとも一部を照らすことを含む、請求項１６に記載のコンピュータ読み取り可能な記録媒体。
【請求項２０】
前記第１の光源を決定することは、
一般的な３次元フェイスモデル又は顔の３次元モデルである、３次元顔モデルの少なくとも一部を取得すること、
前記第１カメラが前記第１画像をキャプチャしたとき、前記第１カメラに対する顔のポーズを決定すること、
顔面領域及び前記３次元顔モデルの少なくとも一部に関連した強度情報によって、前記第１の光源を決定すること、
を含む、請求項１６に記載のコンピュータ読み取り可能な記録媒体。
【請求項２１】
前記第１の光源を決定することは、
複数の異なる既知の照明及びポーズにおいて、人間の顔に係る複数の画像の画像情報を取得すること、
複数の顔サンプルの位置を提供すること、
前記複数の画像のそれぞれに関して、前記顔サンプルの位置の少なくとも一部に係る画像の位置を決定すること、
前記複数の顔サンプルの位置のそれぞれに関して、前記複数の画像の少なくとも一部における画像の位置、及び、前記複数の画像の少なくとも一部に関係する前記照明及びポーズによって、放射輝度伝達関数を決定すること、
前記第１画像における顔面サンプル位置の少なくとも一部の画像位置を決定すること、
前記第１画像における顔面サンプル位置の少なくとも一部に係る画像位置に関連する強度情報、及び前記第１画像における顔面サンプル位置の少なくとも一部に関連する前記放射輝度伝達関数によって、前記第１の光源を決定すること、
を含む、請求項１６に記載のコンピュータ読み取り可能な記録媒体。
【請求項２２】
バックグラウンド領域としての前記第１画像における非顔画像領域の少なくとも一部を決定すること、
前記第１の光源を決定することとは異なった方法で、前記バックグラウンド領域に従い第２の光源を決定すること
決定された前記第１の光源及び前記第２の光源を用いながら前記バーチャルオブジェクトの前記照明を更新すること、
を実行するコンピュータコードを更に含む、請求項１６に記載のコンピュータ読み取り可能な記録媒体。