(57)【要約】  ３次元顔生成のための方法について説明する。深度マップと反転された第１の行列とに基づいて逆深度マップが計算される。反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される。逆深度マップは、画像矯正によって引き起こされた深度マップ中のひずみを補正するために正規化される。逆深度マップと２つの画像のうちの１つとに基づいて３次元顔モデルが生成される。【選択図】      図１
2016526742.tif 000002
【特許請求の範囲】
【請求項１】
深度マップと反転された第１の行列とに基づいて逆深度マップを計算することと、ここにおいて、前記反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される、
画像矯正によって引き起こされた前記深度マップ中のひずみを補正するために前記逆深度マップを正規化することと、
前記逆深度マップと前記２つの画像のうちの１つとに基づいて３次元顔モデルを生成することと
を備える、３次元顔生成のための方法。
【請求項２】
前記２つの画像のうちの第１の画像に対応する第１の行列を取得することと、
前記２つの画像のうちの第２の画像に対応する第２の行列を取得することと、
第１の矯正画像を取得するために前記第１の画像に前記第１の行列を適用することと、
第２の矯正画像を取得するために前記第２の画像に前記第２の行列を適用することと
をさらに備える、請求項１に記載の方法。
【請求項３】
前記第１の行列が、前記第１の画像に対応するホモグラフィ行列であり、前記第２の行列が、前記第２の画像に対応するホモグラフィ行列である、請求項２に記載の方法。
【請求項４】
前記逆深度マップを計算することが、
前記反転された第１の行列を取得するために前記第１の行列を反転させることと、
前記深度マップに前記反転された第１の行列を適用することと
を備える、請求項２に記載の方法。
【請求項５】
前記第１の矯正画像および前記第２の矯正画像から前記深度マップを決定することをさらに備える、請求項２に記載の方法。
【請求項６】
前記２つの画像からファンダメンタル行列を決定することをさらに備える、請求項２に記載の方法。
【請求項７】
前記第１の行列と前記第２の行列とを取得することが、前記ファンダメンタル行列を分解することを備える、請求項６に記載の方法。
【請求項８】
前記２つの画像が、人間の顔に対する異なるパースペクティブである、請求項１に記載の方法。
【請求項９】
前記逆深度マップを正規化することが、前記逆深度マップ中のピクセルのサブセットを正規化することを備える、請求項１に記載の方法。
【請求項１０】
前記逆深度マップを正規化することが、前記逆深度マップを回転すること、チルトすること、およびスケーリングすることのうちの１つを備える、請求項１に記載の方法。
【請求項１１】
前記逆深度マップをチルトすることが、
前記逆深度マップのサブセット選択中のピクセルの各列のための深度導関数を決定することと、
前記サブセット選択について、すべての前記深度導関数の平均値を決定することと、
前記平均値をしきい値と比較することと、
前記比較に基づいて前記逆深度マップをチルトすることと
を備える、請求項１０に記載の方法。
【請求項１２】
前記サブセット選択が矩形領域を備える、請求項１１に記載の方法。
【請求項１３】
前記サブセット選択が第１のエリアと第２のエリアとを備え、ここにおいて、比較することが、前記第１のエリアの前記平均値と前記第２のエリアの前記平均値との間の差をしきい値と比較することを備える、請求項１１に記載の方法。
【請求項１４】
前記逆深度マップを回転することが、
前記逆深度マップ中の対称特徴を検出することと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが水平方向に平らになるように前記逆深度マップを比例的に調整することと
を備える、請求項１０に記載の方法。
【請求項１５】
前記逆深度マップをスケーリングすることが、
前記逆深度マップ中の対称特徴を検出することと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが比例的に一様で、同じ深度レベルになるように、前記逆深度マップを調整することと
を備える、請求項１０に記載の方法。
【請求項１６】
プロセッサと、
前記プロセッサと電子通信しているメモリと、
前記メモリに記憶された命令と
を備え、前記命令は、
深度マップと反転された第１の行列とに基づいて逆深度マップを計算することと、ここにおいて、前記反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される、
画像矯正によって引き起こされた前記深度マップ中のひずみを補正するために前記逆深度マップを正規化することと、
前記逆深度マップと前記２つの画像のうちの１つとに基づいて３次元顔モデルを生成することと
を行うように実行可能である、３次元顔生成のための装置。
【請求項１７】
前記２つの画像のうちの第１の画像に対応する第１の行列を取得することと、
前記２つの画像のうちの第２の画像に対応する第２の行列を取得することと、
第１の矯正画像を取得するために前記第１の画像に前記第１の行列を適用することと、
第２の矯正画像を取得するために前記第２の画像に前記第２の行列を適用することと
を行うように実行可能な命令をさらに備える、請求項１６に記載の装置。
【請求項１８】
前記第１の行列が、前記第１の画像に対応するホモグラフィ行列であり、前記第２の行列が、前記第２の画像に対応するホモグラフィ行列である、請求項１７に記載の装置。
【請求項１９】
前記逆深度マップを計算するように実行可能である前記命令が、
前記反転された第１の行列を取得するために前記第１の行列を反転させることと、
前記深度マップに前記反転された第１の行列を適用することと
を行うように実行可能である命令を備える、請求項１７に記載の装置。
【請求項２０】
前記第１の矯正画像および前記第２の矯正画像から前記深度マップを決定するように実行可能な命令をさらに備える、請求項１７に記載の装置。
【請求項２１】
前記２つの画像からファンダメンタル行列を決定するように実行可能な命令をさらに備える、請求項１７に記載の装置。
【請求項２２】
前記第１の行列と前記第２の行列とを取得するように実行可能である前記命令が、前記ファンダメンタル行列を分解するように実行可能である命令を備える、請求項２１に記載の装置。
【請求項２３】
前記２つの画像が、人間の顔に対する異なるパースペクティブである、請求項１６に記載の装置。
【請求項２４】
前記逆深度マップを正規化するように実行可能である前記命令が、前記逆深度マップ中のピクセルのサブセットを正規化するように実行可能である命令を備える、請求項１６に記載の装置。
【請求項２５】
前記逆深度マップを正規化するように実行可能である前記命令が、前記逆深度マップを回転するように実行可能である命令、チルトするように実行可能である命令、およびスケーリングするように実行可能である命令のうちの１つを備える、請求項１６に記載の装置。
【請求項２６】
前記逆深度マップをチルトするように実行可能である前記命令が、
前記逆深度マップのサブセット選択中のピクセルの各列のための深度導関数を決定することと、
前記サブセット選択について、すべての前記深度導関数の平均値を決定することと、
前記平均値をしきい値と比較することと、
前記比較に基づいて前記逆深度マップをチルトすることと
を行うように実行可能である命令を備える、請求項２５に記載の装置。
【請求項２７】
前記サブセット選択が矩形領域を備える、請求項２６に記載の装置。
【請求項２８】
前記サブセット選択が第１のエリアと第２のエリアとを備え、ここにおいて、比較するように実行可能である前記命令が、前記第１のエリアの前記平均値と前記第２のエリアの前記平均値との間の差をしきい値と比較するように実行可能である命令を備える、請求項２６に記載の装置。
【請求項２９】
前記逆深度マップを回転するように実行可能である前記命令は、
前記逆深度マップ中の対称特徴を検出することと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが水平方向に平らになるように前記逆深度マップを比例的に調整することと
を行うように実行可能である命令を備える、請求項２５に記載の装置。
【請求項３０】
前記逆深度マップをスケーリングするように実行可能である前記命令は、
前記逆深度マップ中の対称特徴を検出することと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが比例的に一様で、同じ深度レベルになるように、前記逆深度マップを調整することと
を行うように実行可能である命令を備える、請求項２５に記載の装置。
【請求項３１】
深度マップと反転された第１の行列とに基づいて逆深度マップを計算するための手段と、ここにおいて、前記反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される、
画像矯正によって引き起こされた前記深度マップ中のひずみを補正するために前記逆深度マップを正規化するための手段と、
前記逆深度マップと前記２つの画像のうちの１つとに基づいて３次元顔モデルを生成するための手段と
を備える、３次元顔生成のための装置。
【請求項３２】
前記逆深度マップを正規化するための前記手段が、前記逆深度マップ中のピクセルのサブセットを正規化するための手段を備える、請求項３１に記載の装置。
【請求項３３】
前記逆深度マップを正規化するための前記手段が、前記逆深度マップを回転するための手段、チルトするための手段、およびスケーリングするための手段のうちの１つを備える、請求項３１に記載の装置。
【請求項３４】
前記逆深度マップをチルトするための前記手段が、
前記逆深度マップのサブセット選択中のピクセルの各列のための深度導関数を決定するための手段と、
前記サブセット選択について、すべての前記深度導関数の平均値を決定するための手段と、
前記平均値をしきい値と比較するための手段と、
前記比較に基づいて前記逆深度マップをチルトするための手段と
を備える、請求項３３に記載の装置。
【請求項３５】
前記サブセット選択が第１のエリアと第２のエリアとを備え、ここにおいて、比較するための前記手段が、前記第１のエリアの前記平均値と前記第２のエリアの前記平均値との間の差をしきい値と比較するための手段を備える、請求項３４に記載の装置。
【請求項３６】
前記逆深度マップを回転するための前記手段が、
前記逆深度マップ中の対称特徴を検出するための手段と、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが水平方向に平らになるように前記逆深度マップを比例的に調整するための手段と
を備える、請求項３３に記載の装置。
【請求項３７】
命令をその上に有する非一時的コンピュータ可読媒体を備える、３次元顔生成のためのコンピュータプログラム製品であって、前記命令は、
電子デバイスに、深度マップと反転された第１の行列とに基づいて逆深度マップを計算させるためのコードと、ここにおいて、前記反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される、
前記電子デバイスに、画像矯正によって引き起こされた前記深度マップ中のひずみを補正するために前記逆深度マップを正規化させるためのコードと、
前記電子デバイスに、前記逆深度マップと前記２つの画像のうちの１つとに基づいて３次元顔モデルを生成させるためのコードと
を備える、コンピュータプログラム製品。
【請求項３８】
前記電子デバイスに前記逆深度マップを正規化させるための前記コードが、前記電子デバイスに、前記逆深度マップ中のピクセルのサブセットを正規化させるためのコードを備える、請求項３７に記載のコンピュータプログラム製品。
【請求項３９】
前記電子デバイスに前記逆深度マップを正規化させるための前記コードが、前記電子デバイスに前記逆深度マップを回転させるためのコード、チルトさせるためのコード、およびスケーリングさせるためのコードのうちの１つを備える、請求項３７に記載のコンピュータプログラム製品。
【請求項４０】
前記電子デバイスに前記逆深度マップをチルトさせるための前記コードが、
前記電子デバイスに、前記逆深度マップのサブセット選択中のピクセルの各列のための深度導関数を決定させるためのコードと、
前記電子デバイスに、前記サブセット選択について、すべての前記深度導関数の平均値を決定させるためのコードと、
前記電子デバイスに、前記平均値をしきい値と比較させるためのコードと、
前記電子デバイスに、前記比較に基づいて前記逆深度マップをチルトさせるためのコードと
を備える、請求項３９に記載のコンピュータプログラム製品。
【請求項４１】
前記サブセット選択が第１のエリアと第２のエリアとを備え、ここにおいて、比較することが、前記第１のエリアの前記平均値と前記第２のエリアの前記平均値との間の差をしきい値と比較することを備える、請求項４０に記載のコンピュータプログラム製品。
【請求項４２】
前記電子デバイスに前記逆深度マップを回転させるための前記コードは、
前記電子デバイスに、前記逆深度マップ中の対称特徴を検出させるためのコードと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記電子デバイスに、前記左特徴と前記右特徴とが水平方向に平らになるように前記逆深度マップを比例的に調整させるためのコードと
を備える、請求項３９に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本開示は、一般に電子デバイスに関する。より詳細には、本開示は、３次元（３Ｄ：three-dimensional）顔モデルを生成するためのシステムおよび方法に関する。
【背景技術】
【０００２】
[0002]最近の数十年で、電子デバイスの使用が一般的になった。特に、電子技術の進歩は、ますます複雑で有用になる電子デバイスのコストを低減した。コスト低減および消費者需要により、電子デバイスが現代社会において事実上ユビキタスであるほど電子デバイスの使用が激増した。電子デバイスの使用が拡大するにつれて、電子デバイスの新しい改善された特徴に対する需要も拡大した。より詳細には、新しい機能を実行する、ならびに／あるいはより高速に、より効率的に、またはより高品質で機能を実行する、電子デバイスがしばしば求められる。
【０００３】
[0003]いくつかの電子デバイス（たとえば、カメラ、ビデオカムコーダ、デジタルカメラ、セルラーフォン、スマートフォン、コンピュータ、テレビジョンなど）は画像をキャプチャまたは利用する。たとえば、デジタルカメラはデジタル画像をキャプチャし得る。
【０００４】
[0004]電子デバイスの新しいおよび／または改善された特徴がしばしば求められる。この説明からわかるように、電子デバイスの新しいおよび／または改善された特徴を追加するシステムおよび方法が有益であり得る。
【図面の簡単な説明】
【０００５】
【図１】[0005]３次元（３Ｄ）顔モデルを生成するための構成要素を示すブロック図。
【図２】[0006]逆深度マップ（inverse depth map）を生成するためのプロセスを示す図。
【図３】[0007]３Ｄ顔モデルを生成するための方法を示す流れ図。
【図４】[0008]２つのチルトした画像を示す図。
【図５】[0009]３Ｄ顔モデルを生成するための別の方法を示す流れ図。
【図６】[0010]逆深度マップをチルトするための方法を示す流れ図。
【図７】[0011]逆深度マップを正規化するためのプロセスを示す図。
【図８】[0012]３Ｄ顔モデルを生成するための別の方法を示す流れ図。
【図９】[0013]逆深度マップを正規化するための方法を示す流れ図。
【図１０】[0014]電子デバイス内に含まれ得るいくつかの構成要素を示す図。
【発明の概要】
【０００６】
[0015]３次元顔生成のための方法について説明する。深度マップと反転された第１の行列とに基づいて逆深度マップが計算される。反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される。逆深度マップは、画像矯正（image rectification）によって引き起こされた深度マップ中のひずみを補正するために正規化される。逆深度マップと２つの画像のうちの１つとに基づいて３次元顔モデルが生成される。
【０００７】
[0016]２つの画像のうちの第１の画像に対応する第１の行列が取得され得る。２つの画像のうちの第２の画像に対応する第２の行列が取得され得る。第１の行列は、第１の矯正画像を取得するために第１の画像に適用され得る。第２の行列は、第２の矯正画像を取得するために第２の画像に適用され得る。第１の行列は、第１の画像に対応するホモグラフィ行列（homographic matrix）であり得、第２の行列は、第２の画像に対応するホモグラフィ行列であり得る。
【０００８】
[0017]逆深度マップを計算することは、反転された第１の行列を取得するために第１の行列を反転させることと、深度マップに反転された第１の行列を適用することとを含み得る。深度マップは、第１の矯正画像および第２の矯正画像から決定され得る。２つの画像からファンダメンタル行列（fundamental matrix）が決定され得る。第１の行列と第２の行列とを取得することは、ファンダメンタル行列を分解することを含み得る。
【０００９】
[0018]２つの画像は、人間の顔に対する異なるパースペクティブであり得る。逆深度マップを正規化することは、逆深度マップ中のピクセルのサブセットを正規化することを含み得る。逆深度マップを正規化することは、逆深度マップを回転すること、チルトすることおよびスケーリングすることのうちの１つを含み得る。
【００１０】
[0019]逆深度マップをチルトすることは、逆深度マップのサブセット選択中のピクセルの各列のための深度導関数（depth derivative）を決定することと、サブセット選択について、すべての深度導関数の平均値を決定することと、平均値をしきい値と比較することと、比較に基づいて逆深度マップをチルトすることとを含み得る。サブセット選択は矩形領域を含み得る。サブセット選択は第１のエリアと第２のエリアとを含み得る。平均値をしきい値と比較することはまた、第１のエリアの平均値と第２のエリアの平均値との間の差をしきい値と比較することを含み得る。
【００１１】
[0020]逆深度マップを回転することは、逆深度マップ中の対称特徴（symmetrical feature）を検出することと、対称特徴が左特徴と右特徴とを有し、左特徴と右特徴とが水平方向に平らになるように逆深度マップを比例的に調整することとを含み得る。
【００１２】
[0021]逆深度マップをスケーリングすることは、逆深度マップ中の対称特徴を検出することと、対称特徴が左特徴と右特徴とを有し、左特徴と右特徴とが比例的に一様で、同じ深度レベルになるように、逆深度マップを調整することとを含み得る。
【００１３】
[0022]３次元顔生成のための装置についても説明する。本装置は、プロセッサと、プロセッサと電子通信しているメモリに記憶された実行可能な命令とを含む。本装置は、深度マップと反転された第１の行列とに基づいて逆深度マップを計算する。反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される。本装置はまた、画像矯正によって引き起こされた深度マップ中のひずみを補正するために逆深度マップを正規化する。本装置はさらに、逆深度マップと２つの画像のうちの１つとに基づいて３次元顔モデルを生成する。
【００１４】
[0023]３次元顔生成のための別の装置について説明する。本装置は、深度マップと反転された第１の行列とに基づいて逆深度マップを計算するための手段を含む。反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される。本装置はまた、画像矯正によって引き起こされた深度マップ中のひずみを補正するために逆深度マップを正規化するための手段を含む。本装置はさらに、逆深度マップと２つの画像のうちの１つとに基づいて３次元顔モデルを生成するための手段を含む。
【００１５】
[0024]３次元顔生成のためのコンピュータプログラム製品について説明する。本コンピュータプログラム製品は、命令をその上に有する非一時的コンピュータ可読媒体を含む。命令は、電子デバイスに、深度マップと反転された第１の行列とに基づいて逆深度マップを計算させるためのコードを含む。反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される。命令はまた、電子デバイスに、画像矯正によって引き起こされた深度マップ中のひずみを補正するために逆深度マップを正規化させるためのコードを含む。命令はさらに、電子デバイスに、逆深度マップと２つの画像のうちの１つとに基づいて３次元顔モデルを生成させるためのコードを含む。
【発明を実施するための形態】
【００１６】
[0025]３次元（３Ｄ）顔モデルは、バーチャルリアリティおよび顔認識など、様々なアプリケーションのために使用され得る。３Ｄモデルは、２次元（２Ｄ：two-dimensional）画像のセットから生成され得る。たとえば、顔の画像を表示する２Ｄピクチャのセットが、顔の３Ｄレンダリングを作成するために使用され得る。たとえば、電話によってキャプチャされた２つの画像を使用する３Ｄ顔モデル再構成は、スタジオ環境と比較して低コストソリューションを与え得る。
【００１７】
[0026]１つの知られている手法では、３Ｄ顔モデルは２つのステレオ画像から構成される。この手法では、カメラ較正は必要でない。しかし、この手法は、深度を直接推定するためにエピポーラ幾何学（epipolar geometry）を使用する。２つの画像間の対応するエピポーラ線を見つけるために、それは、顔画像がホワイトボードの前で撮られることを必要とする。ホワイトボード上に、黒い矩形が含まれなければならず、黒い矩形は、その中にターゲット顔の高さが収まるように配置される。この手法では、画像は、矩形の四隅の極端な色について手動でハンドコーディングされなければならない。したがって、この手法は、限られた適用例を有し、かなりのユーザ対話を必要とする。
【００１８】
[0027]他の知られているステレオカメラベース３Ｄ顔再構成手法では、ステレオカメラハードウェアおよびカメラは較正を必要とする。カメラ較正は複雑でコストと時間がかかることがあり、それはかなりのユーザ対話を必要とし得る。
【００１９】
[0028]別の知られている手法では、一般的顔モデルといくつかの２Ｄ顔画像とが３Ｄ顔を構成するために使用される。顔の特徴がマッチされ（matched）、一般的顔モデルがこれらの特徴点に適合される。次いで、顔深度の構造が計算される。しかし、この手法は、一般的顔モデルのアーキテクチャ、顔の特徴検出などに依存する。この手法は被写体の自然な顔をキャプチャしないことがある。言い換えれば、この手法は、被写体の顔を一般的顔モデルに適用する際に被写体の顔をひずませることがある。
【００２０】
[0029]同様に、単一のビューカメラを用いた３Ｄ顔再構成を伴う別の知られている手法では、顔は、単一の２Ｄ画像を使用して３Ｄ構造に再構成される。この手法は、例示的なパッチを含んでいるオブジェクト（たとえば、顔モデル）のデータベースを採用する。この手法では、実際に使用されるデータセットは、正確な再構成のためのクエリと十分に類似したオブジェクトの存在を保証しない。
【００２１】
[0030]しかしながら、多くの現在の３Ｄ画像生成方法は、３Ｄ顔モデルとしてレンダリングされたときに被写体の顔にひずみを引き起こす画像矯正プロセスを使用する。画像矯正は、概して、２Ｄ画像のペア間の対応する点のセットの検出とマッチングとを含む。この手法の下で、矯正画像はゆがんでひずんだままになる。他の手法では、画像矯正によって引き起こされたひずみをなくすために手動修正および補正が必要とされる。
【００２２】
[0031]したがって、本システムおよび方法は、たとえば、単一のカメラによって撮られた２つの２Ｄ画像から３Ｄ顔モデルを自動的に生成するための改善された方法および構成を提供し得る。いくつかの構成では、最小限のユーザ対話を用いて画像ひずみを自動的に補正するために、逆行列が採用され得る。いくつかの構成では、回転、チルティングおよびスケーリングが画像ひずみを補正し得る。３Ｄ顔生成と３Ｄ顔モデルを生成することとのためのシステムおよび方法について以下でより詳細に説明する。
【００２３】
[0032]図１は、３Ｄ顔モデルを生成するための構成要素を示す方法１００のブロック図である。各構成要素はハードウェアまたはソフトウェアで実装され得る。たとえば、図１は電子デバイス（図示せず）上に実装され得る。電子デバイスの例としては、ラップトップまたはデスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレスデバイス、電子リーダー、タブレットデバイス、ゲームシステムなどがある。これらのデバイスのうちのいくつかは、１つまたは複数の業界規格に従って動作し得る。
【００２４】
[0033]図１中の構成要素は、画像受信機１０２、特徴検出器／マッチャ（detector/matcher）１０４、ファンダメンタル行列推定器１０６、ホモグラフィ行列デコンポーザ（decomposer）１０８、画像レクティファイヤ（rectifier）１１０、深度推定器１１２および３Ｄ顔モデラ１１４を含む。図１はまた、ホモグラフィ行列インバータ１１６、逆深度マップ計算器１１８、逆深度マップ正規化器１２０および対称特徴検出器１２２を示している。構成要素は、単一のデバイス上に実装され得るか、または複数のデバイス上に実装され得る。これらの構成要素の各々について、以下でより詳細に説明する。
【００２５】
[0034]画像受信機１０２は、被写体の顔の２つの画像（たとえば、生データ）のセットを受信し得る。２つの画像は、顔に対する異なるパースペクティブであり得る。言い換えれば、それらの画像は、２つの画像中のピクセルが垂直方向および水平方向に異なるような画像であり得る。一構成では、画像受信機１０２は、２つのピクチャを撮る単一のカメラであり得る。第１のピクチャと第２のピクチャとは同じ水平レベルにおいて撮られ得るが、カメラは、水平軸に沿って左または右にわずかに移動または回転され、したがって、わずかに異なる画像を生成し得る。
【００２６】
[0035]別の構成では、画像受信機１０２は、外部デバイスから入力された画像を受信するモジュールであり得る。たとえば、画像受信機１０２は、電子デバイス上に実装され、カメラフォンまたはタブレットデバイスによって撮られた画像を受信し得る。いくつかの構成では、画像受信機１０２は、画像のセットをキャプチャする同じ電子デバイス上にあり得る。
【００２７】
[0036]特徴検出器／マッチャ１０４は、第１の画像のピクセルを第２の画像の対応するピクセルと相関させ得る。たとえば、特徴検出器／マッチャ１０４は、２つの画像の各々中の、眼、鼻、口などの顔の特徴を検出し、第１の画像中の１つの特徴からのピクセルを第２の画像中の同じ特徴の対応するピクセルにマッチさせ得る。
【００２８】
[0037]ファンダメンタル行列推定器１０６はファンダメンタル行列（Ｈ）を生成し得る。ファンダメンタル行列は、ステレオ画像、たとえば、２つの画像のセット中の対応する点に関係する３×３行列であり得る。ファンダメンタル行列は、２つの画像間のいくつかのマッチした特徴、点またはピクセルに基づいて推定され得る。概して、ファンダメンタル行列は、少なくとも７つの対応する点に基づいて推定され得るが、より多いまたはより少ない対応する点が、ファンダメンタル行列を推定する際に採用され得る。
【００２９】
[0038]いくつかの構成では、行列推定器は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から別のタイプの行列を生成し得る。言い換えれば、ファンダメンタル行列以外の、２つのステレオ画像から生成された別のタイプの行列が使用され得る。
【００３０】
[0039]ホモグラフィ行列デコンポーザ１０８は、ファンダメンタル行列から、たとえば、３×３ホモグラフィ行列など、１つまたは複数のホモグラフィ（すなわち、射影変換）行列を分解し得る。ホモグラフィ行列は、２つの画像間のカメラの回転および変換情報を与え得る。第１のホモグラフィ行列（ＰL）と第２のホモグラフィ行列（ＰR）など、ホモグラフィ行列のペアがファンダメンタル行列から分解され得る。第１のホモグラフィ行列は第１の画像に対応し得、第２のホモグラフィ行列は第２の画像に対応し得る。
【００３１】
[0040]画像レクティファイヤ１１０は、２つの画像を共通画像面上に射影することによって２つの画像を矯正し得る。たとえば、画像レクティファイヤ１１０は、第１の画像に第１のホモグラフィ行列を適用し、第２の画像に第２のホモグラフィ行列を適用し得る。画像レクティファイヤ１１０は矯正画像（たとえば、第１の矯正画像および第２の矯正画像）を生成し得る。いくつかの構成では、画像レクティファイヤ１１０は、対応する点が同じ行座標を有するように、光学的中心間の線に平行な共通画像面上にステレオ画像を射影する。このようにして、２Ｄステレオ対応に関連する問題は１次元（１Ｄ：one dimensional）問題に還元される。
【００３２】
[0041]深度推定器１１２は深度マップを決定し得る。深度マップは、カメラなどの視点からのシーンオブジェクトの表面の距離に関係する情報を含む画像または画像チャネルであり得る。深度マップは、２つの矯正画像間の深度の差を示す深度値を与え得る。深度推定器１１２は、２つの矯正画像のセットから深度マップを生成し得る。
【００３３】
[0042]３Ｄ顔モデラ１１４は、深度マップと２つの画像のうちの１つとに基づいて３Ｄ顔モデルを生成し得る。たとえば、３Ｄ顔モデラ１１４は、画像中の検出された特徴を深度マップと整合させ得る。いくつかの構成では、３Ｄ顔モデラ１１４は、３Ｄ顔モデルを生成する際に逆深度マップを採用し得る。
【００３４】
[0043]ホモグラフィ行列インバータ１１６はホモグラフィ行列を反転させ得る。ホモグラフィ行列インバータ１１６は、たとえば、３×３の反転されたホモグラフィ行列など、反転されたホモグラフィ行列を取得するためにホモグラフィ行列を逆にし得る。ホモグラフィ行列インバータ１１６は、反転された第１のホモグラフィ行列（ＰL-1）と、反転された第２のホモグラフィ行列（ＰR-1）とを取得し得る。
【００３５】
[0044]逆深度マップ計算器１１８は逆深度マップを計算またはマッピングし得る。たとえば、逆深度マップ計算器１１８は、逆深度マップを取得するために、深度マップを反転されたホモグラフィ行列にマッピングし得る。逆深度マップは、画像矯正によって引き起こされた深度マップ中の一部のひずみを補正し得る。
【００３６】
[0045]逆深度マップ正規化器１２０は逆深度マップを調整し、正規化し得る。正規化は、逆深度マップをチルトすること、回転すること、スケーリングすることなどを含み得る。たとえば、逆深度マップ正規化器１２０は、逆深度マップ中のひずみを検出し得、それに応じて調整を実行し得る。いくつかの構成では、逆深度マップ正規化器１２０は逆深度マップ中のピクセルのサブセットを調整し得る。いくつかの構成では、逆深度マップ正規化器１２０は反転されていない深度マップを正規化し得る。言い換えれば、逆深度マップ正規化器１２０は深度マップ２４２を直接正規化し得る。
【００３７】
[0046]対称特徴検出器１２２は、人間の顔などの画像中の対称特徴を検出し得る。たとえば、対称特徴検出器１２２は、眼、耳、唇、鼻、額領域、頬、眼鏡、眉などの対称特徴を検出し得る。
【００３８】
[0047]図１に示された構成要素は３Ｄ顔モデルを生成し得る。たとえば、顔の２つのステレオ画像が与えられれば、深度マップが推定され得、深度マップの背景部分が平坦面として設定され得る。既知の深度値を用いて、顔点の３Ｄ座標が計算され得、３Ｄ顔が３Ｄ顔モデルとして再構成され得る。
【００３９】
[0048]１つの手法では、画像受信機１０２は画像のセットを受信し得る。画像のセットは、第１の画像および第２の画像、左画像および右画像、上画像および下画像、２つのステレオ画像などを含み得る。画像のセット中の２つの画像は、垂直方向に整合するが、水平方向に異なる、対応するピクセルを含み得る。いくつかの構成では、２つの画像間のピクセルは、垂直方向にではなく、水平方向に整合し得る。
【００４０】
[0049]画像受信機１０２は画像のセットを特徴検出器／マッチャ１０４に与え得る。たとえば、画像受信機１０２は、ワイヤード接続上で、ワイヤレスに、または記憶媒体を介して画像を送り得る。
【００４１】
[0050]特徴検出器／マッチャ１０４は、２つの画像中の対応する特徴を識別し得、対応する画像を互いにマッチさせ得る。特徴マッチングの例を図２に示し、以下で説明する。
【００４２】
[0051]特徴検出器／マッチャ１０４は、相関するマッチした画像をファンダメンタル行列推定器１０６に与え得る。一定数のピクセルがマッチされると、特徴検出器／マッチャ１０４はこのデータをファンダメンタル行列推定器１０６に与え得る。
【００４３】
[0052]ファンダメンタル行列推定器１０６は、相関する画像に基づいてファンダメンタル行列（Ｈ）を推定し得る。ファンダメンタル行列は、次いで、２つのホモグラフィ行列（ＰLおよびＰR）を取得するためにホモグラフィ行列デコンポーザ１０８によって分解され得る。言い換えれば、ステレオ画像を矯正するための射影変換行列ＰLおよびＰRが、ファンダメンタル行列Ｈに基づいて計算され得る。
【００４４】
[0053]画像レクティファイヤ１１０は、第１の画像および第２の画像を矯正するためにホモグラフィ行列行列ＰLおよびＰRを使用し得る。たとえば、第１のホモグラフィ行列ＰLは、第１の矯正画像を生成するために左画像にマッピングされ得、第２のホモグラフィ行列ＰRは、第２の矯正画像を生成するために右画像にマッピングされ得る。
【００４５】
[0054]次に、画像矯正プロセスの一例を与える。一構成では、画像矯正は、特徴検出器／マッチャ１０４によって２つの画像間の対応する点のセットを検出し、マッチさせることを含む。正しくマッチした点が、ＸRTＨＸL＝０であるように、ファンダメンタル行列推定器１０６によってファンダメンタル行列Ｈを計算するために使用され、ただし、ＸLは左画像中の点（たとえば、ピクセル）であり、ＸRは右画像中の対応する点（たとえば、ピクセル）である。言い換えれば、ＸLおよびＸRは、［ｘ，ｙ，１］フォーマットで３Ｄ列ベクトルとして書かれ得る２Ｄ点をそれぞれ表し得る。Ｔは行列転置を表し得る。したがって、３Ｄ列ベクトルが転置されたとき、結果は［ｘ，ｙ，１］として書かれた３Ｄ行ベクトルになる（たとえば、列ベクトル［ｘ，ｙ，１］T＝行ベクトル［ｘ，ｙ，１］である）。
【００４６】
[0055]この構成では、ＰLおよびＰRは、ホモグラフィ行列デコンポーザ１０８によって３×３ファンダメンタル行列Ｈから分解された３×３行列である。ＰLおよびＰRが与えられれば、画像レクティファイヤ１１０は２つの画像に対して２Ｄ射影変換を適用する。ここで、画像を矯正することは、Ｘ＝［ｘ，ｙ，１］Tとして書かれる生データピクセルからの各画像ピクセル（Ｘ）を、ＸL’＝ＰLＸLまたはＸR＝ＰRＸRとして書かれる矯正画像ピクセルに変更する。さらに、この構成では、カメラ内因性および外因性パラメータは必要でない。
【００４７】
[0056]しかしながら、この構成では、２つのステレオ矯正画像が共通回転の下でステレオ矯正されるので、ホモグラフィ行列ＰLおよびＰRのペアは一意ではない。言い換えれば、ホモグラフィ行列ＰLおよびＰRのペアは、共通ベースラインの周りを回転される、２つの画像間の差に基づく、共通回転を共有する。その結果、矯正画像への望ましくないひずみ、特に歪度とアスペクト／スケールひずみとが導入されることがある。このひずみの一例を以下で図２に示し、説明する。
【００４８】
[0057]画像のセットが矯正されると、２つの矯正画像は、深度マップを決定するために深度推定器１１２によって使用され得る。言い換えれば、再構成されたステレオ画像が与えられれば、深度再構成が決定され得る。しかし、矯正画像がひずんでいる場合、深度マップは同様にひずんでいることがある。したがって、この手法の下で、画像矯正は深度マップ中の望ましくないひずみを引き起こし、これは、補正されない場合、ひずんだ３Ｄ顔モデルをもたらすことがある。
【００４９】
[0058]画像矯正によって引き起こされた深度マップ中のひずみを補正するために、逆深度マップ計算器１１８によって逆深度マップが生成され得る。逆深度マップ計算器１１８は、深度推定器１１２から深度マップを取得し、ホモグラフィ行列インバータ１１６から反転されたホモグラフィ行列を取得し得る。ホモグラフィ行列インバータ１１６は、上記で説明したように、ホモグラフィ行列デコンポーザ１０８から取得されたホモグラフィ行列を反転させ得る。
【００５０】
[0059]逆深度マップ計算器１１８は、逆深度マップを生成するために、深度マップを反転されたホモグラフィ行列にマッピングし得る。たとえば、２つの矯正ステレオ画像から推定された深度マップ（Ｍ）が与えられれば、Ｍは、ＰLまたはＰRなどの逆行列を適用することによって、元の画像のうちの１つに逆にマッピングされ得る。この例では、ｍ＝［ｘ，ｙ，ｚ］Tとして書かれるＭ中のピクセル（ｍ）は、ｍ’＝ＰL-1ｍとして書かれる新しいピクセル（ｍ’）になる。したがって、逆マッピングの後、逆深度マップ（Ｍ’）の一部としてｍ’＝［ｘ’，ｙ’，ｚ’］である。上記の例では、ｚは深度マップ中のピクセル値を表し、ｚ’は逆深度マップ中のピクセル値を表す。
【００５１】
[0060]深度マップを反転させることは、画像矯正プロセスによって引き起こされた深度マップ中のひずみを部分的に補正し得る。たとえば、歪度とアスペクト／スケールひずみとが補正され得る。画像矯正プロセスによって引き起こされた深度マップ中のひずみを部分的に補正することに加えて、深度マップ／逆深度マップに対する正規化が逆深度マップ正規化器１２０によって実行され得る。正規化は、３Ｄ顔モデルが不適切にチルト、回転および／またはスケーリングされるのを防ぐために、逆深度マップを補正し得る。たとえば、正規化されたピクセルは［ｘa，ｙa］として書かれ得、ただし、ｘa＝ｘ’／ｚ’であり、ｙa＝ｙ’／ｚ’である。したがって、正規化の後、深度マップは元の画像と同じ面上にあり得る。さらに、２Ｄ面上のひずみが除去され得る。
【００５２】
[0061]逆深度マップ正規化器１２０は対称特徴検出器１２２から入力を受信し得る。たとえば、対称特徴検出器１２２は、検出された対称特徴およびパターンを逆深度マップ正規化器１２０に送り得る。逆深度マップ正規化器１２０は、検出された対称特徴が正しく比例することを保証するために調整を実行するために、検出された対称特徴を使用し得る。画像正規化に関するさらなる詳細について以下でより詳細に説明する。
【００５３】
[0062]逆深度マップが補正され、正規化されると、３Ｄ顔モデラ１１４が３Ｄ顔モデルを生成し得る。３Ｄ顔モデラ１１４は、逆深度マップ上の対応する点に対して、対称特徴検出器１２２から送られた検出された特徴を適用して、元の画像のうちの１つを逆深度マップにマッピングし得る。
【００５４】
[0063]本明細書で提示するシステムおよび方法によれば、画像矯正中の望ましくないひずみを低減するために、深度マップを反転させ、顔固有特性に基づいて逆深度マップを修正することが有益であり得る。詳細には、既存の手法は、前にディスクライしたように、画像矯正プロセスにおいて画像ひずみを引き起こし、かなりのユーザ対話をしばしば必要とする。本明細書で提示するシステムおよび方法は、画像矯正プロセスにおいて導入されたひずみを部分的になくすために深度マップを反転させることによって、既存の方法を改善する。３Ｄ顔モデルの品質を改善するために、顔固有特性に基づいて逆深度マップを修正し、正規化することによって、さらなる補正が適用される。その上、本明細書で提示するシステムおよび方法は最小限のユーザ対話を必要とする。
【００５５】
[0064]図２に、逆深度マップ２４２を生成するためのプロセス２００を示す。プロセス２００はハードウェアまたはソフトウェアで実装され得る。たとえば、プロセス２００は電子デバイス上で実装され得る。いくつかの構成では、プロセス２００は、図１に関して説明した構成要素に対応し得る。
【００５６】
[0065]図２は第１の画像２３０と第２の画像２３２とを示している。第１の画像２３０と第２の画像２３２とはステレオ画像のセットを構成し得る。たとえば、２つの画像は、異なる視点から撮られた単一の顔であり得る。いくつかの構成では、顔以外のオブジェクトが使用され得る。
【００５７】
[0066]いくつかの構成では、３つ以上の画像が採用され得る。たとえば、垂直方向ピクセルがすべて整合した、任意の数の画像が使用され得る。画像は画像受信機１０２に与えられ得る。
【００５８】
[0067]異なる視点からの人間の顔の撮られた２つの画像（たとえば、第１の画像２３０および第２の画像２３２）が与えられれば、生の較正されていないステレオ画像は矯正され得る。２つの画像を矯正する際に、最初に第１の画像２３０が第２の画像２３２と相関され、合成相関画像２３４が生じる。たとえば、特徴検出器／マッチャ１０４が、第１の画像２３０と第２の画像２３２とを検出し、マッチさせ得る。次いで、ファンダメンタル行列推定器１０６が、合成相関画像２３４に示されているように、マッチした点の線形射影に基づいてファンダメンタル行列を計算し得る。
【００５９】
[0068]第１の画像２３０および第２の画像２３２は、第１の矯正画像２３６および第２の矯正画像２３８を生成するために合成相関画像２３４を介して使用され得る。たとえば、画像レクティファイヤ１１０が、上記で説明したように画像矯正プロセスの一部を実行し得る。第１の矯正画像２３６および第２の矯正画像２３８は、図２に示されているように、画像矯正プロセス中にひずむことがある。
【００６０】
[0069]深度マップ２４０は、第１の矯正画像２３６および第２の矯正画像２３８から決定され得る。たとえば、深度推定器１１２が深度マップ２４０を生成し得る。深度マップ２４０は、第１の矯正画像２３６および第２の矯正画像２３８がひずんでいることの結果としてひずんでいることがある。
【００６１】
[0070]このひずみを補正するために、逆深度マップ２４２が計算され得る。たとえば、逆深度マップ計算器１１８が逆深度マップ２４２を計算し得る。逆深度マップ２４２は、深度マップ２４０に反転されたホモグラフィ行列（たとえば、ＰL-1またはＰR-1）を適用することによって計算され得る。図２に示されているように、逆深度マップ２４２は、画像矯正によって引き起こされた深度マップ２４０中の歪度などのひずみを補正し得る。
【００６２】
[0071]図３は、３Ｄ顔モデルを生成するための方法３００を示す流れ図である。方法３００はハードウェアまたはソフトウェアで実装され得る。たとえば、方法３００は電子デバイス上で実装され得る。電子デバイスは、３０２において、第１の画像２３０および第２の画像２３２など、２つの画像を取得する。２つの画像は、画像受信機１０２によって受信された２つのステレオ画像であり得る。
【００６３】
[0072]電子デバイスは、３０４において、第１の画像２３０および第２の画像２３２からファンダメンタル行列を決定する。ファンダメンタル行列（Ｈ）は、２つのステレオ画像中の対応する点を追跡する３×３行列であり得る。ファンダメンタル行列は、合成相関画像２３４に基づいてファンダメンタル行列推定器１０６によって生成され得る。
【００６４】
[0073]電子デバイスは、３０６において、ファンダメンタル行列から、第１の画像２３０に対応する第１の行列を分解し得る。電子デバイスはまた、３０６において、ファンダメンタル行列から、第２の画像２３２に対応する第２の行列を分解し得る。たとえば、第１の行列および第２の行列は、上記で説明したように、それぞれホモグラフィ行列ＰLおよびＰRであり得る。いくつかの構成では、第１の行列および第２の行列は、それぞれＰRおよびＰL、または何らかの他の行列であり得る。いくつかの構成では、第１および第２の行列はホモグラフィ行列デコンポーザ１０８によって分解され得る。
【００６５】
[0074]電子デバイスは、３０８において、第１の矯正画像２３６を取得するために第１の画像２３０に第１の行列を適用する。電子デバイスは、３０８において、第２の矯正画像２３８を取得するために第２の画像２３２に第２の行列を適用する。たとえば、画像レクティファイヤ１１０は、第１の矯正画像２３６を生成するために、第１の行列を第１の画像２３０にマッピングまたは射影し得る。第２の矯正画像２３８は同様に生成され得る。画像矯正中にひずみが導入されることがある。
【００６６】
[0075]電子デバイスは、３１０において、第１の矯正画像２３６および第２の矯正画像２３８から深度マップ２４０を決定する。深度マップ２４０は深度推定器１１２によって決定され得る。第１の矯正画像２３６および第２の矯正画像２３８がひずんでゆがんでいる場合、深度マップ２４０もひずんでゆがんでいる可能性がある。深度マップ２４０は、第１の矯正画像２３６と第２の矯正画像２３８とに基づいて深度の差を示す深度値を与え得る。
【００６７】
[0076]電子デバイスは、３１２において、逆深度マップ２４２を計算する。逆深度マップ２４２は、第１の行列（または第２の行列）を反転させることと、深度マップ２４０に反転された行列を適用することとによって計算され得る。たとえば、逆深度マップ計算器１１８がこれらの計算を実行し得る。反転された第１の行列または反転された第２の行列は、ＰL-1またはＰR-1などの反転されたホモグラフィ行列であり得る。ホモグラフィ行列インバータ１１６が、逆深度マップ２４２を取得するために、反転された第１の行列または反転された第２の行列を逆深度マップ計算器１１８に与え得る。
【００６８】
[0077]電子デバイスは、３１４において、画像矯正によって引き起こされた深度マップ中のひずみを補正するために逆深度マップ２４２を正規化する。たとえば、逆深度マップ正規化器１２０がひずみを調整し得る。正規化に関するさらなる詳細について以下でより詳細に説明する。
【００６９】
[0078]電子デバイスは、３１６において、逆深度マップ２４２と２つの画像のうちの１つ（たとえば、第１の画像２３０または第２の画像２３２）とに基づいて３Ｄ顔モデルを生成する。たとえば、３Ｄ顔モデラ１１４が、元の画像のうちの１つを正規化された逆深度マップ２４２にマッピングし得る。３Ｄ顔モデルを生成する際に、対称特徴検出器１２２から検出された特徴が、逆深度マップ２４２上の対応する点にマッピングされ得る。３Ｄ顔モデルは、この方法３００によって実行された補正のために、画像矯正によって引き起こされたひずみの少なくとも一部を含まない。
【００７０】
[0079]逆深度マップを計算することは一部のひずみを補正し得るが、歪度、スケーリングおよび回転ひずみなど、他のひずみが依然として逆深度マップに影響を及ぼし得る。これらのひずみは、画像矯正中にもたらされた深度次元ひずみによって引き起こされ得る。たとえば、左眼が矯正プロセスによってひずむことがあり、左眼は、右眼よりも大きい深度値を有することがある。正規化は、逆深度マップを作成することによって補正されないひずみを補正し得る。
【００７１】
[0080]深度マップを改良するために、顔特性が使用され得る。たとえば、左および右対称特徴が考慮され得る。別の例として、額領域と口領域とに基づいてチルティングが調整され得る。スケーリングおよび回転も、眼、耳、唇、鼻、額領域、頬、眼鏡、眉など、対称的な顔の特徴に基づいて調整され得る。図４〜図９では、チルティング、スケーリングおよび回転など、様々な正規化プロセスについてより詳細に説明する。
【００７２】
[0081]図４に、２つのチルトした画像を示す。チルトした画像は逆深度マップ２４２に基づき得る。チルトした画像中の過剰チルトが、以下で説明するように、逆深度マップ２４２の様々な部分における異なる深度値を比較することによって補正され得る。逆深度マップ２４２のチルティングを調整し、改良することは、逆深度マップ２４２を正規化する１つの方法であり得る。
【００７３】
[0082]図４中の２つのチルトした画像は、第１のチルトした画像４４４と第２のチルトした画像４５４とを含み得る。第１の楕円４５２が、第１のチルトした画像４４４中の顔の外周にマッチするようにモデル化され得る。第１の楕円４５２は、第１の長軸（ａ）４４８と第１の短軸（ｂ）４５０とを含み得、第１のチルトした画像４４４中の過剰チルトなど、ひずみを検出するのを助け得る。たとえば、過剰チルトは、第１のサブセット選択ウィンドウ４４６を採用することによって検出され得る。過剰チルトは、画像が許容量を超えていずれかの方向にチルトしていることを示し得る。言い換えれば、過剰にチルトした画像は、第１の短軸（ｂ）４５０に関して、前方にチルトしすぎているか、または後ろにチルトしすぎていることがある。
【００７４】
[0083]第１のサブセット選択ウィンドウ４４６は矩形であり得るが、他の形状が採用され得る。一構成では、第１のサブセット選択ウィンドウ４４６はａ／２の高さとｂ／３の幅とを有し得る。他の寸法が採用され得る。いくつかの構成では、第１のサブセット選択ウィンドウ４４６は第１の楕円４５２と互いに中心を合わせられ得る。いくつかの構成では、第１のサブセット選択ウィンドウ４４６は、第１のチルトした画像４４４上の顔の鼻領域と中心を合わせられ得る。
【００７５】
[0084]第２のチルトした画像４５４は、第２の長軸（ａ）４５８と第２の短軸（ｂ）４６０とを含む第２の楕円４６２を同様に含み得る。第２の楕円４６２は、第２のチルトした画像４５４中の顔に対応するようにモデル化され得る。
【００７６】
[0085]第２のチルトした画像４５４はまた、第２のサブセット選択４５６と第３のサブセット選択４６６とを含み得る。第２のサブセット選択４５６と第３のサブセット選択４６６との高さおよび幅は等しいことがあるが、いくつかの構成では、それらは互いに異なることがある。たとえば、第２のサブセット選択４５６および第３のサブセット選択４６６はａ／４の高さとｂ／３の幅とを有し得る。第２のサブセット選択４５６および第３のサブセット選択４６６は、それぞれ矩形であり得るか、または、楕円など、別のタイプの形状であり得る。さらに、第２のサブセット選択４５６と第３のサブセット選択４６６とは異なる形状であり得る。
【００７７】
[0086]第２のサブセット選択４５６は額領域上に配置され得、第３のサブセット選択４６６は第２のチルトした画像４５４の口領域上に位置し得る。３Ｄ顔モデルをレンダリングするために使用される理想的な画像では、被写体の顔の額と口とは同じ面に位置し得る。したがって、第２のサブセット選択４５６と第３のサブセット選択４６６とは、チルト角を決定するために比較され得る。
【００７８】
[0087]第１のサブセット選択４４６に基づいて、または第２のサブセット選択４５６と第３のサブセット選択４６６との比較からチルト角を決定することについて、図５および図６において以下で説明する。
【００７９】
[0088]逆深度マップ２４２を正規化（たとえば、チルト、回転、スケーリング、調整など）する間に、調整の焦点が、背景ではなく、被写体の顔に合わせられ得るように、画像前景および背景が考慮されるべきである。さらに、前景と背景とを区別することは２つの表面間の平滑化を可能にする。
【００８０】
[0089]一構成では、これは、顔深度ｆmの平均値を計算することによって実行され得る。顔深度の平均値は、３Ｄ顔モデルの後ろの平坦面であるべき背景深度ｄを設定するために使用され得る。背景深度は、平均顔深度よりも小さくなるべきであるが、差は著しく異ならないべきである。ｄ＜ｗ＊ｆmである場合、画像深度が調整され得る。ここで、ｗは、画像深度が調整されているときに、顔深度が調整されるのを防ぐために、しきい値を制御するための係数である。このようにして、背景と顔境界とが、境界上に強いぼけがないようにスムーズにマージされ得る。
【００８１】
[0090]図５は、３Ｄ顔モデルを生成する別の方法５００を示す流れ図である。方法５００はハードウェアまたはソフトウェアで実装され得る。いくつかの構成では、方法５００は電子デバイス上で実装され得る。電子デバイスは、５０２において、逆深度マップ２４２を計算する。
【００８２】
[0091]電子デバイスは、５０４において、逆深度マップ２４２のサブセット選択中のピクセルの各列のための深度導関数を決定する。たとえば、サブセット選択は、第１のサブセット選択４４６、第２のサブセット選択４５６または第３のサブセット選択４６６であり得る。深度導関数はサブセット選択中の各垂直列について計算され得る。たとえば、各垂直列はサブセット選択ごとに上から下まで計算され得る。
【００８３】
[0092]一構成では、電子デバイスは、５０６において、単一の矩形サブセット選択（たとえば、第１のサブセット選択４４６）を使用する。この構成では、電子デバイスは、５０８において、サブセット選択についての、すなわち、単一のサブセット選択中のすべての深度導関数についての平均値（ｍ）を決定する。言い換えれば、ｍを計算するために各深度導関数が平均され得る。
【００８４】
[0093]電子デバイスは、５１０において、平均値をしきい値（ｔ1)と比較する。｜ｍ｜＞ｔ1である場合、逆深度マップ２４２中の顔は、過剰にチルトしているとして分類され得、｜ｍ｜≦ｔ1であるという条件が満たされるまで調整が行われ得る。言い換えれば、電子デバイスは、５１８において、比較に基づいて逆深度マップ２４２をチルトする。上記で説明したように、電子デバイスは、５２０において、逆深度マップ２４２と２つの画像のうちの１つとに基づいて３Ｄ顔モデルを生成する。
【００８５】
[0094]別の構成では、電子デバイスは、５１２において、２つの矩形サブセット選択（たとえば、第２のサブセット選択４５６および第３のサブセット選択４６６）を使用使用する。２つの矩形サブセット選択は、第１のサブセット選択領域と第２のサブセット選択領域とを表し得る。
【００８６】
[0095]電子デバイスは、５１４において、各サブセット選択についての平均値（ｍ)を決定する。たとえば、電子デバイスは、５１４において、第１のサブセット選択領域についての第１の平均値（ｍ1)と、第２のサブセット選択領域についての平均値（ｍ2)とを決定する。
【００８７】
[0096]電子デバイスは、５１６において、第１の領域平均値と第２の領域平均値との間の差をしきい値（ｔ2)と比較する。たとえば、｜ｍ1−ｍ2｜は差分値（ｄｉｆｆ)に等しくなり得、ｄｉｆｆがｔ2と比較され得る。｜ｄｉｆｆ｜＞ｔ2である場合、逆深度マップ２４２は、過剰にチルトしているとして分類され得、｜ｄｉｆｆ｜≦ｔ2であるという条件が満たされるまで調整が行われ得る。言い換えれば、電子デバイスは、５１８において、比較に基づいて逆深度マップ２４２をチルトする。しきい値（すなわち、ｔ1およびｔ2）は、経験的データ、ユーザ選好、履歴値などに基づき得る。
【００８８】
[0097]電子デバイスは、５２０において、逆深度マップ２４２と２つの画像のうちの１つとに基づいて３Ｄ顔モデルを生成する。これは、上記で説明したように実行され得る。
【００８９】
[0098]図６は、逆深度マップ２４２をチルトするための方法６００を示す流れ図である。方法６００はハードウェアまたはソフトウェアで実装され得る。たとえば、方法６００は電子デバイス上で実装され得る。この方法６００は、逆深度マップ２４２を正規化することの一例であり得る。
【００９０】
[0099]電子デバイスは、６０２においてチルト調整を開始する。電子デバイスは、６０４において顔検出と眼検出とを実行する。たとえば、顔検出および眼検出は、逆深度マップ２４２、または生入力画像のうちの１つに対して実行され得る。いくつかの構成では、６０４において顔検出と眼検出とを実行することは対称特徴検出器１２２によって実行され得る。
【００９１】
[00100]電子デバイスは、６０６において、長軸ａと短軸ｂとをもつ楕円として顔をモデル化する。たとえば、楕円は、図４に関して上記で説明した第１の楕円４５２または第２の楕円４６２のようであり得る。
【００９２】
[00101]一構成では、電子デバイスは、６０８において、楕円と互いに中心を合わせられた１つの矩形を設定する。矩形はｂ／３の幅とａ／２の高さとを有し得る。たとえば、矩形は図４の第１のサブセット選択４４６のようであり得る。
【００９３】
[00102]電子デバイスは、６１０において、顔の垂直方向に沿って平均導関数値（ｍ）を計算する。電子デバイスは、６１２において、｜ｍ｜＞しきい値ｔ1である（すなわち、画像が過剰にチルトしている）かどうかを比較する。この場合、電子デバイスは、６１４において、｜ｍ｜≦ｔ1になるまで、顔の垂直方向に沿って（たとえば、短軸（ｂ）に関して）深度値を調整する。
【００９４】
[00103]別の構成では、電子デバイスは、６１６において、楕円中の額領域および口領域を中心とする、各々が幅ｂ／３と高さａ／２とをもつ、２つの矩形を設定する。たとえば、２つの矩形は、図４の第２のサブセット選択４５６および第３のサブセット選択４６６のようであり得る。電子デバイスは、６１８において、２つの矩形の各々についての平均深度値（ｍ1およびｍ2）を計算する。これは、上記で図５に関して説明したように実行され得る。電子デバイスは、６２０において、｜ｍ1−ｍ2｜＞しきい値ｔ2である（すなわち、画像が過剰にチルトしている）かどうかを比較する。この場合、電子デバイスは、６２２において、｜ｍ1−ｍ2｜≦ｔ2になるまで、顔の垂直方向に沿って（たとえば、短軸（ｂ）に関して）深度値を調整する。
【００９５】
[00104]図７に、逆深度マップ７４２を正規化するためのプロセス７００を示す。プロセス７００はハードウェアまたはソフトウェアで実装され得る。たとえば、プロセス７００は電子デバイス上で実装され得る。いくつかの構成では、プロセス７００は、図１に関して説明した構成要素に対応し得る。
【００９６】
[00105]図７は、上記で説明した逆深度マップ２４２に対応し得る逆深度マップ７４２を示している。図７は、検出された画像７７４、正規化された逆深度マップ７７８および３Ｄ顔モデル７８０をも示している。逆深度マップ７４２は、前に過剰チルトを調整および補正されていることがある。他の手法では、チルティングは後で調整され得る。
【００９７】
[00106]いくつかの構成では、検出された対称特徴７７６に示されているように、顔領域の位置と眼の位置とが検出され得る。左／右眼検出に基づいて、逆深度マップ７４２は、左側と右側とが同じ深度レベルになるように比例的に調整され得る。言い換えれば、検出された画像７７４は、眼のペアなど、検出された対称特徴７７６を含み得る。他の対称特徴は、耳、唇、鼻、額領域、頬、眼鏡、眉などを含み得る。
【００９８】
[00107]検出された画像７７４は対称特徴検出器１２２によって生成され得る。検出された画像７７４は、ステレオ画像のセットからの第１の画像２３０または第２の画像２３２を採用し得る。代替的に、検出された画像７７４は深度マップ２４０または逆深度マップ７４２であり得る。
【００９９】
[00108]逆深度マップ７４２と検出された画像７７４とが、正規化された逆深度マップ７７８を取得する際に使用され得る。たとえば、逆深度マップ正規化器１２０が、逆深度マップ７４２および／または検出された画像７７４を使用して、正規化された逆深度マップ７７８を生成し得る。
【０１００】
[00109]３Ｄ顔モデル７８０は、逆深度マップ７４２と、２つの画像のうちの１つ（たとえば、第１の画像２３０または第２の画像２３２）とに基づいて生成され得る。たとえば、３Ｄ顔モデラ１１４が、画像中の検出された対称特徴７７６を逆深度マップ７４２と整合させるために３Ｄ顔モデル７８０を生成し得る。
【０１０１】
[00110]図８は、３Ｄ顔モデル７８０を生成するための別の方法８００を示す流れ図である。方法８００はハードウェアまたはソフトウェアで実装され得る。たとえば、方法８００は電子デバイス上で実装され得る。
【０１０２】
[00111]電子デバイスは、８０２において、上記で説明したように逆深度マップ７４２を計算する。電子デバイスは、８０４において、逆深度マップ７４２中の対称特徴を決定し得る。たとえば、８０４において、右特徴と対称の左特徴を決定する。左特徴および右特徴は検出された対称特徴７７６として含まれ得る。対称特徴は対称特徴検出器１２２によってマッチされ得る。対称特徴は、知られている顔の特徴に基づくか、または画像の対応する側にある対称様の特徴から計算され得る。
【０１０３】
[00112]左特徴および右特徴は、たとえば、眼のペアであり得る。眼のペアは互いに比例しないことがある。言い換えれば、逆深度マップ７４２中の左眼は、右眼よりも大きい深度値を有することがある。
【０１０４】
[00113]一構成では、電子デバイスは、８０６において、左特徴と右特徴とが水平方向に平らになるように逆深度マップ７４２を比例的に調整する。たとえば、逆深度マップ７４２は、左特徴と右特徴とが水平方向に平らになるまで、それらを整合させるために、画像に対して直角に走る軸の周りを回転され得る。これについて、図９に関して以下でより詳細に説明する。
【０１０５】
[00114]いくつかの構成では、電子デバイスは、８０８において、左特徴と右特徴とが比例的に一様で、同じ深度レベルになるように、逆深度マップ７４２を調整する。一例では、逆深度マップ７４２は、左特徴と右特徴とが一様になるまで垂直軸の周りを回転され得る。
【０１０６】
[00115]別の例では、一方または両方の特徴中のピクセルが、左特徴と右特徴とが比例的に一様になるまで調整され得る。たとえば、左眼が右眼よりも大きい、眼のセットが与えられれば、左眼の深度レベルが減少され得、および／または右眼の深度レベルが増加され得る。別の事例では、左眼のサイズまたはスケールが減少され得、ならびに／あるいは右眼のサイズまたはスケールが増加され得る。左特徴と右特徴とが比例的に一様で、同じ深度レベルになるように、調整の組合せが実行され得る。このようにして、逆深度マップ７４２は、左特徴と右特徴とが同じ面上に来るまで調整され得る。電子デバイスは、８１０において、逆深度マップ７４２と２つの画像のうちの１つとに基づいて３Ｄ顔モデル７８０を生成する。これは、上記で説明したように実行され得る。
【０１０７】
[00116]図９は、逆深度マップ７４２を正規化するための方法９００を示す流れ図である。方法９００はハードウェアまたはソフトウェアで実装され得る。たとえば、方法９００は電子デバイス上で実装され得る。いくつかの構成では、この方法９００は、逆深度マップ７４２をチルトするための、図６に関して説明した方法６００とともに採用され得る。
【０１０８】
[00117]電子デバイスは、９０２において回転調整を開始する。電子デバイスは、９０４において顔検出と眼検出とを実行する。たとえば、顔検出および眼検出は、逆深度マップ７４２、または生入力画像のうちの１つに対して実行され得る。いくつかの構成では、９０４において顔検出と眼検出とを実行することは対称特徴検出器１２２によって実行され得る。
【０１０９】
[00118]電子デバイスは、９０６において、長軸ａと短軸ｂとをもつ楕円として顔をモデル化する。一構成では、楕円は、図４に関して上記で説明した第１の楕円４５２または第２の楕円４６２と同様であり得る。
【０１１０】
[00119]いくつかの構成では、電子デバイスは、９０８において、２つの矩形、すなわち、左眼を中心とする矩形と、右眼を中心とする矩形とを設定する。各矩形はｂ／４の幅とａ／８の高さとを有し得る。他の寸法および形状が採用され得る。たとえば、２つの矩形はｂ／３の幅とａ／２の高さとをそれぞれ有し得る。別の例として、２つの矩形は互いに異なる寸法を有し得る。さらに、矩形以外の形状が採用され得る。
【０１１１】
[00120]２つの矩形は、図４の第２のサブセット選択４５６および第３のサブセット選択４６６のようであるが、眼の上に配置され、異なる寸法を有し得る。
【０１１２】
[00121]電子デバイスは、９１０において、２つの矩形についての平均深度値（ｍ1およびｍ2）を計算する。これは、上記で図５に関して説明したように実行され得る。電子デバイスは、９１２において、｜ｍ1−ｍ2｜＞しきい値ｔである（すなわち、画像が過剰に回転している）かどうかを比較する。この場合、電子デバイスは、９１４において、｜ｍ1−ｍ2｜≦ｔになるまで、顔の水平方向に沿って（たとえば、長軸に関して）深度値を調整する。
【０１１３】
[00122]図１０に、電子デバイス１００１内に含まれ得るいくつかの構成要素を示す。上記で説明した電子デバイスのうちの１つまたは複数は、図１０に示されている電子デバイス１００１と同様に構成され得る。
【０１１４】
[00123]電子デバイス１００１はプロセッサ１００９を含む。プロセッサ１００９は、汎用シングルまたはマルチチップマイクロプロセッサ（たとえば、ＡＲＭ）、専用マイクロプロセッサ（たとえば、デジタル信号プロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ１００９は中央処理ユニット（ＣＰＵ）と呼ばれることがある。図１０の電子デバイス１００１には単一のプロセッサ１００９のみが示されているが、代替構成では、プロセッサの組合せ（たとえば、ＡＲＭとＤＳＰ）が使用され得る。
【０１１５】
[00124]電子デバイス１００１はまた、プロセッサ１００９と電子通信しているメモリ１００３を含む（すなわち、プロセッサ１００９は、メモリ１００３から情報を読み取り、および／またはメモリ１００３に情報を書き込むことができる）。メモリ１００３は、電子情報を記憶することが可能な任意の電子的構成要素であり得る。メモリ１００３は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光記憶媒体、ＲＡＭ中のフラッシュメモリデバイス、プロセッサに含まれるオンボードメモリ、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能ＰＲＯＭ（ＥＥＰＲＯＭ（登録商標））、レジスタなど、およびそれらの組合せであり得る。
【０１１６】
[00125]命令１００５ａおよびデータ１００７ａはメモリ１００３に記憶され得る。命令１００５ａは、１つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャ、コードなどを含み得る。命令１００５ａは、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを含み得る。命令１００５ａは、上記で説明した方法３００、５００、６００、８００および９００のうちの１つまたは複数を実装するために、プロセッサ１００９によって実行可能であり得る。命令１００５ａを実行することは、メモリ１００３に記憶されたデータ１００７ａの使用を伴い得る。図１０は、プロセッサ１００９にロードされている（命令１００５ａおよびデータ１００７ａから来ることがある）いくつかの命令１００５ｂおよびデータ１００７ｂを示している。
【０１１７】
[00126]いくつかの構成では、電子デバイス１００１は、画像をキャプチャするための１つまたは複数の画像キャプチャ構成要素１０１７を含み得る。一構成では、画像キャプチャ構成要素１０１７は、カメラ、またはステレオ画像などの画像をキャプチャするためのフォトセルであり得る。
【０１１８】
[00127]電子デバイス１００１はまた、他の電子デバイスと通信するための１つまたは複数の通信インターフェース１０１３を含み得る。通信インターフェース１０１３は、ワイヤード通信技術、ワイヤレス通信技術、またはその両方に基づき得る。様々なタイプの通信インターフェース１０１３の例としては、シリアルポート、パラレルポート、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）アダプタ、ＩＥＥＥ１３９４バスインターフェース、小型コンピュータシステムインターフェース（ＳＣＳＩ）バスインターフェース、赤外線（ＩＲ）通信ポート、Ｂｌｕｅｔｏｏｔｈ（登録商標）ワイヤレス通信アダプタなどがある。
【０１１９】
[00128]電子デバイス１００１はまた、１つまたは複数の入力デバイス１０１５と、１つまたは複数の出力デバイス１０１９とを含み得る。様々な種類の入力デバイス１０１５の例としては、キーボード、マウス、マイクロフォン、遠隔制御デバイス、ボタン、ジョイスティック、トラックボール、タッチパッド、ライトペンなどがある。たとえば、電子デバイス１００１は、画像をキャプチャするための１つまたは複数の画像キャプチャ構成要素１０１７を含み得る。
【０１２０】
[00129]様々な種類の出力デバイス１０１９の例としては、スピーカー、プリンタ、３Ｄプリンタなどがある。電子デバイス１００１中に一般に含まれ得る１つの特定のタイプの出力デバイス１０１９はディスプレイ１０２３である。本明細書で開示する構成とともに使用されるディスプレイ１０２３は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、ガスプラズマ、エレクトロルミネセンスなど、任意の好適な画像投影技術を利用し得る。たとえば、３Ｄ顔モデルはディスプレイ１０２３上に表示され得る。また、ディスプレイコントローラ１０２５は、メモリ１００３に記憶されたデータを、ディスプレイ１０２３上に示されるテキスト、グラフィック、および／または動画に（適宜に）変換するために設けられ得る。
【０１２１】
[00130]電子デバイス１００１はまた、電子デバイス１００１と遠隔ロケーション（たとえば、別の電子デバイス、ワイヤレス通信デバイスなど）との間の信号の送信および受信を可能にするために、送信機（図示せず）と受信機（図示せず）とを含み得る。送信機と受信機とはトランシーバと総称されることがある。アンテナ（図示せず）はトランシーバに電気的に結合され得る。電子デバイス１００１はまた、複数の送信機、複数の受信機、複数のトランシーバ、および／または複数のアンテナを含み得る（図示せず）。
【０１２２】
[00131]電子デバイス１００１の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る、１つまたは複数のバスによって互いに結合され得る。簡単のために、図１０では様々なバスはバスシステム１０１１として示されている。
【０１２３】
[00132]一構成では、３次元顔を生成するように回路が適応され得る。回路の第１のセクションは、深度マップと反転された第１の行列とに基づいて逆深度マップを計算するように適応され得る。反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成され得る。さらに、同じ回路、異なる回路、異なる回路のセクションまたは同じ回路の第２のセクションは、画像矯正によって引き起こされた深度マップ中のひずみを補正するために逆深度マップを正規化するように適応され得る。さらに、同じ回路、異なる回路、異なる回路のセクション、または同じ回路の第３のセクションは、逆深度マップと２つの画像のうちの１つとに基づいて３次元顔モデルを生成するように適応され得る。
【０１２４】
[00133]上記の説明では、様々な用語とともに参照番号を時々使用した。用語が参照番号とともに使用されている場合、これは、図のうちの１つまたは複数に示された特定の要素を指すものとされ得る。用語が参照番号なしに使用されている場合、これは、概して特定の図に限定されない用語を指すものとされ得る。
【０１２５】
[00134]「決定」という用語は、多種多様なアクションを包含し、したがって、「決定」は、計算（calculating）、計算（computing）、処理、導出、調査、ルックアップ（たとえば、テーブル、データベースまたは別のデータ構造でのルックアップ）、確認などを含むことができる。また、「決定」は、受信（たとえば、情報を受信すること）、アクセス（たとえば、メモリ中のデータにアクセスすること）などを含むことができる。また、「決定」は、解決、選択、選定、確立などを含むことができる。
【０１２６】
[00135]「に基づいて」という句は、別段に明示されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
【０１２７】
[00136]「プロセッサ」という用語は、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、状態機械などを包含するものと広く解釈されたい。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを指すことがある。「プロセッサ」という用語は、処理デバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは他のそのような構成を指すことがある。
【０１２８】
[00137]「メモリ」という用語は、電子情報を記憶することが可能な任意の電子的構成要素を包含するものと広く解釈されたい。メモリという用語は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データストレージ、レジスタなど、様々なタイプのプロセッサ可読媒体を指すことがある。プロセッサがメモリから情報を読み取り、および／または情報をメモリに書き込むことができる場合、メモリはプロセッサと電子通信していると言われる。プロセッサに一体化されたメモリはプロセッサと電子通信している。
【０１２９】
[00138]「命令」および「コード」という用語は、任意のタイプの（１つまたは複数の）コンピュータ可読ステートメントを含むものと広く解釈されたい。たとえば、「命令」および「コード」という用語は、１つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャなどを指すことがある。「命令」および「コード」は、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを含み得る。
【０１３０】
[00139]本明細書で説明した機能は、ハードウェアによって実行されているソフトウェアまたはファームウェアで実装され得る。機能は、コンピュータ可読媒体上に１つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」または「コンピュータプログラム製品」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の有形の非一時的記憶媒体を指す。限定ではなく例として、コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を含み得る。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。
【０１３１】
[00140]本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを含む。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、説明した方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲を逸脱することなく修正され得る。
【０１３２】
[00141]さらに、図３、図５〜図６および図８〜図９によって示されたものなど、本明細書で説明した方法および技法を実行するためのモジュールおよび／または他の適切な手段は、デバイスによってダウンロードおよび／または他の方法で取得され得ることを諒解されたい。たとえば、電子デバイスは、本明細書で説明した方法を実行するための手段の転送を可能にするために、サーバに結合され得る。代替的に、本明細書で説明した様々な方法は、デバイスが、記憶手段をそのデバイスに結合するかまたは与えると様々な方法を取得し得るように、記憶手段（たとえば、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって与えられ得る。
【０１３３】
[00142]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明したシステム、方法および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。
【図１】
2016526742.tif 000003
【図２】
2016526742.tif 000004
【図３】
2016526742.tif 000005
【図４】
2016526742.tif 000006
【図５】
2016526742.tif 000007
【図６】
2016526742.tif 000008
【図７】
2016526742.tif 000009
【図８】
2016526742.tif 000010
【図９】
2016526742.tif 000011
【図１０】
2016526742.tif 000012
【手続補正書】
【提出日】平成28年3月25日(2016.3.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
深度マップと反転された第１の行列とに基づいて逆深度マップを計算することと、ここにおいて、前記反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される、
画像矯正によって引き起こされた前記深度マップ中のひずみを補正するために前記逆深度マップを正規化することと、
前記正規化された逆深度マップと前記２つの画像のうちの１つとに基づいて３次元顔モデルを生成することと
を備える、３次元顔生成のための方法。
【請求項２】
前記２つの画像のうちの第１の画像に対応する第１の行列を取得することと、
前記２つの画像のうちの第２の画像に対応する第２の行列を取得することと、
第１の矯正画像を取得するために前記第１の画像に前記第１の行列を適用することと、
第２の矯正画像を取得するために前記第２の画像に前記第２の行列を適用することと
をさらに備える、請求項１に記載の方法。
【請求項３】
前記第１の行列が、前記第１の画像に対応するホモグラフィ行列であり、前記第２の行列が、前記第２の画像に対応するホモグラフィ行列である、請求項２に記載の方法。
【請求項４】
前記逆深度マップを計算することが、
前記反転された第１の行列を取得するために前記第１の行列を反転させることと、
前記深度マップに前記反転された第１の行列を適用することと
を備える、請求項２に記載の方法。
【請求項５】
前記第１の矯正画像および前記第２の矯正画像から前記深度マップを決定することをさらに備える、請求項２に記載の方法。
【請求項６】
前記２つの画像からファンダメンタル行列を決定することをさらに備える、請求項２に記載の方法。
【請求項７】
前記第１の行列と前記第２の行列とを取得することが、前記ファンダメンタル行列を分解することを備える、請求項６に記載の方法。
【請求項８】
前記２つの画像が、人間の顔に対する異なるパースペクティブである、請求項１に記載の方法。
【請求項９】
前記逆深度マップを正規化することが、前記逆深度マップ中のピクセルのサブセットを正規化することを備える、請求項１に記載の方法。
【請求項１０】
前記逆深度マップを正規化することが、前記逆深度マップを回転すること、チルトすること、およびスケーリングすることのうちの１つを備える、請求項１に記載の方法。
【請求項１１】
前記逆深度マップをチルトすることが、
前記逆深度マップのサブセット選択中のピクセルの各列のための深度導関数を決定することと、
前記サブセット選択について、すべての前記深度導関数の平均値を決定することと、
前記平均値をしきい値と比較することと、
前記比較に基づいて前記逆深度マップをチルトすることと
を備える、請求項１０に記載の方法。
【請求項１２】
前記サブセット選択が矩形領域を備える、請求項１１に記載の方法。
【請求項１３】
前記サブセット選択が第１のエリアと第２のエリアとを備え、ここにおいて、比較することが、前記第１のエリアの前記平均値と前記第２のエリアの前記平均値との間の差をしきい値と比較することを備える、請求項１１に記載の方法。
【請求項１４】
前記逆深度マップを回転することが、
前記逆深度マップ中の対称特徴を検出することと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが水平方向に平らになるように前記逆深度マップを比例的に調整することと
を備える、請求項１０に記載の方法。
【請求項１５】
前記逆深度マップをスケーリングすることが、
前記逆深度マップ中の対称特徴を検出することと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが比例的に一様で、同じ深度レベルになるように、前記逆深度マップを調整することと
を備える、請求項１０に記載の方法。
【請求項１６】
プロセッサと、
前記プロセッサと電子通信しているメモリと、
前記メモリに記憶された命令と
を備え、前記命令は、
深度マップと反転された第１の行列とに基づいて逆深度マップを計算することと、ここにおいて、前記反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される、
画像矯正によって引き起こされた前記深度マップ中のひずみを補正するために前記逆深度マップを正規化することと、
前記正規化された逆深度マップと前記２つの画像のうちの１つとに基づいて３次元顔モデルを生成することと
を行うように実行可能である、３次元顔生成のための装置。
【請求項１７】
前記２つの画像のうちの第１の画像に対応する第１の行列を取得することと、
前記２つの画像のうちの第２の画像に対応する第２の行列を取得することと、
第１の矯正画像を取得するために前記第１の画像に前記第１の行列を適用することと、
第２の矯正画像を取得するために前記第２の画像に前記第２の行列を適用することと
を行うように実行可能な命令をさらに備える、請求項１６に記載の装置。
【請求項１８】
前記第１の行列が、前記第１の画像に対応するホモグラフィ行列であり、前記第２の行列が、前記第２の画像に対応するホモグラフィ行列である、請求項１７に記載の装置。
【請求項１９】
前記逆深度マップを計算するように実行可能である前記命令が、
前記反転された第１の行列を取得するために前記第１の行列を反転させることと、
前記深度マップに前記反転された第１の行列を適用することと
を行うように実行可能である命令を備える、請求項１７に記載の装置。
【請求項２０】
前記第１の矯正画像および前記第２の矯正画像から前記深度マップを決定するように実行可能な命令をさらに備える、請求項１７に記載の装置。
【請求項２１】
前記２つの画像からファンダメンタル行列を決定するように実行可能な命令をさらに備える、請求項１７に記載の装置。
【請求項２２】
前記第１の行列と前記第２の行列とを取得するように実行可能である前記命令が、前記ファンダメンタル行列を分解するように実行可能である命令を備える、請求項２１に記載の装置。
【請求項２３】
前記２つの画像が、人間の顔に対する異なるパースペクティブである、請求項１６に記載の装置。
【請求項２４】
前記逆深度マップを正規化するように実行可能である前記命令が、前記逆深度マップ中のピクセルのサブセットを正規化するように実行可能である命令を備える、請求項１６に記載の装置。
【請求項２５】
前記逆深度マップを正規化するように実行可能である前記命令が、前記逆深度マップを回転するように実行可能である命令、チルトするように実行可能である命令、およびスケーリングするように実行可能である命令のうちの１つを備える、請求項１６に記載の装置。
【請求項２６】
前記逆深度マップをチルトするように実行可能である前記命令が、
前記逆深度マップのサブセット選択中のピクセルの各列のための深度導関数を決定することと、
前記サブセット選択について、すべての前記深度導関数の平均値を決定することと、
前記平均値をしきい値と比較することと、
前記比較に基づいて前記逆深度マップをチルトすることと
を行うように実行可能である命令を備える、請求項２５に記載の装置。
【請求項２７】
前記サブセット選択が矩形領域を備える、請求項２６に記載の装置。
【請求項２８】
前記サブセット選択が第１のエリアと第２のエリアとを備え、ここにおいて、比較するように実行可能である前記命令が、前記第１のエリアの前記平均値と前記第２のエリアの前記平均値との間の差をしきい値と比較するように実行可能である命令を備える、請求項２６に記載の装置。
【請求項２９】
前記逆深度マップを回転するように実行可能である前記命令は、
前記逆深度マップ中の対称特徴を検出することと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが水平方向に平らになるように前記逆深度マップを比例的に調整することと
を行うように実行可能である命令を備える、請求項２５に記載の装置。
【請求項３０】
前記逆深度マップをスケーリングするように実行可能である前記命令は、
前記逆深度マップ中の対称特徴を検出することと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが比例的に一様で、同じ深度レベルになるように、前記逆深度マップを調整することと
を行うように実行可能である命令を備える、請求項２５に記載の装置。
【請求項３１】
深度マップと反転された第１の行列とに基づいて逆深度マップを計算するための手段と、ここにおいて、前記反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される、
画像矯正によって引き起こされた前記深度マップ中のひずみを補正するために前記逆深度マップを正規化するための手段と、
前記正規化された逆深度マップと前記２つの画像のうちの１つとに基づいて３次元顔モデルを生成するための手段と
を備える、３次元顔生成のための装置。
【請求項３２】
前記逆深度マップを正規化するための前記手段が、前記逆深度マップ中のピクセルのサブセットを正規化するための手段を備える、請求項３１に記載の装置。
【請求項３３】
前記逆深度マップを正規化するための前記手段が、前記逆深度マップを回転するための手段、チルトするための手段、およびスケーリングするための手段のうちの１つを備える、請求項３１に記載の装置。
【請求項３４】
前記逆深度マップをチルトするための前記手段が、
前記逆深度マップのサブセット選択中のピクセルの各列のための深度導関数を決定するための手段と、
前記サブセット選択について、すべての前記深度導関数の平均値を決定するための手段と、
前記平均値をしきい値と比較するための手段と、
前記比較に基づいて前記逆深度マップをチルトするための手段と
を備える、請求項３３に記載の装置。
【請求項３５】
前記サブセット選択が第１のエリアと第２のエリアとを備え、ここにおいて、比較するための前記手段が、前記第１のエリアの前記平均値と前記第２のエリアの前記平均値との間の差をしきい値と比較するための手段を備える、請求項３４に記載の装置。
【請求項３６】
前記逆深度マップを回転するための前記手段が、
前記逆深度マップ中の対称特徴を検出するための手段と、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが水平方向に平らになるように前記逆深度マップを比例的に調整するための手段と
を備える、請求項３３に記載の装置。
【請求項３７】
命令をその上に有する非一時的コンピュータ可読媒体を備える、３次元顔生成のためのコンピュータプログラム製品であって、前記命令は、
電子デバイスに、深度マップと反転された第１の行列とに基づいて逆深度マップを計算させるためのコードと、ここにおいて、前記反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される、
前記電子デバイスに、画像矯正によって引き起こされた前記深度マップ中のひずみを補正するために前記逆深度マップを正規化させるためのコードと、
前記電子デバイスに、前記正規化された逆深度マップと前記２つの画像のうちの１つとに基づいて３次元顔モデルを生成させるためのコードと
を備える、コンピュータプログラム製品。
【請求項３８】
前記電子デバイスに前記逆深度マップを正規化させるための前記コードが、前記電子デバイスに、前記逆深度マップ中のピクセルのサブセットを正規化させるためのコードを備える、請求項３７に記載のコンピュータプログラム製品。
【請求項３９】
前記電子デバイスに前記逆深度マップを正規化させるための前記コードが、前記電子デバイスに前記逆深度マップを回転させるためのコード、チルトさせるためのコード、およびスケーリングさせるためのコードのうちの１つを備える、請求項３７に記載のコンピュータプログラム製品。
【請求項４０】
前記電子デバイスに前記逆深度マップをチルトさせるための前記コードが、
前記電子デバイスに、前記逆深度マップのサブセット選択中のピクセルの各列のための深度導関数を決定させるためのコードと、
前記電子デバイスに、前記サブセット選択について、すべての前記深度導関数の平均値を決定させるためのコードと、
前記電子デバイスに、前記平均値をしきい値と比較させるためのコードと、
前記電子デバイスに、前記比較に基づいて前記逆深度マップをチルトさせるためのコードと
を備える、請求項３９に記載のコンピュータプログラム製品。
【請求項４１】
前記サブセット選択が第１のエリアと第２のエリアとを備え、ここにおいて、比較することが、前記第１のエリアの前記平均値と前記第２のエリアの前記平均値との間の差をしきい値と比較することを備える、請求項４０に記載のコンピュータプログラム製品。
【請求項４２】
前記電子デバイスに前記逆深度マップを回転させるための前記コードは、
前記電子デバイスに、前記逆深度マップ中の対称特徴を検出させるためのコードと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記電子デバイスに、前記左特徴と前記右特徴とが水平方向に平らになるように前記逆深度マップを比例的に調整させるためのコードと
を備える、請求項３９に記載のコンピュータプログラム製品。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１３３
【補正方法】変更
【補正の内容】
【０１３３】
[00142]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明したシステム、方法および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
深度マップと反転された第１の行列とに基づいて逆深度マップを計算することと、ここにおいて、前記反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される、
画像矯正によって引き起こされた前記深度マップ中のひずみを補正するために前記逆深度マップを正規化することと、
前記逆深度マップと前記２つの画像のうちの１つとに基づいて３次元顔モデルを生成することと
を備える、３次元顔生成のための方法。
［Ｃ２］
前記２つの画像のうちの第１の画像に対応する第１の行列を取得することと、
前記２つの画像のうちの第２の画像に対応する第２の行列を取得することと、
第１の矯正画像を取得するために前記第１の画像に前記第１の行列を適用することと、
第２の矯正画像を取得するために前記第２の画像に前記第２の行列を適用することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記第１の行列が、前記第１の画像に対応するホモグラフィ行列であり、前記第２の行列が、前記第２の画像に対応するホモグラフィ行列である、Ｃ２に記載の方法。
［Ｃ４］
前記逆深度マップを計算することが、
前記反転された第１の行列を取得するために前記第１の行列を反転させることと、
前記深度マップに前記反転された第１の行列を適用することと
を備える、Ｃ２に記載の方法。
［Ｃ５］
前記第１の矯正画像および前記第２の矯正画像から前記深度マップを決定することをさらに備える、Ｃ２に記載の方法。
［Ｃ６］
前記２つの画像からファンダメンタル行列を決定することをさらに備える、Ｃ２に記載の方法。
［Ｃ７］
前記第１の行列と前記第２の行列とを取得することが、前記ファンダメンタル行列を分解することを備える、Ｃ６に記載の方法。
［Ｃ８］
前記２つの画像が、人間の顔に対する異なるパースペクティブである、Ｃ１に記載の方法。
［Ｃ９］
前記逆深度マップを正規化することが、前記逆深度マップ中のピクセルのサブセットを正規化することを備える、Ｃ１に記載の方法。
［Ｃ１０］
前記逆深度マップを正規化することが、前記逆深度マップを回転すること、チルトすること、およびスケーリングすることのうちの１つを備える、Ｃ１に記載の方法。
［Ｃ１１］
前記逆深度マップをチルトすることが、
前記逆深度マップのサブセット選択中のピクセルの各列のための深度導関数を決定することと、
前記サブセット選択について、すべての前記深度導関数の平均値を決定することと、
前記平均値をしきい値と比較することと、
前記比較に基づいて前記逆深度マップをチルトすることと
を備える、Ｃ１０に記載の方法。
［Ｃ１２］
前記サブセット選択が矩形領域を備える、Ｃ１１に記載の方法。
［Ｃ１３］
前記サブセット選択が第１のエリアと第２のエリアとを備え、ここにおいて、比較することが、前記第１のエリアの前記平均値と前記第２のエリアの前記平均値との間の差をしきい値と比較することを備える、Ｃ１１に記載の方法。
［Ｃ１４］
前記逆深度マップを回転することが、
前記逆深度マップ中の対称特徴を検出することと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが水平方向に平らになるように前記逆深度マップを比例的に調整することと
を備える、Ｃ１０に記載の方法。
［Ｃ１５］
前記逆深度マップをスケーリングすることが、
前記逆深度マップ中の対称特徴を検出することと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが比例的に一様で、同じ深度レベルになるように、前記逆深度マップを調整することと
を備える、Ｃ１０に記載の方法。
［Ｃ１６］
プロセッサと、
前記プロセッサと電子通信しているメモリと、
前記メモリに記憶された命令と
を備え、前記命令は、
深度マップと反転された第１の行列とに基づいて逆深度マップを計算することと、ここにおいて、前記反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される、
画像矯正によって引き起こされた前記深度マップ中のひずみを補正するために前記逆深度マップを正規化することと、
前記逆深度マップと前記２つの画像のうちの１つとに基づいて３次元顔モデルを生成することと
を行うように実行可能である、３次元顔生成のための装置。
［Ｃ１７］
前記２つの画像のうちの第１の画像に対応する第１の行列を取得することと、
前記２つの画像のうちの第２の画像に対応する第２の行列を取得することと、
第１の矯正画像を取得するために前記第１の画像に前記第１の行列を適用することと、
第２の矯正画像を取得するために前記第２の画像に前記第２の行列を適用することと
を行うように実行可能な命令をさらに備える、Ｃ１６に記載の装置。
［Ｃ１８］
前記第１の行列が、前記第１の画像に対応するホモグラフィ行列であり、前記第２の行列が、前記第２の画像に対応するホモグラフィ行列である、Ｃ１７に記載の装置。
［Ｃ１９］
前記逆深度マップを計算するように実行可能である前記命令が、
前記反転された第１の行列を取得するために前記第１の行列を反転させることと、
前記深度マップに前記反転された第１の行列を適用することと
を行うように実行可能である命令を備える、Ｃ１７に記載の装置。
［Ｃ２０］
前記第１の矯正画像および前記第２の矯正画像から前記深度マップを決定するように実行可能な命令をさらに備える、Ｃ１７に記載の装置。
［Ｃ２１］
前記２つの画像からファンダメンタル行列を決定するように実行可能な命令をさらに備える、Ｃ１７に記載の装置。
［Ｃ２２］
前記第１の行列と前記第２の行列とを取得するように実行可能である前記命令が、前記ファンダメンタル行列を分解するように実行可能である命令を備える、Ｃ２１に記載の装置。
［Ｃ２３］
前記２つの画像が、人間の顔に対する異なるパースペクティブである、Ｃ１６に記載の装置。
［Ｃ２４］
前記逆深度マップを正規化するように実行可能である前記命令が、前記逆深度マップ中のピクセルのサブセットを正規化するように実行可能である命令を備える、Ｃ１６に記載の装置。
［Ｃ２５］
前記逆深度マップを正規化するように実行可能である前記命令が、前記逆深度マップを回転するように実行可能である命令、チルトするように実行可能である命令、およびスケーリングするように実行可能である命令のうちの１つを備える、Ｃ１６に記載の装置。
［Ｃ２６］
前記逆深度マップをチルトするように実行可能である前記命令が、
前記逆深度マップのサブセット選択中のピクセルの各列のための深度導関数を決定することと、
前記サブセット選択について、すべての前記深度導関数の平均値を決定することと、
前記平均値をしきい値と比較することと、
前記比較に基づいて前記逆深度マップをチルトすることと
を行うように実行可能である命令を備える、Ｃ２５に記載の装置。
［Ｃ２７］
前記サブセット選択が矩形領域を備える、Ｃ２６に記載の装置。
［Ｃ２８］
前記サブセット選択が第１のエリアと第２のエリアとを備え、ここにおいて、比較するように実行可能である前記命令が、前記第１のエリアの前記平均値と前記第２のエリアの前記平均値との間の差をしきい値と比較するように実行可能である命令を備える、Ｃ２６に記載の装置。
［Ｃ２９］
前記逆深度マップを回転するように実行可能である前記命令は、
前記逆深度マップ中の対称特徴を検出することと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが水平方向に平らになるように前記逆深度マップを比例的に調整することと
を行うように実行可能である命令を備える、Ｃ２５に記載の装置。
［Ｃ３０］
前記逆深度マップをスケーリングするように実行可能である前記命令は、
前記逆深度マップ中の対称特徴を検出することと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが比例的に一様で、同じ深度レベルになるように、前記逆深度マップを調整することと
を行うように実行可能である命令を備える、Ｃ２５に記載の装置。
［Ｃ３１］
深度マップと反転された第１の行列とに基づいて逆深度マップを計算するための手段と、ここにおいて、前記反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される、
画像矯正によって引き起こされた前記深度マップ中のひずみを補正するために前記逆深度マップを正規化するための手段と、
前記逆深度マップと前記２つの画像のうちの１つとに基づいて３次元顔モデルを生成するための手段と
を備える、３次元顔生成のための装置。
［Ｃ３２］
前記逆深度マップを正規化するための前記手段が、前記逆深度マップ中のピクセルのサブセットを正規化するための手段を備える、Ｃ３１に記載の装置。
［Ｃ３３］
前記逆深度マップを正規化するための前記手段が、前記逆深度マップを回転するための手段、チルトするための手段、およびスケーリングするための手段のうちの１つを備える、Ｃ３１に記載の装置。
［Ｃ３４］
前記逆深度マップをチルトするための前記手段が、
前記逆深度マップのサブセット選択中のピクセルの各列のための深度導関数を決定するための手段と、
前記サブセット選択について、すべての前記深度導関数の平均値を決定するための手段と、
前記平均値をしきい値と比較するための手段と、
前記比較に基づいて前記逆深度マップをチルトするための手段と
を備える、Ｃ３３に記載の装置。
［Ｃ３５］
前記サブセット選択が第１のエリアと第２のエリアとを備え、ここにおいて、比較するための前記手段が、前記第１のエリアの前記平均値と前記第２のエリアの前記平均値との間の差をしきい値と比較するための手段を備える、Ｃ３４に記載の装置。
［Ｃ３６］
前記逆深度マップを回転するための前記手段が、
前記逆深度マップ中の対称特徴を検出するための手段と、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記左特徴と前記右特徴とが水平方向に平らになるように前記逆深度マップを比例的に調整するための手段と
を備える、Ｃ３３に記載の装置。
［Ｃ３７］
命令をその上に有する非一時的コンピュータ可読媒体を備える、３次元顔生成のためのコンピュータプログラム製品であって、前記命令は、
電子デバイスに、深度マップと反転された第１の行列とに基づいて逆深度マップを計算させるためのコードと、ここにおいて、前記反転された第１の行列は、ピクセルが垂直方向に整合し、水平方向に異なる、２つの画像から生成される、
前記電子デバイスに、画像矯正によって引き起こされた前記深度マップ中のひずみを補正するために前記逆深度マップを正規化させるためのコードと、
前記電子デバイスに、前記逆深度マップと前記２つの画像のうちの１つとに基づいて３次元顔モデルを生成させるためのコードと
を備える、コンピュータプログラム製品。
［Ｃ３８］
前記電子デバイスに前記逆深度マップを正規化させるための前記コードが、前記電子デバイスに、前記逆深度マップ中のピクセルのサブセットを正規化させるためのコードを備える、Ｃ３７に記載のコンピュータプログラム製品。
［Ｃ３９］
前記電子デバイスに前記逆深度マップを正規化させるための前記コードが、前記電子デバイスに前記逆深度マップを回転させるためのコード、チルトさせるためのコード、およびスケーリングさせるためのコードのうちの１つを備える、Ｃ３７に記載のコンピュータプログラム製品。
［Ｃ４０］
前記電子デバイスに前記逆深度マップをチルトさせるための前記コードが、
前記電子デバイスに、前記逆深度マップのサブセット選択中のピクセルの各列のための深度導関数を決定させるためのコードと、
前記電子デバイスに、前記サブセット選択について、すべての前記深度導関数の平均値を決定させるためのコードと、
前記電子デバイスに、前記平均値をしきい値と比較させるためのコードと、
前記電子デバイスに、前記比較に基づいて前記逆深度マップをチルトさせるためのコードと
を備える、Ｃ３９に記載のコンピュータプログラム製品。
［Ｃ４１］
前記サブセット選択が第１のエリアと第２のエリアとを備え、ここにおいて、比較することが、前記第１のエリアの前記平均値と前記第２のエリアの前記平均値との間の差をしきい値と比較することを備える、Ｃ４０に記載のコンピュータプログラム製品。
［Ｃ４２］
前記電子デバイスに前記逆深度マップを回転させるための前記コードは、
前記電子デバイスに、前記逆深度マップ中の対称特徴を検出させるためのコードと、ここにおいて、前記対称特徴が左特徴と右特徴とを備える、
前記電子デバイスに、前記左特徴と前記右特徴とが水平方向に平らになるように前記逆深度マップを比例的に調整させるためのコードと
を備える、Ｃ３９に記載のコンピュータプログラム製品。
【国際調査報告】
2016526742.tif 000013
2016526742.tif 000014