(57)【要約】  少なくとも１つの実際のカメラ（１）によって撮像される画像または画像のシーケンスにおいて対話者（９）の眼差しを補正するための、ビデオ会議における画像処理のための方法は、・上記少なくとも１つの実際のカメラ（１）が上記対話者（９）のオリジナル画像を取得するステップと、・仮想カメラ（３）によって見られたように上記対話者（９）の顔の補正されたビューを合成するステップとを含み、上記仮想カメラ（３）は上記対話者（９）の視線上に位置し、上記対話者（９）に向かうよう方向付けられており、上記方法はさらに、・最終画像（１２）を生成するよう、合成された上記ビューから上記オリジナル画像（１０）に上記対話者（９）の顔の上記補正されたビューを転写するステップと、・上記最終画像（１２）を表示することおよび上記最終画像（１２）を送信することの少なくとも１つを行うステップとを含む。
2015513833.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの実際のカメラ（１）によって撮像される画像または画像のシーケンスにおいて対話者（９）の眼差しを補正するための、ビデオ会議における画像処理のための方法であって、
・前記少なくとも１つの実際のカメラ（１）が前記対話者（９）のオリジナル画像を取得するステップと、
・仮想カメラ（３）によって見られたように前記対話者（９）の顔の補正されたビューを合成するステップとを含み、前記仮想カメラ（３）は前記対話者（９）の視線上に位置し、前記対話者（９）に向かうよう方向付けられており、前記方法はさらに、
・最終画像（１２）を生成するよう、合成された前記ビューから前記オリジナル画像（１０）に前記対話者（９）の顔の前記補正されたビューを転写するステップと、
・前記最終画像（１２）を表示することおよび前記最終画像（１２）を送信することの少なくとも１つを行うステップとを含む、方法。
【請求項２】
前記対話者（９）の顔を含む関連付けられる深度マップ（１３）を各オリジナル画像（１０）ごとに取得するステップを含み、前記対話者（９）の顔の前記補正されたビューを合成するステップは、前記深度マップ（１３）に基づき、前記対話者（９）の顔の３Ｄモデル上に前記オリジナル画像（１０）をマッピングするステップと、予測の前記対話者（９）の視線に沿って配置される仮想カメラ（３）から前記３Ｄモデルをレンダリングするステップとを含む、請求項１に記載の方法。
【請求項３】
前記合成されたビューから前記オリジナル画像（１０）に前記対話者（９）の顔の前記補正されたビューを転写するステップは、継ぎ目ライン（１４）に沿って前記補正されたビューと前記オリジナル画像（１０）との間の差の合計を最小化する、前記補正されたビューと前記オリジナル画像（１０）との間の最適な前記継ぎ目ライン（１４）を決定するステップを含む、請求項１または請求項２に記載の方法。
【請求項４】
前記差は強度差である、請求項３に記載の方法。
【請求項５】
前記最適な継ぎ目ライン（１４）を決定するステップは、
・フェイストラッカによって決定される顎の点にフィッティングされる楕円状の多角形か、または
・画像のシーケンスにおける前の画像について決定される多角形
のいずれかで開始するステップと、
前記差の合計を最小化するよう、前記多角形の頂点の点を適合するステップとを含む、請求項３または請求項４に記載の方法。
【請求項６】
前記対話者（９）の顔の上部分に対応する前記多角形の上部分、特に前記多角形の上半分の頂点のみを適合するステップを含む、請求項５に記載の方法。
【請求項７】
各深度マップ（１３）における前記対話者（９）の頭の前記３Ｄ位置を予測し、現在の深度マップ（１３）において観察される前記頂点の前記３Ｄ位置を、少なくとも１つの先行する深度マップ（１３）におけるそれらの位置と前記頭の３Ｄ位置および向きにおける変化とから計算されるそれらの位置の予測に組み合わせることにより、深度マップ（１３）のシーケンスに亘る顔トラッキング頂点の３Ｄ位置の時間的スムージングのステップを含む、先行する請求項のいずれか１項に記載の方法。
【請求項８】
較正段階において、前記対話者（９）に対して前記最終画像（１２）を表示し、かつ前記最終画像（１２）に満足するまで、前記実際のカメラ（１）および前記仮想カメラ（３）の位置および向きを関係付ける幾何学的変換のための変換パラメータを適合させるよう前記対話者（９）からのユーザ入力を受けることにより前記変換パラメータを決定するステップを含む、請求項１〜７のいずれか１項に記載の方法。
【請求項９】
較正段階において、
・前記対話者（９）が前記実際のカメラ（１）を見ている際の少なくとも前記対話者（９）の顔の第１の深度マップ（１３）を取得し、
・前記対話者（９）の会議相手の画像を表示するよう配置されるディスプレイスクリーンを前記対話者（９）が見ている際の少なくとも前記対話者（９）の顔の第２の深度マップ（１３）を取得し、
・前記第１および第２の深度マップ（１３）を関係付ける変換から、前記実際のカメラ（１）および前記仮想カメラ（３）の位置および向きを関係付ける幾何学的変換のための変換パラメータを計算することにより、
前記変換パラメータを決定するステップを含む、請求項１〜７のいずれか１項に記載の方法。
【請求項１０】
較正段階において、前記最終画像（１２）を前記対話者（９）に対して表示し、前記最終画像（１２）に満足するまで、前記オリジナル画像（１０）における前記対話者（９）の顔の補正されたビューの位置決めをするための（２Ｄ）変換ベクトルを適合するよう前記対話者（９）からのユーザ入力を受けることにより前記２Ｄ変換ベクトルを適合させるステップを含む、先行する請求項のいずれか１項に記載の方法。
【請求項１１】
フェイストラッカを使用して前記対話者（９）の目玉の３Ｄ位置を識別し、球体によって前記目玉の形状を近似し、前記深度マップ（１３）において前記目の位置にて、取得した前記深度マップ（１３）の情報の代わりにこの近似を使用するステップを含む、先行する請求項のいずれか１項に記載の方法。
【請求項１２】
特にラプラススムージングによって、前記対話者（９）の顔を含む前記深度マップ（１３）をスムージングするステップを含む、請求項２〜１１のいずれか１項に記載の方法。
【請求項１３】
前記対話者（９）の顔を含む前記深度マップ（１３）をその境界において人工的に拡張し、および／または前記深度マップ（１３）内のホールを埋めるステップを含む、請求項２〜１２のいずれか１項に記載の方法。
【請求項１４】
少なくとも１つの実際のカメラ（１）によって撮像される画像または画像のシーケンスにおいて、対話者（９）の眼差しの補正のためのビデオ会議における画像処理のためのデータ処理システムであって、前記対話者（９）の画像を取得するための少なくとも１つの実際のカメラ（１）を含み、前記システムは、請求項１〜１３のいずれか１項に記載の方法を実行するようにプログラムされる、データ処理システム。
【請求項１５】
コンピュータにロードされ実行されると、請求項１〜１３のいずれか１項に記載の方法を前記コンピュータに実行させるコンピュータプログラムをエンコードするコンピュータ読取可能プログラムコードを含む、非一時的なコンピュータ読取可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ画像処理の分野に関し、特定的には、対応する独立項のプリアンブルに記載されるようなビデオ会議における画像処理のための方法およびシステムに関する。
【背景技術】
【０００２】
現在のビデオ会議システムを使用する効果的なコミュニケーションは、対象およびカメラの位置の間の相違によって引き起こされるアイコンタクトの欠如によって厳しく妨げられる。この問題は、ハイエンドの高価なビデオ会議システムについては部分的に解決されている一方、コンシューマレベルの構成については納得のいく形で解決されていない。
【０００３】
相互の眼差し認識（すなわちアイコンタクト）は、実際に会った場合の人間のコミュニケーションまたはビデオ会議システムのような電子リンク上での人間のコミュニケーションの重要な局面である［Grayson and Monk 2003; Mukawa et al. 2005; Monk and Gale 2002］ということが強く立証されている［Argyle and Cook 1976; Chen 2002; Macrae et al. 2002］。したがって、仮想コミュニケーションにおいて現実世界のコミュニケーションパターンを現実的に模倣するためには、アイコンタクトが維持されることが重要である。コンシューマビデオ会議のための従来のハードウェア構成は本質的にこれを妨げるという問題がある。セッション中、我々は、典型的にスクリーン上部または底部に位置するカメラではなく、ディスプレイ内のウィンドウ中にレンダリングされる話している人の顔を見る傾向がある。したがって、アイコンタクトをすることは可能ではない。Ｓｋｙｐｅ（登録商標）のようなコンシューマビデオ会議システムを使用する人々は、この問題をしばしば経験する。彼らは、自身の会話相手が彼らの上または下のどこかを見ているかのように絶えず錯覚する。アイコンタクトの欠如によって、コミュニケーションが扱いにくく、不自然になる。この問題は、ビデオ会議の始まり［Stokes 1969］以来存在しており、まだコンシューマレベルのシステムについて納得がいく形で対応されていない。完全な眼差し認識は複雑な心理学的現象である［Chen 2002; Argyle and Cook 1976］が、相互の眼差しまたはアイコンタクトは、単純な幾何学的な概要を有する。すなわち、アイコンタクトをする対象同士は、彼らの相互の視線の中心にいなければならない［Monk and Gale 2002］。この簡略化モデルの使用して、当該眼差しの問題は、視線に沿って配置された仮想カメラからシーンをレンダリングする［Chen 2002］という新しいビューの合成問題とされ得る。これを行う１つの方法は、ミラーのシステムを使用してカメラの位置を変更するカスタムメイドのハードウェア構成の使用による［Okada et al. 1994; Ishii and Kobayashi 1992］。これらの構成は通常、コンシューマレベルのシステムにしては高価すぎる。
【０００４】
代替的な方法は、実際のカメラの視点と異なる新しい視点から画像を合成するソフトウェアアルゴリズムを使用することである。納得がいく形で新しいビューの合成を行うことができるシステムは典型的に、複数のカメラ構成からなり［Matusik et al. 2000; Matusik and Pfister 2004; Zitnick et al. 2004; Petit et al. 2010; Kuster et al. 2011］、２段階で行われる。第１の段階では、当該システムは、シーンのジオメトリーを再構成し、第２の段階では、新しい視点から当該ジオメトリーをレンダリングする。これらの方法は、典型的なコンシューマにとって大きすぎて実際的でないかまたは手頃でない多くのカメラを必要とする。当該システムは複雑な構成を有しており、リアルタイムで実行するのが困難である。
【０００５】
Ｋｉｎｅｃｔ（登録商標）［Microsoft 2010］のようなコンシューマレベルの深度およびカラーカメラの出現により、リアルタイムでカラーおよびジオメトリーの両方の取得が可能となっている。これにより、Kuster et. al [2011]によって実証されたように、新しいビューの合成の問題の解決が非常に促進され得る。既に、１５００万以上のＫｉｎｅｃｔデバイスが販売されたので、技術専門家は、すぐに深度／カラーハイブリッドカメラがウェブカメラと同じくらいユビキタスになり、また数年以内にモバイルデバイス上で利用可能になると予測する。
【０００６】
我々は、そのようなハイブリッドセンサの最近の圧倒的な流行により、１つのこのようなデバイスのみからなる構成を提案する。一見この解決策は、シーンにおける対象のジオメトリーおよび外見が分かっていれば、必要であるのは正しい新しい視点からこの３Ｄシーンをレンダリングすることだけであるといったように、明白に思える。しかしながら、以下のようないくつかの根本的な困難および限界が言及されるべきである。すなわち、
・利用可能なジオメトリーは、単一の視点からの深度マップに限定される。したがって、当該ジオメトリーはオクルージョンに非常に敏感であり、任意の（新しい）視点からシーンを合成すると、カラー情報および深度情報の両方の欠如により、図２（左）に図示されるように多くのホール（hole）が発生し得る。テクスチャ合成方法を使用して妥当な態様でこれらのホールを埋めることは可能かもしれないが、これらは実際のバックグラウンドに対応していない。
・深度マップは、シルエットに沿って特に不正確になる傾向があり、多くのちらつくアーティファクトが発生することになる。
・人間は、顔に非常に敏感であるので、ジオメトリーにおける小さな誤差は、幾何学的な意味において小さいが知覚的な意味において非常に大きくあり得る歪みにつながり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
眼差し補正は、通信会議について非常に重要な問題であり、多くの実験的かつ商業的なシステムが眼差し補正をサポートしている［Jones et al. 2009; Nguyen and Canny 2005; Gross et al. 2003; Okada et al. 1994］。しかしながら、これらのシステムはしばしば、主流であるホームユースに適していない高価なカスタムメイドのハードウェアデバイスを使用する。概念的には、眼差しの補正の問題は、リアルタイムの新しいビューの合成の問題に密接に関係付けられる［Matusik et al. 2000; Matusik and Pfister 2004; Zitnick et al. 2004; Petit et al. 2010; Kuster et al. 2011］。確かに、任意の視点からシーンがレンダリングされ得れば、対象の視線に沿って仮想カメラを配置することができ、これによりアイコンタクトが達成される。単純なビデオカメラを使用する新しい視点合成は、過去１５年間研究されているが、多くのビデオカメラが使用されなければ、高品質な結果を得るのは難しい。このような構成は、リアルタイム処理および低価格のハードウェアをターゲットとする我々のアプリケーションモデルに適していない。
【０００８】
低価格の構成により適している、眼差し補正のために特別に設計されたいくつかの技術が存在する。いくつかのシステムは、顔の眼差し補正がされた画像を合成するために２つのカメラのみを必要とする［Criminisi et al. 2003; Yang and Zhang 2002］。これらのシステムは、２つの画像を賢く混ぜる（smart blending）ことによりこれを達成する。この構成は、２つの実際のカメラ間の経路に仮想カメラの位置を拘束する。より重要なことには、この構成は、入念な較正を必要とし、光の状態に敏感であるので、主流の使用には非実用的である。
【０００９】
いくつかの方法は、眼差し補正を行なうために１つのカラーカメラのみを使用する。これらのうちのいくつか［Cham et al. 2002］は、純粋に画像空間において動作して画像の最適なワープを見つけようとし、そして、非常に小さな補正についてのみ妥当な結果を得ることができる。これは、顔の形状に関するなんらかの事前知識がなければ、説得力のある画像を合成するのは難しいからである。したがって、他の方法は、眼差しが補正された画像を合成するために、プロキシジオメトリーを使用する。Yip et al.[2003]は、頭について楕円のモデルを使用し、Gemmell[2000]は、顔の特徴に基づいてアドホックモデルを使用する。しかしながら、テンプレートは静的であり、顔は動的である。したがって、多くのさまざまな異なる表情に直面した場合、典型的に単一の静的なテンプレートでは良好な結果が得られないであろう。
【００１０】
これらの方法の多くは主に、頭または顔の存在するジオメトリーを再構成することに集中しているので、リアルタイムのジオメトリーおよびカラー情報への容易なアクセスを与えるＫｉｎｅｃｔのようなコンシューマレベルの深度／カラーセンサの出現は、当該問題を解決するために利用することができる重要な技術的なブレークスルーである。Zhu et al.[2011]は、１つの深度カメラおよび３つのカラーカメラを含む構成を提案し、これらのカラーカメラからのステレオ再構成と深度マップを組み合わせた。しかしながら、この構成は単にフォアグラウンド画像を再構成しているだけであり、まだ低価格ではない。
【００１１】
したがって本発明の目的は、最初に言及されたタイプのビデオ会議において、上記の欠点を克服する、画像処理のための方法およびシステムを作り出すことである。
【課題を解決するための手段】
【００１２】
これらの目的は、対応する独立項に従った、ビデオ会議における画像処理のための方法およびシステムによって達成される。
【００１３】
少なくとも１つの実際のカメラによって撮像される画像または画像のシーケンスにおいて人間の対話者（またはユーザ）の眼差しを補正するための、ビデオ会議における画像処理のための方法は、
・上記少なくとも１つの実際のカメラが上記対話者のオリジナル画像を取得するステップと、
・仮想カメラによって見られたように上記対話者の顔の補正されたまたは新しいビューを合成すなわち計算するステップとを含み、上記仮想カメラは上記対話者の視線上に位置し、上記対話者に向かうよう（特に視線に沿って）方向付けられており、上記方法はさらに、
・最終画像を生成するよう、合成された上記ビューから上記オリジナル画像に上記対話者の顔の上記補正されたビューを転写するステップと、
・上記最終画像を表示することおよび上記最終画像を典型的にデータ通信ネットワークを介して別のユーザのコンピュータでの表示のために送信することの少なくとも１つを行うステップとを含む。
【００１４】
眼差し補正システムは、平均的なコンシューマハードウェア上でリアルタイムで実行されるピア・ツー・ピアビデオ会議モデルをターゲットにしており、一実施形態では、Ｋｉｎｅｃｔのような１つのハイブリッドの深度／カラーセンサのみを必要とする。１つの目標は、前記画像の完全性を損うこと（すなわち情報の損失または視覚的なアーティファクト）なく、人物または対話者の表情を完全に保存しつつ眼差し補正を行なうことである。システムの主な構成要素は、眼差しが補正された対象の顔の新しいビューを合成するとともに継ぎ目なくオリジナルカラー画像にそれを転写する顔置換アルゴリズムである。これにより、対象がアイコンタクトをしている、ピクセルの損失または著しい視覚的なアーティファクトを有さない画像が得られる。合成された画像では、情報の損失はなく、オリジナル画像でのように表情が保存されており、またバックグラウンドも維持されている。一般に、補正された画像からオリジナルに顔の画像を転写することは、顔の垂直視差と身体の残りの部分との間の不整合につながり得る。大きな回転の場合、たとえば、顔が真っ直ぐ見ていて頭は上方向に回転されれば、これは遠近法の収差につながり得る。重要な所見は、一般の会議アプリケーションでは、眼差しの補正に必要な変換が小さく、全身とは対照的に、顔を単に変換するだけで十分であるということである。
【００１５】
本文のその他の部分では、深度マップに加えて、１つの実際のビデオカメラ（すなわちカラーまたは白黒画像カメラ）のみを使用するシステムの点から眼差し補正システムおよび方法が説明される。複数のカメラを使用するようシステムおよび方法を拡張することは容易である。
【００１６】
ある実施形態では、上記方法は、上記対話者の顔を含む関連付けられる深度マップを各オリジナル画像ごとに典型的には同時に取得するステップを含み、上記対話者の顔の上記補正されたビューを合成するステップは、上記深度マップに基づき、上記対話者の顔の３Ｄモデル上に上記オリジナル画像をマッピングするステップと、予測の上記対話者の視線に沿って配置される仮想カメラから上記３Ｄモデルをレンダリングするステップとを含む。１つより多いカメラが利用可能な場合、それぞれの画像が３Ｄモデル上で混合され得る。
【００１７】
代替的には、ある実施形態では、たとえば画像において認識された顔の特徴に一般的な３Ｄモデルを適合させることによって、１つ以上の画像のみから３Ｄ顔モデルを予測することも可能である。さらに、一般的な３Ｄ顔モデルは、画像にそれを適合させることなく使用され得る。
【００１８】
眼差し補正アプローチは、ＭｉｃｒｏｓｏｆｔのＫｉｎｅｃｔセンサのような単一の深度スキャナで取得される深度マップに基づき得、顔の完全性および表現性の両方と、全体としてのシーンの忠実性とを保存し、ほとんどアーティファクトのないの画像を作り出す。この方法は、主流である家庭用ビデオ会議に適している。すなわち、低価格のコンシューマハードウェアを使用し、リアルタイム性能を達成し、単純かつ短いセットアップのみを必要とする。このアプローチは、このような用途について、補正された顔のみを合成すれば十分であるという所見に基づく。したがって、シーンの眼差しが補正された３Ｄモデルをレンダリングし、フェイストラッカの補助により、オリジナル画像上に継ぎ目のない態様で眼差しが補正された顔の部分を転写する。
【００１９】
ある実施形態では、上記合成されたビューから上記オリジナル画像に上記対話者の顔の上記補正されたビューを転写するステップは、継ぎ目ラインに沿って上記補正されたビューと上記オリジナル画像との間の差の合計を最小化する、上記補正されたビューと上記オリジナル画像との間の最適な上記継ぎ目ラインを決定するステップを含む。ある実施形態では、上記差は強度差である。ここで考えられる強度は、グレー値もしくはグレーレベルであり得るか、または異なるカラーチャンネルとの強度の差の組合せであり得る。
【００２０】
ある実施形態では、上記最適な継ぎ目ラインを決定するステップは、
・フェイストラッカによって決定される顎の点にフィッティングされる楕円状の多角形か、または
・画像のシーケンスにおける前の画像について決定される多角形
のいずれかで開始するステップと、
上記差の合計を最小化するよう、上記多角形の頂点の点を適合するステップとを含む。
【００２１】
ある実施形態では、上記対話者の顔の上部分に対応する上記多角形の上部分、特に上記多角形の上半分の頂点のみを適合される。
【００２２】
ある実施形態では、上記方法は、各深度マップにおける上記対話者の頭の上記３Ｄ位置を予測し、現在の深度マップにおいて観察される上記頂点の上記３Ｄ位置を、少なくとも１つの先行する深度マップにおけるそれらの位置と特に前の深度マップから現在の深度マップまでの上記頭の３Ｄ位置および向きにおける変化とから計算されるそれらの位置の予測に組み合わせることにより、深度マップのシーケンスに亘る顔トラッキング頂点の３Ｄ位置の時間的スムージングのステップを含む。
【００２３】
ある実施形態では、上記方法は、較正段階において、上記対話者に対して上記最終画像を表示し、かつ上記最終画像に満足するまで、上記実際のカメラおよび上記仮想カメラの位置および向きを関係付ける幾何学的変換のための変換パラメータを適合させるよう上記対話者からのユーザ入力を受けることにより上記変換パラメータを決定するステップを含む。これは、スクリーンに表示されたグラフィカルユーザインターフェイス要素において「ＯＫ」ボタンをクリックするといったように対話者が対応するユーザ入力を入力することによって行われ得る。
【００２４】
ある実施形態では、上記方法は、較正段階において、
・上記対話者が上記実際のカメラを見ている際の少なくとも上記対話者の顔の第１の深度マップを取得し、
・上記対話者の会議相手の画像を表示するよう配置されるディスプレイスクリーンを上記対話者が見ている際の少なくとも上記対話者の顔の第２の深度マップを取得し、
・上記第１および第２の深度マップを関係付ける変換から、上記実際のカメラおよび上記仮想カメラの位置および向きを関係付ける幾何学的変換のための変換パラメータを計算することにより、
上記変換パラメータを決定するステップを含む。
【００２５】
ある実施形態では、上記方法は、較正段階において、上記最終画像を上記対話者に対して表示し、上記最終画像に満足するまで、上記オリジナル画像における上記対話者の顔の補正されたビューの位置決めをするための２Ｄ変換ベクトルを適合するよう上記対話者からのユーザ入力を受けることにより上記２Ｄ変換ベクトルを適合させるステップを含む。この実施形態の変形例では、２Ｄ変換ベクトルを適合させるステップは、上記の変換パラメータを決定するステップと同じステップで行われる。
【００２６】
ある実施形態では、上記方法は、フェイストラッカを使用して上記対話者の目玉の３Ｄ位置を識別し、球体によって上記目玉の形状を近似し、上記深度マップにおいて上記目の位置にて、取得した上記深度マップの情報の代わりにこの近似を使用するステップを含む。
【００２７】
ある実施形態では、上記方法は、特にラプラススムージングによって、上記対話者の顔を含む上記深度マップをスムージングするステップを含む。
【００２８】
ある実施形態では、上記方法は、上記対話者の顔を含む上記深度マップを人工的に拡張するステップを含む。さらにまたは代替的には、上記深度マップ内のホールを埋めるステップが行われ得る。
【００２９】
本発明の１つの局面によると、画像およびジオメトリー処理方法は、記録された対話者の眼差しを補正するよう機能し、１つのみの（深度およびカラー）カメラを必要とし、対話者の視線はそのカメラと整列せず、上記方法は、
ａ．適切なアルゴリズムを使用することにより対話者の頭の周囲の場所を特定するステップと、
ｂ．頭の識別された周囲の外側の画像は本質的に変わらないままにして、視線がカメラと整列するように、識別された周囲の内部の画像に変換を適用することによって新しいビューを生成するステップとを含む。
【００３０】
この局面に従った画像およびジオメトリー処理方法のある実施形態では、スムージング、好ましくはラプラススムージングが深度マップに適用される。
【００３１】
この局面に従った画像およびジオメトリー処理方法のある実施形態では、深度マップにおける不連続部を通る識別された周囲のまわりのジオメトリーは、深度マップの低解像度を考慮に入れるよう人工的に拡大される。
【００３２】
この局面に従った画像およびジオメトリー処理方法のある実施形態では、識別された周囲の内部の変換された画像は、変換された画像をオリジナル画像と比較した場合に可能な限りほとんど変化がない最適化された継ぎ目に沿ってオリジナル画像上にペーストされる。
【００３３】
この局面に従った画像およびジオメトリー処理方法のある実施形態では、当該方法はさらに、識別された周囲の内部の画像に対して実行される必要のある変換をセットアップしカメラに対する視線の相対位置を規定する較正ステップを含む。
【００３４】
ある実施形態では、ビデオ会議での画像処理のためのコンピュータプログラムまたはコンピュータプログラムプロダクトは、デジタルコンピュータまたはコンピュータシステムの内部メモリにロード可能であり、ビデオ会議における画像処理のための方法をコンピュータまたはコンピュータシステムの１つ以上のプロセッサに実行させるコンピュータ実行可能命令を含む。別の実施形態では、コンピュータプログラムプロダクトは、コンピュータ実行可能命令を記録するコンピュータ読取可能媒体を含む。当該コンピュータ読取可能媒体は好ましくは非一時的、すなわち、実体的である。さらに別の実施形態では、当該コンピュータプログラムは再生可能なコンピュータ読取可能信号として具現化され、したがって、そのような信号の形で送信され得る。
【００３５】
非一時的なコンピュータ読取可能媒体を製造する方法は、本文献中に記載されるように、コンピューティングシステムのプロセッサによって実行されると、ビデオ会議における画像処理のための方法のステップをコンピューティングシステムに行なわせるコンピュータ実行可能命令をコンピュータ読取可能媒体上に格納するステップを含む。
【００３６】
従属請求項からさらに別の実施形態が明白である。方法の請求項の特徴は装置の請求項の特徴と組み合わされてもよく、その逆であってもよい。
【００３７】
添付の図面において示される例示的な実施形態を参照して、本発明の主題を以下の本文においてより詳細に説明する。
【図面の簡単な説明】
【００３８】
【図１】システムのユーザインターフェイスハードウェアの構成を示す図である。
【図２】システムによって処理され組み合わせられる際の画像を示す図である。
【図３】異なるアプローチの比較の図である。
【図４】システムによって生成された画像の例の図である。
【図５】２Ｄオフセット補正の実現例の図である。
【図６】ペーストされた画像セグメントの境界でのｚ値の補正の図である。
【発明を実施するための形態】
【００３９】
図面において使用される参照符号およびそれらの意味は参照符号のリストに概要形式でリスト化される。原則として、同一部分には図において同じ参照符号が付与される。
【００４０】
以下に記載されたシステムおよび方法は、特許請求された発明の可能な実施形態を示す。これらは、図１において概略的な態様で示されるように、深度スキャナ２に組み合わされた実際のカメラ１を使用することより実現され得る。ビデオ会議システムのさらに別の要素は、マイクロホン４と、ディスプレイ５と、ラウドスピーカ６とを含み、これらすべては典型的に、データ処理ユニットを含み本願明細書に記載される方法を実行するようにプログラムされた汎用コンピュータ７または専用ビデオ会議デバイスに接続される。このような要素の組合せ、特にカメラおよび深度スキャナの組合せが、たとえばハイブリッドの深度／カラー画像を取得可能であるＭｉｃｒｏｓｏｆｔのＫｉｎｅｃｔデバイスにおいて実施され、一般的なカメラを使用してカラー画像、この文脈では、「オリジナル画像」１０が得られ、構造化された赤外線映像の反射パターンから深度マップ１３が得られる。一般に、カラーおよび深度情報は、任意の他の適切な方法によって抽出され得る。カラー画像１０の代わりに、白黒画像１０も同様に使用され得る。
【００４１】
ある実施形態では、必要とされるデバイスは、Ｋｉｎｅｃｔのような単一のハイブリッド深度／カラーセンサのみである。スクリーンの上部にウェブカメラが通常搭載されるが、現在のハイブリッドセンサデバイスは典型的にかなりかさ高く、スクリーンの底部に配置するほうがより自然である。図１において例示的な態様で示されるように、当該構成は、ビデオ会議における人物９、対象または対話者を見ている実際のカメラ１および深度スキャナ２の両方を含む単一のＫｉｎｅｃｔデバイスを含む。Ｋｉｎｅｃｔとスクリーンウィンドウ５との間の角度は典型的に１９度と２５度との間である。眼差し補正システムはまず、深度カメラ（図２ｂ）からのジオメトリーを使用して、対象９がアイコンタクトする新しい視点を合成する。結果得られる画像には、オクルージョンおよび深度誤差により、シルエットのまわりにホールおよびアーティファクトが存在する。バックグラウンドおよびフォアグラウンドの完全性と、対象９の表情と、アイコンタクトとを保存する完全な画像を構築するために、合成されたビューから顔のみをオリジナル画像１０に継ぎ目なく転写する。これにより、如何なる情報も失われることなく、画像の空間的および時間的な完全性を完全に保存することが可能になるとともに、対象９の表情を同時に保存しつつアイコンタクトが達成される。
【００４２】
システムの概要
ａ）入力：Ｋｉｎｅｃｔからのカラー画像および深度画像。
ｂ）（頭のジオメトリーの適切な３Ｄ変換を行なうことによって）眼差しを補正した状態で対象の画像を合成。
・上部：対象には、フェイストラッカ（目、鼻、口および顎の周りの小さなドット）と、フェイストラッカの顎の点にフィッティングされた（大きなドット）楕円の形状の継ぎ目ライン１４とが重畳。
・底部：眼差しが補正されたレンダリングをコピーするようステンシルとして楕円を使用し、それをオリジナル画像１０にペースト。継ぎ目のアーティファクトが見える。
ｃ）継ぎ目ライン１４を最適化。
・上部：対象には新しい継ぎ目ライン１４（大きなドット）が重畳。
目に見えるアーティファクトがはるかに少ない。
ｄ）頂点を連結する縁部によって規定される継ぎ目ラインに沿って画像を混合して、最終結果を得る。
【００４３】
当該アルゴリズムのステップは以下のとおりである。
１．ラプラススムージング（Laplacian smoothing）を使用して、Ｋｉｎｅｃｔの深度マップ１３上のホール（図２ａ）を円滑化して埋める。実際には、性能を向上させるために、シンプルな深度しきい値を使用して得られるフォアグランドのオブジェクトに対してのみこれを行う。さらに、Ｋｉｎｅｃｔからのシルエットは非常に不正確であり、また、特に顔のまわりの縁部にてかなりの顔のジオメトリーが失われ得るということがあり得る。したがって、約２５個のピクセルだけジオメトリーを人工的に拡張し、および／または深度マップにおける如何なるホール（すなわち深度情報のない点）も埋める。
２．眼差しが補正される（図２ｂの上部）新しいビューまたは補正されたビュー１１を生成する。これは、仮想カメラ３を見るように向く、すなわち対話者の視線が仮想カメラ３に向かうよう方向付けされた状態で、対象を仮想カメラ３の座標フレームに配置するよう変換をジオメトリーに適用することによって、達成される。この変換のパラメータは、較正段階（セクション３．１参照）中に一度だけ計算される。ここで、顔は正しい眼差しを有しているが、画像はもはや完全でなく一貫していない。視線は、たとえば頭に直交する、すなわち頭の向きの方向の、目のうちの１つの目または２つの目の間の中間点を通るラインとして、３Ｄの頭の位置検出によって決定される。
３．補正された画像１１から顔を抽出し、それを継ぎ目なくオリジナル画像１０に転写する（図２ｂの底部）。現状技術のフェイストラッカを使用して［Saragih et al. 2011］、オリジナルカラー画像中の顔の特徴点をトラッキングする。トラッカはたとえば、顎、鼻、目および眉に沿って６６ヶ所の特徴点を計算する（図６も参照）。最適なステンシルまたは継ぎ目ライン１４を計算して、変換すなわち補正された画像から顔を切り離す（図２ｃの上部および底部）。最適なステンシルは、好ましくは画像の空間的な一貫性と、シーケンスの時間的な一貫性とを保証する。顔、すなわち補正された画像のセグメント１５は、境界に沿った狭い５〜１０ピクセルの幅の領域上で２つの画像を混合することにより転写される（図２ｄ）。
【００４４】
ジオメトリーを人工的に拡張することおよび／または深度マップにおいて如何なるホールも埋めることは、以下のステップによってなされ得る。すなわち、
・たとえば大きさＫ＝２５のカーネルすなわちウィンドウを選択し、
・未知の深度のピクセルごとに、中心がこのピクセルに位置するようにカーネルを位置決めし、このカーネルの内の既知の深度値の平均値を計算し（既知の値がなければ、既知の深度値を有さないピクセルをスキップすなわち無視する）、観察された中心ピクセルにこの値を割り当てる。
これにより、サイズがＫより小さいホールが埋められることになる。処理されるピクセルのシーケンスは、典型的に、既知の深度のピクセルの隣りに位置するピクセルから始まる。
【００４５】
重要な所見は、一般の会議用途では、眼差しの補正に必要な変換が小さく、全身に対して、単に顔だけを変換するだけで十分であるということである。図３はこの所見を示す。左のカラムは、眼差しがカメラから離れている２人の異なる対象のオリジナル画像１０を示す。中央のカラムでは、彼らの眼差しは、ジオメトリーを単に回転させることにより補正され、補正されたビュー１１が提供される。右のカラムは、結果すなわち最終画像１２を示す。オリジナル画像１０上に回転した顔を転写しても、遠近法的な収差が発生しない。なお、人物９の外見は、全ジオメトリーを単に変換した場合に類似しており、シーンの完全性を保存することができるという利点がある。図４は、システムまたは方法の適用例のさらに別の例を示しており、オリジナル画像１０は上部の列に、補正された眼差しを有する最終画像１２（または出力画像）は底部の列にある。
【００４６】
初期較正
システムのいくつかのパラメータは、任意の所与のユーザに固有である特定の構成および顔の特徴に依存する。たとえば、仮想カメラ３の位置は、ディスプレイスクリーン５上のビデオ会議アプリケーションウィンドウの位置ならびに人物９の高さおよび深度センサ２の位置に依存する。これらのパラメータは、単純かつ直観的なインターフェイスを使用して、セッションの初めにユーザによって一度だけセットされる。典型的に較正プロセスにかかるのは３０秒未満である。その後、システムは完全に自動的な態様で作動する。
【００４７】
セットされる必要のある第１のパラメータは、仮想カメラ３の位置である。これは、ジオメトリーに適用された場合にアイコンタクトをする画像が得られる厳密な変換を発見することと同等である。そのために２つのメカニズムが提供される。第１のメカニズムでは、トラックボールのようなインターフェイスを使用して、ユーザが自分で最適な変換を発見することを可能にする。ユーザが見ているウィンドウの上に補正されたジオメトリーをレンダリングすることによって、視覚フィードバックが提供される。これにより、ユーザ９は、アイコンタクトするべき点に対して完全なコントロールを有する。第２のメカニズムは、ユーザがＫｉｎｅｃｔのカメラ１を真っ直ぐに見ている間のスナップショットと、ユーザがディスプレイ５上でビデオ会議ウィンドウを真っ直ぐに見ている間のスナップショットといった２つのスナップショットがＫｉｎｅｃｔのカメラ１から撮られる半自動技術である。これらの２つの深度画像から、一方を他方にマッピングする厳密な変換が計算され得る。これは、２つの対応するカラー／深度画像においてアイトラッカの点をマッチングすることにより達成され得る。
【００４８】
眼差しが補正された画像から顔をオリジナル画像１０上に厳密にペーストする際、オリジナル画像１０における補正された顔を位置決めする２Ｄ変換ベクトルといった２つの自由度がまだ存在する。したがって、初期設定を必要とする第２のパラメータは、ペーストされた顔のオフセットである。このパラメータを決定する最も単純な方法は、目の位置および口の位置が概略的に一致するように自動的に顔の特徴を整列させることである（図５の左）。しかしながらこれは、顔のプロポーションがまだ不自然であるので、魅力的な結果につながらない。たとえば額が不自然にしぼんでいるように見える。これは実際には、頭を回転する際に、目および口のような顔の特徴が遠近法的な変換において下方に動かされるからである。転写画像を若干下に移動させることによって（図５右）、顔のプロポーションが回復され得る。同じ問題は顎に沿っては起きない。なぜならば顎は、実際のカメラと仮想カメラ３との両方から深度の不連続がある顔の実際のシルエットに属するからである。ユーザは、プロポーションが自然に見えるまで、顔の転写画像、すなわちオリジナル画像１１に転写された補正された画像のセグメント１５を１つのフレームにおいて下方向にドラッグし得る。このオフセットは、プロセスの全体にわたって使用することができる。
【００４９】
継ぎ目の最適化
補正されたビュー１１からオリジナル画像１０まで顔を転写するために、視覚的なアーティファクトを最小化する継ぎ目が各フレームにおいて発見されなければならない。これを達成するために、ソース画像および補正された画像において可能な限り類似する多角形の継ぎ目ライン１４または継ぎ目Ｓが計算される。一緒に混合された際には、当該継ぎ目は滑らかに見える。［Dale et al. 2011］と同様に、以下のエネルギーを最小化する。
【００５０】
【数１】
2015513833.tif 000003
【００５１】
式中、ＩＯおよびＩＳはオリジナル画像および合成画像におけるピクセル強度であり、Ｂ（ｐ）はｐの周りの５×５ブロックのピクセルである。ピクセル強度は、たとえばグレー値または色強度の組合せである。
【００５２】
性能的な制約により、局所最適化技術が選択され得る。これは全体的に最適なソリューションにならないが、典型的に目に見えるアーティファクトがないソリューションになるということを実験が示している。まず、楕円がフェイストラッカの顎の点にフィッティングされ、較正に従ってオフセットされる（図２ｂ）。
【００５３】
楕円の上半分上の各頂点は、楕円の中心に頂点を接続する線に沿って頂点を移動させることによって反復的に最適化される。合計で２０〜３０の点を有する楕円を構築し、このスキームは、約４回の反復で集束する。この処置は、各頂点が１次元にのみ移動する（最終解は常に単純な星形の多角形になる）ので非常に効率的でありながら、アーティファクトのない継ぎ目ライン１４が得られる。額と異なり、顎の継ぎ目は、顔の上の実際の深度の不連続に対応するので楕円の上半分のみを最適化している。したがって、顎を際立たせる不連続を見ることが期待される。顎に沿ってスムーズな継ぎ目を施すと、不自然な視覚的なアーティファクトが発生する。当該プロセスをさらにスピードアップするよう、当該最適化は、時間干渉性を利用し、各フレームにおいて、初期予想として前フレームからの多角形から始める。
【００５４】
目のジオメトリー補正
人間の顔を合成することにおける重要な１つの困難は、人間の知覚が顔、特に目に非常に敏感であるという事実に起因する。顔のジオメトリーにおける相対的に小さな変化が、大きな知覚的な歪みにつながり得る。
【００５５】
深度センサからのジオメトリーは非常に粗く、その結果として、アーティファクトが現われ得る。顔の最も敏感な部分は、目玉の反射率特性によりジオメトリーの信頼性が低い目に近い。したがって、目が不自然に見え得る。幸い、目は人物ごとに幾何学的な変化が相対的に小さい特徴であり、約２．５ｃｍの半径を有する球体によって良好に近似することができる。これらは、深度マップ１３に人工的に加えられ得、フェイストラッカを使用して目の位置を識別することによって、深度センサによって提供される深度値を置き換える。
【００５６】
時間的安定
Ｋｉｎｅｃｔまたは深度マップジオメトリーからの大きな時間的な不連続性は、ノイズを含みちらつきを有するアーティファクトに繋がり得る。２Ｄの顔トラッキング点（顔の特徴点）は、オリジナルのカラー画像においてかなり安定しているが、ジオメトリーに投影されると、それらの３Ｄ位置は、特にシルエットのような深度の不連続部の近くで、信頼性が低い。図６は、トラッキングされた顔の特徴点の３Ｄ位置を示す。左：安定化なし。カメラの観点からの深度不連続部の近くの点は、ｚ方向、すなわち矢印として示される、カメラのそれぞれの射影線に沿って任意にスライドし得る。この誤差は初期のビューのｚ方向にもっとも主であるので、それぞれの射影線に沿ってフェイストラッカの頂点を最適化することにより、この問題を解決する。いくつかのフレームに亘る（カメラの座標系における）ｚ値の単純な平均値算出では、ステンシルが安定されるが、人物９が前後に動くと、ストロービングアーティファクト（strobing artifact）が作り出される。その代わりに、まず、目のまわりのトラッキングされる点を使用して頭の３Ｄ平行運動を予測する。これらの点は、深度の不連続部の近くに位置してないので、より信頼性がある。この情報を使用して、いくつかのフレームに亘るｚ値を平均し、フレーム間で全体的な平行移動を減じることによって、３Ｄの顔トラッキング頂点の時間的なスムージングを行なう。結果得られる補正された顔の特徴点は図６の右側に示される。この安定化技術は、コンピューティングリソースにおいてほとんど不利にならず、対象が広範囲の運動を行なっても、時間的に一貫した眼差し補正を提供することに成功する。
【００５７】
結果および議論
システムを実証および確認するために、当該システムを３６人の対象に対して実行した。ユーザごとにシステムを較正し、ビデオ会議構成において、当該ユーザに１分間話してもらった。対象に依存して、ジオメトリーについて適用された変換の回転は、１９度から２５度変動した。較正プロセスは非常に短く（すなわち約３０秒）、さまざまな顔タイプ、ヘアスタイル、民族性などについて結果は説得力のあるものである。表情およびジェスチャの両方の点において対象の表現性が保存される。これは、非言語コミュニケーションの意味が変更されてはならないので、ビデオ会議において重要である。当該システムは、２人の人物の眼差しを同時に矯正することができる。これは、ウィンドウを分割して当該方法を各顔に個々に適用することにより行われる。当該システムは、光の状態（薄明りおよび過剰露光）と照明変化とに対して堅牢である。これは、ステレオベースの方法について問題を引き起こす。この方法は、外見の変化に対して堅牢である。対象が髪を後ろにするかまたはヘアスタイルを変更しても、眼差しは正確に保存され、動的な継ぎ目は如何なるアーティファクトも示さない。
【００５８】
システムは、コンシューマのコンピュータ上で約２０Ｈｚで動作する。当該方法によって、説得力のある結果が得られ、使用の単純性により、Ｓｋｙｐｅプラグインの開発が動機付けられた。ユーザは、著者のウェブサイトからそれをダウンロードし、数クリックで自分のコンピュータにインストールし得る。プラグインは、シームレスにＳｋｙｐｅに統合しており、単純なオン／オフボタンによってアルゴリズムが有効化／無効化されるといったように使用するのが非常に直観的である。このプラグインは、世界中の何百万ものＳｋｙｐｅユーザにリアルタイムおよび自動的な眼差し補正をもたらす。
【００５９】
制限：対象の顔がほとんどオクルージョンされる場合、トラッカは失敗する傾向がある［Saragih et al. 2011］。これは自動的に検出され得、カメラからのオリジナルの場面が表示される。システムは人物９が着用し得る多くの装備品に対して堅牢であるが、眼鏡のような反射面は良好に再構成され得ず、視覚的なアーティファクトが発生する。当該方法はマルチパースペクティブ・レンダリングを行なうので、特に回転が大きい場合、顔のプロポーションが変更され得る。
【００６０】
結論
当該システムは、ビデオ会議の文脈において２つの重要な目標を達成する。第１に、フォアグラウンドおよびバックグラウンドの対象の両方について画像の完全性および情報を維持しながら、説得力のある態様で眼差しを補正し、これにより、視覚的な外見およびコミュニケーションの点においてアーティファクトのない結果が得られる。第２に、較正は短く些細であり、当該方法は、近い将来ウェブカメラと同じくらいユビキタスになるであろう低価格かつ入手可能な機器を使用する。結果の品質およびその使用の単純性により、当該システムは、家庭用ビデオ会議に理想的である。最後に、当該直観的なＳｋｙｐｅプラグインは、眼差し補正を主流およびコンシューマレベルにもたらす。
【００６１】
本発明を本実施形態において記載してきたが、本発明は当該実施形態に限定されず、特許請求の範囲内において別の態様で種々に具現化および実施されてもよいということが明確に理解される。
【００６２】
参考文献
2015513833.tif 000004
【００６３】
2015513833.tif 000005
【００６４】
2015513833.tif 000006
【図１】
2015513833.tif 000007
【図２】
2015513833.tif 000008
【図３】
2015513833.tif 000009
【図４】
2015513833.tif 000010
【図５】
2015513833.tif 000011
【図６】
2015513833.tif 000012
【手続補正書】
【提出日】平成26年10月28日(2014.10.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１つの実際のカメラ（１）によって撮像される画像または画像のシーケンスにおいて対話者（９）の眼差しを補正するための、ビデオ会議における画像処理のための方法であって、
・前記少なくとも１つの実際のカメラ（１）が前記対話者（９）のオリジナル画像を取得するステップと、
・仮想カメラ（３）によって見られたように前記対話者（９）の顔の補正されたビューを合成するステップとを含み、前記仮想カメラ（３）は前記対話者（９）の視線上に位置し、前記対話者（９）に向かうよう方向付けられており、前記方法はさらに、
・最終画像（１２）を生成するよう、合成された前記ビューから前記オリジナル画像（１０）に前記対話者（９）の顔の前記補正されたビューを転写するステップと、
・前記最終画像（１２）を表示することおよび前記最終画像（１２）を送信することの少なくとも１つを行うステップとを含む、方法。
【請求項２】
前記対話者（９）の顔の前記補正されたビューを合成するステップは、前記対話者（９）の顔の３Ｄモデル上に前記オリジナル画像（１０）をマッピングするステップと、前記対話者（９）の視線の予測に沿って配置される仮想カメラ（３）から前記３Ｄモデルをレンダリングするステップとを含む、請求項１に記載の方法。
【請求項３】
前記合成されたビューから前記オリジナル画像（１０）に前記対話者（９）の顔の前記補正されたビューを転写するステップは、継ぎ目ライン（１４）に沿って前記補正されたビューと前記オリジナル画像（１０）との間の差の合計を最小化する、前記補正されたビューと前記オリジナル画像（１０）との間の最適な前記継ぎ目ライン（１４）を決定するステップを含む、請求項１または請求項２に記載の方法。
【請求項４】
前記最適な継ぎ目ライン（１４）を決定するステップは、
・フェイストラッカによって決定される顎の点にフィッティングされる楕円状の多角形か、または
・画像のシーケンスにおける前の画像について決定される多角形
のいずれかで開始するステップと、
前記差の合計を最小化するよう、前記多角形の頂点の点を適合するステップとを含む、請求項３に記載の方法。
【請求項５】
較正段階において、前記対話者（９）に対して前記最終画像（１２）を表示し、かつ前記最終画像（１２）に満足するまで、前記実際のカメラ（１）および前記仮想カメラ（３）の位置および向きを関係付ける幾何学的変換のための変換パラメータを適合させるよう前記対話者（９）からのユーザ入力を受けることにより前記変換パラメータを決定するステップを含む、請求項１〜４のいずれか１項に記載の方法。
【請求項６】
較正段階において、
・前記対話者（９）が前記実際のカメラ（１）を見ている際の少なくとも前記対話者（９）の顔の第１の深度マップ（１３）を取得し、
・前記対話者（９）の会議相手の画像を表示するよう配置されるディスプレイスクリーンを前記対話者（９）が見ている際の少なくとも前記対話者（９）の顔の第２の深度マップ（１３）を取得し、
・前記第１および第２の深度マップ（１３）を関係付ける変換から、前記実際のカメラ（１）および前記仮想カメラ（３）の位置および向きを関係付ける幾何学的変換のための変換パラメータを計算することにより、
前記変換パラメータを決定するステップを含む、請求項１〜５のいずれか１項に記載の方法。
【請求項７】
較正段階において、前記最終画像（１２）を前記対話者（９）に対して表示し、前記最終画像（１２）に満足するまで、前記オリジナル画像（１０）における前記対話者（９）の顔の補正されたビューの位置決めをするための（２Ｄ）変換ベクトルを適合するよう前記対話者（９）からのユーザ入力を受けることにより前記２Ｄ変換ベクトルを適合させるステップを含む、請求項１〜６のいずれか１項に記載の方法。
【請求項８】
１つ以上のオリジナル画像において認識された顔の特徴に一般的な３Ｄモデルを適合させることによって、前記対話者（９）の顔の３Ｄモデルを予測するステップを含む、請求項２〜７のいずれか１項に記載の方法。
【請求項９】
前記対話者（９）の顔の一般的な３Ｄモデルを、１つ以上のオリジナル画像にそれを適合させることなく使用するステップを含む、請求項２〜７のいずれか１項に記載の方法。
【請求項１０】
各オリジナル画像（１０）ごとに、前記対話者（９）の顔を含む関連付けられる深度マップ（１３）を取得し、前記深度マップ（１３）に基づき前記対話者（９）の顔の３Ｄモデルを決定するステップを含む、請求項２〜７のいずれか１項に記載の方法。
【請求項１１】
各深度マップ（１３）において前記対話者（９）の頭の３Ｄ位置を予測し、現在の深度マップ（１３）において観察される前記頂点の３Ｄ位置を、先行する少なくとも１つの深度マップ（１３）におけるそれらの位置と前記頭の３Ｄ位置および向きにおける変化とから計算されるそれらの位置の予測と組み合わせることにより、深度マップ（１３）のシーケンスに亘って顔トラッキング頂点の３Ｄ位置の時間的なスムージングを行うステップを含む、請求項１０に記載の方法。
【請求項１２】
フェイストラッカを使用して前記対話者（９）の目玉の３Ｄ位置を識別し、球体によって前記目玉の形状を近似し、前記深度マップ（１３）において前記目の位置にて、取得した前記深度マップ（１３）の情報の代わりにこの近似を使用するステップを含む、請求項１０または１１に記載の方法。
【請求項１３】
特にラプラススムージングによって、前記対話者（９）の顔を含む前記深度マップ（１３）をスムージングするステップを含む、請求項１０〜１２のいずれか１項に記載の方法。
【請求項１４】
前記対話者（９）の顔を含む前記深度マップ（１３）をその境界において人工的に拡張し、および／または前記深度マップ（１３）内のホールを埋めるステップを含む、請求項１０〜１３のいずれか１項に記載の方法。
【請求項１５】
少なくとも１つの実際のカメラ（１）によって撮像される画像または画像のシーケンスにおいて、対話者（９）の眼差しの補正のためのビデオ会議における画像処理のためのデータ処理システムであって、前記対話者（９）の画像を取得するための少なくとも１つの実際のカメラ（１）を含み、前記システムは、請求項１〜１４のいずれか１項に記載の方法を実行するようにプログラムされる、データ処理システム。
【請求項１６】
コンピュータにロードされ実行されると、請求項１〜１４のいずれか１項に記載の方法を前記コンピュータに実行させるコンピュータプログラムをエンコードするコンピュータ読取可能プログラムコードを含む、非一時的なコンピュータ読取可能媒体。
【国際調査報告】
2015513833.tif 000013
2015513833.tif 000014
2015513833.tif 000015
2015513833.tif 000016
2015513833.tif 000017