(57)【要約】【課題】  ビデオ会議経験を向上させる画像操作システムを提供すること。【解決手段】  画像操作のためのシステム２００は、カメラ２０５と、カメラ２０５に隣接した表示画面２１０と、カメラ２０５および表示画面２１０に接続されたプロセッサと、プロセッサに接続されたメモリとを含む。プロセッサによって実行可能な命令により、カメラ２０５からのソース画像の受信、およびソース画像に基づく合成画像の生成が可能となる。合成画像は、表示画面２１０に位置付けられたバーチャルカメラのビューに対応する。【選択図】      図４
2013235562.tif 000002
【特許請求の範囲】
【請求項１】
画像操作のためのシステムであって、
カメラと、
前記カメラに隣接した表示画面と、
前記カメラおよび前記表示画面に接続されたプロセッサと、
前記プロセッサに接続されたメモリと
を備え、前記メモリが、前記プロセッサによって実行可能な命令として、
前記カメラからソース画像を受信する命令、および
前記表示画面に位置付けられたバーチャルカメラのビューに対応する合成画像を前記ソース画像に基づいて生成する命令
を含む、システム。
【請求項２】
前記カメラおよび前記表示画面が単一構造に一体化されている、請求項１に記載のシステム。
【請求項３】
前記カメラおよび前記表示画面は独立して移動可能であり、前記メモリは、前記カメラに対する前記表示画面の位置を推定する命令をさらに含む、請求項１に記載のシステム。
【請求項４】
前記合成画像の生成は、
前記ソース画像における顔の検出と、
前記バーチャルカメラの位置に応じた前記顔の変換と
をさらに含む、請求項１〜３のいずれか一項に記載のシステム。
【請求項５】
前記顔の変換は、前記顔へのＡＡＭ（アクティブ外観モデル）の適用と、前記ＡＡＭのパラメータの変更とを含む、請求項４に記載のシステム。
【請求項６】
前記合成画像の生成は、
前記顔の３次元モデルの生成と、
前記カメラおよび前記バーチャルカメラの間のずれに応じた前記３次元モデルの回転と
をさらに含む、請求項４または５に記載のシステム。
【請求項７】
前記バーチャルカメラの位置が、前記表示画面に対して中央に固定されている、請求項１〜６のいずれか一項に記載のシステム。
【請求項８】
前記バーチャルカメラの位置は、前記表示画面上に提示される内容に基づいて決定される、請求項１〜６のいずれか一項に記載のシステム。
【請求項９】
前記ソース画像は、ビデオシーケンスの画像を包含する、請求項１〜８のいずれか一項に記載のシステム。
【請求項１０】
前記ビデオシーケンスは、２次元または３次元ビデオシーケンスである、請求項９に記載のシステム。
【請求項１１】
前記メモリは、
前記カメラから第２のソース画像を受信する命令、および
前記ソース画像および前記第２のソース画像に基づいて前記バーチャルカメラのビューに対応する第２の合成画像を生成する命令
をさらに含む、請求項１〜１０のいずれか一項に記載のシステム。
【請求項１２】
前記合成画像の生成は、前記ソース画像に関連するメタデータの変更を含む、請求項１〜１１のいずれか一項に記載のシステム。
【請求項１３】
前記メタデータは、カメラパラメータを含む、請求項１２に記載のシステム。
【請求項１４】
ビデオ会議のためのコンピュータ利用方法であって、
データインタフェース上でカメラからソース画像を受信すること、および
前記カメラに隣接する表示画面に位置付けられたバーチャルカメラのビューに対応する合成画像を前記ソース画像に基づいてプロセッサによって生成すること
を備える方法。
【請求項１５】
前記カメラに対する前記表示画面の位置を推定することをさらに備える請求項１４に記載の方法。
【請求項１６】
前記合成画像を生成することは、
前記ソース画像において顔を検出すること、および
前記バーチャルカメラの位置に応じて前記顔を変換すること
をさらに含む、請求項１４または１５に記載の方法。
【請求項１７】
前記顔を変換することは、前記顔にＡＡＭ（アクティブ外観モデル）を適用すること、および前記ＡＡＭのパラメータを変更することを含む、請求項１６に記載の方法。
【請求項１８】
前記合成画像を生成することは、
前記顔の３次元モデルを生成すること、および
前記カメラと前記バーチャルカメラとの間のずれに応じて前記３次元モデルを回転させること、
をさらに含む、請求項１６または１７に記載の方法。
【請求項１９】
前記顔を変換することは、前記顔からアバター画像へと表情を変換することを含む、請求項１６に記載の方法。
【請求項２０】
前記バーチャルカメラの位置が前記表示画面上に提示される内容に基づいて前記プロセッサによって決定される、請求項１４〜１９のいずれか一項に記載の方法。
【請求項２１】
前記バーチャルカメラの位置が予め決定される、請求項１４〜１９のいずれか一項に記載の方法。
【請求項２２】
データインタフェース上で第１のリモートデバイスから第１のリモート画像を受信すること、
前記表示画面上で前記第１のリモート画像を表示すること、および
前記データインタフェース上で前記合成画像を前記第１のリモートデバイスへと送信すること
をさらに備える請求項１４〜２１のいずれか一項に記載の方法。
【請求項２３】
前記データインタフェース上で第２のリモートデバイスから第２のリモート画像を受信すること、および
前記表示画面上で前記第１のリモート画像の隣に前記第２のリモート画像を表示すること
をさらに備える請求項２２に記載の方法。
【請求項２４】
前記データインタフェース上で前記合成画像を前記第２のリモートデバイスに送信することをさらに備える請求項２３に記載の方法。
【請求項２５】
前記表示画面に位置付けられた第２のバーチャルカメラのビューに対応する第２の合成画像を前記ソース画像に基づいて前記プロセッサによって生成すること、および
前記データインタフェース上で前記第２の合成画像を前記第２のリモートデバイスに送信すること、
をさらに備える請求項２３に記載の方法。
【請求項２６】
前記カメラからさらなるソース画像を受信すること、および
前記バーチャルカメラのビューに対応するさらなる合成画像を前記ソース画像および前記さらなるソース画像に基づいて生成すること、
をさらに備える請求項１４〜２５のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像操作に関し、特に限定されないが、ビデオにおける眼位に関する。
【背景技術】
【０００２】
非言語的合図は、コミュニケーションにおいて重要な役割を担う。特に目は、コミュニケーションにとって重要であり、どこに注意が向けられているかの示唆を他人に与える。一部の文化においては、有力者の目を見ないことは礼儀正しいことであり、西洋文化においては、もし直接視線を交わさなければ、その人は悪く判断される可能性がある。
【０００３】
しかしながら、非言語的合図は、従来技術のビデオ会議システムにおいて歪曲されることが多く、誤解またはミスコミュニケーションにつながる。
最もシンプルな形態では、ビデオ会議システムは、１対のカメラおよび１対の表示画面を含む。１対のカメラと表示画面の各々は、ユーザの一人に向けられる。カメラは、画面を遮らないように、表示画面の横または上に設置され、ビデオ会議設備を備えた近年のノートパソコンは、表示画面の上に常置された一体化型カメラを含む場合が多い。
【０００４】
このようなシステムの欠点は、ユーザが、第２の位置から記録されながら、表示画面上のもう一方のユーザの画像を見ているので、目の合図が歪曲される点である。従って、ユーザ同士が直接視線を交わしているように見えない。あるいは、ユーザが、実際にはそうしていない時に、視線を交わしているように見える場合がある。
【０００５】
図１のビデオ会議システム１００に示されるような、この問題を低減する専用ハードウェアシステムが開発されている。システム１００は、表示画面１０５およびカメラ１１０を含む。ビームスプリッタ１１５は、ユーザ１２０とカメラ１１０との間に設置され、ユーザ１２０からの光をカメラが受け取ることを可能にしつつ、表示画面１０５からの画像を反射するように構成されている。
【０００６】
システム１００等のシステムの欠点は、費用がかかる、破損し易い、および大型であることであり、その結果、薄型ノートパソコンの画面に一体化することができず、ユーザ１２０の焦点が表示画面１０５の非中心部分にある場合に上手く機能しない点である。
【０００７】
他の類似の形態のビデオ会議システムは、半透明画面を含み、カメラが半透明画面の後ろに設置されており、同様の欠点を有している。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の一部の実施形態の目的は、上記の従来技術に対する改善および利点をユーザに提供すること、および／または従来技術の上記欠点の１つまたは複数を克服および軽減すること、および／または有用な商業上の選択肢を提供することにある。
【課題を解決するための手段】
【０００９】
第１の態様によれば、本発明は、
カメラと、
カメラに隣接した表示画面と、
カメラおよび表示画面に接続されたプロセッサと、
プロセッサに接続されたメモリと
を備え、メモリが、プロセッサによって実行可能な命令として、
カメラからソース画像を受信する命令、および
表示画面に位置付けられたバーチャルカメラのビューに対応する合成画像をソース画像に基づいて生成する命令
を含む、画像操作のためのシステムに関する。
【００１０】
好ましくは、カメラおよび表示画面が単一構造に一体化されている。あるいは、カメラおよび表示画面は独立して移動可能である。この場合、メモリは、カメラに対する表示画面の位置を推定する命令をさらに含む。
【００１１】
好ましくは、合成画像の生成は、
ソース画像における顔の検出と、
バーチャルカメラの位置に応じた顔の変換と
をさらに含む。
【００１２】
好ましくは、顔の変換は、顔へのアクティブ外観モデル（Active Appearance Model: ＡＡＭ）の適用と、ＡＡＭのパラメータの変更とを含む。
好ましくは、合成画像の生成は、
顔の３次元モデルの生成と、
カメラおよびバーチャルカメラの間のずれに応じた３次元モデルの回転と
をさらに含む。
【００１３】
好ましくは、バーチャルカメラの位置は、表示画面に対して中央に固定されている。あるいは、バーチャルカメラの位置は、表示画面上に提示される内容に基づいて決定される。
【００１４】
好ましくは、ソース画像は、ビデオシーケンスの画像を包含する。ビデオシーケンスは、２次元または３次元ビデオシーケンスであり得る。
好ましくは、メモリは、
カメラから第２のソース画像を受信する命令、および
ソース画像および第２のソース画像に基づいてバーチャルカメラのビューに対応する第２の合成画像を生成する命令
をさらに含む。
【００１５】
特定の実施形態によれば、合成画像の生成は、ソース画像に関連するメタデータの変更を包含する。好ましくは、メタデータは、カメラパラメータを含む。
第２の態様によれば、本発明は、
データインタフェース上でカメラからソース画像を受信すること、および
カメラに隣接する表示画面に位置付けられたバーチャルカメラのビューに対応する合成画像をソース画像に基づいてプロセッサによって生成すること
を備えるビデオ会議のためのコンピュータ利用方法に関する。
【００１６】
特定の実施形態によれば、この方法は、カメラに対する表示画面の位置をプロセッサによって推定することをさらに備える。
好ましくは、合成画像を生成することは、
ソース画像において顔を検出すること、および
バーチャルカメラ位置に応じて顔を変換すること
をさらに含む。
【００１７】
好ましくは、顔を変換することは、顔にアクティブ外観モデル（ＡＡＭ）を適用すること、およびＡＡＭのパラメータを変更することを含む。
あるいは、顔を変換することは、顔からアバター画像へと表情を変換することを含む。
【００１８】
好ましくは、合成画像を生成することは、
顔の３次元モデルを生成すること、および
カメラとバーチャルカメラとの間のずれに応じて３次元モデルを回転させること
をさらに含む。
【００１９】
特定の実施形態によれば、バーチャルカメラの位置は、表示画面上に提示される内容に基づいてプロセッサによって決定される。あるいは、バーチャルカメラの位置は予め決定される。
【００２０】
好ましくは、ソース画像は、ビデオシーケンスの画像を包含する。ビデオシーケンスは、２次元または３次元ビデオシーケンスであり得る。
好ましくは、この方法は、
データインタフェース上で第１のリモートデバイスから第１のリモート画像を受信すること、
表示画面上で第１のリモート画像を表示すること、および
データインタフェース上で合成画像を第１のリモートデバイスへと送信すること
をさらに備える。
【００２１】
好ましくは、この方法は、
データインタフェース上で第２のリモートデバイスから第２のリモート画像を受信すること、および
表示画面上で第１のリモート画像の隣に第２のリモート画像を表示すること、
をさらに備える。
【００２２】
好ましくは、この方法は、データインタフェース上で合成画像を第２のリモートデバイスに送信することをさらに備える。
あるいは、この方法は、
表示画面に位置づけられた第２のバーチャルカメラのビューに対応する第２の合成画像をソース画像に基づいてプロセッサによって生成すること、および
データインタフェース上で第２の合成画像を第２のリモートデバイスに送信すること
をさらに備える。
【００２３】
好ましくは、この方法は、
カメラからさらなるソース画像を受信すること、および
表示画面に位置付けられたバーチャルカメラのビューに対応するさらなる合成画像をソース画像およびさらなるソース画像に基づいて生成すること
をさらに備える。
【００２４】
特定の実施形態によれば、合成画像を生成することは、ソース画像に関連するメタデータの変更ステップを包含する。好ましくは、メタデータは、カメラパラメータを含む。
【図面の簡単な説明】
【００２５】
【図１】従来技術のビデオ会議システムを示す図である。
【図２】本発明の一実施形態によるビデオ操作システムを示す図である。
【図３】図２のシステムを示すブロック図である。
【図４】図２のシステムをさらに示す図である。
【図５】本発明の一代替実施形態によるビデオ操作システムを示す図である。
【図６】本発明の一実施形態によるビデオ会議システムを示す図である。
【図７】本発明の一実施形態によるビデオ操作方法を示すフローチャートである。
【図８】本発明の一実施形態によるコンピューティング装置を示す図である。
【発明を実施するための形態】
【００２６】
本発明の理解に貢献するため、および当業者が本発明を実施できるようにするために、本発明の好ましい実施形態の一例を、添付の図面を参照して以下に説明する。当業者は、図面に示されるような構成要素のレイアウトからの小さな逸脱が、本発明の開示した実施形態の適切な機能を損なうものでないことを理解し得る。
【００２７】
本発明の実施形態は、眼アライメントシステムおよび方法を包含する。本発明の要素は、簡潔な概略形態で図面に示されており、これらの図面は、以下の説明により当業者に明らかとなる過度の詳細によって本開示を混乱させることがないように、本発明の実施形態の理解に必要な特定の詳細のみを示す。
【００２８】
本明細書において、第１および第２、左および右、前および後ろ、上部および下部等の形容詞は、その形容詞によって表現される特定の相対位置または順序を必ずしも要求するものでなく、一つの要素または方法ステップを、別の要素または方法ステップと区別して定義するためにのみ使用する。「包含する」または「含む」等の用語は、要素または方法ステップの排他的な集まりを定義するために使用していない。むしろ、このような用語は単に、本発明のある特定の実施形態に含まれる要素または方法ステップの最小限の集まりを定義する。
【００２９】
本明細書における先行技術に対する参照は、先行技術が共通の一般的知識の一部を形成していることを認知または示唆するものでなく、また、そのように解釈されるべきではない。
【００３０】
１つの態様によれば、本発明は、カメラと、カメラに隣接する表示画面と、カメラおよび表示画面に接続されたプロセッサと、プロセッサに接続されたメモリとを含む画像操作のためのシステムに関する。メモリは、プロセッサによって実行可能な命令として、カメラからソース画像を受信する命令、および表示画面に位置付けられたバーチャルカメラのビュー（仮想カメラの視野）に対応する合成画像をソース画像に基づいて生成する命令を含む。
【００３１】
本発明の特定の実施形態の利点には、ビデオ会議経験の向上、ビデオまたは画像に基づくコミュニケーションの向上、およびより単純で、より安価なビデオキャプチャまたは会議システムが含まれる。さらに、本発明は、既存のビデオ会議システムに適用可能である。
【００３２】
図２は、本発明の一実施形態によるビデオ操作のためのシステム２００を示し、図３は、システム２００のブロック図を示す。
システム２００は、カメラ２０５および表示画面２１０を含む。表示画面２１０は画像を表示し、カメラ２０５はビデオを撮る。システム２００は、例えば、ビデオ会議に使用することが可能で、その場合、第１のユーザは、カメラ２０５を用いて記録され、第２のユーザは、表示画面２１０を用いて表示される。あるいは、システム２００は、ニュースデスク様式の記録に使用することができる。その場合、ユーザは、カメラ２０５を用いて記録されながら、表示画面２１０上に表示された原稿を読む。
【００３３】
システム２００は、カメラ２０５および表示画面２１０に接続されたプロセッサ３０５をさらに含む。プロセッサ３０５は、カメラ２０５によって記録されたビデオを操作するための命令コード３１５を含むメモリ３１０にさらに接続される。
【００３４】
命令コード３１５は、カメラ２０５からソース画像を受信する命令、およびソース画像に基づいて合成画像を生成する命令を含む。ソース画像および合成画像は、ビデオシーケンスを形成する。
【００３５】
図４に示されるように、カメラ２０５は、表示画面２１０の上に設置される。光路４１０によって示されるように、ユーザが表示画面２１０を真っ直ぐ見ると、光路４１５によって示されるカメラ２０５が撮るソース画像は、カメラ２０５と表示画面２１０との位置の差により、ユーザが下を向いているように見える。
【００３６】
合成画像は、表示画面２１０に位置付けられたバーチャルカメラに対応する。バーチャルカメラ位置は、表示画面２１０上の中心に位置してもよく、あるいは、アプリケーションウィンドウ位置または他の関心領域等の、表示画面２１０の特定の部分に位置してもよい。
【００３７】
図５は、バーチャルカメラ位置が表示画面に対して中心に位置しないシステム５００を示す。システム５００は、ビデオ会議ウィンドウ５０５およびプレゼンテーション共有ウィンドウ５１０を含む。システム５００により、発表者のビデオと共に、デジタルプレゼンテーションを見ることが可能となる。
【００３８】
この場合、カメラ２０５およびバーチャルカメラは、バーチャルカメラオフセット５１５によって示されるように、垂直および水平方向の両方にオフセットされる。
特定の実施形態によれば、カメラ２０５と表示画面２１０とのオフセット、およびバーチャルカメラとカメラ２０５とのオフセットは、既知のものである。これは、カメラおよび表示画面が単一の外郭構造またはフレームに成形される専用デバイスまたはノートパソコンの場合であり得る。
【００３９】
この関係に従って、バーチャルカメラ位置を予め決定することができる。
代替の実施形態（不図示）によれば、カメラ２０５と表示画面２１０とのオフセットは可変である。これは、例えば、カメラ２０５が可撓ケーブルを介してパーソナルコンピュータ（ＰＣ）に接続されるウェブカメラを備えるようなパーソナルコンピュータ（ＰＣ）セットアップにおける場合である。この場合、命令コード３１５は、カメラに対する表示画面の位置を推定する命令を含み得る。あるいは、命令コード３１５は、ユーザまたは別のソースからカメラ位置を受け取る命令を含み得る。
【００４０】
次に、カメラ２０５のバーチャルカメラオフセットに従って、合成画像が生成される。合成画像は、遮蔽処理アルゴリズム等の関連のアルゴリズムと共に、カメラ２０５およびバーチャルカメラの位置を用いて、幾何学的ビュー合成等の先行技術のビュー合成方法に従って生成することができる。
【００４１】
あるいは、ビュー合成は、人間の顔に特定したものでもよい。この場合、ソース画像において、モデルが適用される顔が検出される。次に、カメラ２０５のバーチャルカメラオフセットに従って、顔を変換する。
【００４２】
顔の３次元モデルを生成し、カメラ２０５のバーチャルカメラオフセットに従って回転させてもよい。このモデルは、アクティブ外観モデル（Active Appearance Model: ＡＡＭ）でもよく、その場合、ＡＡＭのパラメータは、カメラ２０５のバーチャルカメラオフセットに従って変更される。次に、画像データを、変換したＡＡＭ上にレンダリングする。
【００４３】
ある代替実施形態によれば、ビュー合成は、アバター（avatar）ベースのものでもよい。ユーザの表情をアバター画像に転写することができ、このアバター画像は、カメラ２０５のバーチャルカメラオフセットに従って既に回転されたものである。
【００４４】
このアバターは、ユーザの顔画像に対応したアバターまたは他のどのような種類のアバターでもよい。ユーザのモデルおよび／またはアバターは、国際出願ＰＣＴ／ＡＵ２０１２／０００２９５号明細書に記載されているように、ユーザの画像に従って生成可能である。
【００４５】
特定の実施形態によれば、上記変換は、ユーザがカメラ２０５から所定距離未満の場所にいる場合にのみ適用される。ユーザがカメラ２０５から遠い場合には、カメラ２０５とバーチャルカメラとの角度が減少するためである。
【００４６】
上記のように、最もシンプルな形態では、本方法を単一の画像に適用する。しかしながら、特定の実施形態によれば、以下にさらに説明するように、この方法を幾つかの画像に対して一緒に適用することができる。
【００４７】
これらの画像は、２次元または３次元のビデオシーケンスであり得るビデオシーケンスを包含することができる。３次元ビデオの場合には、１つの時間インスタンスからの全ての画像、すなわちビューが、一緒に処理される。従って、両方が画像をバーチャルカメラに向けて移動させ、かつ、３次元データを保持する変換を選択することができる。多視点３次元ビデオの場合には、中央のビューよりも表示画面２１０により厳密に一致する既存のビューを選択することが可能な場合がある。
【００４８】
３次元ビデオの場合には、合成画像の生成は、ソース画像のカメラパラメータの変更を包含し得る。
２次元ビデオの場合には、以前の画像をソース画像と共に使用することにより合成画像を生成してもよい。以前の画像は、合成画像の遮蔽された領域に関連するデータを提供する、または、合成画像の質を向上させるために使用することができる。
【００４９】
図６は、本発明の一実施形態によるビデオ会議システム６００を示す。
ビデオ会議システム６００は、第１のコンピューティング装置６１５ａに接続される第１のカメラ６０５ａおよび第１の表示画面６１０ａを含み、これらは共に、第１の位置におけるビデオ会議システムの第１の部分を形成している。ビデオ会議システム６００はさらに、第２のコンピューティング装置６１５ｂに接続される第２のカメラ６０５ｂおよび第２の表示画面６１０ｂを含み、これらは共に、第２の位置におけるビデオ会議システム６００の第２の部分を形成している。
【００５０】
第１および第２のコンピューティング装置は、インターネット等の通信ネットワーク６２０を介して接続される。
画像シーケンスは、第１および第２のカメラ６０５ａ，６０５ｂによって撮られ、それぞれ、第１のカメラ６０５ａと第１の表示画面６１０ａとの距離、および第２のカメラ６０５ｂと第２の表示画面６１０ｂとの距離に応じて、第１および第２のコンピューティング装置６１５ａ，６１５ｂによって変換される。変換画像は、次に、表示画面６１０ｂ，６１０ａ上に表示させるために、コンピューティング装置６１５ａ，６１５ｂによって送信される。これらの画像は、当業者が容易に理解するように、送信前に圧縮可能である。
【００５１】
両方のカメラ６０５ａ，６０５ｂによって撮られた画像を変換することによって、カメラ６０５ａ，６０５ｂが表示画面６１０ａ，６１０ｂから離れて設置された状態でも、異なる位置にいるユーザ同士が、それぞれの表示画面６１０ａ，６１０ｂを通して、互いの目を見ることができる。
【００５２】
特定の実施形態（不図示）によれば、ビデオ会議システム６００はさらに、少なくとも第３の位置に第３のコンピューティング装置を含む多グループビデオ会議を含む。各表示画面６１０ａ，６１０ｂは、ビデオ会議システム６００の他のユーザの画像を互いに隣接して表示する。
【００５３】
第１のコンピューティング装置６１５ａは、第２のコンピューティング装置６１５ｂおよび第３のコンピューティング装置の両方に、変換画像を送信することができる。あるいは、第１のコンピューティング装置は、変換画像を第２のコンピューティング装置６１５ｂに送信するとともに、第２のグループの変換画像を生成して、それを第３のコンピューティング装置に送信することができる。第２のグループの合成画像は、表示画面に位置付けられた第２のバーチャルカメラビューに対応し得る。
【００５４】
この点において、本発明は、幾人かの参加者間でのビデオ会議を可能にし、各参加者は、その人専用に構成されたビデオを受信する。
図７は、本発明の一実施形態によるビデオ操作の方法を示す。
【００５５】
７０５では、データインタフェース上で、カメラからソース画像が受信される。ソース画像は、ビデオシーケンスの画像を包含し得る。
７１０では、カメラに対する表示画面の位置が推定される。当業者には容易に理解されるように、表示画面とカメラが単一のデバイスまたはフレームに一定位置に取り付けられる場合があり、その場合、カメラと表示画面との相対位置は既に分かっているので、このステップは任意である。バーチャルカメラ位置は、表示画面上で決定される。
【００５６】
７１５では、ソース画像において、顔が検出される。
７２０では、バーチャルカメラ位置に従って、顔が変換される。これには、顔に３次元モデルを適用すること、および３次元モデルを回転させることが含まれ得る。
【００５７】
７２５では、ソース画像と、カメラおよびバーチャルカメラの間のずれとに基づいて、合成画像が生成される。
当業者には容易に理解されるように、ステップ７１５および７２０は任意である。画像の他の部分と同様に顔の変換が行われる幾何学的ビュー合成を用いて、ソース画像全体を変換することができる。
【００５８】
図８は、本発明の一実施形態によるコンピューティング装置８００を概略的に示す。図２のシステム２００および図６のコンピューティング装置６１５ａ，６１５ｂは、コンピューティング装置８００と同一または類似のものでもよい。同様に、図７の方法７００は、コンピューティング装置８００を用いて実施可能である。
【００５９】
コンピューティング装置８００は、中央処理装置８０２、システムメモリ８０４、およびシステムバス８０６を含む。システムバス８０６は、システムメモリ８０４と中央処理装置８０２との接続等、様々なシステム要素の接続を行う。システムバス８０６は、メモリバスまたはメモリコントローラ、周辺機器用バス、および様々なバスアーキテクチャのいずれかを用いたローカルバスを含む種々のバス構造のいずれかであってよい。システムメモリ８０４の構造は、当業者に周知であり、読み出し専用メモリ（ＲＯＭ）に保存された基本入出力システム（ＢＩＯＳ）とともに、ランダム・アクセス・メモリ（ＲＡＭ）に保存されたオペレーティングシステム、アプリケーションプログラム、およびプログラムデータ等の１つまたは複数のプログラムモジュールを含み得る。
【００６０】
コンピューティング装置８００は、データの読み出しおよび書き込みを行うための様々なインタフェースユニットおよびドライブも含み得る。データは、例えば、上記のようなカメラと表示画面とのずれを含み得る。
【００６１】
具体的には、コンピューティング装置８００は、ハードディスクドライブ８１２およびリムーバブルメモリドライブ８１４をシステムバス８０６にそれぞれ接続するハードディスクインタフェース８０８およびリムーバブルメモリインタフェース８１０を含む。リムーバブルメモリドライブ８１４の例には、磁気ディスクドライブおよび光ディスクドライブが含まれる。ドライブおよびそれらに関連するデジタル多用途ディスク（ＤＶＤ）８１６等のコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピュータシステム８００用の他のデータの不揮発性記憶装置を提供する。単に例示を目的とし、コンピューティング装置８００が幾つかの同様のドライブを含み得るという理解の下に、１つのハードディスクドライブ８１２および１つのリムーバブルメモリドライブ８１４を示している。さらに、コンピューティング装置８００は、他の種類のコンピュータ可読媒体とインタフェースをとるためのドライブを含み得る。
【００６２】
コンピューティング装置８００は、デバイスをシステムバス８０６に接続するための追加のインタフェースを含んでもよい。図８は、デバイスをシステムバス８０６に接続するために使用可能なユニバーサル・シリアル・バス（ＵＳＢ）インタフェース８１８を示している。例えば、ＩＥＥＥ１３９４インタフェース８２０を使用して、追加のデバイスをコンピューティング装置８００に接続することが可能である。追加のデバイスの例には、図１のトレーニング画像等の画像またはビデオを受信するためのカメラが含まれる。
【００６３】
コンピューティング装置８００は、１つまたは複数のリモートコンピュータ、あるいは、サーバ、ルータ、ネットワークパーソナルコンピュータ、ピアデバイスまたは他の共通のネットワークノード、無線電話、または無線携帯情報端末等の他のデバイスへの論理接続を用いたネットワーク環境において動作可能である。コンピューティング装置８００は、システムバス８０６をローカル・エリア・ネットワーク（ＬＡＮ）８２４に接続するネットワークインタフェース８２２を含む。ネットワーク環境は、オフィス、企業規模のコンピュータネットワークおよび家庭用コンピュータシステムにおいて一般的なものである。
【００６４】
インターネット等の広域ネットワーク（ＷＡＮ）は、例えばシリアルポートインタフェース８２６に接続されたモデムユニットを介して、またはＬＡＮ８２４を介して、コンピューティング装置によってアクセスすることも可能である。
【００６５】
ビデオ会議は、ＬＡＮ８２４、ＷＡＮ、またはそれらの組み合わせを用いて行うことができる。
図示および記載されたネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立する他の方法を用いることが可能であることが理解される。ＴＣＰ／ＩＰ、フレームリレー、イーサネット（登録商標）、ＦＴＰ、ＨＴＴＰ等の様々な周知のプロトコルのいずれかの存在が仮定され、コンピューティング装置は、ユーザが例えばウェブベースのサーバからデータを取り込むことを許可するクライアント・サーバ構成において動作可能である。
【００６６】
コンピューティング装置の動作は、様々な異なるプログラムモジュールによって制御することができる。プログラムモジュール例は、特定のタスクを行う、または特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、およびデータ構造である。本発明は、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯情報端末等を含む他のコンピュータシステム構成を用いて実施することもできる。さらに、本発明は、通信ネットワークを通じて接続されるリモート処理装置によってタスクが行われる分散コンピューティング環境において実施することもできる。分散コンピューティング環境においては、プログラムモジュールは、ローカルおよびリモートメモリストレージデバイスの両方に配置することができる。
【００６７】
要約すれば、本発明の特定の実施形態の利点は、ビデオ会議経験の向上、ビデオまたは画像に基づくコミュニケーションの向上、およびより単純で、より安価なビデオキャプチャまたは会議システムを提供することを含む。さらに、本発明は、既存のビデオ会議システムに適用することができる。
【００６８】
上記した本発明の様々な実施形態は、当業者への説明を目的として提供されたものである。本発明を網羅的に記載すること、または本発明を単一の開示された実施形態に限定することを意図したものではない。上記教示を受けた当業者には、本発明の多数の代替形態および変更形態が明らかとなる。従って、一部の代替実施形態を具体的に説明したが、他の実施形態は、当業者によって明らかとなる、または比較的容易に開発され得る。従って、本明細書は、上記した本発明の全ての代替形態、変形形態、および変更形態、および本発明の思想および範囲に包含される他の実施形態を含む。
【符号の説明】
【００６９】
１００，６００：ビデオ会議システム、１０５，６１０ａ，６１０ｂ：表示画面、１１０，６０５ａ，６０５ｂ：カメラ、２００，５００：システム、２０５：カメラ、２１０：表示画面、３０５：プロセッサ、３１０：メモリ、３１５：命令コード、５０５：ビデオ会議ウィンドウ、６１５ａ，６１５ｂ，８００：コンピューティング装置（プロセッサ）。
【図１】
2013235562.tif 000003
【図２】
2013235562.tif 000004
【図３】
2013235562.tif 000005
【図４】
2013235562.tif 000006
【図５】
2013235562.tif 000007
【図６】
2013235562.tif 000008
【図７】
2013235562.tif 000009
【図８】
2013235562.tif 000010