(57)【特許請求の範囲】
【請求項１】
メディア・ストリームから少なくとも一つのフレームを得るステップであって、前記少なくとも一つのフレームが第１の顔を含んでなり、前記第１の顔はユーザーの顔からなるユーザーの画像である、メディア・ストリームから少なくとも一つのフレームを得るステップと、
前記少なくとも一つのフレーム内の複数の座標を決定するステップであって、前記複数の座標は前記第１の顔に対応し、かつ、前記複数の座標を決定するステップは、顔認識アルゴリズムを使用して実行される、前記少なくとも一つのフレーム内の複数の座標を決定するステップと、
少なくとも一つのメディア・コンテンツ・アイテムを取得するステップであって、前記少なくとも一つのメディア・コンテンツ・アイテムは一つの代替的な顔を含んでなり、前記代替的な顔は前記第１の顔の漫画版に関連付けられている、少なくとも一つのメディア・コンテンツ・アイテムを取得するステップと、
前記少なくとも一つのメディア・コンテンツ・アイテムに関連した一つ以上のパラメータを取得するステップと、
前記複数の座標に基づいて、前記少なくとも一つのメディア・コンテンツ・アイテムを前記少なくとも一つのフレームに加えるステップであって、前記少なくとも一つのメディア・コンテンツ・アイテムを加えることは、前記少なくとも一つのメディア・コンテンツ・アイテムを前記少なくとも一つのフレームに重ね合わせることと、前記一つ以上のフレームの少なくとも一部を前記少なくとも一つのメディア・コンテンツ・アイテムに置き換えることとの一つ以上を含んでなる、前記少なくとも一つのメディア・コンテンツ・アイテムを前記少なくとも一つのフレームに加えるステップと、
前記ユーザーの音声から、前記第１の顔の漫画版に関連付けられた音声の特徴に基づいて音声の変更を示す、少なくとも１つのオーディオ・コンテンツ・アイテムを取得するステップと、
前記少なくとも一つのオーディオ・コンテンツ・アイテムを前記メディア・ストリームに加えるステップとを備える、方法。
【請求項２】
メディア・ストリームから少なくとも一つのフレームを取得するステップであって、その少なくとも一つのフレームが第１の顔を含み、その第１の顔はユーザーの顔からなるユーザーの画像である、メディア・ストリームから少なくとも一つのフレームを取得するステップと、
少なくとも一つのフレーム内において、前記第１の顔の複数の部分の座標を含んでなる、複数の座標を決定するステップと、
代替的な顔を含んでなる、少なくとも一つのメディア・コンテンツ・アイテムを入手するステップと、
前記少なくとも一つのフレーム内に視認することができる前記第１の顔の前記複数の部分を前記代替的な顔の複数の代替の部分で置き換えることによって、前記複数の座標に基づいて、前記少なくとも一つのメディア・コンテンツ・アイテムを前記少なくとも一つのフレームに加えるステップと、
前記ユーザーの移動を追跡し、及びそれに従って前記代替の顔を縮小拡大するために前記メディア・ストリームの複数のフレームの間で前記複数の座標の変更を追跡するステップであって、前記複数の座標の追跡は顔追跡アルゴリズムを用いて行う、前記複数の座標の変更を追跡するステップと、
少なくとも一つのオーディオ・コンテンツ・アイテムを入手するステップであって、前記オーディオ・コンテンツ・アイテムは前記ユーザーの音声から前記代替的な顔に関連づけられた音声の特徴に基づいた変更を示す、少なくとも一つのオーディオ・コンテンツ・アイテムを入手するステップとを備える、方法。
【請求項３】
請求項２の方法において、前記複数の座標を決定することは、顔認識アルゴリズムを使用して実行される、方法。
【請求項４】
請求項２の方法において、前記少なくとも一つのオーディオ・コンテンツ・アイテムを前記メディア・ストリームに追加するステップをさらに備え、前記変更はピッチ及び音質のうちの少なくとも１つである、方法。
【請求項５】
請求項２の方法において、前記代替的な顔の複数の部分を前記第１の顔の動きに対応するように動かすステップをさらに備える、方法。
【請求項６】
請求項２の方法において、前記代替的な顔は、前記第１の顔とは異なる、方法。
【請求項７】
請求項２の方法において、前記代替的な顔は前記ユーザーとは異なる人に関連付けられている、方法。
【請求項８】
請求項２の方法において、前記代替的な顔は前記第１の顔の漫画版に関連付けられている、方法。
【請求項９】
請求項２の方法において、前記少なくとも一つのメディア・コンテンツ・アイテムを加えるステップは、
前記少なくとも一つのメディア・コンテンツ・アイテムを前記少なくとも一つのフレームに重ね合わせるステップと、
前記一つ以上のフレームの少なくとも一部を前記少なくとも一つのメディア・コンテンツ・アイテムに置き換えるステップとの一つ以上を含んでなる、方法。
【請求項１０】
請求項２の方法において、
前記代替的な顔は特定の有名人であり、
前記音声の特徴は前記特定の有名人に関連付けられている、方法。
【請求項１１】
システムであって、
一つ以上のプロセッサ、及び、
前記一つ以上のプロセッサにより実行可能なように一つ以上のコンピュータ読み取り可能な記録媒体に格納されたプログラムを備え、前記プログラムを実行したときに、
メディア・ストリームから少なくとも一つのフレームを取得するステップであって、その少なくとも一つのフレームが第１の顔を含み、その第１の顔はユーザーの顔からなるユーザーの顔の画像である、メディア・ストリームから少なくとも一つのフレームを取得するステップと、
少なくとも一つのフレーム内において、前記第１の顔の複数の部分の座標を含んでなる、複数の座標を決定するステップと、
代替的な顔を含んでなる、少なくとも一つのメディア・コンテンツ・アイテムを入手するステップと、
前記少なくとも一つのフレーム内に視認することができる前記第１の顔の前記複数の部分を前記代替的な顔の複数の代替の部分で置き換えることによって、前記複数の座標に基づいて、前記少なくとも一つのメディア・コンテンツ・アイテムを前記少なくとも一つのフレームに加えるステップと、
前記ユーザーの音声から、第２の顔に関連付けられた音声の特徴に基づいて音声の変更を示す、少なくとも１つのオーディオ・コンテンツ・アイテムを取得するステップとを実行する、システム。
【請求項１２】
請求項１１のシステムにおいて、前記少なくとも一つのオーディオ・コンテンツ・アイテムを前記メディア・コンテンツ・アイテムに加えるステップをさらに備え、前記変更はピッチ及び音質の少なくとも一方である、システム。
【請求項１３】
請求項１１のシステムにおいて、前記代替的な顔の複数の部分を前記第１の顔の動きに対応するように動かすステップをさらに備える、システム。
【請求項１４】
請求項１１のシステムにおいて、前記代替的な顔は第１の顔とは異なるシステム。
【請求項１５】
請求項１１のシステムにおいて、前記代替的な顔はユーザーとは異なる人物に関係しているシステム。
【請求項１６】
請求項１１のシステムにおいて、前記代替的な顔は第１の顔の漫画版に関連付けられている、システム。
【請求項１７】
請求項１１のシステムにおいて、前記プログラムは前記少なくとも一つのメディア・コンテンツ・アイテムに関連した一つ以上のパラメータであって、前記第１の顔の大きさ、体積、及び形状のうちの少なくとも一つを含んでなるパラメータを得るステップを更に含んでなる、システム。
【請求項１８】
請求項１１のシステムにおいて、前記少なくとも一つのメディア・コンテンツ・アイテムを加えるステップは、
前記少なくとも一つのメディア・コンテンツ・アイテムを前記少なくとも一つのフレームに重ね合わせるステップと、
前記一つ以上のフレームの少なくとも一部を前記少なくとも一つのメディア・コンテンツ・アイテムに置き換えるステップを含んでなる、システム。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
ビデオ会議はしばしばビジネス環境で使われており、参加者はビデオ及びオーディオ・コンテンツを互いにリアルタイムで地理的に分散した場所に亘って共有することができる。各々の場所における通信デバイスは、一般的にビデオ・カメラ及びマイクロフォンを用いてビデオ及びオーディオ・ストリームを送信すると共に、ビデオ・モニター及びスピーカーを用いて、受信したビデオ及びオーディオ・ストリームを再生する。ビデオ会議はビデオ及びオーディオ・ストリームのデジタル圧縮に関係し、それは一つの場所から他の場所へネットワークを通じてリアルタイムで送信される。通信デバイスは、ビデオ及びオーディオ・ストリームの圧縮及び解凍を実行して、ネットワークを介してデータ・リンケージを維持する。
概要
【０００２】
実施例は一般に、ビデオ会議の間に参加者の風貌を修正することに関する。
或る実施例においては、方法は、メディア・ストリームから少なくとも一つのフレームを得て、この少なくとも一つのフレームが第１の顔を含み、この第１の顔がユーザーに関連した顔の画像である。この方法は、少なくとも一つのフレームの範囲内で複数の座標を決定することも含む。この方法は、少なくとも一つのメディア・コンテンツ・アイテムを得ることも含む。この方法は、複数の座標に基づいて少なくとも一つのフレームに少なくとも一つのメディア・コンテンツ・アイテムを加えることを含む。
【０００３】
更に方法に関して、或る実施例においては、複数の第１の座標は、第１の顔の座標を含む。或る実施例においては、複数の座標を決定することは顔認識アルゴリズムを使用して実行され、複数の第１の座標は第１の顔の座標を含む。或る実施例においては、少なくとも一つのメディア・コンテンツ・アイテムは、少なくとも一つの代替的な顔を含む。或る実施例においては、少なくとも一つのメディア・コンテンツ・アイテムは少なくとも一つの代替的な顔を含む、この代替的な顔は第１の顔とは異なる。或る実施例においては、少なくとも一つのメディア・コンテンツ・アイテムは少なくとも一つの代替的な顔を含む。この代替的な顔はユーザーとは異なる人に関係している。或る実施例においては、少なくとも一つのメディア・コンテンツ・アイテムは少なくとも一つの代替的な顔を含む。この代替的な顔は第１の顔の漫画版に関係している。或る実施例においては、方法は更に、少なくとも一つのメディア・コンテンツ・アイテムに関連した一つ以上のパラメータを得ることを含む。或る実施例においては、少なくとも一つのメディア・コンテンツ・アイテムを加えることは、少なくとも一つのメディア・コンテンツ・アイテムを少なくとも一つのフレームに重ね合わせることと、一つ以上のフレームの少なくとも一部を少なくとも一つのメディア・コンテンツ・アイテムに置き換えることとの一つ以上を含む。或る実施例においては、方法は更に、少なくとも一つのメディア・コンテンツ・アイテムに関連した少なくとも一つのオーディオ・コンテンツ・アイテムを得て、少なくとも一つのオーディオ・コンテンツ・アイテムをメディア・ストリームへ加えることを含む。
【０００４】
或る実施例においては、方法は、メディア・ストリームから少なくとも一つのフレームを得ることを含み、その少なくとも一つのフレームが第１の顔を含み、その第１の顔がユーザーに関連した顔の画像である。或る実施例においては、方法は、少なくとも一つのフレームの範囲内で複数の座標を決定することも含み、複数の第１の座標は、第１の顔の座標を含み、複数の座標を決定することは、顔認識アルゴリズムを用いて実行される。或る実施例においては、この方法は、少なくとも一つのメディア・コンテンツ・アイテムを得ることも含み、その少なくとも一つのメディア・コンテンツ・アイテムは、少なくとも一つの代替的な顔を含み、その代替的な顔は第１の顔の漫画版に関係している。或る実施例においては、この方法は、少なくとも一つのメディア・コンテンツ・アイテムに関連した一つ以上のパラメータを得ることも含む。或る実施例においては、方法は、複数の座標に基づいて少なくとも一つの馬体コンテンツ・アイテムを少なくとも一つのフレームに加えることも含み、この少なくとも一つのメディア・コンテンツ・アイテムを加えることは、少なくとも一つの馬体コンテンツ・アイテムを少なくとも一つのフレームに重ね合わせること、一つ以上のフレームの少なくとも一部を少なくとも一つのメディア・コンテンツ・アイテムと置き換えることとの一つ以上を含む。
【０００５】
或る実施例においては、システムは、一つ以上のプロセッサと、この一つ以上のプロセッサにより実行されるように一つ以上の実体的な媒体にコード化された論理とを含む。実行されるとき、この論理は、メディア・ストリームから少なくとも一つのフレームを得ることを含む操作を実行可能であり、その少なくとも一つのフレームは第１の顔を含み、その第１の顔はユーザーに関連した顔の画像である。実行されるときの論理は更に、少なくとも一つのフレームの範囲内の複数の座標を決定することを含む操作を実行可能である。実行されるときの論理は更に、少なくとも一つのメディア・コンテンツ・アイテムを得ることを含む操作を実行可能である。実行されるときの論理は更に、複数の座標に基づいて少なくとも一つのメディア・コンテンツ・アイテムを少なくとも一つのフレームに加えることを含む操作を実行可能である。
【０００６】
更にシステムに関連して、或る実施例においては、複数の第１の座標は、第１の顔の座標を含む。或る実施例においては、複数の座標を決定することは顔認識アルゴリズムを用いて実行され、複数の第１の座標は第１の顔の座標を含む。或る実施例においては、少なくとも一つのメディア・コンテンツ・アイテムは、少なくとも一つの代替的な顔を含む。或る実施例においては、少なくとも一つのメディア・コンテンツ・アイテムは少なくとも一つの代替的な顔を含み、この代替的な顔は第１の顔とは異なる。或る実施例においては、少なくとも一つのメディア・コンテンツ・アイテムは少なくとも一つの代替的な顔を含み、この代替的な顔はユーザーとは異なる人に関係している。或る実施例においては、少なくとも一つのメディア・コンテンツ・アイテムは少なくとも一つの代替的な顔を含み、この代替的な顔は第１の顔の漫画版に関係している。或る実施例においては、実行されるときの論理は更に、少なくとも一つのメディア・コンテンツ・アイテムに関連した一つ以上のパラメータを得ることを含む操作を実行可能である。或る実施例においては、少なくとも一つのメディア・コンテンツ・アイテムを加えることは、少なくとも一つのメディア・コンテンツ・アイテムを少なくとも一つのフレームに重ね合わせることと、一つ以上のフレームの少なくとも一部を少なくとも一つのメディア・コンテンツ・アイテムと交換することとの一つ以上を含む。或る実施例においては、実行されるときの論理は更に、少なくとも一つのメディア・コンテンツ・アイテムに関連した少なくとも一つのオーディオ・コンテンツ・アイテムを得て、少なくとも一つのオーディオ・コンテンツ・アイテムをメディア・ストリームに加えることを含む操作を実行可能である。
【図面の簡単な説明】
【０００７】
【図１】図１は例示的ネットワーク環境のブロック図を図解し、これは本明細書に説明した実施例を実施するのに使用し得る。
【０００８】
【図２】図２は、或る実施例によりビデオ会議の間に参加者の風貌を修正するための例示的な単純化されたフロー図を示す。
【０００９】
【図３】図３は、或る実施例による例示的な単純化されたユーザ・インタフェースを図解する。
【００１０】
【図４】図４は例示的サーバ・デバイスのブロック図を示し、これは本明細書に説明した実施例を実施するのに使用し得る。詳細な説明
【００１１】
本明細書に説明された実施例は、ビデオ会議の間に参加者の異なる風貌をシミュレーションするのに用いられるビデオ、オーディオ、及びチャット・ストリームなどのメディア・ストリームを可能にする。例えば、参加者は、漫画顔、有名人の顔、又はアバターなどの特定の代替的な顔により表された参加者の見せかけ若しくは風貌を選ぶこともあろう。
【００１２】
以下により詳細に説明されるように、様々な実施例においては、システムはメディア・ストリームからフレームを得て、このフレームはユーザー（例えば、ビデオ会議の参加者）の顔を含む。システムは、各々のフレーム内の座標も決定し、その座標は、顔及び／又は顔の要素が各々のフレーム内の何処に位置するかを記述する。システムは、一つ以上のメディア・コンテンツ・アイテムも得て、これは代替的な顔（例えば、漫画顔、有名人の顔、アバターなど）の画像を含むことがある。次いでシステムは、座標に基づいて一つ以上のメディア・コンテンツ・アイテムをフレームの各々に加える。
【００１３】
図１は例示的ネットワーク環境１００のブロック図を図解し、これは本明細書に説明される実施例を実施するのに使用し得る。或る実施例においては、ネットワーク環境１００はシステム１０２を含み、これはサーバ・デバイス１０４及びソーシャル・ネットワーク・データベース１０６を含む。用語システム１０２と語句「ソーシャル・ネットワーク・システム」とは互換に使用し得る。
ネットワーク環境１００は、クライアント・デバイス１１０、１２０、１３０、及び１４０も含み、これはシステム１０２及びネットワーク１５０を介して相互に通信し得る。
【００１４】
図示の容易化のために、図１は、システム１０２、サーバ・デバイス１０４、及びソーシャル・ネットワーク・データベース１０６の各々について一つのブロックを示し、クライアント・デバイス１１０、１２０、１３０、及び１４０については四つのブロックを示す。ブロック１０２、１０４、及び１０６は、複数のシステム、サーバ・デバイス、及びソーシャル・ネットワーク・データベースを表し得る。更に、任意の数のクライアント・デバイスがあり得る。他の実施例においては、ネットワーク環境１００は図示の構成要素の全てを有しないことがあり及び／又はここに図示されたものに代えて、又はそれらに加えて、他の形式の要素を含めて他の要素を有することがある。
【００１５】
様々な実施例においては、ユーザーＵ１、Ｕ２、Ｕ３、及びＵ４は、それぞれのクライアント・デバイス１１０、１２０、１３０、及び１４０を用いて、互いに通信し得る。例えば、ユーザーＵ１、Ｕ２、Ｕ３、及びＵ４は複数のユーザーのビデオ会議で互いに交流することがあり、それぞれのクライアント・デバイス１１０、１２０、１３０、及び１４０はメディア・ストリームを互いに送信する。
【００１６】
様々な実施例においては、メディア・ストリームは、異なる形式のメディア・ストリーム（例えば、一つ以上のビデオ・ストリーム及び／又は一つ以上のオーディオ・ストリーム）を含み得る。例えば、そのようなメディア・ストリームは、ユーザーＵ１、Ｕ２、Ｕ３、及びＵ４を表示するビデオ・ストリームを含むことがあり、関連するオーディオ・ストリームを含み得る。また、メディア・ストリームは、各々のクライアント・デバイス１１０、１２０、１３０、及び１４０と比較して異なる方向へ送信されるメディア・ストリーム（例えば、一つ以上の外国行きストリームや一つ以上の本国行きストリーム）を含み得る。
【００１７】
図２は、或る実施例によりビデオ会議の間に参加者の風貌を修正するための例示的な単純化されたフロー図を示す。図１と図２との両方を参照すると、方法はブロック２０２において開始され、そこでシステム１０２はメディア・ストリームから少なくとも一つのフレームを得て、その少なくとも一つのフレームはユーザーの顔を含む。様々な実施例においては、ユーザーはビデオ会議の参加者である場合がある。そのように、メディア・ストリームは、ビデオ会議に関連したビデオ・ストリームである場合がある。
【００１８】
本明細書に説明された様々な実施例においては、前後関係に従い、用語「顔」と語句「顔の画像」とは互換に使用し得る。例えば、或る前後関係において（例えば、メディア・ストリームフレームの前後関係において）は、顔への言及は、フレームにおけるユーザーの顔の画像への言及であり得る。或る前後関係においては、顔への言及は「ユーザーの顔」の場合のように実際の顔への言及であり得る。
【００１９】
図３は、或る実施例による例示的な単純化されたユーザ・インタフェース３００を図解する。ユーザ・インタフェース３００は、複数の同時参加者が音声、入力されたチャット、及びビデオ上で通信することを可能にする複数方向ビデオ会議プラットホームの態様を示す。ユーザ・インタフェース３００は、最も目立つ位置（大きなビデオ供給）に示される現在の話者の描写若しくは概念を視覚的に中心にする場合があり、フィルム片は参加者全員のサムネイルを示す。
図示のように、ユーザーＵ３はビデオ会議の幾人かの参加者の中におり、そこではユーザーＵ３が現在の話者である。ユーザ・インタフェースは、入力された会話のチャット・ログを含むチャット・ウインドウも表示し得る。
【００２０】
本明細書に説明された様々な実施例は、メディア・ストリームの単独のフレームの前後関係で説明される。これらの実施例は、メディア・ストリームの複数のフレームにも適用される。例えば、上述に示されるように、所定のメディア・ストリームは、ビデオ会議に関連したビデオ・ストリームである場合がある。そのように、システム１０２はビデオ・ストリームの複数のフレームを得て、図２の様々な方法実施例によって、一連のフレームの各々のフレーム内で所定の顔の画像を処理し得る。
【００２１】
図２と図３との両方を参照すると、ブロック２０４において、システム１０２は少なくとも一つのフレームの範囲内の座標を決定する。様々な実施例においては、座標はユーザー（例えば、ユーザーＵ３）の顔３０２の位置及び／又はユーザーの顔の部分（例えば、目、鼻、口など）に一致する。説明の容易化のために、ユーザーＵ３の単純化された頭部が示されている。
【００２２】
或る実施例においては、フレームの範囲内で座標を決定するために、システム１０２は顔認識アルゴリズム又はソフトウェアを使用し得る。座標は所定のフレームにおけるユーザーの顔（例えば、ビデオ会議の参加者の顔など）の座標を含むことがあり、ユーザーの顔の要素（例えば、目、鼻、耳など）の座標も含み得る。
【００２３】
以下により詳細に説明されるように、システム１０２は、ソーシャル・ネットワーク・システムのユーザーに、個人情報の使用を特定及び／又は承認させることを可能にして、これはシステム１０２が写真におけるユーザーの顔を用いるか又は写真内に特定された人々を認識するユーザーの特定情報を用いることを含み得る。或る実施例においては、システム１０２は顔認識ソフトウェアを用いて、参加者の口が開いているか閉じているかなど、参加者の眼は開いているか閉じているかなど、及び他の顔の特徴を判定することがある。或る実施例においては、システム１０２は、顔の要素の互いに対する特定の位置及び／又は距離に関する情報を包含する顔のライブラリーにおける座標に関連した情報などを記憶し得る。
【００２４】
ブロック２０６においては、システム１０２は一つ以上のメディア・コンテンツ・アイテムを得る。更に詳細に説明するように、システム１０２はユーザーの顔を一つ以上のメディア・コンテンツ・アイテムで代用することもある。
【００２５】
或る実施例においては、一つ以上のメディア・コンテンツ・アイテムは、代替的な顔を含み得る。様々な実施例においては、代替的な顔は、システム１０２がユーザーの実際の顔の画像に代えて使用し得る顔の画像である。様々な実施例においては、代替的な顔は、ユーザーの顔（例えば、ビデオ参加者の顔）とは異なる場合がある。
【００２６】
或る実施例においては、代替的な顔は、ユーザーの顔の漫画バージョンと関係している場合がある。例えば、図３で示すように、メディア・コンテンツ・アイテム３０４（それは漫画顔である）は、代替的な顔である場合がある。或る実施例においては、代替的な顔は、任意のアバターに関係している場合がある。
或る実施例においては、ユーザーは様々な代替的な顔の中から代替的な顔を選択し得る。或る実施例においては、代替的な顔は、ユーザーとは異なる人に関係している場合がある。例えば、図３に示すように、メディア・コンテンツ・アイテム３０６（それはユーザーＵ３の顔とは異なる）は、代替的な顔である場合がある。例えば、代替的な顔は、特定の有名人の顔である場合がある。或る実施例においては、様々な代替的な顔は、参加者を匿名にするのに用いられ得る。
【００２７】
或る実施例においては、参加者は有名人、漫画、アバターなどの顔を走査して、次いでその顔をソーシャル・ネットワーク・システムにアップロードすることがある。説明の容易化のために、用語顔が使用される点に留意されたい。
様々な実施例においては、用語顔は、顔又は代替的な顔に関連した様々な態様及び全体像を意味し得る。例えば、用語顔は、顔の要素及び部分（例えば、目、鼻、口、顔の特徴など）、顔を包囲する要素の要素及び部分（例えば、耳、首など）、髪要素（例えば、頭部を覆う髪、眉、口髭、顎髭など）も含み得る。また、顔に関連する実施例は、それらの要素及び部分にも適用され、並びに顔に付随し得る他の身体部分、例えば、肖像における肩及び胸領域、及び腕、手などにも適用される。
【００２８】
様々な実施例においては、システム１０２は一つ以上のメディア・コンテンツ・アイテムの各々に関連した一つ以上のパラメータも得るかもしれない。様々な実施例においては、一つ以上のパラメータが一つ以上のメディア・コンテンツ・アイテムに関係している。例えば、メディア・コンテンツ・アイテムが顔又は代替的な顔であるならば、一つ以上のパラメータは顔の大きさ及び体積、顔の形状、顔の及び／又は顔に関連した要素に関連及びこれらを規定し得る。
【００２９】
様々な実施例においては、システム１０２は一つ以上のメディア・コンテンツ・アイテム及び／又はメディア・コンテンツ・アイテムに関連した一つ以上のパラメータを任意の適宜な記憶場所（例えば、ローカルメモリ）から獲得し得る。
【００３０】
ブロック２０８においては、システム１０２は、座標における少なくとも一部に基づいて、一つ以上のメディア・コンテンツ・アイテムを少なくとも一つのフレームに加える。例えば、図３のメディア・コンテンツ・アイテム３０４はフレームに加えられることがあり、それによってユーザーＵ３の顔３０２を代える。上述に示されるように、様々な実施例が単独のフレームの状況で本明細書に説明されたが、これらの実施例は複数のフレーム（例えば、動画のフレームなど）にも適用される。例えば、システム１０２は、一つ以上のメディア・コンテンツ・アイテムを一連のフレーム又はフレームのストリーム（例えば、図３に示されるようなビデオストリームにおける一連のフレーム）へ加え得る。
【００３１】
或る実施例においては、メディア・コンテンツ・アイテムを加えることは、少なくとも一つのメディア・コンテンツ・アイテムを一部のフレームの上に重ね合わせているシステム１０２を含み得る。様々な実施例においては、重ね合わせることはフレーム内で座標に基づいており、一つ以上のメディア・コンテンツ・アイテムに関連したパラメータにも基づく。或る実施例においては、メディア・コンテンツ・アイテムを加えることは、一部のフレームを一つ以上のメディア・コンテンツ・アイテムと置き換えるシステム１０２を含み得る。様々な実施例においては、置き換えることはフレーム内の座標に基づいており、一つ以上のメディア・コンテンツ・アイテムに関連したパラメータに基づく。
【００３２】
例えば、システム１０２は、ユーザーの顔の異なる部分がフレーム内の何処に位置しているかについて決定し得る（例えば、座標を用いる）。次いでシステム１０２は、一つ以上のメディア・コンテンツ・アイテム（例えば、目、鼻、口など）のパラメータを決定し得る。次いでシステム１０２は、ユーザーの顔の一部又はユーザーの顔全体を一つ以上のメディア・コンテンツ・アイテムに代えることがある。その結果、一つ以上のメディア・コンテンツ・アイテムをフレームに加えることは、ユーザーの顔を代替的な顔に置き換えることをもたらす場合がある。他の例においては、ビデオ会議では、システム１０２は、ビデオ・ストリームにおける所定のユーザーの顔を代替的な顔（例えば、アバター、漫画顔など）に代えることがある。様々な実施例においては、ユーザー／ビデオ会議参加者は、ユーザー選択に依存して、様々な特定の代替的な顔によって表される参加者の類似点又は風貌を有するように選択し得る。
【００３３】
或る実施例においては、システム１０２は、スクリーン上でユーザーに追従させて代替的な顔を移動させるために、顔追跡アルゴリズムを使用することがある。例えば、ユーザーがビデオ・カメラの一方の側へ（例えば、視聴者の右側へ）移動するならば、システム１０２は座標の変化を追跡し、一つ以上のメディア・コンテンツ・アイテムを適切に加える（例えば、視聴者の右側に）。或る実施例においては、システム１０２はそれに応じて代替的な顔を縮小拡大し得る。例えば、ユーザーがビデオ・カメラに対する距離を変える（例えば、ビデオ・カメラのより近くに移動する）ならば、システム１０２は座標の変化を追跡して、に一つ以上のメディア・コンテンツ・アイテムを適切に修正して加える（例えば、一つ以上のメディア・コンテンツ・アイテムを拡大して、変化している座標に整合させる）。
【００３４】
或る実施例においては、システム１０２は、参加者がいなくて、参加者の環境の背景を撮り得る。これは、後で参加者の顔を代替的な顔に代えるときにシステム１０２を促進する。例えば、システム１０２は参加者の顔を切り取って、代替的な顔を挿入し得る一方で、背景を保存する。
【００３５】
様々な実施例においては、オーディオ・ストリームは、顔の部分及び／又は要素、例えば代替的な顔の口を動かすのに使用し得る。或る実施例においては、オーディオ・ストリームは参加者により発させられた語句若しくは音声に対応することがある。或る実施例においては、システム１０２は少なくとも一つのメディア・コンテンツ・アイテムに関連した少なくとも一つのオーディオ・コンテンツ・アイテムを得る。或る実施例においては、オーディオ・コンテンツ・アイテムが特定の有名人の顔であるならば、オーディオ・コンテンツは、その特定の有名人の声の特徴（例えば、ピッチ、音質など）含み得る。或る実施例においては、システム１０２はオーディオ・コンテンツ・アイテムをメディア・ストリームに加え得る。或る実施例においては、システム１０２はオーディオ・コンテンツ・アイテムをメディア・ストリームへ混入し得る。或る実施例においては、システム１０２は、メディア・ストリームの少なくとも一部をオーディオ・コンテンツ・アイテムに置き換え得る。その結果、参加者が語句若しくは音声を発すると、システム１０２はユーザーによって発せられたのと同じ語句若しくは音声を生成するが、これは特定の有名人の声に修正されている。
【００３６】
ステップ、操作又は計算は特定の順序で提示されているが、その順序は特定の実施例においては変更し得る。特定の実施例に従ってステップの他の順序が可能である。或る特定の実施例においては、この明細書において連続して起こるように示された複数のステップは、同時に実行し得る。また、或る実施例は図示されたステップの全てを有するわけではないこともあり及び／又はここに示されたものに代えて又はそれらに加えて、他のステップを有することがある。
【００３７】
システム１０２は、本明細書における実施例に説明されたステップを実行するものとして説明したが、システム１０２の構成要素の任意の適宜な構成要素又は組み合わせ或いはシステム１０２に関連した適宜なプロセッサ又は複数のプロセッサは、説明されたステップを実行し得る。
【００３８】
本明細書に説明された実施例は、様々な利点を提供する。例えば、実施例は参加者を楽しい方式で互いに交流させることができる。実施例は、ビデオ会議の参加者を匿名にすることができる。本明細書に説明された実施例は、ソーシャル・ネットワーキング環境でエンドユーザーの間の全体的な進行も増大させる。
【００３９】
図４は例示的なサーバ・デバイス４００のブロック図を示し、これは本明細書に説明された実施例を実施するために使用し得る。例えば、サーバ・デバイス４００は図１のサーバ・デバイス１０４を実施して、並びに、本明細書に説明された方法実施例を実行するために使用し得る。或る実施例においては、サーバ・デバイス４００は、プロセッサ４０２、オペレーティングシステム４０４、メモリ４０６、及び入出力（Ｉ／Ｏ）インターフェース４０８を含む。サーバ・デバイス４００は、ソーシャル・ネットワーク・エンジン４１０及びメディア・アプリケーション４１２を含み、これはメモリ４０６内に、又は、他の任意の適宜な記憶場所又はコンピュータ可読媒体に記憶し得る。メディア・アプリケーション４１２は、プロセッサ４０２に本明細書に説明された機能及び他の機能を実行することを可能にする指示を与える。
【００４０】
図示の容易化のために、図４は、プロセッサ４０２、オペレーティング・システム４０４、メモリ４０６、Ｉ／Ｏインターフェース４０８、ソーシャル・ネットワーク・エンジン４１０と、及びメディア・アプリケーション４１２の各々についての一つのブロックを示す。これらのブロック４０２、４０４、４０６、４０８、４１０、及び４１２は、複数のプロセッサ、オペレーティング・システム、メモリ、Ｉ／Ｏインターフェース、ソーシャル・ネットワーク・エンジン、及びメディア・アプリケーションを表し得る。他の実施例においては、サーバ・デバイス４００は図示の構成要素の全てを有するわけではないこともあり及び／又はここに示されたものに代えて又はそれに加えて他の形式の要素を含む他の要素を有し得る。
【００４１】
様々な実施例においては、システム１０２は、様々な認識アルゴリズムを利用して、メディアにおける顔、目印、物体などを認識し得る。そのような認識アルゴリズムはシステム１０２に統合されている場合がある。システム１０２は、システム１０２の外部にあり、かつ、システム１０２がアクセスするソフトウェアにより提供された認識アルゴリズムにもアクセスし得る。
【００４２】
様々な実施例においては、システム１０２は指定するソーシャル・ネットワーク・システムのユーザーに個人情報の使用に対する指定及び／又は許可を可能にし、これは写真内のユーザーの顔を用いるか又は写真内の特定された認識される人々の識別情報を用いるシステム１０２を含み得る。例えば、システム１０２は、個人情報の使用を指定及び／又は許可するように指向された複数の選択をユーザーに提供することがある。例えば、特定及び／又は許可に関する選択は、個々の写真、全ての写真、個々の写真アルバム、全ての写真アルバム等に関係している場合がある。この選択は、様々な方式で実施し得る。例えば、システム１０２はボタン又はチェックボックスを様々な選択の次に表示させる。
或る実施例においては、システム１０２はソーシャル・ネットワークのユーザーに、一般的な顔認識のためにユーザーの写真を使用することの使用の特定及び／又はは許可させることを可能にする。顔及び他の物体を認識するための例示的な実施例について以下に更に詳細に説明する。
【００４３】
様々な実施例においては、システム１０２はソーシャル・ネットワーク・システムのユーザーの参照画像を得て、各々の参照画像は既知のユーザーに関係した顔の画像を含む。システム１０２がユーザーの識別情報、例えばユーザーの名前及び他のプロフィール情報を有するという点で、ユーザーは既知である。或る実施例においては、参照画像は、例えば、ユーザーがアップロードしたプロフィール画像である場合がある。或る実施例においては、参照画像は、一群の参照画像の複合体に基づき得る。
【００４４】
或る実施例においては、写真内の顔を認識するために、システム１０２は顔（即ち、顔の画像）を比較することがあり、この顔をソーシャル・ネットワーク・システムのユーザーの参照画像と照合することがある。用語「顔」と語句「顔の画像」とは互換に用いられることに留意されたい。説明の容易化のために、一つの顔の認識は、ここに説明される幾つかの例示的実施例で説明される。
これらの実施例は、認識される複数の顔の各々の顔にも適用し得る。
【００４５】
或る実施例においては、システム１０２は、写真内の顔に類似している任意の一つ以上の参照画像を識別するために、参照画像を検索することがある。或る実施例においては、所定の参照画像のために、システム１０２は分析のために写真内の画像から特徴を抽出することがあり、次いで、それらの特徴を一つ以上の参照画像の特徴と比較する。例えば、システム１０２は目、鼻、頬骨、口、顎などの顔の特徴の相対的な位置、大きさ及び／又は形状を分析することがある。或る実施例においては、システム１０２は、分析から集められたデータを使用して、写真内の顔を、整合若しくは類似する特徴で、一つ以上の参照画像と照合し得る。或る実施例においては、システム１０２は複数の参照画像を規格化して、それらの画像からの顔データを、情報（例えば、顔の特徴データ）を有する合成表現に圧縮して、次いで顔認識のために写真内の顔を合成表現と比較し得る。
【００４６】
或る状況では、写真内の顔は、同じユーザーに関連した複数の参照画像に類似している場合がある。そのように、写真内の顔に関連した人物が参照画像に関連した同一人物であるという高い可能性がある。
【００４７】
或る状況では、写真内の顔は、異なるユーザーに関連した複数の参照画像に類似している場合がある。そのように、写真内の人物が参照画像に関連した任意の所定の人物に整合するという適度に高いが低減された可能性がある。そのような状況を取り扱うために、システム１０２は理想的には一人の最高の候補者まで可能性を絞るために、様々な顔認識アルゴリズムを使用することがある。
【００４８】
例えば、或る実施例においては、顔認識における容易化のために、システム１０２は幾何学的な顔認識アルゴリズムを使用することがあり、これは特徴識別に基づく。システム１０２は光度測定アルゴリズムを使用もすることがあり、これは。そして、顔の特徴を比較のための値へ抽出する統計アプローチに基づく。写真内の顔を一つ以上の参照と比較するとき、幾何学的アプローチと光度測定アプローチとの組合せを使用することもできる。
【００４９】
他の顔認識アルゴリズムも使用し得る。例えば、システム１０２は、主成分分析法、線形識別分析法、弾力バンチ・グラフ整合（ｅｌａｓｔｉｃ  ｂｕｎｃｈ  ｇｒａｐｈ  ｍａｔｃｈｉｎｇ）、隠れマルコフ・モデル、及び動的リンクうちの一つ以上を用いる顔認識アルゴリズムを使用することがある。システム１０２は、他の既知又は後に開発される顔認識アルゴリズム、技術及び／又はシステムを使用し得ることは述べるまでもないであろう。
【００５０】
或る実施例においては、システム１０２は、写真内の顔が所定の参照画像に整合するという見込み（又は可能性）を示す出力を生成し得る。或る実施例においては、出力は、写真内の顔が所定の参照画像に整合するという確かさに関連したパーセンテージのような測定基準（又は数値）として記述されることもあろう。例えば、１．０の値は、整合の１００％の確かさを意味し得る。これは例えば、比較された画像が同一であるか殆ど同一であるときに起こることができる。値はより低くなることができ、例えば、整合の５０％の機会があるときは０．５である。他の形式の出力が可能である。例えば、或る実施例においては、出力は、整合のための信頼性スコアである場合がある。
【００５１】
説明はその特定の実施態様に関して記述されたが、これらの特定の実施態様は単なる例示であって、限定的なものではない。例に例示された概念は、他の例及び実施例に適用し得る。
【００５２】
本開示事項に説明された機能的なブロック、方法、デバイス、及びシステムは、当業者に知られているように、システム、デバイス、及び機能的なブロックの異なる組合せに集積又は分割し得ることに留意されたい。
【００５３】
任意の適宜なプログラミング言語及びプログラミング技法が特定の実施態様のルーチンを実施するのに用いられることもある。手続き型又はオブジェクト指向などの異なるプログラミング技法を採用し得る。ルーチンは、単独の処理デバイス又は複数のプロセッサで実行し得る。ステップ、操作又は計算は特定の順序で提示され得るが、その順序は異なる特定の実施態様において変わることもある。或る特定の実施態様においては、本明細書に連続的に示された複数のステップを同時に実行し得る。
【００５４】
「プロセッサ」は、データ、信号又は他の情報を処理する任意の適宜なハードウェア及び／又はソフトウェア・システム、機構又は構成要素を含む。プロセッサは、汎用中央演算処理装置、複数の処理装置、機能を達成するための専用回路を有するシステム又は他のシステムを含み得る。処理は、地理的な位置に限定される必要がないか、時間的な限界を有する必要がない。例えば、プロセッサはその機能を「リアルタイム」、「オフライン」で、「バッチ・モード」その他で実行し得る。処理の部分は、異なる（又は同一の）処理システムによって、異なる時間及び異なる場所で実行し得る。コンピュータは、メモリに通信する任意のプロセッサとし得る。メモリは、任意の適宜なプロセッサ可読記憶媒体、例えば、ランダム・アクセス・メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、磁気的又は光学ディスク、或いはプロセッサにより実行される指令を記憶するのに適する他の実体的な媒体とし得る。
【図１】
0006259808.tif 000002
【図２】
0006259808.tif 000003
【図３】
0006259808.tif 000004
【図４】
0006259808.tif 000005