(57)【要約】  顔に関連するビデオストリームを送信するために必要とされる帯域幅を低減させるためのシステムおよび方法が本明細書において説明される。いくつかの態様では、顔認識技術からの輪郭情報は、送信デバイスにおいてキャプチャされ、受信デバイスへ送られる。輪郭情報は、顔のビデオフレーム全体を送る必要なしに、受信デバイスにおいて顔を再構成するために使用され得る。
2015521454.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータを再構成するための方法であって、前記方法は、
キーフレームを受信デバイスにおいて記憶することと、
１つまたは複数のフレームについての輪郭情報を、前記受信デバイスにおいておよび送信デバイスから受信することと、
前記キーフレームおよび前記輪郭情報に基づいて、１つまたは複数の追加のフレームを生成することと、
を備える、方法。
【請求項２】
前記輪郭情報は、顔の特徴の位置を備える、請求項１に記載の方法。
【請求項３】
前記送信デバイスから前記キーフレームを受信することをさらに備える、請求項１または２のいずれか１項に記載の方法。
【請求項４】
前記１つまたは複数のフレームに対応する圧縮されたビデオを受信することをさらに備え、ここにおいて、前記１つまたは複数の追加のフレームを生成することは、前記圧縮されたビデオにさらに基づく、請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記１つまたは複数の追加のフレームは、前記受信デバイスにおいて前記送信デバイスから受信されたデータのレートに基づいて選択的に生成される、請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記１つまたは複数の追加のフレームは、１つまたは複数の顔のイメージを備える、請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
１つまたは複数の追加のフレームを生成することは、前記１つまたは複数の顔のイメージから１つまたは複数の特徴を除去することを備える、請求項６に記載の方法。
【請求項８】
１つまたは複数の追加のフレームを生成することは、前記１つまたは複数の顔のイメージにメークアップを加えることを備える、請求項６または７のいずれか１項に記載の方法。
【請求項９】
１つまたは複数の追加のフレームを生成することは、前記キーフレームに含まれる一人または複数の人物に関連づけられる衣類を変えることをさらに備える、請求項１乃至８のいずれか１項に記載の方法。
【請求項１０】
プロセッサと、
前記プロセッサと通信状態にあるメモリと、
を備え、
前記メモリは、前記プロセッサによって実行された場合、前記プロセッサに、
キーフレームを記憶することと、
１つまたは複数のフレームについての輪郭情報を、送信デバイスから受信することと、
前記キーフレームおよび前記輪郭情報に基づいて、１つまたは複数の追加のフレームを生成することと、
を行わせる命令を備える、
装置。
【請求項１１】
前記輪郭情報は、顔の特徴の位置を備える、請求項１０に記載の装置。
【請求項１２】
前記命令は、前記プロセッサによって実行された場合、前記プロセッサにさらに、前記送信デバイスから前記キーフレームを受信させる、請求項１０または１１のいずれか１項に記載の装置。
【請求項１３】
前記命令は、前記プロセッサによって実行された場合、前記１つまたは複数のフレームに対応する圧縮されたビデオを前記プロセッサにさらに受信させる、ここにおいて、前記１つまたは複数の追加のフレームを生成することは、前記圧縮されたビデオにさらに基づく、請求項１０乃至１２のいずれか１項に記載の装置。
【請求項１４】
前記１つまたは複数の追加のフレームは、前記受信デバイスにおいて前記送信デバイスから受信されたデータのレートに基づいて選択的に生成される、請求項１０乃至１３のいずれか１項に記載の装置。
【請求項１５】
前記１つまたは複数の追加のフレームは、１つまたは複数の顔のイメージを備える、請求項１０乃至１４のいずれか１項に記載の装置。
【請求項１６】
１つまたは複数の追加のフレームを生成することは、前記１つまたは複数の顔のイメージから１つまたは複数の特徴を除去することを備える、請求項１５のいずれか１項に記載の装置。
【請求項１７】
１つまたは複数の追加のフレームを生成することは、前記１つまたは複数の顔のイメージにメークアップを加えることを備える、請求項１５または１６のいずれか１項に記載の装置。
【請求項１８】
１つまたは複数の追加のフレームを生成することは、前記キーフレームに含まれる一人または複数の人物に関連づけられる衣類を変えることをさらに備える、請求項１０乃至１７のいずれか１項に記載の装置。
【請求項１９】
キーフレームを記憶するための手段と、
１つまたは複数のフレームについての輪郭情報を、送信デバイスから受信するための手段と、
前記キーフレームおよび前記輪郭情報に基づいて、１つまたは複数の追加のフレームを生成するための手段と、
を備える、装置。
【請求項２０】
前記輪郭情報は、顔の特徴の位置を備える、請求項１９に記載の装置。
【請求項２１】
前記送信デバイスから前記キーフレームを受信するための手段をさらに備える、請求項１９または２０のいずれか１項に記載の装置。
【請求項２２】
前記１つまたは複数のフレームに対応する圧縮されたビデオを受信するための手段をさらに備え、ここにおいて、前記１つまたは複数の追加のフレームを生成することは、前記圧縮されたビデオにさらに基づく、請求項１９乃至２１のいずれか１項に記載の装置。
【請求項２３】
前記１つまたは複数の追加のフレームは、前記受信デバイスにおいて前記送信デバイスから受信されたデータのレートに基づいて選択的に生成される、請求項１９乃至２２のいずれか１項に記載の装置。
【請求項２４】
前記１つまたは複数の追加のフレームは、１つまたは複数の顔のイメージを備える、請求項１９乃至２３のいずれか１項に記載の装置。
【請求項２５】
１つまたは複数の追加のフレームを生成するための前記手段は、前記１つまたは複数の顔のイメージから１つまたは複数の特徴を除去するための手段を備える、請求項２４に記載の装置。
【請求項２６】
１つまたは複数の追加のフレームを生成するための前記手段は、前記１つまたは複数の顔のイメージにメークアップを加えるための手段を備える、請求項２４または２５のいずれか１項に記載の装置。
【請求項２７】
１つまたは複数の追加のフレームを生成するための前記手段は、前記キーフレームに含まれる一人または複数の人物に関連づけられる衣類を変えるための手段をさらに備える、請求項１９乃至２６のいずれか１項に記載の装置。
【請求項２８】
少なくとも１つのキャプチャ・デバイスからビデオ入力を受信するように構成されたプログラムのために、データを処理するコンピュータプログラム製品であって、前記コンピュータプログラム製品は、
コンピュータにキーフレームを記憶させるためのコードと、
コンピュータに、１つまたは複数のフレームについての輪郭情報を、送信デバイスから受信させるためのコードと、
コンピュータに、前記キーフレームおよび前記輪郭情報に基づいて、１つまたは複数の追加のフレームを生成させるためのコードと、
を記憶した非一時的なコンピュータ読取可能な媒体
を備える、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  本願は、一般的にはビデオ・キャプチャ・デバイス（video capture devices）に関し、より具体的には顔に関連するビデオストリームを送信するために必要とされる帯域幅を低減させるためのシステムおよび方法に関する。
【背景技術】
【０００２】
[0002]  ビデオ会議は、人々が遠隔の場所（remote locations）において通信するのを助けるために使用される。ビデオ会議を使用し、ユーザのイメージおよび音声は、ある場所においてキャプチャされ、別の場所へ送信されることができる。例えば、多くのアプリケーションは、ビデオおよび／またはオーディオを１つのデバイスから別のデバイスへネットワーク上でストリームする（stream）ために、ウェブカメラ（a webcam）のような標準のビデオ・キャプチャ・デバイスと連動して動作するように設計される。このようにして、これらデバイスのユーザは、ビデオ通話（videophone calls）またはビデオ会議に参加できる。これらアプリケーションは、特に、ウェブカメラからビデオを撮影して、それらのエンティティにおけるビデオフレームを送信するように典型的にセットアップされる。これは、特にビデオフレームが高画質のものである場合、ビデオフレームを送信するために、かなりの（significant）帯域幅を必要としうる。
【発明の概要】
【０００３】
[0003]  本発明のシステム、方法、およびデバイスは、いくつかの態様をそれぞれ有し、これらのうちの何れも、単独でその好ましい属性を担うものではない。後続する特許請求の範囲によって示される本発明の範囲を限定することなく、ここでいくつかの特徴が簡潔に説明される。この説明を考慮した後に、また、特に「詳細な説明」と題されたセクションを読んだ後に、当業者であれば、どのように本発明の特徴が、より少ない（less）帯域幅を利用する顔に関連したビデオのフレームを送信するためのシステムおよび方法を含む利点を提供するかを理解するであろう。
【０００４】
[0004]  本開示の一態様は、ビデオデータを再構成するための方法を提供する。方法は、受信デバイスにおいて、キーフレーム（a keyframe）を記憶することを備える。方法は、１つまたは複数のフレームについての輪郭情報（contour information）を、受信デバイスにおいて、および送信デバイスから受信することをさらに備える。方法は、キーフレームおよび輪郭情報に基づいて、１つまたは複数の追加のフレームを生成することをさらに備える。
【０００５】
[0005]  本開示の別の態様は、装置を提供する。装置は、プロセッサと、プロセッサと通信するメモリを備える。メモリは、プロセッサによって実行された場合、プロセッサにキーフレームを記憶させる命令を備える。プロセッサによって実行された場合の命令はさらに、プロセッサに、１つまたは複数のフレームについての輪郭情報を、送信デバイスから、受信させる。プロセッサによって実行された場合の命令はさらに、プロセッサにキーフレームおよび輪郭情報に基づいて、１つまたは複数の追加のフレームを生成させる。
【０００６】
[0006]  本開示の別の態様は、装置を提供する。装置は、キーフレームを記憶するための手段を備える。装置は、１つまたは複数のフレームについての輪郭情報を、送信デバイスから受信するための手段をさらに備える。装置は、キーフレームおよび輪郭情報に基づいて、１つまたは複数の追加のフレームを生成するための手段をさらに備える。
【０００７】
[0007]  本開示の別の態様は、少なくとも１つのキャプチャ・デバイスからビデオ入力を受信するように構成されたプログラムのために、データを処理するためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、非一時的なコンピュータ読取可能な媒体を備える。コンピュータ読取可能な媒体は、コンピュータに、キーフレームを記憶させるためのコードをその上に記憶している。コンピュータ読取可能な媒体は、コンピュータに、送信デバイスから、１つまたは複数のフレームについての輪郭情報を受信させるためのコードをその上に記憶している。コンピュータ読取可能な媒体は、コンピュータに、キーフレームおよび輪郭情報に基づいて、１つまたは複数の追加のフレームを生成させるためのコードをその上に記憶している。
【図面の簡単な説明】
【０００８】
【図１Ａ】図１Ａは、典型的なコンピューティングデバイスを例示する。
【図１Ｂ】図１Ｂは、別の典型的なコンピューティングデバイスを例示する。
【図２】図２は、コンピューティングデバイスの機能ブロック図である。
【図３】図３は、ビデオ・キャプチャ・デバイスの機能ブロック図である。
【図４】図４は、イメージ・キャプチャ・デバイスを備えたコンピューティングシステムの機能ブロック図である。
【図５】図５は、抽出されうる輪郭情報の例を例示する。
【図６Ａ】図６Ａは、キーフレームの例を例示する。
【図６Ｂ】図６Ｂは、図６Ｂの輪郭情報およびキーフレームを使用して再構成されるイメージの例を例示する。
【図７】図７は、図４のアプリケーションの例のブロック図を例示する。
【図８】図８は、イメージをキャプチャし、イメージデータを送信するための処理の例のフローチャートである。
【図９】図９は、イメージデータを受信し、イメージを再構成するための処理の例のフローチャートである。
【詳細な説明】
【０００９】
[0019]  「典型的（exemplary）」という用語は、ここで、「例、実例、または例示を提供する」という意味で用いられる。ここで「典型的」であると説明される任意の実施形態は、他の実施形態に対して、必ずしも好ましいまたは有利であるようには解釈されない。以下の説明は、いかなる当業者であっても、本発明の製造または使用を可能にするために示される。詳細は、説明目的で、以下の説明において記載される。当業者であれば、本発明がこれら特定の詳細を使用することなく実現されうることを理解するであろうことが認識されるべきである。他の事例では、本発明の説明を不必要な詳細により不明瞭にしないように、周知の構造および処理は、詳しくは述べられない。したがって、本発明は、示される実施形態によって限定されるようには意図されず、ここに開示される原理および特徴と一致する最も広い範囲を与えられることとなる。
【００１０】
[0020]  本明細書に記載のシステムおよび方法は、顔に関連するビデオストリームおよび／またはその他の抽出可能な特徴を有する定義されたオブジェクトを送信するために必要とされる帯域幅を低減させるための技法に関連する。本開示は、特に顔について説明しているが、本明細書のシステムおよび方法は、その他の抽出可能な特徴を有する定義されたオブジェクトとともに同様に使用されうる。
【００１１】
[0021]  いくつかの態様では、第１のデバイス（例えば、ラップトップ、デスクトップ、タブレット、電話、コンピューティングデバイス、等）は、ネットワーク（例えば、インターネット、イントラネット、等）を介して第２のデバイスへイメージおよび／またはビデオを送信するように構成されうる。いくつかの態様では、イメージ・キャプチャ・デバイス（例えば、カメラ、ビデオカメラ、ウェブカメラ、等）は、イメージおよび／または一連のイメージで構成されたビデオをキャプチャするために使用されうる。したがって、第２のデバイスは、第１のデバイスにおいてキャプチャされたイメージを受信し、そのキャプチャされたイメージを表示することができる。
【００１２】
[0022]  いくつかの場合において、キャプチャされたイメージは、１または複数の人および背景（例えば、テーブル、いす、部屋、屋外、等）を含みうる。いくつかの態様では、顔認識技法（facial recognition techniques）（例えば、ＯＭＲＯＮによるＯＫＡＯビジョン・フェース・センシング技術（OKAO Vision Face Sensing Technology））が一人または複数の人の顔を検出し、一人または複数の人の顔の輪郭情報を抽出するために使用されうる。輪郭情報は、一人または複数の人の顔の特徴（例えば、眉、目、鼻、口、およびその他顔の輪郭情報）の位置（positions）（例えば、場所（locations）、座標、等）を含みうる。キャプチャされたイメージの全体を送信する代わりに、第１のデバイスは、一人または複数の人の顔が第２のデバイスにおいて再構成されることができるように、顔の輪郭情報のみを第２のデバイスに送信しうる。全体のイメージの代わりに顔の輪郭情報のみが第２のデバイスに送信されるため、イメージを送信するために必要とされる帯域幅が低減される。
【００１３】
[0023]  顔の輪郭情報は、第２のデバイスにおいてイメージを生成するためにキーフレームを操作するために第２のデバイスによって使用されうる。いくつかの態様では、キーフレームは、イメージ・キャプチャ・デバイスによってキャプチャされたイメージである、第１のデバイスから第２のデバイスへ送られたフレーム、または第２のデバイスにおける顔の記憶されているその他のイメージ（例えば、局所的に静的な画像（local static picture））であり得る（それが第１のデバイスのユーザの顔（例えば、モナリザ）でなければならない必要はない）。その後、第２のデバイスが第１のデバイスから顔の輪郭情報を受信する場合、第２のデバイスは、第１のデバイスから送信された輪郭情報と一致させるためにキーフレームイメージの顔の表情を変えるためにキーフレームイメージを操作することができる。
【００１４】
[0024]  図１Ａは、ここに説明される実施形態で使用されうる典型的なコンピューティングデバイスを例示する。コンピューティングデバイス１００ａは、任意の周知のコンピューティングシステムでありうる。周知のコンピューティングシステム、環境、および／または構成の例は、それに限定されるものではないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラマブル民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、任意の上記システムまたはデバイスを含む分散コンピューティング環境、およびそれに類するものを含む。示されるように、コンピューティングデバイス１００ａは、カメラ１０５ａを含む。カメラ１０５ａは、コンピューティングデバイス１００ａのハウシングに内蔵された（built into）統合カメラ（integrated camera）として示されている。カメラ１０５ａは、デジタルカメラ、デジタルビデオカメラ、ウェブカメラ、等のようなビデオ・キャプチャ・デバイスを備えうる。
【００１５】
[0025]  図１Ｂは、ここに説明される実施形態で使用されうる別の典型的なコンピューティングデバイスを例示する。コンピューティングデバイス１００ｂもまた、任意の周知のコンピューティングシステムでありうる。示されるように、コンピューティングデバイス１００ｂは、カメラ１０５ｂを含む。カメラ１０５ｂは、コンピューティングデバイス１００ｂに接続する外付けカメラとして示されている。カメラ１０５ｂは、ユニバーサル・シリアル・バス（ＵＳＢ）、ＦｉｒｅＷｉｒｅ（登録商標）、Ｔｈｕｎｄｅｒｂｏｌｔ、Ｌｉｇｈｔ Ｐｅａｋ、デジタル・ビデオ・インタフェース（ＤＶＩ）、高解像度マルチメディア・インタフェース（high-definition multimedia interface）（ＨＤＭＩ（登録商標））、ビデオ・グラフィックス・アレイ（ＶＧＡ）、等のような適切なインタフェースを介してコンピューティングデバイス１００ｂへ接続しうる。カメラ１０５ｂは、デジタルカメラ、デジタルビデオカメラ、ウェブカメラ等のようなビデオ・キャプチャ・デバイスを備えうる。
【００１６】
[0026]  図２は、コンピューティングデバイスの機能ブロック図である。コンピューティングデバイス２００は、コンピューティングデバイス１００ａ、コンピューティングデバイス１００ｂ、または別の同様のコンピューティングデバイスのうちの任意の１つに対応しうる。コンピューティングデバイス２００は、入力／出力インタフェース２３０、およびメモリ２２０とデータ通信状態にあるプロセッサ２１０を含む。入力／出力インタフェース２３０はさらに、ディスプレイ２４０およびイメージ・キャプチャ・デバイス２０５とデータ通信状態にある。イメージ・キャプチャ・デバイス２０５は、カメラ１０５ａ、カメラ１０５ｂ、または別の同様のイメージ・キャプチャ・デバイスのうちの任意の１つに対応しうる。プロセッサ２１０はさらに、ネットワークインタフェース２６０とデータ通信状態にある。別々に説明されているが、コンピューティングデバイス１００について説明される機能ブロックは、個別の構造要素である必要がないことが理解されるべきである。例えば、プロセッサ２１０およびメモリ２２０は、単一チップ内に組み込まれうる。同様に、２つ以上のプロセッサ２１０、およびネットワークインタフェース２６０も、単一チップ内に組み込まれうる。コンピューティングデバイス２００は、本明細書に記載される機能を実行するように構成されうる。例えば、プロセッサ２１０は、コンピュータデバイス２００に本明細書に記載される機能を実行させるメモリ２２０において記憶された命令を遂行するように構成され得る。
【００１７】
[0027]  プロセッサ２１０は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）またはその他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリート・ハードウェア・コンポーネント、あるいはここに説明される機能を実行するように設計されたこれらの任意の適切な組み合わせであり得る。プロセッサはまた、コンピューティングデバイスの組み合わせとして、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つまたは複数のマイクロプロセッサ、あるいは、このような構成の他の何らかのものとしてインプリメントされ得る。
【００１８】
[0028]  プロセッサ２１０は、１つまたは複数のバスを介して、メモリ２２０から情報を読み取り、またはこのメモリに情報を書き込むように結合され得る。プロセッサは、これに加えて、あるいはその代わりに、プロセッサレジスタのようなメモリを含み得る。メモリ２２０は、異なるレベルが異なる容量およびアクセス速度を有するマルチレベル階層キャッシュを含むプロセッサキャッシュを含み得る。メモリ２２０はまた、ランダムアクセスメモリ（ＲＡＭ）、その他の揮発性記憶デバイス、または不揮発性記憶デバイスを含みうる。記憶装置は、ハードドライブ、コンパクトディスク（ＣＤ）またはデジタルビデオディスク（ＤＶＤ）などの光ディスク、フラッシュメモリ、フロッピー（登録商標）ディクス、磁気テープ、およびＺｉｐ（登録商標）ドライブを含み得る。
【００１９】
[0029]  プロセッサ２１０はまた、コンピューティングデバイス１００に接続されたデバイスから入力を受信し、またそれらデバイスに出力を提供するための入力／出力インタフェース２３０に結合される。このようなデバイスの例は、それに限定されるものではないが、キーボード、ボタン、キー、スイッチ、ポインティングデバイス、マウス、ジョイスティック、リモートコントロール、赤外線検出器、イメージ・キャプチャ・デバイス（例えば、イメージ・キャプチャ・デバイス２０５）、ＤＶＤプレーヤ、ブルーレイプレーヤ、動き検出器（a motion detector）、（例えば、音声コマンドを検出するために、場合によっては、オーディオ処理ソフトウェアに結合される）マイクロホン、ディスプレイおよびプリンタを含む視覚的出力デバイス（visual output devices）（例えば、ディスプレイ２４０）、スピーカ、ヘッドホン、イアホン、およびアラームを含むオーディオ出力デバイス、ならびにフォースフィードバック・ゲーム・コントローラ（force-feedback game controllers）および振動デバイス（vibrating devices）を含む触覚出力デバイス（haptic output devices）を含む。
【００２０】
[0030]  プロセッサ２１０はさらに、ネットワークインタフェース２６０に結合される。ネットワークインタフェース２６０は、１つまたは複数のモデムを備えうる。ネットワークインタフェース２６０は、ネットワークへの送信のために、プロセッサ２１０によって生成されたデータを用意する。トランシーバ２６０はまた、ネットワークを介して受信されたデータを復調する。ネットワークインタフェース２６０は、送信機、受信機、またはその両方を含みうる。他の実施形態では、送信機および受信機は、２つの個別のコンポーネントである。ネットワークインタフェース２６０は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）またはその他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリート・ハードウェア・コンポーネント、あるいはここに説明される機能を実行するように設計されたこれらの任意の適切な組み合わせとして具現化され得る。
【００２１】
[0031]  図３は、ビデオ・キャプチャ・デバイスの機能ブロック図である。ビデオ・キャプチャ・デバイス３０５は、カメラ１０５ａ、カメラ１０５ｂ、イメージ・キャプチャ・デバイス２０５または別の同様のビデオ・キャプチャ・デバイスのうちの任意の１つに対応し得る。ビデオ・キャプチャ・デバイス３０５は、入力／出力インタフェース３３０、およびメモリ３２０とデータ通信状態にあるプロセッサ３１０を含む。プロセッサ３１０はさらに、センサ３５０とデータ通信状態にある。別々に説明されているが、ビデオ・キャプチャ・デバイス１０５について説明される機能ブロックは、個別の構造要素である必要がないことが理解されるべきである。例えば、プロセッサ３１０およびメモリ３２０は、単一のチップ内に組み込まれ得る。
【００２２】
[0032]  プロセッサ３１０は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）またはその他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリート・ハードウェア・コンポーネント、あるいはここに説明される機能を実行するように設計されたこれらの任意の適切な組み合わせであり得る。プロセッサはまた、コンピューティングデバイスの組み合わせとして、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つまたは複数のマイクロプロセッサ、あるいは、その他任意のこのような構成であるコンピューティングデバイスの組み合わせとしてインプリメントされ得る。
【００２３】
[0033]  プロセッサ３１０は、１つまたは複数のバスを介して、メモリ３２０から情報を読み取り、またはこのメモリに情報を書き込むように結合されうる。プロセッサは、これに加えて、あるいはその代わりに、プロセッサレジスタのようなメモリを含み得る。メモリ３２０は、異なるレベルが異なる容量およびアクセス速度を有するマルチレベル階層キャッシュを含むプロセッサキャッシュを含み得る。メモリ３２０はまた、ランダムアクセスメモリ（ＲＡＭ）、その他の揮発性記憶デバイス、または不揮発性記憶デバイスを含みうる。記憶装置は、ハードドライブ、コンパクトディスク（ＣＤ）またはデジタルビデオディスク（ＤＶＤ）などの光ディスク、フラッシュメモリ、フロッピー（登録商標）ディクス、磁気テープ、およびＺｉｐドライブを含み得る。
【００２４】
[0034]  プロセッサ３１０はまた、コンピューティングデバイス２００のようなコンピューティングデバイスから入力を受信し、またコンピューティングデバイスに出力を提供するための入力／出力インタフェース３３０に結合される。入力／出力インタフェース３３０は、ＵＳＢインタフェース、ＦｉｒｅＷｉｒｅインタフェース等を備え得る。
【００２５】
[0035]  プロセッサ３１０はまた、画像／ビデオをキャプチャするためのセンサ３５０に結合される。センサ３５０は、ＣＣＤ、ＣＭＯＳ、またはその他の適切なタイプのセンサを備え得る。
【００２６】
[0036]  図４は、イメージ・キャプチャ・デバイスを備えたコンピューティングシステムの機能ブロック図である。コンピューティングデバイス４００のコンポーネント（components）は、コンピューティングデバイス２００または別の適切なコンピューティングデバイスに対応し得る。例えば、イメージ・キャプチャ・デバイス４７０は、イメージ・キャプチャ・デバイス２０５に対応し、ディスプレイ４６５はディスプレイ２４０に対応し、イメージ・キャプチャ・デバイス・ドライバ４３０、オペレーティングシステム４０５、ネットワークドライバ４２５、アプリケーション４２０およびビデオドライバ４１５は、メモリ２２０において記憶されプロセッサ２１０によって遂行されるソフトウェアに対応し、ビデオカード４１５はＩ／Ｏ ２３０に対応し、およびネットワーク・インタフェース・カード（ＮＩＣ）４５０はネットワークインタフェース２６０に対応し得る。
【００２７】
[0037]  システム４００は、オペレーティングシステム４０５、アプリケーション４１０、ビデオドライバ４１５、イメージ・キャプチャ・デバイス・ドライバ４３０、およびネットワークドライバ４２５を含み、これらは、個別にあるいは集合的に、コンピューティングデバイス２００のメモリ２２０のようなメモリに記憶され、かつコンピューティングデバイス２００のプロセッサ２１０のようなプロセッサによって実行されうる１つまたは複数のソフトウェアモジュールを備え得る。
【００２８】
[0038]  アプリケーション４１０は、キャプチャされたイメージを処理し、インターネット４５５などのネットワーク上でそれを送信するためのビデオアプリケーションを備えうる。アプリケーション４１０は、イメージ・キャプチャ・デバイス４７０などのイメージ・キャプチャ・デバイスからイメージ／ビデオデータを受信するように構成される。例えば、イメージ・キャプチャ・デバイス・ドライバ４３０は、例えば、イメージ・キャプチャ・デバイス２０５のような、ビデオ・キャプチャ・デバイス４７０と通信するように構成されうる。例えば、アプリケーション４１０は、イメージ・キャプチャ・デバイス４７０を通じてイメージデータをキャプチャしうる。アプリケーション４１０は、イメージデータをキャプチャするために、ＡＰＩなどを通じて、オペレーティングシステム４０５と相互作用しうる。オペレーティングシステム４０５は、イメージ・キャプチャ・デバイス４７０と通信して、イメージ・キャプチャ・デバイス４７０上のセンサからのイメージデータなどの、イメージ・キャプチャ・デバイス４７０からのイメージデータを受信するために、イメージ・キャプチャ・デバイス・ドライバ４３０を利用し得る。その後、オペレーティングシステム４０５は、受信されたイメージデータをアプリケーション４１０に導き得る（direct）。
【００２９】
[0039]  アプリケーション４１０は、その後、顔認識技法（例えば、ＯＭＲＯＮによるＯＫＡＯビジョン・フェース・センシング技術）を使用してイメージデータにおいて１つまたは複数の顔が存在している（present）か否かを決定する。さらに、イメージデータにおいて１つまたは複数の顔が存在している場合、アプリケーション４１０は、顔認識技法（例えば、ＯＭＲＯＮによるＯＫＡＯビジョン・フェース・センシング技術）を使用して顔の輪郭情報を抽出しうる。輪郭情報は、一人または複数の人の顔の特徴（例えば、眉、目、鼻、口、およびその他顔の輪郭情報）の位置を含み得る。例えば、図５は、抽出され得る輪郭情報の例を例示する。抽出された輪郭情報は、様々な顔の特徴の位置／輪郭を示す多数の座標を含む。
【００３０】
[0040]  ネットワークドライバ４２５は、ネットワーク・インタフェース・カード（ＮＩＣ）４５０からの入力を送信／受信するように構成されることがあり得、これはさらに、インターネット４５５などのインターネットプロトコルネットワークのようなネットワークと通信するように構成されうる。例えば、オペレーティングシステム４０５は、アプリケーション４１０の実行を容易にするように機能し得る。アプリケーション４１０は、データ（例えば、輪郭情報）を生成し、ＡＰＩなどを通じて、オペレーティングシステム４０５と相互作用して、このデータを、インターネット４５５に接続された別のデバイスにインターネット４５５上で送信し得る。オペレーティングシステム４０５は、データをネットワークドライバ４２５に送ることができ、それは、ＮＩＣ ４５０を制御して、このデータをインターネット４５５上で送信する。同様に、ＮＩＣ ４５０、ネットワークドライバ４２５、オペレーティングシステム４０５、およびアプリケーション４１０は、例えば、アプリケーション４１０において、インターネット４５５から輪郭を受信するように機能し得る。
【００３１】
[0041]  アプリケーション４１０は、輪郭情報を受信した場合、輪郭情報に基づいて、イメージを再構成するように構成され得る。例えば、アプリケーション４１０は、イメージを再構成するために輪郭情報を使用してキーフレームを操作するように構成され得る。キーフレームは、１つまたは複数の顔を含むイメージであり得る。さらに、キーフレームは、１つまたは複数の背景のオブジェクト（background objects）を含み得る。キーフレームの各顔は、顔についての受信された輪郭情報と関連付けられ得る。受信された輪郭情報は、キーフレームの関連付けられた顔を操作するために使用され得る。例えば、キーフレームは、特定の座標において顔の特徴（例えば、眉、目、鼻、口、およびその他の顔の輪郭情報）を有し得る。輪郭情報は、ビデオの新しいフレームについて、顔の特徴の座標が異なる場所にあるべきであることを示し得る。したがって、アプリケーション４１０は、キーフレームの顔の特徴が輪郭情報からの座標と協調する（align with）ようにキーフレームの顔の特徴を移動させるために、引き伸ばし、移動、スケーリング等のようなイメージ操作技法を使用してキーフレームを操作し得る。
【００３２】
[0042]  いくつかの態様では、キーフレームの目／眉／口の大きさ（magnitude）は、これらの特徴の場所を調整するために受信された輪郭情報に基づいて変えられ得る。いくつかの態様では、キーフレームの顔のサイズは輪郭情報によって示されるようにイメージ・キャプチャ・デバイス４７０からのユーザの距離に基づいて調整され得る。いくつかの態様では、輪郭情報は、口の唇の開口（a lip opening of a mouth）を収容する（house）マウスボックス（mouth box）を備える。したがって、イメージを再構成するために、歯は輪郭情報によって示されたマウスボックスの場所に描かれる（drawn in）。キーフレームからの顔は、その後、キーフレームの口の開口部（the mouth opening）が描かれずに（without the mouth opening of the keyframe being drawn）、歯の上部に描かれ得る。上の歯および下の歯は、輪郭情報および／または示された表情（笑顔、しかめ面、話している、等）によって示される口の開口部に依存して異なるサイズに描かれ得る。さらに、描写に使用される歯は、ユーザ選択が可能でありうる。歯の明暗（lighting）は、輪郭情報によって示される環境の明るさをマッチさせる（match）ように操作され得る。
【００３３】
[0043]  したがって、多数のフレームを備えるビデオについて、全体のビデオフレームは各フレームのために送られる必要はないが、むしろ次のフレームについての顔の輪郭情報のみが送信されることができ、キーフレームなどの前回のフレームが顔の輪郭情報に基づいてアップデートされることができる。
【００３４】
[0044]  図６Ａは、キーフレームの例を例示し、図６Ｂは、輪郭情報およびキーフレームを使用して再構成されるイメージの例を例示する。示されるように、キーフレームは、キーフレームの顔の特徴が輪郭情報をマッチさせる（match）ように操作される。
【００３５】
[0045]  一態様では、第１のフレームは、キーフレームとして使用されるために、イメージ・キャプチャ・デバイス４７０によってキャプチャされ、インターネット４５５を介して送信され、アプリケーション４１０によって受信される。別の態様では、キーフレームは、アプリケーション４１０によって記憶され、取り出された（retrieved）局所的に静的な画像である。局所的に静的な画像は、輪郭情報がキャプチャされた人物に対し、異なる人物の画像であり得、異なる環境における同一人物のものであり得、異なる衣類または品物（例えば、カジュアルウェアに対するフォーマルウェア、眼鏡を掛けるまたははずす、等）を身に着けた同一人物のものであり得、同一人物の向上された（enhanced）バージョン（例えば、傷（blemishes）を除去する、メークアップ（makeup）を加える、等）等であり得る。いくつかの態様では、再構成の間、アプリケーション４１０は、再構成されたイメージに追加の変化（例えば、人物の衣類を変える、メークアップを加える、品物を取り除く／加える、識別情報を隠す、等）を加えるように構成されうる。さらに、いくつかの態様において、再構成の間、アプリケーション４１０は、イメージを再構成するために追加の情報を考慮に入れ（take into account）得る。例えば、イメージは、輪郭情報、キーフレーム、および追加のイメージ情報（例えば、輪郭情報がそこから抽出されるようなイメージデータの圧縮されたフレーム）に基づいて再構成され得る。
【００３６】
[0046]  例えば、いくつかの態様では、アプリケーション４１０を動作させている第１のデバイスは、ネットワークを介して顔の輪郭情報を送信するとともに、追加のフレームの低いビットレートの圧縮されたビデオも送り得る。アプリケーション４１０を動作させている第２のデバイスは、各追加のフレームに対応するフレームを生成するために、顔の輪郭情報およびキーフレームと併せて低いビットレートの圧縮されたビデオを受信および使用し得る。いくつかの態様では、第１のデバイスは、第２のデバイスにおける再生のために、顔の輪郭情報の代わりに第２の追加のフレームを送ることを試み得るが、送信レートがしきい値（例えば、３０フレーム毎秒）を下まわり低下する場合、第１のデバイスは代わりに顔の輪郭情報を送り得る。したがって、アプリケーション４１０を動作させている第２のデバイスは、それらのエンティティにおいて送られた追加のフレームを表示することがあり得、または受信されたデータに依存し、輪郭情報に基づいてキーフレームを操作し得る。さらに、キーフレームはアップデートされ得る。例えば、第１のデバイスは、第２のデバイスへアップデートされたキーフレームを送ることがあり得、または、局所的に記憶された新しいキーフレームが使用され得る。いくつかの態様では、第１のデバイスのユーザが、キーフレームを選択する。いくつかの態様では、第２のデバイスのユーザが、キーフレームを選択する。
【００３７】
[0047]  ビデオドライバ４１５は、ビデオカード４６０と通信するように構成されることができ、それはさらに、ディスプレイ４６５と通信する。例えば、上述されるように、アプリケーション４１０は、ディスプレイ４６５上で表示するためのビデオデータを受信または生成し得る。アプリケーション４１０は、ビデオデータをディスプレイ４６５上に表示するために、ＡＰＩなどを通じて、オペレーティングシステム４０５と相互作用し得る。オペレーティングシステム４０５は、ビデオデータをビデオドライバ４１５に送ることがあり得、それは、ビデオカード４６０を制御して、ビデオデータをディスプレイ４６５に送信する。その後、ディスプレイ４６５は、ビデオデータを表示する。例えば、イメージ・キャプチャ・デバイス４７０によってキャプチャされたイメージおよび／またはアプリケーション４１０からの再構成されたイメージは、ディスプレイ４６５上に表示され得る。
【００３８】
[0048]  アプリケーション４１０の機能性は、リアルタイムに、またはほぼリアルタイムに行われ得ることに留意されたい。
【００３９】
[0049]  図７は、アプリケーション４１０の例のブロック図を例示する。図７に示される態様において、イメージデータは、顔認識モジュール７０５にインプットされる。顔認識モジュール７０５は、上述されるように、イメージデータにおいて顔の場所を見つけ（locate）、顔についての輪郭情報を抽出するように構成されうる。輪郭情報は、その後、上述されるように、輪郭情報に基づいてキーフレームを操作するように構成される顔変換モジュール７２０へ送られる。顔変換モジュールは、イメージデータベース７２５からキーフレームを受信するように構成され得る。データベースからのキーフレームの選択は、自動的に、またはユーザによって実行され得る。操作されたキーフレームは、セレクタモジュール７３０へ出力され得る。
【００４０】
[0050]  さらに、イメージデータおよび／または輪郭情報は、関心領域（ＲＯＩ）処理モジュール７１０へ入力される。ＲＯＩ処理モジュール７１０は、イメージデータからの特定の関心領域から特徴を除去する、または特定の関心領域へ特徴を追加するように構成されうる（例えば、眼鏡などの品物を除去する、または加える、衣類を変える等）。関心領域は、部分的に輪郭情報に基づいて識別され得る。処理されたイメージは、ＲＯＩ処理モジュール７１０から顔メークアップモジュール７１５へ送られうる。顔メークアップモジュール７１５は、イメージにおける人物のイメージを向上させる（例えば、傷を除去する、メークアップを加える、等）ように構成され得る。向上されたイメージは、顔メークアップモジュール７１５からセレクタモジュール７３０へ送られ得る。セレクタモジュール７３０は、ネットワークを介してディスプレイまたは別のデバイスへ出力するために、操作されたキーフレームおよび向上されたイメージの間で選択し得る。選択は、自動的に、またはユーザによって行われ得る。いくつかの態様では、第１のデバイスにおける顔認識モジュール７０５は、イメージデータから輪郭情報を抽出し、第２のデバイスへ輪郭情報を送るために使用されることに留意されたい。アプリケーション４１０を動作させている第２のデバイスは、その後、イメージを生成するために顔認識モジュール７０５を使用しない場合もある。むしろ、受信された輪郭情報は、顔変換モジュール７２０へ入力される。さらに、顔変換モジュール７２０の出力は、「イメージデータ」入力としてＲＯＩ処理モジュール７１０へ入力され得る。
【００４１】
[0051]  図８は、イメージをキャプチャし、イメージデータを送信するためのプロセッサの例のフローチャートである。処理８００は、例えば、コンピューティングシステム４００またはその他任意の適切なデバイスによって実行されうる。ブロック８１０において、イメージ・キャプチャ・デバイス４７０は、イメージをキャプチャする。ブロック８２０において、アプリケーション４１０は、キャプチャされたイメージから輪郭情報を抽出する。ブロック８３０において、アプリケーション４１０は、ネットワークを介して別のデバイスへ輪郭情報を送信する。
【００４２】
[0052]  図９は、イメージデータを受信し、イメージを再構成するための処理の例のフローチャートである。処理９００は、例えば、コンピューティングシステム４００によって実行されうる。ブロック９１０において、アプリケーションは、キーフレームを記憶する。ブロック９２０において、アプリケーション４１０は、別のデバイスから、ネットワークを介して輪郭情報を受信する。ブロック９３０において、アプリケーション４２０は、キーフレームおよび輪郭情報に基づいてフレームを生成する。
【００４３】
[0053]  当業者であれば、処理８００−９００は、単に例示的であるにすぎないことを理解すべきである。処理８００−９００のステップは、ここに開示された原理および新規な特徴と依然として一致しながらも、除去されることができ、追加のステップが加えられることができ、および／またはステップの順序が変更されることができる。別の態様では、フローチャートの各ブロックは、フローチャートに関して説明される機能を実行するように構成された「モジュール」であり得る。
【００４４】
[0054]  （例えば、１つまたは複数の添付図面に関して）ここに説明された機能は、添付された特許請求の範囲において同様に示される「〜する手段」の機能に、いくつかの態様において対応しうる。図２−図４のモジュールの機能は、ここでの教示と一致する様々な方法でインプリメントされ得る。いくつかの態様では、これらモジュールの機能は、１つまたは複数の電気的コンポーネントとしてインプリメントされ得る。いくつかの態様では、これらブロックの機能は、１つまたは複数のプロセッサコンポーネントを含む処理システムとしてインプリメントされ得る。いくつかの態様では、これらモジュールの機能は、例えば、１つまたは複数の集積回路（例えば、ＡＳＩＣ）の少なくとも一部を用いてインプリメントされ得る。ここで説明されたように、集積回路は、プロセッサ、ソフトウェア、その他の関連するコンポーネント、またはこれらの何らかの組み合わせを含み得る。これらモジュールの機能は、ここで教示されたようなその他いくつかの方式でもインプリメントされ得る。
【００４５】
[0055]  本明細書において、「第１の」、「第２の」等のような指定を用いた、要素（element）に対するいずれの参照も、一般に、これら要素の数も順序も限定しないことが理解されるべきである。むしろ、これらの指定は、２つ以上の要素または要素の事例の間で区別する便利な方法としてここで使用され得る。したがって、第１の要素および第２の要素への参照は、そこで２つの要素のみしか適用できないことも、何らかの方法で第１の要素が第２の要素に先行しなければならないことも、意味していない。また、特に明記されていない限り、要素のセットは、１つまたは複数の要素を備えうる。さらに、明細書または特許請求の範囲の中で使用される「Ａ、Ｂ、またはＣのうちの少なくとも１つ」という形態の用語は、「ＡまたはＢまたはＣ、あるいは、これら要素の任意の組み合わせ」を意味している。
【００４６】
[0056]  当業者であれば、情報および信号は、様々な異なる技術および技法のうちの何れかを用いて表されうることを理解するであろう。例えば、上記説明の全体にわたって参照されうるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光場または光粒子、あるいはこれらの任意の組み合わせによって表され得る。
【００４７】
[0057]  当業者であれば、ここに開示された例に関連して説明された様々な例示的な論理ブロック、モジュール、回路、方法、およびアルゴリズムは、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとしてインプリメントされうることをさらに理解するであろう。ハードウェアとソフトウェアとのこの互換性を明確に例示するために、様々な例示的なコンポーネント、ブロック、モジュール、回路、方法およびアルゴリズムが、概してそれらの機能の観点から上述された。このような機能が、ハードウェアとしてインプリメントされるか、あるいはソフトウェアとしてインプリメントされるかは、特定のアプリケーションおよびシステム全体に課せられている設計制約に依存する。当業者は、特定のアプリケーションごとに多様な方法で説明された機能をインプリメントしうるが、このようなインプリメンテーションの決定は、本発明の範囲から逸脱を引き起こしていると解釈されるべきでない。
【００４８】
[0058]  ここに開示された例に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）またはその他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリート・ハードウェア・コンポーネント、あるいはここに説明された機能を実行するように設計されたこれらの任意の組み合わせで、インプリメントまたは実行されうる。汎用プロセッサは、マイクロプロセッサであり得るが、代替において、このプロセッサは、任意の従来型のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシン（state machine）であり得る。プロセッサはまた、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰ通信と連携した１つ以上のマイクロプロセッサ、あるいはその他任意のこのような構成である、コンピューティングデバイスの組み合わせとしてインプリメントされ得る。
【００４９】
[0059]  ここに開示された例に関連して説明された方法またはアルゴリズムは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはこれら２つの組み合わせにおいて、具現化（embodied）され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーブバルディスク、ＣＤ−ＲＯＭ、あるいは技術的に知られているその他任意の形態の記憶媒体中に存在していてもよい。記憶媒体は、プロセッサが記憶媒体から情報を読み取り、また記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替実施形態では、記憶媒体はプロセッサに一体化しうる。プロセッサおよび記憶媒体は、ＡＳＩＣ内に存在し得る。
【００５０】
[0060]  １つまたは複数の典型的な実施形態では、説明された機能は、プロセッサによって実行されるファームウェア、ソフトウェアまたはハードウェア、あるいはこれらの任意の組み合わせでインプリメントされ得る。ソフトウェアでインプリメントされる場合、これら機能は、コンピュータ読取可能な媒体上で、１つまたは複数の命令またはコードとして送信または記憶され得る。コンピュータ読取可能な媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体とコンピュータ記憶媒体との両方を含む。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体であり得る。限定ではなく例として、このようなコンピュータ読取可能な媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたはその他の光ディスク記憶装置、磁気ディスク記憶装置またはその他の磁気記憶デバイスなどの非一時的なコンピュータ読取可能な記憶媒体、あるいは、データ構造または命令の形式で所望のプログラムコードを記憶または搬送するために使用可能であり、かつコンピュータによってアクセスされうるその他任意の媒体を備え得る。また、任意の接続は、コンピュータ読取可能な媒体と厳密には称され得る。例えば、ソフトウェアが、ウェブサイトから、サーバから、あるいは同軸ケーブル、ファイバ光ケーブル、ツイストペア、デジタル加入者ライン（ＤＳＬ）、または赤外線、無線、マイクロ波のようなワイヤレス技術を使用している他の遠隔ソースから送信された場合、同軸ケーブル、ファイバ光ケーブル、ツイストペア、ＤＳＬ、あるいは赤外線、無線、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。ここで使用される場合、ディスク（disk）およびディスク（disc）は、フラッシュメモリ記憶装置、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）（登録商標）、光ディスク（disc）、デジタル多目的ディスク（disc）（ＤＶＤ）、フロッピーディスク（disk）およびブルーレイディスク（disc）を含み、ここでディスク（disk）は、通常磁気的にデータを再生し、一方ディスク（disc）は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ読取可能な媒体の範囲内に含まれるべきである。
【００５１】
[0061]  開示された例の上記説明は、いかなる当業者であっても、本発明を製造または使用できるように提供される。これらの例への様々な修正は、当業者にとって容易に明らかになり、ここに定義された一般的な原理は、本発明の主旨または範囲から逸脱することなく、他の例にも適用され得る。したがって、本発明は、ここに示された例に限定されるようには意図されず、ここに開示される原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
【図１Ａ】
2015521454.tif 000003
【図１Ｂ】
2015521454.tif 000004
【図２】
2015521454.tif 000005
【図３】
2015521454.tif 000006
【図４】
2015521454.tif 000007
【図５】
2015521454.tif 000008
【図６Ａ】
2015521454.tif 000009
【図６Ｂ】
2015521454.tif 000010
【図７】
2015521454.tif 000011
【図８】
2015521454.tif 000012
【図９】
2015521454.tif 000013
【手続補正書】
【提出日】平成27年1月28日(2015.1.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオデータを再構成するための方法であって、前記方法は、
キーフレームを受信デバイスにおいて記憶することと、
１つまたは複数のフレームについての輪郭情報を、前記受信デバイスにおいておよび送信デバイスから受信することと、
前記キーフレームおよび前記輪郭情報に基づいて、１つまたは複数の追加のフレームを生成することと、
を備え、
前記生成することは、前記受信デバイスにおいて前記送信デバイスから受信されたデータのレートに基づいて、選択的に実行される、方法。
【請求項２】
前記輪郭情報は、顔の特徴の位置を備える、請求項１に記載の方法。
【請求項３】
前記送信デバイスから前記キーフレームを受信することをさらに備える、請求項１または２のいずれか１項に記載の方法。
【請求項４】
前記１つまたは複数のフレームに対応する圧縮されたビデオを受信することをさらに備え、ここにおいて、前記１つまたは複数の追加のフレームを生成することは、前記圧縮されたビデオにさらに基づく、請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記１つまたは複数の追加のフレームは、１つまたは複数の顔のイメージを備える、請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
１つまたは複数の追加のフレームを生成することは、前記１つまたは複数の顔のイメージから１つまたは複数の特徴を除去することを備える、請求項５に記載の方法。
【請求項７】
１つまたは複数の追加のフレームを生成することは、前記１つまたは複数の顔のイメージにメークアップを加えることを備える、請求項５または６のいずれか１項に記載の方法。
【請求項８】
１つまたは複数の追加のフレームを生成することは、前記キーフレームに含まれる一人または複数の人物に関連づけられる衣類を変えることをさらに備える、請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
プロセッサと、
前記プロセッサと通信状態にあるメモリと、
を備え、
前記メモリは、前記プロセッサによって実行された場合、前記プロセッサに、
キーフレームを記憶することと、
１つまたは複数のフレームについての輪郭情報を、送信デバイスから受信することと、
前記キーフレームおよび前記輪郭情報に基づいて、１つまたは複数の追加のフレームを生成することと、
を行わせる命令を備え、
前記生成することは、前記送信デバイスから受信されたデータのレートに基づいて、選択的に実行される、
装置。
【請求項１０】
前記輪郭情報は、顔の特徴の位置を備える、請求項９に記載の装置。
【請求項１１】
前記命令は、前記プロセッサによって実行された場合、前記プロセッサにさらに、前記送信デバイスから前記キーフレームを受信させる、請求項９または１０のいずれか１項に記載の装置。
【請求項１２】
前記命令は、前記プロセッサによって実行された場合、前記１つまたは複数のフレームに対応する圧縮されたビデオを前記プロセッサにさらに受信させる、ここにおいて、前記１つまたは複数の追加のフレームを生成することは、前記圧縮されたビデオにさらに基づく、請求項９乃至１１のいずれか１項に記載の装置。
【請求項１３】
前記１つまたは複数の追加のフレームは、１つまたは複数の顔のイメージを備える、請求項９乃至１２のいずれか１項に記載の装置。
【請求項１４】
１つまたは複数の追加のフレームを生成することは、前記１つまたは複数の顔のイメージから１つまたは複数の特徴を除去することを備える、請求項１３のいずれか１項に記載の装置。
【請求項１５】
１つまたは複数の追加のフレームを生成することは、前記１つまたは複数の顔のイメージにメークアップを加えることを備える、請求項１３または１４のいずれか１項に記載の装置。
【請求項１６】
１つまたは複数の追加のフレームを生成することは、前記キーフレームに含まれる一人または複数の人物に関連づけられる衣類を変えることをさらに備える、請求項９乃至１５のいずれか１項に記載の装置。
【請求項１７】
キーフレームを記憶するための手段と、
１つまたは複数のフレームについての輪郭情報を、送信デバイスから受信するための手段と、
前記キーフレームおよび前記輪郭情報に基づいて、１つまたは複数の追加のフレームを生成するための手段と、
を備え、
前記生成するための手段は、前記送信デバイスから受信されたデータのレートに基づいて、前記１つまたは複数の追加のフレームを選択的に生成するように構成される、
装置。
【請求項１８】
前記輪郭情報は、顔の特徴の位置を備える、請求項１７に記載の装置。
【請求項１９】
前記送信デバイスから前記キーフレームを受信するための手段をさらに備える、請求項１７または１８のいずれか１項に記載の装置。
【請求項２０】
前記１つまたは複数のフレームに対応する圧縮されたビデオを受信するための手段をさらに備え、ここにおいて、前記１つまたは複数の追加のフレームを生成することは、前記圧縮されたビデオにさらに基づく、請求項１７乃至１９のいずれか１項に記載の装置。
【請求項２１】
前記１つまたは複数の追加のフレームは、１つまたは複数の顔のイメージを備える、請求項１７乃至２０のいずれか１項に記載の装置。
【請求項２２】
１つまたは複数の追加のフレームを生成するための前記手段は、前記１つまたは複数の顔のイメージから１つまたは複数の特徴を除去するための手段を備える、請求項２１に記載の装置。
【請求項２３】
１つまたは複数の追加のフレームを生成するための前記手段は、前記１つまたは複数の顔のイメージにメークアップを加えるための手段を備える、請求項２１または２２のいずれか１項に記載の装置。
【請求項２４】
１つまたは複数の追加のフレームを生成するための前記手段は、前記キーフレームに含まれる一人または複数の人物に関連づけられる衣類を変えるための手段をさらに備える、請求項１７乃至２３のいずれか１項に記載の装置。
【請求項２５】
少なくとも１つのキャプチャ・デバイスからビデオ入力を受信するように構成されたプログラムのために、データを処理するコンピュータプログラム製品であって、前記コンピュータプログラム製品は、
コンピュータにキーフレームを記憶させるためのコードと、
コンピュータに、１つまたは複数のフレームについての輪郭情報を、送信デバイスから受信させるためのコードと、
コンピュータに、前記キーフレームおよび前記輪郭情報に基づいて、１つまたは複数の追加のフレームを選択的に生成させるためのコードと、
を記憶した非一時的なコンピュータ読取可能な媒体
を備え、
前記選択性は、前記送信デバイスから受信されたデータのレートに基づく、
コンピュータプログラム製品。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
[0061]  開示された例の上記説明は、いかなる当業者であっても、本発明を製造または使用できるように提供される。これらの例への様々な修正は、当業者にとって容易に明らかになり、ここに定義された一般的な原理は、本発明の主旨または範囲から逸脱することなく、他の例にも適用されうる。したがって、本発明は、ここに示された例に限定されるようには意図されず、ここに開示される原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］  ビデオデータを再構成するための方法であって、前記方法は、
キーフレームを受信デバイスにおいて記憶することと、
１つまたは複数のフレームについての輪郭情報を、前記受信デバイスにおいておよび送信デバイスから受信することと、
前記キーフレームおよび前記輪郭情報に基づいて、１つまたは複数の追加のフレームを生成することと、
を備える、方法。
［Ｃ２］  前記輪郭情報は、顔の特徴の位置を備える、Ｃ１に記載の方法。
［Ｃ３］  前記送信デバイスから前記キーフレームを受信することをさらに備える、Ｃ１または２のいずれか１項に記載の方法。
［Ｃ４］  前記１つまたは複数のフレームに対応する圧縮されたビデオを受信することをさらに備え、ここにおいて、前記１つまたは複数の追加のフレームを生成することは、前記圧縮されたビデオにさらに基づく、Ｃ１乃至３のいずれか１項に記載の方法。
［Ｃ５］  前記１つまたは複数の追加のフレームは、前記受信デバイスにおいて前記送信デバイスから受信されたデータのレートに基づいて選択的に生成される、Ｃ１乃至４のいずれか１項に記載の方法。
［Ｃ６］  前記１つまたは複数の追加のフレームは、１つまたは複数の顔のイメージを備える、Ｃ１乃至５のいずれか１項に記載の方法。
［Ｃ７］  １つまたは複数の追加のフレームを生成することは、前記１つまたは複数の顔のイメージから１つまたは複数の特徴を除去することを備える、Ｃ６に記載の方法。
［Ｃ８］  １つまたは複数の追加のフレームを生成することは、前記１つまたは複数の顔のイメージにメークアップを加えることを備える、Ｃ６または７のいずれか１項に記載の方法。
［Ｃ９］  １つまたは複数の追加のフレームを生成することは、前記キーフレームに含まれる一人または複数の人物に関連づけられる衣類を変えることをさらに備える、Ｃ１乃至８のいずれか１項に記載の方法。
［Ｃ１０］    プロセッサと、
前記プロセッサと通信状態にあるメモリと、
を備え、
前記メモリは、前記プロセッサによって実行された場合、前記プロセッサに、
キーフレームを記憶することと、
１つまたは複数のフレームについての輪郭情報を、送信デバイスから受信することと、
前記キーフレームおよび前記輪郭情報に基づいて、１つまたは複数の追加のフレームを生成することと、
を行わせる命令を備える、
装置。
［Ｃ１１］  前記輪郭情報は、顔の特徴の位置を備える、Ｃ１０に記載の装置。
［Ｃ１２］  前記命令は、前記プロセッサによって実行された場合、前記プロセッサにさらに、前記送信デバイスから前記キーフレームを受信させる、Ｃ１０または１１のいずれか１項に記載の装置。
［Ｃ１３］  前記命令は、前記プロセッサによって実行された場合、前記１つまたは複数のフレームに対応する圧縮されたビデオを前記プロセッサにさらに受信させる、ここにおいて、前記１つまたは複数の追加のフレームを生成することは、前記圧縮されたビデオにさらに基づく、Ｃ１０乃至１２のいずれか１項に記載の装置。
［Ｃ１４］  前記１つまたは複数の追加のフレームは、前記受信デバイスにおいて前記送信デバイスから受信されたデータのレートに基づいて選択的に生成される、Ｃ１０乃至１３のいずれか１項に記載の装置。
［Ｃ１５］  前記１つまたは複数の追加のフレームは、１つまたは複数の顔のイメージを備える、Ｃ１０乃至１４のいずれか１項に記載の装置。
［Ｃ１６］  １つまたは複数の追加のフレームを生成することは、前記１つまたは複数の顔のイメージから１つまたは複数の特徴を除去することを備える、Ｃ１５のいずれか１項に記載の装置。
［Ｃ１７］  １つまたは複数の追加のフレームを生成することは、前記１つまたは複数の顔のイメージにメークアップを加えることを備える、Ｃ１５または１６のいずれか１項に記載の装置。
［Ｃ１８］  １つまたは複数の追加のフレームを生成することは、前記キーフレームに含まれる一人または複数の人物に関連づけられる衣類を変えることをさらに備える、Ｃ１０乃至１７のいずれか１項に記載の装置。
［Ｃ１９］  キーフレームを記憶するための手段と、
１つまたは複数のフレームについての輪郭情報を、送信デバイスから受信するための手段と、
前記キーフレームおよび前記輪郭情報に基づいて、１つまたは複数の追加のフレームを生成するための手段と、
を備える、装置。
［Ｃ２０］  前記輪郭情報は、顔の特徴の位置を備える、Ｃ１９に記載の装置。
［Ｃ２１］  前記送信デバイスから前記キーフレームを受信するための手段をさらに備える、Ｃ１９または２０のいずれか１項に記載の装置。
［Ｃ２２］  前記１つまたは複数のフレームに対応する圧縮されたビデオを受信するための手段をさらに備え、ここにおいて、前記１つまたは複数の追加のフレームを生成することは、前記圧縮されたビデオにさらに基づく、Ｃ１９乃至２１のいずれか１項に記載の装置。
［Ｃ２３］  前記１つまたは複数の追加のフレームは、前記受信デバイスにおいて前記送信デバイスから受信されたデータのレートに基づいて選択的に生成される、Ｃ１９乃至２２のいずれか１項に記載の装置。
［Ｃ２４］  前記１つまたは複数の追加のフレームは、１つまたは複数の顔のイメージを備える、Ｃ１９乃至２３のいずれか１項に記載の装置。
［Ｃ２５］  １つまたは複数の追加のフレームを生成するための前記手段は、前記１つまたは複数の顔のイメージから１つまたは複数の特徴を除去するための手段を備える、Ｃ２４に記載の装置。
［Ｃ２６］  １つまたは複数の追加のフレームを生成するための前記手段は、前記１つまたは複数の顔のイメージにメークアップを加えるための手段を備える、Ｃ２４または２５のいずれか１項に記載の装置。
［Ｃ２７］  １つまたは複数の追加のフレームを生成するための前記手段は、前記キーフレームに含まれる一人または複数の人物に関連づけられる衣類を変えるための手段をさらに備える、Ｃ１９乃至２６のいずれか１項に記載の装置。
［Ｃ２８］  少なくとも１つのキャプチャ・デバイスからビデオ入力を受信するように構成されたプログラムのために、データを処理するコンピュータプログラム製品であって、前記コンピュータプログラム製品は、
コンピュータにキーフレームを記憶させるためのコードと、
コンピュータに、１つまたは複数のフレームについての輪郭情報を、送信デバイスから受信させるためのコードと、
コンピュータに、前記キーフレームおよび前記輪郭情報に基づいて、１つまたは複数の追加のフレームを生成させるためのコードと、
を記憶した非一時的なコンピュータ読取可能な媒体
を備える、コンピュータプログラム製品。
【国際調査報告】
2015521454.tif 000014
2015521454.tif 000015