(57)【要約】【課題】ビデオ会議において、ユーザがアクティブな参加者であることを他のユーザに示す。【解決手段】カメラと、プロセッサと、を含む、ビデオ会議においてユーザと関連付けられた装置であって、前記プロセッサは、前記ビデオ会議を管理するサーバに伝送される前記カメラのビデオから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、前記装置からの前記ビデオを、前記ユーザが関与するビデオフレームから選択された複数のキーフレームを含む動画と、置き替えるように、前記サーバに指示を伝送する。【選択図】図１
2017204845.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、
プロセッサと、
を含む、
ビデオ会議においてユーザと関連付けられた装置であって、
前記プロセッサは、
前記ビデオ会議を管理するサーバに伝送される前記カメラのビデオから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、前記装置からの前記ビデオを、前記ユーザが関与するビデオフレームから選択された複数のキーフレームを含む動画と、置き替えるように、前記サーバに指示を伝送する、
装置。
【請求項２】
前記少なくとも１つのイベントを検出することは、
前記ビデオで前記ユーザ以外の少なくとも１人の人を検出することを含む、
請求項１に記載の装置。
【請求項３】
前記プロセッサは、前記ユーザの少なくとも１つの顔特徴の特徴抽出に基づいて、前記少なくとも１つイベントの検出を行い、
前記プロセッサは、前記ユーザの前記少なくとも１つの顔特徴の検出に失敗すると、前記サーバに指示を伝送する、
請求項１または請求項２に記載の装置。
【請求項４】
前記少なくとも１つのイベントの検出は、前記ビデオの停止の検出を含む、
請求項１〜請求項３の何れか１項に記載の装置。
【請求項５】
前記ビデオ会議の間、前記カメラのビデオから、前記ユーザを含む前記ビデオフレームが生成される、
請求項１〜請求項４の何れか１項に記載の装置。
【請求項６】
少なくとも１つのセンサ、
をさらに含み、
前記プロセッサは、
カメラが使用不能である場合、及び、前記少なくとも１つのセンサから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、前記装置からのビデオを、前記動画と置き替えるように、前記サーバに指示を伝送する、
請求項１〜請求項５の何れか１項に記載の装置。
【請求項７】
ビデオ会議を管理するサーバに伝送されるカメラのビデオから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、装置からの前記ビデオを、ユーザが関与するビデオフレームから選択された複数のキーフレームを含む動画と、置き替えるように、前記サーバに指示を伝送する、
処理をコンピュータに実行させるためのプログラム。
【請求項８】
前記少なくとも１つのイベントを検出することは、
前記ビデオで前記ユーザ以外の少なくとも１人の人を検出することを含む、
請求項７に記載のプログラム。
【請求項９】
前記ユーザの少なくとも１つの顔特徴の特徴抽出に基づいて、前記少なくとも１つのイベントの検出を行い、
前記ユーザの前記少なくとも１つの顔特徴の検出に失敗すると、前記サーバに指示を伝送する、
請求項７または請求項８に記載のプログラム。
【請求項１０】
前記少なくとも１つのイベントの検出は、前記ビデオの停止の検出を含む、
請求項７〜請求項９の何れか１項に記載のプログラム。
【請求項１１】
前記ビデオ会議の間、前記カメラのビデオから、前記ユーザを含む前記ビデオフレームが生成される、
請求項７〜請求項１０の何れか１項に記載のプログラム。
【請求項１２】
カメラが使用不能である場合、及び、少なくとも１つのセンサから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、前記装置からのビデオを、前記動画と置き替えるように、前記サーバに指示を伝送する、
請求項７〜請求項１１の何れか１項に記載のプログラム。
【請求項１３】
コンピュータが、
ビデオ会議を管理するサーバに伝送されるカメラのビデオから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、装置からの前記ビデオを、ユーザが関与するビデオフレームから選択された複数のキーフレームを含む動画と、置き替えるように、前記サーバに指示を伝送する、
方法。
【請求項１４】
前記少なくとも１つのイベントを検出することは、
前記ビデオで前記ユーザ以外の少なくとも１人の人を検出することを含む、
請求項１３に記載の方法。
【請求項１５】
前記ユーザの少なくとも１つの顔特徴の特徴抽出に基づいて、前記少なくとも１つのイベントの検出を行い、
前記ユーザの前記少なくとも１つの顔特徴の検出に失敗すると、前記サーバに指示を伝送する、
請求項１３または請求項１４に記載の方法。
【請求項１６】
前記少なくとも１つのイベントの検出は、前記ビデオの停止の検出を含む、
請求項１３〜請求項１５の何れか１項に記載の方法。
【請求項１７】
前記ビデオ会議の間、前記カメラのビデオから、前記ユーザを含む前記ビデオフレームが生成される、
請求項１３〜請求項１６の何れか１項に記載の方法。
【請求項１８】
カメラが使用不能である場合、及び、少なくとも１つのセンサから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、前記装置からのビデオを、前記動画と置き替えるように、前記サーバに指示を伝送する、
請求項１３〜請求項１７の何れか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオを動画と置き替える装置、プログラム及び方法に関する。
【背景技術】
【０００２】
関連技術のウェブ会議システムは、人々がどのように接続されているか（例えば、コンピュータまたは電話を介して接続されている）を示す参加者パネルによって参加者に関するキュー及びアクティブスピーカ（話者）に関連する音声アイコンを提供する。関連技術のいくつかは、顔追跡のためにカメラを使用し、カメラによって検出された顔移動のモデルにコンピュータグラフィックスアバタを適用することで、リアルタイムアバタを提供する。
【０００３】
関連技術において、アバタは、ビデオ会議を支援するソフトウェアによって提供されるビデオ会議参加者を表すグラフィック表示である。関連技術のアバタは、ライブストリーミングビデオとして提供されてもよく、各会議参加者のライブビデオフィードが会議参加者のアバタとして提供される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】インクペン（Inkpen）ら、「わたしとわたしのアバタ：ワークスペースコミュニケーションのためのアバタによるユーザの快適さの追及（Me and My Avatar: Exploring Users' Comfort with Avatars for Workplace Communication）」、CSCW 2011、中国、２０１１年３月１９日〜２３日、頁４
【非特許文献２】リアオ（Liao）ら、「進行性ダイナミズムによる自動ビデオループ（Automated Video Looping with Progressive Dynamism）」、グラフィックスＡＣＭ抄録（ACM Trans. Graphics）、２０１３年、頁１０
【非特許文献３】タン（Tang）ら、「あなたのタイムゾーンか？わたしのタイムゾーンか？世界的タイムゾーンシフトコラボレーションの研究（Your Time Zone or Mine? A Study of Globally Time Zone-Shifted Collaboration）、CSCW 2011、中国、２０１１年３月１９日〜２３日、頁１０
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ビデオ会議において、ストリーミングされた動画を表示できない、あるいは表示しないような場合であっても、ユーザがアクティブな参加者であることを他のユーザに示すことを目的とする。
【課題を解決するための手段】
【０００６】
第１の態様は、カメラと、プロセッサと、を含む、ビデオ会議においてユーザと関連付けられた装置であって、前記プロセッサは、前記ビデオ会議を管理するサーバに伝送される前記カメラのビデオから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、前記装置からの前記ビデオを、前記ユーザが関与するビデオフレームから選択された複数のキーフレームを含む動画と、置き替えるように、前記サーバに指示を伝送する。
【０００７】
第２の態様は、第１の態様の装置であって、前記少なくとも１つのイベントを検出することは、前記ビデオで前記ユーザ以外の少なくとも１人の人を検出することを含む。
【０００８】
第３の態様は、第１または第２の態様の装置であって、前記プロセッサは、前記ユーザの少なくとも１つの顔特徴の特徴抽出に基づいて、前記少なくとも１つイベントの検出を行い、前記プロセッサは、前記ユーザの前記少なくとも１つの顔特徴の検出に失敗すると、前記サーバに指示を伝送する。
【０００９】
第４の態様は、第１〜第３の何れかの態様の装置であって、前記少なくとも１つのイベントの検出は、前記ビデオの停止の検出を含む。
【００１０】
第５の態様は、第１〜第４の何れかの態様の装置であって、前記ビデオ会議の間、前記カメラのビデオから、前記ユーザを含む前記キーフレームが生成される。
【００１１】
第６の態様は、第１〜第５の何れかの態様の装置であって、少なくとも１つのセンサ、をさらに含み、前記プロセッサは、カメラが使用不能である場合、及び、前記少なくとも１つのセンサから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、前記装置からのビデオを、前記動画と置き替えるように、前記サーバに指示を伝送する。
【００１２】
第７の態様は、プログラムであって、ビデオ会議を管理するサーバに伝送されるカメラのビデオから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、装置からの前記ビデオを、ユーザが関与するビデオフレームから選択された複数のキーフレームを含む動画と、置き替えるように、前記サーバに指示を伝送する、処理をコンピュータに実行させる。
【００１３】
第８の態様は、第７の態様のプログラムであって、前記少なくとも１つのイベントを検出することは、前記ビデオで前記ユーザ以外の少なくとも１人の人を検出することを含む。
【００１４】
第９の態様は、第７または第８の態様のプログラムであって、前記ユーザの少なくとも１つの顔特徴の特徴抽出に基づいて、前記少なくとも１つのイベントの検出を行い、前記ユーザの前記少なくとも１つの顔特徴の検出に失敗すると、前記サーバに指示を伝送する。
【００１５】
第１０の態様は、第７〜第９の何れかのプログラムであって、前記少なくとも１つのイベントの検出は、前記ビデオの停止の検出を含む。
【００１６】
第１１の態様は、第７〜第１０の何れかの態様のプログラムであって、前記ビデオ会議の間、前記カメラのビデオから、前記ユーザを含む前記キーフレームが生成される。
【００１７】
第１２の態様は、第７〜第１１の何れかの態様のプログラムであって、カメラが使用不能である場合、及び、少なくとも１つのセンサから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、前記装置からのビデオを、前記動画と置き替えるように、前記サーバに指示を伝送する。
【００１８】
第１３の態様は、方法であって、コンピュータが、前記ビデオ会議を管理するサーバに伝送される前記カメラのビデオから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、前記装置からの前記ビデオを、前記ユーザが関与するビデオフレームから選択された複数のキーフレームを含む動画と、置き替えるように、前記サーバに指示を伝送する。
【００１９】
第１４の態様は、第１３の態様の方法であって、前記少なくとも１つのイベントを検出することは、前記ビデオで前記ユーザ以外の少なくとも１人の人を検出することを含む。
【００２０】
第１５の態様は、第１３または第１４の態様の方法であって、前記ユーザの少なくとも１つの顔特徴の特徴抽出に基づいて、前記少なくとも１つのイベントの検出を行い、前記ユーザの前記少なくとも１つの顔特徴の検出に失敗すると、前記サーバに指示を伝送する。
【００２１】
第１６の態様は、第１３〜第１５の何れかの態様の方法であって、前記少なくとも１つのイベントの検出は、前記ビデオの停止の検出を含む。
【００２２】
第１７の態様は、第１３〜第１６の何れかの態様の方法であって、前記ビデオ会議の間、前記カメラのビデオから、前記ユーザを含む前記キーフレームが生成される。
【００２３】
第１８の態様は、第１３〜第１７の何れかの態様の方法であって、カメラが使用不能である場合、及び、少なくとも１つのセンサから少なくとも１つのイベントを検出した場合、前記ビデオ会議において、前記装置からのビデオを、前記動画と置き替えるように、前記サーバに指示を伝送する。
【発明の効果】
【００２４】
ビデオ会議において、ストリーミングされた動画を表示できない、あるいは表示しないような場合であっても、ユーザがアクティブな参加者であることを他のユーザに示すことを可能とする。
【図面の簡単な説明】
【００２５】
【図１】例示的な実装によるフローチャートを例示する。
【図２Ａ】例示的な実装によるウェブブラウジングまたはタイピングのデスクトップアクティビティベースアバタを例示する。
【図２Ｂ】例示的な実装によるモバイルデバイスからのサンプルアバタを例示する。
【図２Ｃ】例示的な実装によるストリーミングウェブカメラからではないサンプルアバタを例示する。
【図２Ｄ】例示的な実装によるウェブカメラをもたないデバイスからのサンプルアバタを例示する。
【図３Ａ】例示的な実装による顔特徴検出システムによるウェブカメラ画像を例示する。
【図３Ｂ】例示的な実装による顔特徴検出システムによるウェブカメラ画像を例示する。
【図３Ｃ】例示的な実装による顔特徴検出システムによるウェブカメラ画像を例示する。
【図４】例示的な実装が適用されるユーザデバイスを例示する。
【図５】複数のユーザデバイスをわたるビデオ会議を容易にする装置などの、例示的な実装における使用に適したコンピュータデバイスを含む計算処理環境を例示する。
【図６Ａ】例示的な実装によるビデオ会議参加者の動画を生成するフローチャートを例示する。
【図６Ｂ】例示的な実装による動画アバタと、会議参加者のビデオストリームを、置き替えるフローチャートを例示する。
【図６Ｃ】例示的な実装による会議参加者に対応する動画アバタと、ユーザデバイスのビデオストリームを置き替える装置に指示するフローチャートを例示する。
【発明を実施するための形態】
【００２６】
本開示の図面及び例示的な実装についての詳細を以下に記載する。図面間で重複する構成要素の参照符号及び説明は、記載を明瞭にするために省略する。記載を通じて使用される用語は例示であり、限定を意図しない。例えば、用語「自動的」の使用は、全自動または、本開示の実装を実行する際に所望される実装に依存して、実装のある局面においてユーザまたは管理者の制御が関与する半自動の実装を含む。
【００２７】
ビデオ会議システムにおいて、参加者は、異なる方法で、ビデオ会議に参加してもよい。例えば、ユーザの何人かは、モバイルフォンのカメラを経由して、ユーザの顔を拡大表示させながら、モバイルフォンで参加してもよい。当該ユーザについては、モバイルフォンと他のユーザのデバイスとの間の通信接続が不安定である場合があり、そのような場合、モバイルフォンのカメラから取得されるユーザのポートレイトが静止アバタとして使用される場合がある。また、モバイルフォンのスループットが増加することで、モバイルフォンのカメラが使用不可となる場合がある。たとえユーザが、ビデオストリーミングを妨げる技術的な理由を有していたとしても、ビデオ会議システム及び他の参加者は、静止アバタまたは使用できないビデオを見ることで、ユーザが会議に参加していないように解釈する場合がある。このような誤解に対処するために、例示的な実装は、静止アバタまたはビデオの視聴不可が生じ、ユーザが完全なビデオストリームを有さない状況を検出し、ビデオを生成した動画アバタと置き替えることで、ユーザがビデオ会議におけるアクティブな参加者であることを示す。
【００２８】
例示的な実装は、自動的に、またはユーザの制御によって手動で、ウェブカメラフィードが提供されない場合に、動画アバタまたは静止アバタを提供するシステム及び方法に関する。例示的な実装において、会議の間、ユーザがユーザのビデオフィードへのアクセスを許可する場合、アバタはユーザが関与する以前の会議から導出されるキーフレームから生成されてもよい。当初フィードが利用可能であり、会議が進行した後にフィードが利用不能となった場合、会議の初期に取得したユーザのキーフレームからアバタを生成してもよい。
【００２９】
例示的な実装において、アバタは、ウェブカメラアクティビティだけでなく、デバイス画面アクティビティを描画してもよい。所望される実装に依存して、例えば、ライブストリームと置き替えられた動画は、マウスの移動及び／またはタイプされているテキストを表示するユーザのデスクトップから以前取得した、または偽のスクリーンショットを使用してもよい（図２Ａ）。例えば、ユーザがモバイルデバイスまたはウェアラブルデバイスで会議に接続している場合、モバイルデバイスから取得されるキーフレームを使用することで、ユーザが感知するコンテキストとアバタを適合させてもよい（図２Ｂ）。
【００３０】
さらなる例示的な実装において、キーフレームを混合し、リアルな動きをシミュレートしてもよい。システムは、モーションセンサを含み、ユーザが会議においてアクティブである場合にだけ、動画を表示することを確実にするようにしてもよい。システムは、様々なシナリオについて、ウェブカメラストリームが存在しない場合であっても、ユーザが会議と相互に関与していることを推測してもよい。
【００３１】
モバイルデバイスまたはスマートウォッチをもつユーザが関与する例示的なシナリオにおいて、システムが、会議アプリケーションが関心の的であることを検出し、センサの使用によって、スマートウォッチまたはモバイルデバイスがアクティブに使用されていることを検出すると、システムはユーザが会議においてアクティブであると推測する。異なる様々なセンサを使用して、アクティブな使用を検出してもよい。多くのウェアラブルデバイスまたはＩＯＴ（Internet Of Things）デバイスは、ウェアラブルデバイスが現在装着されていることを示すガルバニックセンサを有していてもよい。また、加速度計は、デバイスの向き（例えば、直立したユーザの縦方向か、または、ユーザの横方向か）を検出することができる。モバイルデバイスの光センサは、モバイルデバイスが暗闇あるいは暗い環境（例えば、ユーザのポケットの中）に存在しないことを検出することができる。また、加速度計は、デバイスが直立して使用されているか、平面（例えば、テーブル上）に寝かされているかを検出することができる。
【００３２】
ストリーミングしないウェブカメラを有するラップトップをもつユーザが関与する例示的なシナリオ（例えば、会議の他のユーザはユーザの顔を見ることができない）において、システムは、ウェブカメラをオンにして写真を撮影し、ローカルなストレージに写真を保存してもよい。システムは、顔及び画面に向かっての凝視について写真を分析してもよい。ユーザが画面を見ていて、会議ウィンドウに焦点が合っていることをシステムが検出すると、システムはユーザが会議においてアクティブであると推測する。システムによって複数の顔が検出されると（例えば、ユーザが会議に参加している間に、子供またはウェイターがストリームに現れた場合）、動画をライブウェブカメラの出力と置き替えるようにしてもよい。
【００３３】
ウェブカメラを有さないラップトップを持つユーザが関与する例示的なシナリオでは、会議ウィンドウに焦点が合っているか否か、システムは判定する。判定が肯定され、ウィンドウ内でマウスまたはキーボードによるイベントを検出すると、システムは、ユーザが会議でアクティブであると推測することができる。ユーザが受動的に会議を観察し、画面と相互関与していない場合もある。このユーザが受動的である場合と、ユーザが存在しない場合とを区別するために、システムは、ラップトップのスピーカから聞こえない周波数範囲の超音波ピングを発生し、受信音声エコーの強度の変動における微細な変化をマイクロフォンから検出してもよい。ユーザがヘッドフォンを装着している場合、システムは、所望される実装に依存してヘッドフォンに存在検知センサを統合してもよい。
【００３４】
例示的な実装において、ビデオ仲介会議は、ライブウェブカメラストリーム、静止アバタ、テキストだけ（例えば、リスト上の名前）、など、様々な方法で自身を表す参加者の集まりを含んでいてもよい。また、会議が行われている間に、参加者は自身の表現を変更してもよい（例えば、在宅勤務である場合、ビデオフィードが失われるかもしれないし、ビデオフィードをオフにするかもしれない。）。会議の間、ビデオフィードを継続できない理由に拘わらず、参加者に関する情報の欠如は、グループに対して負の影響を与える。例えば、オンラインプレゼンテーションを見る間、他の参加者のビデオフィードを見ることは、コンテンツに各ユーザの注意を向けさせることにつながり、また、他のユーザがコンテンツに注意を向けており、ビデオフィードが存在しない場合よりもマテリアルが興味深いものである、と各ユーザに信じさせることができる。
【００３５】
したがって、ユーザのビデオフィードが失われた理由、または存在する理由を検出し、ユーザが会議においてアクティブであることを示すために表示することを選択する追加のキューを提供することは、ビデオ会議システムにとって有用である。
【００３６】
例示的な実装は、カメラが使用不能であるか、帯域幅の限界が理想的なリアルタイムアプローチを妨げるコンテキストまたは状況に対処する。例示的な実装において、システムは、ユーザのウェブカメラまたはモバイルカメラからのフレームを使用して、動画プレイスホルダーを生成して、ライブビデオ表示と置き替える。所望される実装に応じて、フレームは、目、鼻、及び口の位置を抽出するために分析されてもよい。
【００３７】
コンテキストからはずれたプレイスホルダーの生成を防止するために、例示的な実装はユーザが話していないフレーム（例えば、口が動いていない）を選択する。図３Ａ〜図３Ｃは、ライブウェブベース顔検出システムによってフィルタリングされたウェブカメラ画像を例示する。図３Ａの例では、正面から見た顔に対して検出が行われる。顔が下に向けられると（図３Ｂ）、鼻からの特徴点は口に近付き、顔が上に向けられると（図３Ｃ）、鼻からの特徴点は目に近付く。図３Ａ〜図３Ｃの間に例示される差異によれば、例示的な実装は、顔のキーポイントを検出することができないだけでなく、キーポイントの間の対応を検出することもできない。したがって、キーフレーム選択アルゴリズムに、描画される動画に含ませるためにより適切な（より正面に近い）状態の顔を選択させる。
【００３８】
例示的な実装において、処理のための好ましいフレームは、両目を見ることができるか、目、鼻、及び口の特徴点が正面を向いていることを示すフレームである（図３Ａ〜図３Ｃ）。例示的な実装において、目及び鼻の位置は、フレームの順番を判定するために使用されてもよい。詳細には、連続するフレームの鼻の（ｘ，ｙ）座標セットが２次元パスを生成する。その後の他の連続するフレームによるパスと併合するために、例示的な実装は、パスの連続性を最大化するフレームのサブセットを選択する。パスは、同意を示す上下の振り、否定を示す左右の振りなど、感情を強く示す頭部の動きを検出するために使用されてもよい。検出されると、会議のコンテキストにそぐわないため、システムは頭部の動きを拒絶する。また、所望される実装に応じて、連続するフレームのパスを併合する場合、システムは、否定的または肯定的な頭部の振りを示すパスの生成を回避してもよい。
【００３９】
例示的な実装において、システムは、プレイスホルダーをより生き生きとさせるためにデバイスによって操作される光を動的に使用してもよい。例えば、ユーザのプレイスホルダーがより低解像度で表示される場合、この技術は、ユーザがそれでも生き生きしているように他の参加者に感じさせることができる。効果は、選択された連続するフレームにわたって適用されてもよい。シーンの背景及び／または前景は、個別に変更されてもよい。最後に、ユーザがライブウェブカメラとの接続を再び確立した場合、システムは、ライブフレームを徐々に表示する。システムは顔を検出し、ライブフレームを変換し、保存していたキーフレームの顔の位置と適合する位置の顔を生成する。
【００４０】
図１は、例示的な実装によるフローチャートを例示する。１０１で、システムは、現在のストリーミングビデオがアバタと置き替えられるべきか否か判定する。所望される実装に応じて、ウェブカメラをもたないユーザであるか、ウェブカメラをオフしたユーザであるか、（システムがそのように設定されている場合）ウェブストリームに複数の顔が検出されたか、などに基づいて、判定が行われてもよい。アバタ画像を自動的にまたは手動で置き替えるように、ユーザがシステムの設定を変更することができてもよい。
【００４１】
所望される実装に応じて、１０２で、システムは、自動的な置き替えが可能であるか否か、設定または他の手段を判定してもよい。置き替えが自動的に行われる場合（Ｙ）、１０３で、システムがアクティビティ開示のユーザ嗜好を使用することができるように、感知したアクティビティに関連する置き替えアバタを選択するように、ユーザは、ソフトウェアを構成することができる。置き替えが自動的に行われない場合（Ｎ）、フローは１０４に進み、手動によって動画が他のユーザに提供されるべきか否か判定される。
【００４２】
１０３で、システムがアクティビティ開示のユーザ嗜好を使用する場合、ユーザ嗜好が最大であるか最小であるかに関して、判定が行われる。最大と最小の間の差異が、アクティビティ開示のユーザ嗜好の閾値として実装されてもよい。アクティビティ開示のユーザ嗜好が閾値を越えると（例えば、設定または他の手段による５０％の閾値を越えると）、最大であると判定され、閾値以下の値は、最小であると判定され得る。
【００４３】
アクティビティ開示のユーザ嗜好が最大である場合、１０５で、キーボード／マウスを使用して、ユーザが画面と相互関与しているか否かチェックする。１０５の判定が肯定された場合（Ｙ）、フローは１０６に進み、ドキュメント相互関与動画を提供する。動画は、ユーザがドキュメントと相互関与していることを示すグラフィカルな動画であってよく、所望される実装に依存して、選択したキーフレームから生成されてもよい。以下で、詳細に説明するように、図２Ａは、ユーザがドキュメントと相互関与していることを示す動画サムネイルを例示する。
【００４４】
１０５で、キーボード／マウスアクティビティが、アクティビティ開示のユーザ嗜好が最大である場合において、感知されない場合（Ｎ）、フローは１０７に進み、モバイルデバイスまたはウェアラブルデバイスでユーザが会議に接続しているか否かについて判定が行われる。判定が肯定された場合、フローは１０８に進み、ウェブカメラ画像（例えば、顔）を含む動画をシステムは表示し、図２Ｂに例示されるようにモバイルアプリケーションを経由してユーザが伝送している画像を優先する。判定が否定された場合、フローは１０９に進み、顔検出または人の音声検出を行う。
【００４５】
１０９で、システムは顔または音声検出を行う。システムがユーザの顔またはユーザからの音声を検出した場合（Ｙ）、フローは１１０に進み、デスクトップウェブカメラのユーザ動画を提供する。この例において、ユーザがデスクトップアプリケーションまたはウェブサイトで会議に接続している場合、システムは、ウェブカメラ（顔）画像を含む動画を表示してもよく、後述する図２Ｃに例示するように、デスクトップアプリケーションまたはウェブカメラを経由して接続している画像を優先する。判定が否定された場合、システムはユーザに関する感知情報を有さず、システムは１１１に進み、後述する図２Ｄで例示するようにストリーミングのために静止（プロファイル）画像を選択する。
【００４６】
アクティビティ開示のユーザ嗜好が最小である場合、フローは１１２に進み、１０５と同様に、キーボード／マウスを使用して、ユーザが画面と相互関与しているか否かチェックする。判定が肯定された場合（Ｙ）、フローは１１６に進み、ユーザ選択動画を提供する。判定が否定された場合（Ｎ）、フローは１１４に進み、ユーザデバイスのアプリケーションは、ユーザの顔にカメラが向いているか否か判定する。
【００４７】
１１４で、アプリケーションがオープンしていて、カメラがユーザの顔に向けられているか否か、システムは判定する。ユーザの顔は、顔特徴を抽出することで検出されてもよい。判定が肯定された場合（Ｙ）、フローは１１６に進み、ユーザ選択動画を提供する。判定が否定された場合（Ｎ）、フローは１１５に進み、ユーザの顔がビデオから検出可能であるか否か、また、音声が検出可能であるか否か、システムは判定する。判定が肯定された場合（Ｙ）、フローは１１６に進み、判定が否定された場合（Ｎ）、フローは１１７に進み、静止画像を提供する。
【００４８】
１０２で、自動置き替えができない場合（Ｎ）、フローは１０４に進み、ユーザが動画を表示することを手動で選択したか否かを判定する。判定が肯定された場合（Ｙ）、フローは１１６に進み、ユーザ選択動画を提供する。判定が否定された場合（Ｎ）、フローは１１３に進み、ユーザが画像を手動で選択したことを判定し、フローは１１７に進み、ユーザによって選択された静止画像を表示する。
【００４９】
したがって、例示的な実装において、ユーザは、現在の感知したアクティビティを反映した選択アバタを採用することを決定することができる（例えば、プライバシー保護の観点から）。この場合、感知情報の何れかが検出されると、システムはユーザ供給動画を選択し、感知情報が検出されないと、静止画像を選択する。最後に、ユーザは、選択した回数だけ、ユーザが生成した動画を置き替えるために、手動モードに切り替えることができる。
【００５０】
図２Ａは、例示的な実装によるウェブブラウジングまたはタイピングのためのデスクトップアクティビティベースアバタを例示する。詳細には、図２Ａは、２００、２０１、２０２に、ウェブブラウジングのためのデスクトップアクティビティベースアバタを例示し、２０３、２０４、２０５に、タイピングのためのデスクトップアクティビティベースアバタを例示する。ウェブブラウジングに関する図２Ａの例において、フレーム２００、２０１、２０２は、ウェブブラウジングを表す動画への組み込みに使用するために選択された。
【００５１】
フレーム２０３、２０４、２０５は、タイピングを表す動画への組み込みに使用するために選択された。システムのデスクトップのアプリケーションまたはセンサは、図１の１０５及び１１２に示されるように、ユーザのタイピングを検出し、キーボードまたはマウスアクティビティが検出されると、２０３、２０４及び２０５を含む動画が、システムによって、他のユーザに、ビデオ会議において、提供されてもよい。フレーム２０３、２０４、２０５は、以前記録されたウェブ会議の間にデバイスから共有されるスクリーンショットから、現在の会議から、または、所望の実装に依存した他の手段によって、選択されてもよい。
【００５２】
図２Ｂは、例示的な実装による、モバイルデバイスからのサンプルアバタを例示する。図２Ｂの例示的な実装において、フレーム２０６、２０７、２０８は、モバイルデバイスユーザの動画アバタとして使用されるように選択された。モバイルデバイスが関与する例示的な実装において、モバイルデバイスからの接続または利用可能な帯域幅が不適当であれば、モバイルデバイスからのビデオストリームを動画アバタと置き替える必要があるかもしれない。したがって、例示的な実装において、ビデオ会議を管理している装置が、モバイルデバイスがビデオ会議に接続されているが、アバタは置き替えられるべきであることを検出すると、装置は、動画アバタに使用されるフレームを選択する。
【００５３】
図２Ｃは、例示的な実装による非ストリーミングウェブカメラからのサンプルアバタを例示する。図２Ｃの例示的な実装において、フレーム２０９、２１０、２１１は、ウェブカメラがストリーミングしない場合のために動画アバタとして使用されるように選択された。所望される実装に依存して、フレームは、ユーザによって予め選択され、ビデオ会議を管理する装置に予め送信されてもよいし、フレームは、以前の会議か、現在のビデオ会議から、予め選択されてもよい。
【００５４】
図２Ｄは、例示的な実装による、ウェブカメラを有さないデバイスからのサンプルアバタを例示する。図２Ｄの例において、ユーザがウェブカメラを有さないデバイスを操作している場合、静止画像がシステムに提供され、アバタはビデオ会議アプリケーションによって選択されたアバタであってよい。
【００５５】
図３Ａ〜図３Ｃは、例示的な実装による、顔特徴検出システムによるウェブカメラ画像を例示する。例示的な実装において、ウェブカメラ画像は、既知の顔検出システムの何れかを実装し得るライブウェブベース顔検出システムによってフィルタリングされる。
【００５６】
図３Ａ〜図３Ｃは、顔の正面表示に基づいて、特徴を抽出する例を示す。複数の顔特徴に基づいて、所定の閾値を越えたことが検出されると、１０９または１１５で、顔検出が判定されてもよい。
【００５７】
図４は、例示的な実装が適用されるユーザデバイスを例示する。ユーザデバイス４００は、プロセッサ４０１、メモリ４０２、通信インターフェイス４０３、カメラ４０４及びセンサ４０５を含んでいてもよい。メモリ４０２は、図５に例示するようなビデオ会議を容易にする装置に接続するビデオ会議アプリケーションなどの１つもしくは複数のアプリケーションを含んでいてもよい。ビデオ会議アプリケーションは、プロセッサ４０１にロードされ、モバイルデバイスによって実行されてもよい。
【００５８】
カメラ４０４は、図３Ａ〜図３Ｃに例示されるように、ユーザの顔を検出するために使用されてもよい。プロセッサ４０１は、カメラから受信したビデオから特徴を抽出し、ユーザがデバイスに顔を向けているか否か判定する。センサ４０５は、所望される実装に依存して入力を検出してもよい。例えば、センサ４０５は、１０９及び１１５で実装されるように、ユーザからの音声を検出するために使用される音声検出手段（例えば、マイクロフォン）を含んでいてもよい。センサ４０５は、ジャイロスコープまたは加速度計の形態であってもよく、ユーザによってデバイスが使用されているか否か判定するために、デバイスの動き及び／または向きを検出する。ユーザによってデバイスが使用されている場合、ビデオ会議を管理する装置は、動画アバタを使用してもよい。
【００５９】
通信インターフェイス４０３は、ビデオ会議を容易にするために装置にユーザデバイスからビデオを送信してもよい。通信インターフェイス４０３は、センサ４０５からの音声、キーボード／テキスト入力、動画アバタとデバイス４００からのビデオを置き替えるためのビデオ会議サーバへの指示、及び、所望される実装に依存する他の入力などの、ビデオ会議への他の情報を送信してもよい。
【００６０】
プロセッサ４０１は、カメラのビデオから１つもしくは複数のイベントを検出してもよい。プロセッサ４０１がビデオ会議を管理する装置に伝送されるカメラのビデオから１つもしくは複数のイベントを検出すると、プロセッサ４０１は、通信インターフェイス４０３を介して、装置に命令を送信し、ビデオ会議において、ユーザが関与するビデオフレームから選択された複数のキーフレームを有する動画と装置からのビデオを置き替えるように、指示を送信してもよい。
【００６１】
プロセッサ４０１によって検出される１つもしくは複数のイベントは、所望の実装の何れかによって行われてもよい。例示的な実装において、１つもしくは複数のイベントは、ビデオに、ユーザ以外の１人または複数の人を検出することを含む。１人または複数の人がユーザと共に存在する場合、ユーザのビデオを選択動画アバタに変更するように、ビデオ会議を管理する装置に命令を送信するように、プロセッサ４０１に指示してもよい。他の例示的な実装において、１つもしくは複数のイベントは、図３Ａ〜図３Ｃに例示するように、１つもしくは複数のユーザの顔特徴を抽出することに基づいていてもよい。プロセッサ４０１は、ユーザの所定の顔特徴を検出することに失敗すると、プロセッサ４０１は、ユーザのビデオを選択アバタに変更するように指示を送信してもよい。
【００６２】
１つもしくは複数のイベントはビデオの停止を含んでいてもよい。例示的な実装において、プロセッサ４０１は、ユーザデバイス４００から受信したビデオの接続がよくない、または、スループットが不十分であることを示す情報を、ビデオ会議を管理する装置から受信してもよい。当該状況において、プロセッサ４０１は、ビデオを動画アバタに変更するように、指示を送信してもよい。
【００６３】
追加的な例において、ビデオが使用できない場合、または、顔検出が失敗した場合、ユーザアクティビティは、センサ４０５から識別されてもよい。当該例示的な実装において、プロセッサ４０１は、装置からのビデオを動画に置き替えるように、ビデオ会議を管理する装置に指示を送信してもよい。
【００６４】
図５は、複数のデバイスにわたるビデオ会議を容易にする装置など、例示的な実装のいくつかでの使用に適したコンピュータデバイス５０５を含む計算処理環境５００を例示する。計算処理環境５００のコンピュータデバイス５０５は、１つもしくは複数の処理ユニット、コアまたはプロセッサ５１０、メモリ５１５（例えば、ＲＡＭ、ＲＯＭなど）、内部ストレージ５２０（例えば、磁気、光、ソリッドステート及び／または有機）、及び／または、Ｉ／Ｏインターフェイス５２５を含んでいてもよく、これらの何れかは、情報を伝達するために通信機構またはバス５３０で接続されていてもよいし、コンピュータデバイス５０５に埋め込まれていてもよい。
【００６５】
コンピュータデバイス５０５は、入力／ユーザインターフェイス５３５及び出力デバイス／インターフェイス５４０に、通信可能に接続されていてもよい。入力／ユーザインターフェイス５３５及び出力デバイス／インターフェイス５４０の一方または双方は、有線インターフェイスまたは無線インターフェイスであってよく、取り外し可能であってよい。入力／ユーザインターフェイス５３５は、何れかのデバイス、コンポーネント、センサ、またはインターフェイスを含んでいてもよく、これらは物理的または仮想的であってよく、これらは入力（例えば、ボタン、タッチスクリーンインターフェイス、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字器、モーションセンサ、オプティカルリーダーなど）を提供するために使用されてもよい。出力デバイス／インターフェイス５４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字器などを含んでいてもよい。例示的な実装のいくつかにおいて、入力／ユーザインターフェイス５３５及び出力デバイス／インターフェイス５４０は、コンピュータデバイス５０５に埋め込まれていてもよいし、物理的に接続されていてもよい。他の例示的な実装において、他のコンピュータデバイスが、入力／ユーザインターフェイス５３５及び出力デバイス／インターフェイス５４０として、コンピュータデバイス５０５のために機能してもよいし、これらの機能をコンピュータデバイス５０５に提供してもよい。
【００６６】
コンピュータデバイス５０５の例は、高機能モバイルデバイス（例えば、スマートフォン、車及び他のマシンへの搭載デバイス、人または動物によって搬送されるデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、及び、固定デバイス（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、１つもしくは複数のプロセッサが埋め込まれた、及び／または、１つもしくは複数のプロセッサに接続されたテレビ、ラジオなど）を含んでいてもよいが、これらに限定されない。
【００６７】
コンピュータデバイス５０５は、同じまたは異なる構成の１つもしくは複数のコンピュータデバイスを含む、複数のネットワーク構成要素、デバイス、及びシステムの何れかと通信を行うために、外部ストレージ５４５及びネットワーク５５０と、（例えば、Ｉ／Ｏインターフェイス５２５を介して）通信可能に接続されていてもよい。コンピュータデバイス５０５または接続されたコンピュータデバイスの何れかは、サーバ、クライアント、シンサーバ、汎用マシン、特定用途マシン、または他のデバイスとして機能してもよいし、これらのサービスを提供してもよいし、これらを参照してもよい。
【００６８】
Ｉ／Ｏインターフェイス５２５は、計算処理環境５００で接続されたコンポーネント、デバイス、及びネットワークの少なくとも全てと情報を送受信するために、何れかの通信またはＩ／Ｏプロトコルまたは標準（例えば、イーサネット（登録商標）、８０２．１１ｘ、ＵＳＢ（Universal System Bus）、ＷｉＭａｘ、モデム、携帯電話ネットワークプロトコルなど）を使用した有線及び／または無線インターフェイスを含んでいてもよいが、これらに限定されない。ネットワーク５５０は、何れかのネットワークまたはネットワーク（例えば、インターネット、ＬＡＮ（local area network）、ＷＡＮ（wide area network）、電話回線、携帯電話ネットワーク、衛星ネットワークなど）の組み合わせであってよい。
【００６９】
コンピュータデバイス５０５は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能またはコンピュータ可読媒体を使用してもよいし、及び／または、これらを使用して通信を行ってもよい。一時的媒体は、伝送媒体（例えば、金属ケーブル、オプティカルファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスク及びテープ）、光媒体（例えば、ＣＤ  ＲＯＭ、デジタルビデオディスク、ブルーレイ）、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）及び他の不揮発性ストレージまたはメモリを含む。
【００７０】
コンピュータデバイス５０５は、例示的な計算処理環境のいくつかにおいて、技術、方法、アプリケーション、プロセスまたはコンピュータ実行可能命令を実装するために使用されてもよい。コンピュータ実行可能命令は、一時的媒体から取り出され、非一時的媒体に保存され、非一時的媒体から取り出されてもよい。実行可能命令は、プログラム言語、スクリプト言語及びマシン言語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）の何れか１つもしくは複数で生成されてもよい。
【００７１】
プロセッサ５１０は、物理的または仮想的環境において、（図示しない）オペレーティングシステム（ＯＳ）の何れかの下で稼動してもよい。１つもしくは複数のアプリケーションは、論理ユニット５６０、ＡＰＩ（application programing interface）ユニット５６５、入力ユニット５７０、出力ユニット５７５、及び、相互に通信するためのユニット間通信機構５９５を含んで、ＯＳ及び他の（図示しない）アプリケーションと共に展開され得る。記載したユニット及び要素は、設計、機能、構成または実装によって変動し、上記に限定されない。
【００７２】
例示的な実装のいくつかにおいて、情報または実行命令がＡＰＩユニット５６５によって受信されると、１つもしくは複数の他のユニット（例えば、論理ユニット５６０、入力ユニット５７０、出力ユニット５７５）に当該情報または実行命令が伝送されてもよい。いくつかの例において、論理ユニット５６０は、ユニット間の情報フローを制御し、上記例示的な実装で記載した論理ユニット５６０は、ＡＰＩユニット５６５、入力ユニット５７０、出力ユニット５７５によって提供されるサービスを振り分けてもよい。例えば、１つもしくは複数のプロセスまたは実装のフローは論理ユニット５６０単独によって制御されてもよいし、論理ユニット５６０及びＡＰＩユニット５６５によって制御されてもよい。入力ユニット５７０は、例示的な実装において上記された計算のための入力を取得し、出力ユニット５７５は、例示的な実装において上記された計算に基づいて出力を提供してもよい。
【００７３】
プロセッサ５１０は、複数のユーザデバイスをわたるビデオ会議を管理してもよい。ビデオ会議の管理の間、プロセッサ５１０は、ビデオ会議に参加しているユーザデバイスの各々から１つもしくは複数のビデオストリームを受信し、所望される実装に応じて、ユーザデバイスに受信したビデオストリームを送信してもよい。例示的な実装において、プロセッサ５１０は、ユーザデバイスから命令を受信し、ユーザに対応する動画アバタとビデオを置き替え、ユーザに対応する動画アバタとユーザデバイスに送信されたビデオを置き替える指示を処理してもよい。
【００７４】
プロセッサ５１０は、所望される実装の何れかによって、ビデオストリームの中断を検出してもよい。当該中断イベントは、ビデオ接続の中断の検出、接続が不安定であることを示すユーザデバイスからの指示、所望される実装による中断を検出するための他の方法を含んでいてもよい。
【００７５】
図６Ａは、例示的な実装によるビデオ会議参加者のための動画生成のフローチャートを例示する。詳細には、図６Ａは、図５に例示されるビデオ会議を管理する装置によって実行されるフローを例示する。６００で、ビデオ会議管理装置は、会議参加者（即ち、図４に例示されるユーザデバイスのユーザ）と関連する１つもしくは複数のビデオ会議を決定する。所望される実装に依存して、１つもしくは複数のビデオ会議は、図５の装置によってアーカイブされる、以前の、ユーザが関与するビデオ会議を含み、また、図５の装置によって管理されている、現在の、会議参加者が関与するライブビデオ会議を含んでいてもよい。データベースがビデオ会議の各々の会議参加者リストを含むことで、対応するビデオ会議に対してユーザにインデックスを付加することができる。
【００７６】
６０１で、ビデオ会議を管理する装置は、会議参加者のユーザアクティビティの各々の１つもしくは複数のビデオ会議からのキーフレームを識別する。例示的な実装において、キーフレームは、特定の会議参加者のユーザアクティビティに適用可能であるフレームであるとビデオ会議アプリケーションによって判定されるフレームである。キーフレームは、図３Ａ〜図３Ｃに例示される、または、所望される実装による特徴抽出によって、検出されてもよい。装置によってビデオ会議を容易にするために使用されるアプリケーションは、動画アバタとユーザデバイスから送信されるビデオストリームとを置き替えるための１つもしくは複数のユーザアクティビティの定義を含んでいてもよい。ユーザアクティビティ定義は、ビデオ会議を容易にするアプリケーションによって定義されるように、ユーザデバイスによって、または、ビデオストリームによって検出され得るアクティビティである。当該アクティビティは、タイピングアクティビティ、ビデオストリームの中断、カメラの視界へのユーザ以外の人の侵入などを含んでいてもよい。これらのアクティビティの各々について、キーフレームは、ユーザアクティビティ及び所望される実装で使用される定義に基づいて、検出されてもよい。例えば、ユーザの顔に関連するキーフレームは、図３Ａ〜図３Ｃに例示する特徴抽出に基づいて検出されてもよい。会議参加者が参加しているユーザアクティビティの動画を生成する例示的な実装において、ユーザ以外の人または動物（例えば、子供、猫など）がカメラの視界に侵入した場合、または、ビデオストリームが中断されたが会議参加者がまだビデオ会議に参加している場合、あるいは、会議参加者の顔特徴検出が予め定められた閾値より低い場合、予め定めた閾値を越える特徴の閾値（例えば、アプリケーションまたは所望される実装によって設定されている）をもつフレームを検出する。動画は、特徴の閾値を有する、検出されたフレーム以降の連続するフレームから生成され、ユーザ以外の人または動物がビデオストリームに含まれ、会議参加者がまだ会議に参加していることを装置が検出すると、ビデオストリームと置き替えるために使用される。ユーザがタイピングしているまたはユーザデバイスのマウスを使用しているユーザアクティビティの動画を生成する他の例示的な実装において、キーフレームは、ユーザデバイスの画面を共有するコンテキストにおいて、マウスアクティビティが検出されたビデオ会議から選択されてもよい。同様に、検出されたキーフレーム以降の連続するフレームを、マウスアクティビティを例示する動画アバタを生成するために使用してもよい。６０２で、ビデオ会議を管理する装置は、６０１から決定される１つもしくは複数のキーフレームから会議参加者のユーザアクティビティの各々についての動画アバタを生成する。
【００７７】
図６Ｂは、例示的な実装による動画アバタと会議参加者のビデオストリームとの置き替えのフローチャートを例示する。詳細には、図６Ｂは図５によって例示されるビデオ会議を管理する装置による実行のフローを例示する。６１０で、ビデオ会議を管理する装置は、図６Ａのフローによって生成された動画アバタとビデオストリームとを置き替えるユーザデバイスからの命令を受信する。ユーザデバイスからの指示は、対応する動画アバタを選択するよう装置に指示する対応するユーザアクティビティを含んでいてもよい。例えば、ユーザデバイスがキーボードまたはマウスアクティビティを検出した場合、ユーザデバイスによってキーボードまたはマウスアクティビティが検出されたことを示す指示が装置に送信される。同様に、ユーザデバイスがユーザ以外の人または動物がビデオストリームに侵入したことを検出した場合、または、ユーザデバイスが予め定められた閾値を越える顔特徴を検出できなかった場合、ユーザデバイスは、ユーザはまだ会議に参加しているが、ビデオは動画アバタと置き替えられるべきであることを示す指示をビデオ会議を管理する装置に送信する。他の例示的な実装において、装置はユーザデバイスからのビデオストリームの中断を検出し、ユーザデバイスの接続に基づいて動画アバタを選択してもよい。例えば、ユーザデバイスがビデオ会議に接続されているが、ビデオストリームの接続が不十分である場合、図１に例示するように、ユーザがアクティブであることを示すために動画アバタが選択されてもよい。ユーザデバイスが接続されていない場合、ビデオストリームに代えて、静止画像が使用されてもよい。６１１で、ビデオ会議を管理する装置は、検出したユーザアクティビティに対応する動画アバタを選択する。６１２で、装置は、選択した動画アバタと、対応する会議参加者からのビデオストリームを置き替える。動画アバタは、会議参加者からのビデオストリームと置き替えられ、他の会議参加者のユーザデバイスに送信される。
【００７８】
図６Ｃは、例示的な実装によって、会議参加者に対応する動画アバタと、ユーザデバイスのビデオストリームとを置き替えるように、装置に指示するフローチャートを例示する。図６Ｃのフローの実装は、図４に例示されるユーザデバイスによって行われてもよい。６２０で、ユーザデバイスは、デバイスセンサから１つもしくは複数のユーザアクティビティを検出する。アクティビティは、図６Ａ及び図６Ｂで記載されたビデオ会議を促進するアプリケーションによって定義されてもよい。所望される実装に応じて、ユーザアクティビティは、カメラ、ユーザデバイスに接続されたキーボードまたはマウス、またはセンサ（例えば、ジャイロスコープ、加速度計など）から検出されてもよい。６２１で、ビデオをアバタと置き換えることを要求するユーザアクティビティを検出した場合、ユーザデバイスは、ユーザアクティビティに対応する動画アバタとビデオストリームとを置き替えるように、ビデオ会議を管理する装置に指示を送信する。
【００７９】
表１は、ビデオ会議を管理する装置の管理情報を例示する。詳細には、図５の装置は、保存されたアバタ、対応する会議参加者及び検出されるユーザアクティビティのマッピングを制御してもよい。ユーザＩＤ、検出されたユーザアクティビティ、対応する動画とビデオストリームとの置き替え要求を示す指示が、図５の装置によって受信されると、ビデオ会議を管理する装置は、対応する動画と対応する会議参加者のビデオストリームとを置き替えるために管理情報を参照してもよい。
例えば、ユーザ１のデバイスからキーボード／マウスアクティビティが検出された場合、アバタ１がユーザ１を表すように、ウェブ会議参加者に送信されてもよい。
【表１】
2017204845.tif 000003
【００８０】
上記のある部分は、アルゴリズム及びコンピュータ内の操作の記号的表現で提示される場合がある。これらのアルゴリズムの記載及び記号的表現は、本開示の基本的要素を伝えるために、データ処理技術分野において、一般的に使用される手段である。アルゴリズムは、所望される最終状態または結果につながる定義されたステップのシリーズである。例示的な実装において、実行されるステップは、実体的な結果を達成する実体的な量の物理的な操作を要求する。
【００８１】
「処理」「計算」、「算出」、「判定」、「表示」などの用語は、コンピュータシステムのレジスタ及びメモリの物理的な（電子的な）量で表されるデータを操作及び、コンピュータシステムのメモリまたはレジスタ、あるいは、他の情報ストレージ、伝送デバイスまたは表示デバイスの物理的な量で表される同様の他のデータへの変換を行う、コンピュータシステムまたは他の情報処理装置のアクション及びプロセスを含んでいてもよい。
【００８２】
例示的な実装は、操作を実行する装置に関連していてもよい。装置は、要求される目的のために特別に構築されてもよいし、１つもしくは複数のコンピュータプログラムによって選択的にアクティベートされるまたは再構成される、一つもしくは複数の汎用目的コンピュータであってよい。コンピュータプログラムは、コンピュータ可読ストレージ媒体またはコンピュータ可読信号媒体などのコンピュータ可読媒体に保存されてもよい。コンピュータ可読ストレージ媒体は、光ディスク、磁気ディスク、ＲＯＭ（read-only memory）、ＲＡＭ（random access memory）、ソリッドステートデバイス及びドライブ、または何れか他のタイプの触知可能な、即ち、電子情報を保存するのに適した非一時的媒体などの触知可能な媒体を含んでもよいが、これらに限定されない。コンピュータ可読信号媒体は、搬送波などの媒体を含んでいてもよい。アルゴリズム及び表示は、特定のコンピュータまたは他の装置に固有に関連しない。コンピュータプログラムは、所望される実装の動作を実行する命令を含む純粋なソフトウェア実装を含んでいてもよい。
【００８３】
本開示の例によって、様々な汎用目的システムをプログラム及びモジュールで使用してもよいし、所望される方法のステップを実行するために特定用途システムを構築してもよい。また、例示的な実装は、何れか特定のプログラム言語を参照して記載されるものではない。例示的な実装の教示を実装するために、様々なプログラム言語を使用してもよい。プログラム言語の命令は、一つもしくは複数の処理デバイス、例えば、中央処理ユニット（ＣＰＵ）、プロセッサ、または、コントローラによって実行されてもよい。
【００８４】
上記動作は、ハードウェア、ソフトウェア、または、ソフトウェア及びハードウェアの組み合わせによって実行されてもよい。例示的な実装の様々な態様が、回路及び論理装置（ハードウェア）を使用して実装されてもよく、また、他の態様は、プロセッサによって実行されると、本開示の実装を行う方法をプロセッサに実行させる、マシン可読媒体に保存された命令（ソフトウェア）を使用して実装されてもよい。本開示の例示的な実装は、ハードウェアだけで実行されてもよいし、ソフトウェアだけで実行されてもよい。また、様々な機能が、単一のユニットで実行されてもよいし、複数の手段の何れかで、複数のコンポーネントをわたって振り分けられてもよい。ソフトウェアによって実行されると、コンピュータ可読媒体に保存された命令に基づいて、汎用目的コンピュータなどのプロセッサによって、方法が実行されてもよい。命令は、圧縮及び／または暗号化されたフォーマットで媒体に保存されてもよい。
【００８５】
また、本開示によれば、他の実装及び実行も可能である。所望される例示的な実装の様々な態様及び／またはコンポーネントは、単独で、または、組み合わされて使用されてもよい。本開示及び例示的な実装は、例示だけを意図している。
【符号の説明】
【００８６】
４００  ユーザデバイス
４０１  プロセッサ
４０２  メモリ
４０３  通信インターフェイス
４０４  カメラ
４０５  センサ
【図１】
2017204845.tif 000004
【図２Ａ】
2017204845.tif 000005
【図２Ｂ】
2017204845.tif 000006
【図２Ｃ】
2017204845.tif 000007
【図２Ｄ】
2017204845.tif 000008
【図３Ａ】
2017204845.tif 000009
【図３Ｂ】
2017204845.tif 000010
【図３Ｃ】
2017204845.tif 000011
【図４】
2017204845.tif 000012
【図５】
2017204845.tif 000013
【図６Ａ】
2017204845.tif 000014
【図６Ｂ】
2017204845.tif 000015
【図６Ｃ】
2017204845.tif 000016