(57)【要約】【課題】同一場所と遠隔の両方の周囲に適合するスマートカメラを実装するシステム、方法、及びプログラムを提供する。【解決手段】処理ユニット及びメモリを備えたコンピュータ化されたシステムであって、システムは、ユーザのビデオを含むリアルタイムのビデオ会議ストリームに関連して動作し、メモリは、コンピュータ化されたシステムに、ユーザのビデオを備えるリアルタイムのビデオ会議ストリームを受信し、受信したリアルタイムのビデオ会議ストリーム内の背景をユーザから検出して分離し、分離された背景を、第２ユーザのシステムから受信した背景又は事前に記録された背景に置き換えることと、を含む方法を実行させる、コンピュータ実行可能な命令のセットを具現化する。【選択図】図２
2020092424.tif 000002
【特許請求の範囲】
【請求項１】
処理ユニット及びメモリを備えるコンピュータ化されたシステムであって、
前記システムは、ユーザのビデオを含むリアルタイムのビデオ会議ストリームに関連して動作し、前記メモリは、前記コンピュータ化されたシステムに、以下の手順ａ、ｂ、ｃを含む方法を実行させる、コンピュータ実行可能な命令のセットを具現化する、コンピュータ化されたシステム。
ａ．前記ユーザの前記ビデオを含む前記リアルタイムのビデオ会議ストリームを受信し、
ｂ．受信した前記リアルタイムのビデオ会議ストリーム内の背景を前記ユーザから検出して分離し、
ｃ．分離された背景を、第２ユーザのシステムから受信した背景又は事前に記録された背景に置き換える。
【請求項２】
前記背景は、データベースから検索された事前に記録された背景である、請求項１に記載のシステム。
【請求項３】
前記背景が自動的に生成される、請求項１に記載のシステム。
【請求項４】
前記背景は、前記第２ユーザの前記システムによるプロンプトに応じて、前記第２ユーザによって記録される、請求項１に記載のシステム。
【請求項５】
前記リアルタイムのビデオ会議ストリーム内の背景を検出及び分離することは、前記ユーザの顔を検出することを含む、請求項１に記載のシステム。
【請求項６】
前記リアルタイムのビデオ会議ストリームのビデオフレーム内の複数の特徴点を識別することにより、前記ユーザの顔が検出される、請求項５に記載のシステム。
【請求項７】
前記ユーザの顔を学習することをさらに含む、請求項５に記載のシステム。
【請求項８】
前記ユーザの顔は、ビデオ会議の開始時に学習される、請求項７に記載のシステム。
【請求項９】
前記ユーザの顔は、ビデオ会議の前に学習される、請求項７に記載のシステム。
【請求項１０】
前記リアルタイムのビデオ会議ストリーム内の背景を分離することは、前記ユーザの学習された顔に基づいて前記ユーザを識別すること、識別された前記ユーザから背景を分離することと、を含む、請求項７に記載のシステム。
【請求項１１】
処理ユニット及びメモリを備えるコンピュータ化されたシステムであって、
前記システムは、ユーザのビデオを含むリアルタイムのビデオ会議ストリームに関連して動作し、前記メモリは、前記コンピュータ化されたシステムに、以下の手順ａ、ｂ、ｃを含む方法を実行させる、コンピュータ実行可能な命令のセットを具現化する、コンピュータ化されたシステム。
ａ．前記ユーザの前記ビデオを含む前記リアルタイムのビデオ会議ストリームを受信し、
ｂ．受信した前記リアルタイムのビデオ会議ストリームの反射を見つけて分離し、
ｃ．受信した前記リアルタイムのビデオ会議ストリームの分離された反射を修正する。
【請求項１２】
前記分離された反射を修正することは、前記分離された反射を暗くすることを含む、請求項１１に記載のシステム。
【請求項１３】
前記分離された反射は、前記ユーザの眼鏡である、請求項１１に記載のシステム。
【請求項１４】
前記分離された反射を修正することは、第２ユーザのビデオ会議ストリームを使用して、前記分離された反射を新しい反射に置き換えることを含む、請求項１１に記載のシステム。
【請求項１５】
処理ユニット及びメモリを備えるコンピュータ化されたシステムに関連して実行されるコンピュータ実装方法であって、前記システムは、ユーザのビデオを含むリアルタイムのビデオ会議ストリームに関連して動作し、以下の手順ａ、ｂ、ｃを含むコンピュータ実装方法。
ａ．前記ユーザの前記ビデオを含む前記リアルタイムのビデオ会議ストリームを受信し、
ｂ．受信した前記リアルタイムのビデオ会議ストリーム内の背景を前記ユーザから検出して分離し、
ｃ．分離された背景を、第２ユーザのシステムから受信した背景又は事前に記録された背景に置き換える。
【請求項１６】
前記背景は、データベースから検索された事前に記録された背景である、請求項１５に記載のコンピュータ実装方法。
【請求項１７】
前記背景が自動的に生成される、請求項１５に記載のコンピュータ実装方法。
【請求項１８】
前記背景は、前記第２ユーザの前記システムによるプロンプトに応じて、前記第２ユーザによって記録される、請求項１５に記載のコンピュータ実装方法。
【請求項１９】
前記リアルタイムのビデオ会議ストリーム内の背景を検出及び分離することは、前記ユーザの顔を検出することを含む、請求項１５に記載のコンピュータ実装方法。
【請求項２０】
前記ユーザの顔は、前記リアルタイムのビデオ会議ストリームのビデオフレーム内の複数の特徴点を識別することによって検出される、請求項１５に記載のコンピュータ実装方法。
【請求項２１】
コンピュータに、
ａ．ユーザのビデオを含むリアルタイムのビデオ会議ストリームを受信し、
ｂ．受信した前記リアルタイムのビデオ会議ストリーム内の背景を前記ユーザから検出して分離し、
ｃ．分離された背景を、第２ユーザのシステムから受信した背景又は事前に記録された背景に置き換える、
各手順を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示される実施形態は、一般にスマートカメラシステムに関し、より具体的には、同一場所及び遠隔の両方の周囲に適合する個人用「カメレオン」スマートカメラを実装するシステム、方法、及びプログラムに関する。
【背景技術】
【０００２】
当業者によって理解されるように、最近のスマートスペースに関する作業にもかかわらず、今日、多くの知識作業が、従来のオフィス環境の外で行われる。例えば、自宅のような場所、カフェ／レストラン（図１ｄを参照）、電車（図１ａ及び１ｃを参照）又はバス（図１ｂ）で移動中、オープンオフィスの仕切られた一角（cubicles）で行われる。
【０００３】
当業者によってさらに理解されるように、これらの公共スペースでウェブ会議を行うことには問題がある。ビデオの背景及びビデオの反射領域（例えば、眼鏡）は、プライベート及び／又は機密情報を含むことができ、権限のない人にうっかり開示されてしまう可能性があり、オーディオチャネルは、レストランのバリスタが人の名前を呼ぶ声、通過する電車の大きな音などの、望ましくない周囲の音声、音、ノイズで突然乱雑になる場合がある。さらに、過去の研究では、ビデオ会議で共有された視覚的コンテキストが不足すると、参加者の会話の基盤が損なわれ、ユーザ体験が低下する可能性があることが示されている。
【０００４】
したがって、上記及び従来の技術のその他の欠点を考慮して、同一場所と遠隔の両方の周囲に適合するスマートカメラを実装する新しい改良されたシステム及び方法が必要である。このような発明に関するカメラには、参加者が従来のオフィス環境の外にいる場合のビデオ会議などを含む、多くの用途がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第９３１３４５４号明細書
【特許文献２】米国特許第７７８３０７５号明細書
【特許文献３】米国特許第５８１２７８７号明細書
【非特許文献】
【０００６】
【非特許文献１】FAN, Q., et al., A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing, ICCV'17, 2017, 30 pgs.
【非特許文献２】FUSSEL, S.R., et al., Coordination of Communication: Effects of Shared Visual Context on Collaborative Work, CSCW'00 Proceedings of the 2000 ACMConference on Computer Supported Cooperative Work, 2000, pp. 21-30.
【非特許文献３】ISOLA, P., et al., Image-to-Image Translation with Conditional Adversarial Networks, 2017 IEEE Conference on Computer Vision and Pattern Recognition, 2017, 17 pgs.
【非特許文献４】KAUFF, P., et al., An immersive 3D video-conferencing system using shared virtual team user environments, CVE702, September 30-October 02, 2002, Bonn, Germany, 9 pgs.
【非特許文献５】RADFORD, A., et al., Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, 2015, arXiv:1511.06434, 16 pgs.
【非特許文献６】SONG, S., et al., Im2Pano3D: Extrapolating 360 Structure and Semantics Beyond the Field of View, IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2017, 18 pgs.
【非特許文献７】github.com, justadudewhohacks/face-api, 15 pgs., retrieved 12/3/19, URL:https://github.com/justadudewhohacks/face-api.js
【非特許文献８】github.com, jeelizFaceFilter, 14 pgs., retrieved 12/3/19, URL:https://github.com/jeeliz/jeelizFaceFilter
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、同一場所と遠隔の両方の周囲に適合するスマートカメラを実装するシステム、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本明細書に記載される実施形態の一態様によれば、処理ユニット及びメモリを組み込むコンピュータ化されたシステムが提供され、システムは、ユーザのビデオを備えるリアルタイムのビデオ会議ストリームに関連して動作し、メモリは、コンピュータ化されたシステムに、ユーザのビデオを備えるリアルタイムのビデオ会議ストリームを受信し、受信したリアルタイムのビデオ会議ストリーム内の背景をユーザから検出して分離し、分離された背景を、第２ユーザのシステムから受信した背景又は事前に記録された背景に置き換えること、を含む方法を実行させる、コンピュータが実行可能な命令のセットを具現化する。
【０００９】
１又は複数の実施形態において、背景は、データベースから検索された事前に記録された背景である。
【００１０】
１又は複数の実施形態において、背景は自動的に生成される。
【００１１】
１又は複数の実施形態において、背景は、第２ユーザのシステムによるプロンプト（prompt）に応じて、第２ユーザによって記録される。
【００１２】
１又は複数の実施形態において、リアルタイムのビデオ会議ストリーム内の背景を検出及び分離することは、ユーザの顔を検出することを含む。
【００１３】
１又は複数の実施形態では、リアルタイムのビデオ会議ストリームのビデオフレーム内の複数の特徴点を識別することにより、ユーザの顔が検出される。
【００１４】
１又は複数の実施形態において、方法は、ユーザの顔を学習することをさらに含む。
【００１５】
１又は複数の実施形態において、ユーザの顔は、ビデオ会議の開始時に学習される。
【００１６】
１又は複数の実施形態において、ユーザの顔は、ビデオ会議の前に学習される。
【００１７】
１又は複数の実施形態において、リアルタイムのビデオ会議ストリーム内の背景を分離することは、ユーザの学習された顔に基づいてユーザを識別すること、識別されたユーザから背景を分離することを含む。
【００１８】
本明細書に記載の実施形態の別の態様によれば、処理ユニット及びメモリを組み込むコンピュータ化されたシステムが提供され、システムは、ユーザのビデオを備えるリアルタイムのビデオ会議ストリームに関連して動作し、メモリは、コンピュータ化されたシステムに、ユーザのビデオを備えるリアルタイムのビデオ会議ストリームを受信し、受信したリアルタイムのビデオ会議ストリームの反射を見つけて分離し、受信したリアルタイムのビデオ会議ストリームの分離された反射を修正すること、を含む方法を実行させる、コンピュータが実行可能な命令のセットを具現化する。
【００１９】
１又は複数の実施形態において、分離された反射を修正することは、分離された反射を暗くすることを含む。
【００２０】
１又は複数の実施形態において、分離された反射は、ユーザの眼鏡である。
【００２１】
１又は複数の実施形態において、分離された反射を修正することは、第２ユーザのビデオ会議ストリームを使用して、分離された反射を新しい反射に置き換えることを含む。
【００２２】
本明細書に記載の実施形態の別の態様によれば、処理ユニット及びメモリを組み込むコンピュータ化されたシステムに関連して実行されるコンピュータ実装方法が提供され、システムは、ユーザのビデオを備えるリアルタイムのビデオ会議ストリームに関連して動作し、方法は、ユーザのビデオを備えるリアルタイムのビデオ会議ストリームを受信し、受信したリアルタイムのビデオ会議ストリーム内の背景をユーザから検出して分離し、分離された背景を、第２ユーザのシステムから受信した背景又は事前に記録された背景に置き換えること、を含む。
【００２３】
１又は複数の実施形態において、背景は、データベースから検索された事前に記録された背景である。
【００２４】
１又は複数の実施形態において、背景は自動的に生成される。
【００２５】
１又は複数の実施形態において、背景は、第２ユーザのシステムによるプロンプトに応じて、第２ユーザによって記録される。
【００２６】
１又は複数の実施形態において、リアルタイムのビデオ会議ストリーム内の背景を検出及び分離することは、ユーザの顔を検出することを含む。
【００２７】
１又は複数の実施形態において、ユーザの顔は、リアルタイムのビデオ会議ストリームのビデオフレーム内の複数の特徴点を識別することによって検出される。
【００２８】
１又は複数の実施形態において、方法は、ユーザの顔を学習することをさらに含む。
【００２９】
１又は複数の実施形態において、ユーザの顔は、ビデオ会議の開始時に学習される。
【００３０】
１又は複数の実施形態において、ユーザの顔は、ビデオ会議の前に学習される。
【００３１】
１又は複数の実施形態において、リアルタイムのビデオ会議ストリーム内の背景を分離することは、ユーザの学習された顔に基づいてユーザを識別すること、及び識別されたユーザから背景を分離することを含む。
【００３２】
本発明に関連する追加の態様は、一部は以下の説明に記載され、一部はその説明から明らかであるか、又は本発明の実施により学習され得る。本発明の態様は、要素及び以下の詳細な説明及び添付の特許請求の範囲で特に指摘されている様々な要素及び態様の組み合わせにより実現及び達成され得る。
【００３３】
上記及び以下の両方の説明は例示的かつ説明的なものにすぎず、請求された発明又はその応用をいかなる方法でも限定することを意図するものではないと理解されたい。
【図面の簡単な説明】
【００３４】
【図１ａ】自然（電車）の中での知識作業の一例を示している。
【図１ｂ】自然（バス）の中での知識作業の一例を示している。
【図１ｃ】自然（電車）の中での知識作業の一例を示している。
【図１ｄ】自然（カフェ）の中での知識作業の一例を示している。
【図２】同一場所及び遠隔の両方の周囲に適合する本発明の「カメレオン」スマートカメラの実施形態の例示的な動作シーケンスを示す。
【図３ａ】同一場所及び遠隔の両方の周囲に適合する本発明の「カメレオン」スマートカメラの実施形態による例示的な画像処理結果を示す。
【図３ｂ】同一場所及び遠隔の両方の周囲に適合する本発明の「カメレオン」スマートカメラの実施形態による例示的な画像処理結果を示す。
【図３ｃ】同一場所及び遠隔の両方の周囲に適合する本発明の「カメレオン」スマートカメラの実施形態による例示的な画像処理結果を示す。
【図３ｄ】同一場所及び遠隔の両方の周囲に適合する本発明の「カメレオン」スマートカメラの実施形態による例示的な画像処理結果を示す。
【図３ｅ】同一場所及び遠隔の両方の周囲に適合する本発明の「カメレオン」スマートカメラの実施形態による例示的な画像処理結果を示す。
【図４】ユーザの頭の姿勢及びユーザの検出された唇の動きに基づいてマイクを自動的にミュート又はミュート解除するように構成された本発明の「カメレオン」スマートカメラの実施形態の例示的な動作シーケンスを示す。
【図５】本明細書に記載の本発明の技術を実装するために使用され得るコンピュータシステムの例示的な実施形態を示す。
【発明を実施するための形態】
【００３５】
本明細書に援用され、本明細書の一部を構成する添付図面は、本発明の実施形態を例示し、説明とともに、本発明の技術の原理を説明及び例示するのに役立つ。
【００３６】
以下の詳細な説明では、添付の図面に対する参照が行われ、同一の機能要素は同様の数字で示されている。前述の添付図面は、本発明の原理と一致する特定の実施形態及び実装形態を、限定ではなく例示として示している。これらの実装形態は、当業者が本発明を実施できるように充分詳細に説明されており、他の実装形態が利用されてもよく、本発明の範囲及び趣旨から逸脱することなく様々な要素の構造的変更及び／又は置換が行われてもよいことを理解されたい。したがって、以下の詳細な説明は、限定された意味で解釈されるべきではない。さらに、説明される本発明の様々な実施形態は、汎用コンピュータ上で実行されるソフトウェアの形態、特殊なハードウェアの形態、又はソフトウェアとハードウェアの組み合わせで実装されてもよい。
【００３７】
スマートスペースに関する最近の研究にもかかわらず、今日、大量の知識作業が、例えば、自宅、コーヒー店、電車、バス、飛行機、そしてもちろん混雑したオープンオフィスの仕切られた一角といった、自然の中で（従来のオフィス環境の外で）行われている。図１ａ、図１ｂ、図１ｃ、図１ｄを参照のこと。自然の中でのＷｅｂ会議の実施には問題がある。ビデオの背景とビデオ内の反射領域（眼鏡など）は、ユーザがストリーミングしたくないプライベート及び／又は機密な知的財産とオブジェクト（例えば、コーヒーを提供するバリスタ、移動する通行人）を備えることができ、オーディオチャンネルが望ましくない音声（例えば、あなたの名前を呼ぶバリスタ、通り過ぎる列車）で突然乱雑になる可能性がある。
【００３８】
従来の技術のこれら及び他の問題を解決するために、本明細書に記載の実施形態の一態様によれば、同一場所及び遠隔の両方の周囲に適合する個人用「カメレオン」カメラを実装するシステム及び方法が提供される。説明した個人用「カメレオン」カメラの例示的な動作シーケンスを図２に示す。
【００３９】
１又は複数の実施形態において、前述のスマートカメラで実装される記載された技術は、最初にユーザの顔を学習し（図２の工程２０１）、カメラのユーザの顔を識別し、リアルタイムでポーズ（pose）し（図２の工程２０２）、ユーザの背景をリアルタイムで除去（工程２０３）及び他の関係者の背景で置換（図２の工程２０４）する。これにより、ビデオ会議参加者の没入型の会議体験が向上する。
【００４０】
上述された一実施形態は、眼鏡、鏡など、ビデオ内のある反射領域をさらに識別及び修正し、潜在的な機密情報をわかりにくくし、受信したビデオストリームでリアルタイムに検出された反射領域にそのような参加者の周囲の反射を挿入することにより、グレアを除去し及び／またはビデオ会議参加者の存在感を作り出すことで、ビデオ内の識別された反射領域のリアルタイムでの修正を実行する。図２の工程２０５を参照のこと。
【００４１】
さらに、１又は複数の実施形態は、ユーザの唇などのライブビデオストリーム内のユーザの様々な顔の特徴を検出する。さらに、ユーザの頭の姿勢も検出される。このような検出結果に基づいて、システムは、ユーザの検出された唇の動きと頭の向きに基づいて、ユーザのマイクを自動的にミュート及びミュート解除するように構成されている。これは、システムが外部ノイズを登録せず、ユーザが実際に話しているときにのみ音をキャプチャするように行われる。当業者によって理解されるように、そのような特徴は、他のビデオ会議参加者の気を散らすことを減らすので有利である。
【００４２】
１又は複数の実施形態において、ユーザのライブビデオストリームの背景を、ビデオ会議通話の他の関係者の周囲に類似する背景に置き換えることにより、上述された実施形態は、さらにすべての関係者を同じ環境に没入させ、要素をそらすことなく、共存を強化する。画面の反射領域を他の人のストリーム（彼らの顔、又は、現在共有されているもの（例えば、画面共有セッション）のいずれか）の反射により置き換えることを含む。
【００４３】
図３ａ、図３ｂ、図３ｃ、図３ｄ及び図３ｅは、同一場所及び遠隔の両方の周囲に適合する本発明の「カメレオン」スマートカメラの実施形態による例示的なビデオストリーム処理結果を示す。図３ａは、元のビデオストリームを示している。
【００４４】
１又は複数の実施形態において、上述されたスマートカメラシステムは、ライブビデオストリームでのユーザの顔と顔の向きを検出する。一実施形態では、記載されたシステムは、当技術分野でよく知られているＦａｃｅＡＰＩ又はｊｅｅｌｉｚＦａｃｅＦｉｌｔｅｒ顔検出ソフトウェアを使用する。前述のソフトウェアシステムは、ライブビデオストリーム内でユーザの顔のキーポイントを識別するキーポイント検出を実行する。続いて、検出されたキーポイントを使用して、顔の検出と認識が実行される。
【００４５】
ユーザの顔領域が検出されると、上述されたカメラシステムの実施形態は、ビデオストリーム内のユーザの顔及び上半身を、背景としてラベル付けされたビデオの残りの領域から分離する。背景から分離された人物の検出された顔と上半身を図３ｂに示す。一実施形態では、図３ｃに示すように、システムは次に、非人物領域（ビデオの背景）を他の会議参加者からの背景（周囲）で塗りつぶす。
【００４６】
１又は複数の実施形態において、システムは、ウェブ会議を開始した特定のユーザの顔を検出するように構成される。この目的のために、システムは、ビデオ会議が開始されると、スマートカメラの前にいるユーザに対して顔学習動作を実行する。代替実施形態では、システムは、最新のスマートフォンで行われるように、システムをインストール又は構成するときにユーザの顔を事前に学習するように構成されてもよい。顔学習手順の後、システムは、顔学習段階で取得した情報を使用して、ライブビデオストリームで顔認識動作を実行する。
【００４７】
１又は複数の実施形態において、他の人が上述されたスマートカメラの視野に入る場合、他の会議参加者の気を散らすことを避けるために、彼又は彼女の画像も背景とともに除去される。例えば、配偶者又は子供がカメラのビューに入ると、システムは、他のビデオ会議参加者の気を散らすことを避けるために、ユーザの背景とともに彼らの顔を自動的に削除する。
【００４８】
当技術分野でよく知られているように、ビデオ会議の参加者は、使用しているカメラの視野外の物体をしばしば参照するが、これは会話の崩壊につながる可能性がある。Ｓ． Ｓｏｎｇ，Ａ．Ｚｅｎｇ，Ａ．Ｘ．Ｃｈａｎｇ，Ｍ．Ｓａｖｖａ，Ｓ．Ｓａｖａｒｅｓｅ，及びＴ．Ｆｕｎｋｈｏｕｓｅｒ．“ｌｍ２Ｐａｎｏ３Ｄ：視野を超えた構造及びセマンティクスの３６０度推定”ＣＶＰＲ．２０１８を参照。これに対処するために、記載されたカメラの一実施形態は、３６０度カメラを利用して、遠隔シーンのより完全な表現に参加者を挿入する。
【００４９】
１又は複数の実施形態では、ビデオ内の他の関係者の背景をユーザの環境のフロントビューに置き換えて、より没入感のある体験を提供することができる。これは、別のカメラ（内蔵型ユーザの装置又はスマートフォンなどの別の装置）を使用して、他のカメラがビデオ会議のためにユーザを指し示している間にフロントビューをキャプチャすることで実行できる。
【００５０】
内蔵型フロントカメラは操縦可能ではなく、及び／又はラップトップ画面が悪い角度で開かれる可能性があるため、フロントビューの最初のビデオシーケンスを会議が始まる前に記録することができる。この会議前のフロントビューの録画により、壁に面したユーザは一時的にフロントカメラを配置して、より興味深いコンテンツを見ることができる。
【００５１】
１又は複数の実施形態において、システムはさらに、３６０度カメラを利用して、ユーザの環境のフロントビューを再構築するのを助けるように構成される。この実装形態では、屋内のシーン画像をカフェ、レストラン、オフィスなど、いくつかの異なる場所の３６０度のビデオカメラで収集できる。これらの画像を遠隔データベースに記憶して、各屋内シーンの完全な３６０度のパノラマビューを記憶及び検索できる。この３６０度のパノラマビューをさらに処理して、クエリ画像（つまり、ユーザの背景）に最も類似した部分を見つけることができる。パノラマビューの最も類似した部分の反対方向のコンテンツを背景として使用できる。
【００５２】
代替の実施形態は、例えば、Ａ Ｒａｄｆｏｒｄ， Ｌ． Ｍｅｔｚ， Ｓ． Ｃｈｉｎｔａｌａ、「深層畳み込み敵対的生成ネットワークによる教師なし表現学習」、ａｒＸｉｖ：１５１１．０６４３４ ［ｃｓ．ＬＧ］及びＰ． Ｉｓｏｌａ，Ｊ．Ｚｈｕ， Ｔ．Ｚｈｏｕ，Ａ．Ａ Ｅｆｒｏｓ「条件付き敵対ネットワークによる画像から画像への変換」、ａｒＸｉｖ：１６１１．０７００４［ｃｓ．ＣＶ］に記載されている深層学習ベースの生成モデルを使用し、ユーザのビデオフレームに背景ビューが与えられた場合に、ユーザ環境の視覚的にもっともらしいフロントビューを生成する。前述のモデルは、充分な量の収集された屋内シーン画像（３６０度のパノラマ表現の形式）でトレーニングして、部屋のレイアウト、及びテーブル、窓などの屋内の可能性があるオブジェクトに関する以前のコンテキスト情報を学習できる。
【００５３】
当業者によって理解されるように、アメリカの成人の約６４％が眼鏡をかけている。コンピュータ関連の労働者でのこの割合はさらに高くなっている。そのため、ラップトップ及びスマートフォンでサポートされている会議中に、ライブビデオストリームでメガネの反射がよく見られる。ライブ会議ストリームにこのような反射が存在すると、いくつかの欠点がある。最初の欠点はプライバシーである。ウェブカメラの解像度は向上する（特にスマートフォンで）ので、反射素材は知的財産を抽出するために潜在的に分析される。第２に、その後、前述の反射は気を散らすことをもたらし、その結果、会議の他の関係者にとってのユーザ体験の低下をもたらす。上記の問題の両方を解決するために、本発明の一実施形態は、反射領域を、目を後ろに保持するより暗いバージョンに置き換える。図３ｄ及び図３ｅを参照。一実施形態では、本発明は、他の関係者のストリームを使用して新しい反射を追加し、他の関係者がより結合しているように（お互いを見ているように）感じるようにも構成される。
【００５４】
一実施形態では、上述されたカメラは、ユーザの頭の姿勢及びユーザの検出された唇の動きに基づいて、マイクを自動的にミュート又はミュート解除するように構成される。図４は、ユーザの頭の姿勢及びユーザの検出された唇の動きに基づいてマイクを自動的にミュート又はミュート解除するように構成される本発明の「カメレオン」スマートカメラの実施形態の例示的な動作シーケンスを示す。システムはユーザの頭の姿勢と唇の動きを工程４０１で検出する。
【００５５】
一実施形態では、ユーザの顔が（左でも右でもない）真っ直ぐで、ユーザの唇が動いている場合、（ユーザによって強制ミュートされない限り）マイクはミュート解除される。工程４０２を参照。ユーザの頭がまっすぐな姿勢（所定のマージン又は閾値内）以外の方向に面している場合、マイクを再びミュートし、これにより、ユーザが他の誰か（例えば、ユーザに近づき、関与するバリスタ）と話している可能性がある事実に対応する。工程４０４を参照。同様に、ユーザの唇の動きが止まった場合、マイクは同様にミュートされる。工程４０３を参照。
【００５６】
（コンピュータシステムの例示的な実施形態）
図５は、本明細書に記載の技術を実装するために使用され得るコンピュータシステム５００の例示的な実施形態を示す。１又は複数の実施形態では、コンピュータ５００は、当業者に周知のモバイルコンピューティング装置のフォームファクタ内で実装されてもよい。代替実施形態では、コンピュータ５００は、ラップトップ又はノートブックコンピュータに基づいて実装されてもよい。さらに別の実施形態では、コンピュータ５００は特殊なコンピューティングシステムであってもよい。
【００５７】
コンピュータ５００は、データバス５０４、又はコンピュータ５００の様々なハードウェアコンポーネントに亘り、及びその間で情報を通信するための他の相互接続又は通信機構、及び情報を処理し、他の計算及び制御タスクを実行するためにデータバス５０４に結合された中央処理装置（ＣＰＵ又は単にプロセッサ）５０１を備え得る。また、コンピュータ５００は、データバス５０４に結合され、プロセッサ５０１によって実行される命令だけでなく様々な情報を記憶するランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶装置などのメモリ５１２も備える。メモリ５１２は、磁気ディスク、光ディスク、ソリッドステートフラッシュメモリ装置又は他の不揮発性ソリッドステート記憶装置などの永続的記憶装置も備え得る。
【００５８】
１又は複数の実施形態において、メモリ５１２は、プロセッサ５０１による命令の実行中に一時変数又は他の中間情報を記憶するために使用されてもよい。任意に、コンピュータ５００は、読み取り専用メモリ（ＲＯＭ又はＥＰＲＯＭ）５０２又はコンピュータ５００の動作に必要なファームウェア、基本入出力システム（ＢＩＯＳ）、及びコンピュータ５００の様々な構成パラメータなど、プロセッサ５０１に対する静的情報及び命令を記憶するための、データバス５０４に結合された他の静的記憶装置をさらに含むことができる。
【００５９】
１又は複数の実施形態において、コンピュータ５００は、静止画像及びリアルタイムビデオを取得するためのカメラ５１０をさらに組み込んでもよい。加えて、コンピュータ５００は、音声を拾うためのマイク５１１と、ユーザの頭の姿勢に基づいてマイク５１１を自動的にミュート及びミュート解除するためのマイク制御モジュール５０９とを組み込むことができる。
【００６０】
１又は複数の実施形態では、コンピュータ５００は、データバス５０４に結合されたネットワークインターフェース５０５などの通信インターフェースをさらに備えることができる。ネットワークインターフェース５０５は、ＷＩＦＩインターフェース５０７及びセルラーネットワーク（ＧＳＭ（登録商標）又はＣＤＭＡ）アダプタ５０８の少なくとも１つを使用してコンピュータ５００とインターネット５２４との間に接続を確立するように構成され得る。ネットワークインターフェース５０５は、コンピュータ５００とインターネット５２４との間の双方向データ通信を提供するように構成され得る。ＷＩＦＩインターフェース５０７は、当業者に周知の８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、及び／又は８０２．１１ｎプロトコル、ならびにブルートゥース（登録商標）プロトコルに準拠して動作し得る。例示された実装形態では、ＷＩＦＩインターフェース５０７及びセルラーネットワーク（ＧＳＭ（登録商標）又はＣＤＭＡ）アダプタ５０８は、様々なタイプの情報を表すデジタルデータストリームを運ぶ電気信号又は電磁信号を送受信する。
【００６１】
１又は複数の実施形態において、インターネット５２４は通常、１又は複数のサブネットワークを介した他のネットワークリソースへのデータ通信を提供する。したがって、コンピュータ５００は、遠隔媒体サーバ、ウェブサーバ、他のコンテンツサーバ、及び他のネットワークデータ記憶リソースなど、インターネット５２４上の任意の場所にある様々なネットワークリソースにアクセスすることができる。１又は複数の実施形態において、コンピュータ５００は、ネットワークインターフェース５０５により、インターネット５２４を備える様々なネットワークを介して、アプリケーションプログラムコードを含むメッセージ、媒体及び他のデータを送受信するように構成される。インターネットの例では、コンピュータ５００がネットワーククライアントとして機能する場合、コンピュータ５００で実行されているアプリケーションプログラムのコード又はデータを要求できる。同様に、様々なデータ又はコンピュータコードを他のネットワークリソースに送信することができる。
【００６２】
１又は複数の実施形態において、本明細書で説明される機能は、メモリ５１２に備えられる１又は複数の命令の１又は複数のシーケンスを実行するプロセッサ５０１に応じて、コンピュータ５００によって実装される。そのような命令は、別のコンピュータ可読媒体からメモリ５１２に読み込まれてもよい。メモリ５１２に備えられる命令のシーケンスの実行により、プロセッサ５０１は、本明細書で説明される様々なプロセス工程を実行する。代替実施形態では、本発明の実施形態を実施するために、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて、ハードワイヤード回路を使用することができる。したがって、本発明の実施形態は、ハードウェア回路とソフトウェアの特定の組み合わせに限定されない。
【００６３】
本明細書で使用される「コンピュータ可読媒体」という用語は、実行のためにプロセッサ５０１に命令を提供することに関与する任意の媒体を指す。コンピュータ可読媒体は、機械可読媒体の一例にすぎず、本明細書に記載される方法及び／又は技術のいずれかを実装するための命令を運ぶことができる。そのような媒体は、不揮発性媒体及び揮発性媒体を含むがこれらに限定されない多くの形態を取り得る。
【００６４】
非一時的なコンピュータ可読媒体の一般的な形態には、例えば、フロッピーディスク（登録商標）、フレキシブルディスク、ハードディスク、磁気テープ、又はその他の磁気媒体、ＣＤ−ＲＯＭ、その他の光学媒体、パンチカード、紙テープ、穴のパターンを備えたその他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、その他のメモリチップ又はカートリッジ、あるいはコンピュータが読み取れるその他の媒体を備える。実行のために、プロセッサ５０１に１又は複数の命令の１又は複数のシーケンスを運ぶことに、様々な形態のコンピュータ可読媒体が関与する場合がある。例えば、命令は、最初は遠隔コンピュータから磁気ディスクで実行される。あるいは、遠隔コンピュータは、命令をその動的メモリにロードし、インターネット５２４を介して命令を送信できる。具体的には、コンピュータ命令は、当技術分野で周知の様々なネットワークデータ通信プロトコルを使用して、インターネット５２４を介して、前述の遠隔コンピュータからコンピュータ５００のメモリ５１２にダウンロードすることができる。
【００６５】
１又は複数の実施形態において、コンピュータ５００のメモリ５１２は、以下のソフトウェアプログラム、アプリケーション、及び／又はモジュールのいずれかを記憶し得る。
【００６６】
１．オペレーティングシステム（ＯＳ）５１３であり、これは、基本的なシステムサービスを実装し、コンピュータ５００の様々なハードウェアコンポーネントを管理するためのモバイルオペレーティングシステムであってもよい。オペレーティングシステム５１３の例示的な実施形態は、当業者に周知であり、現在知られている又は後に開発されたモバイルオペレーティングシステムを備えてもよい。ネットワークインターフェース５０５を使用してネットワーク通信を可能にするためのネットワーク通信モジュール５１４がさらに提供され得る。
【００６７】
２．ソフトウェアモジュール５１５は、例えば、コンピュータ５００のプロセッサ５０１によって実行されるソフトウェアモジュールのセットを備えることができ、これによりビデオ処理モジュール５１６を使用してリアルタイムでカメラビデオストリームを処理し、マイク制御モジュール５１７を使用してマイクをミュート又はミュート解除するなど、コンピュータ５００にある所定の機能を実行させる。
【００６８】
３．データ記憶装置５１８は、例えば、様々なパラメータ及び閾値５１９を記憶するために使用され得る。
【００６９】
そして、本明細書に記載のプロセス及び技術は、特定の装置に固有に関連するものではなく、コンポーネントの任意の適切な組み合わせによって実装され得ることを理解されたい。さらに、本明細書で説明する教示に従って、様々なタイプの汎用装置を使用することができる。また、本明細書に記載の方法工程を実行するための特殊な装置を構築することが有利であると判明する場合がある。本発明を特定の例に関して説明してきたが、これらの例は、あらゆる点で限定的ではなく例示的であることを意図している。当業者は、ハードウェア、ソフトウェア、及びファームウェアの多くの異なる組み合わせが本発明を実施するのに適していることを理解するであろう。例えば、説明されているソフトウェアは、アセンブラー、Ｃ／Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ−Ｃ、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）などの様々なプログラミング言語又はスクリプト言語、及び現在知られている又は今後開発されるプログラミング言語又はスクリプト言語で実装できる。
【００７０】
さらに、本明細書及び本明細書に開示された本発明の実施を考慮することにより、本発明の他の実装形態が当業者に明らかになるであろう。記載された実施形態の様々な態様及び／又は構成要素は、単独で又は任意の組み合わせで、同一場所及び遠隔の両方の周囲に適合する個人用「カメレオン」スマートカメラを実装するシステム及び方法で使用できる。本明細書及び実施例は例示としてのみ考慮されることが意図されており、本発明の真の範囲及び趣旨は以下の特許請求の範囲によって示される。
【図１ａ】
2020092424.tif 000003
【図１ｂ】
2020092424.tif 000004
【図１ｃ】
2020092424.tif 000005
【図１ｄ】
2020092424.tif 000006
【図２】
2020092424.tif 000007
【図３ａ】
2020092424.tif 000008
【図３ｂ】
2020092424.tif 000009
【図３ｃ】
2020092424.tif 000010
【図３ｄ】
2020092424.tif 000011
【図３ｅ】
2020092424.tif 000012
【図４】
2020092424.tif 000013
【図５】
2020092424.tif 000014