【手続補正書】
【提出日】令和3年7月28日(2021.7.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
リモートのビデオ会議クライアントおよびリモートのビデオ会議サーバーの少なくとも一つへのその後の伝送のために、筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法であって、当該方法は：
前記カメラからのビデオ・フレームの前記シーケンスを受領する段階と；
前記ビデオ・フレーム内の関心画像領域を選択する段階であって、前記ビデオ・フレームのサブ領域および前記ビデオ・フレームの全領域の一つを選択することを含む、段階と；
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
前記関心画像領域に適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを含み、
前記出力ビデオ・フレームを生成することが：
(A)
前記現在のビデオ・フレームの前記関心画像領域に前記ペン・ストローク・マスクを適用して、前記ストローク・マスクを反転させることによって反転マスクを生成してペン・ストローク画像を生成し；
前記現在のビデオ・フレームの前記関心画像領域に前記反転マスクを適用することによって背景画像を生成し；
それぞれ前記ペン・ストローク画像または前記向上されたペン・ストローク画像に前記背景画像を加えて、組み合わされた画像を得ることを含む動作を実行すること；
(B)
前記ペン・ストローク画像または前記向上されたペン・ストローク画像；または
前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクまたは前記ペン・ストローク・マスク
のうちの少なくとも一つの重み付けされた和を計算すること；または
(C)
前記組み合わされた画像；または
前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスク
のうちの少なくとも一つの重み付けされた和を計算すること、
のうちの少なくとも一つを含む、
方法。
【請求項２】
前記処理がリアルタイムで実行される、請求項１に記載の方法。
【請求項３】
前記関心画像領域は、前記筆記面を含む、請求項１または２に記載の方法。
【請求項４】
請求項１ないし３のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記関心画像領域が前記筆記面を含む、方法。
【請求項５】
ビデオ・フレームの前記シーケンスが、魚眼レンズを備えたカメラから受領され、当該方法は、前記ビデオ・フレームの歪みを除去することをさらに含む、請求項１〜４のうちいずれか一項に記載の方法。
【請求項６】
請求項１ないし５のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスは、HDRカメラから受領され、当該方法は、前記ビデオ・フレームをトーンマッピングすることをさらに含む、方法。
【請求項７】
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
前記現在のビデオ・フレームの前記関心画像領域に適応的な閾値処理を適用することによって中間マスクを生成し；
所定数のビデオ・フレームの中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
前記平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
請求項１ないし６のうちいずれか一項に記載の方法。
【請求項８】
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
所定数のビデオ・フレームの前記関心画像領域の時間的平滑化によって、平滑化された画像を決定し；
前記平滑化された画像に適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
請求項１ないし７のうちいずれか一項に記載の方法。
【請求項９】
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記現在のビデオ・フレームの少なくとも前記関心画像領域に対して画像向上プロセスを適用して、向上された画像を生成し、前記向上された画像に前記ペン・ストローク・マスクを適用して、向上されたペン・ストローク画像を生成することを含む、請求項１ないし８のうちいずれか一項に記載の方法。
【請求項１０】
前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク画像に画像向上プロセスを適用して、向上されたペン・ストローク画像を生成することを含む、請求項１に記載の方法。
【請求項１１】
請求項１ないし１０のうちいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令が記憶されている非一時的なコンピュータ可読記憶媒体。
【請求項１２】
請求項１ないし１０のうちいずれか一項に記載の方法を実行するように構成されたデータ処理システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
〔EEEB1〕
リモートのビデオ会議クライアントおよびリモートのビデオ会議サーバーの少なくとも一つへのその後伝送のために、筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法であって、当該方法は：
・前記カメラからビデオ・フレームの前記シーケンスを受領する段階と；
・ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
〇適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
〇前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを含む、
方法。
〔EEEB2〕
前記処理がリアルタイムで実行される、EEEB1に記載の方法。
〔EEEB3〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記現在のビデオ・フレームに適応的な閾値処理を適用することによって中間マスクを生成し；
・所定数のビデオ・フレームの前記中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
・平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
EEEB1またはEEEB2に記載の方法。
〔EEEB4〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・所定数のビデオ・フレームを時間的平滑化することによって、平滑化されたビデオ・フレームを決定し；
・平滑化されたビデオ・フレームに対して適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
EEEB1またはEEEB2に記載の方法。
〔EEEB5〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク・マスクを前記現在のビデオ・フレームに適用してペン・ストローク画像を生成することを含む、EEEB1〜B4のいずれかに記載の方法。
〔EEEB6〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記現在のビデオ・フレームに画像向上プロセスを適用して、向上されたビデオ・フレームを生成し、前記向上されたビデオ・フレームに前記ペン・ストローク・マスクを適用して、向上されたペン・ストローク画像を生成することを含む、EEEB1〜B5のいずれかに記載の方法。
〔EEEB7〕
前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク画像に画像向上プロセスを適用して、向上されたペン・ストローク画像を生成することを含む、EEEB5に記載の方法。
〔EEEB8〕
前記画像向上プロセスは色調整プロセスを含み、任意的に、前記色調整プロセスは彩度調整プロセスを含む、EEEB6またはEEEB7に記載の方法。
〔EEEB9〕
前記色調整プロセスは、それぞれ前記現在のビデオ・フレームまたはペン・ストローク画像の一つまたは複数の色成分のヒストグラム等化を実行することを含む、EEEB8に記載の方法。
〔EEEB10〕
前記出力ビデオ・フレームを生成する段階が
・前記ストローク・マスクを反転させることによって反転マスクを生成し；
・前記反転マスクを前記現在のビデオ・フレームに適用することによって背景画像を生成し；
・前記背景画像を前記ペン・ストローク画像または前記向上されたペン・ストローク画像にそれぞれ加えることを含む、EEEB5〜B9のいずれかに記載の方法:。
〔EEEB11〕
前記出力ビデオ・フレームを生成する段階が、少なくとも：A）前記ペン・ストローク画像または前記向上されたペン・ストローク画像と；B）前記現在のビデオ・フレームまたは前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、EEEB5〜B10のいずれかに記載の方法。
〔EEEB12〕
前記出力ビデオ・フレームを生成する段階が、少なくとも：A）前記背景画像に加えられた前記ペン・ストローク画像または前記向上されたペン・ストローク画像と；B）前記現在のビデオ・フレームまたは前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、EEEB10およびB11に記載の方法。
〔EEEB13〕
コンピューティング装置またはシステムによって実行されると、前記コンピューティング装置またはシステムにEEEB1〜B12のいずれかに従う方法を実行させる命令を有するコンピュータ・プログラム製品。
〔EEEB14〕
EEEB1〜B12のいずれかに従った方法を実行するように構成されたデータ処理システム。
〔EEEB15〕
ビデオ・フレームのシーケンスを捕捉するためのウェブカメラを備えたラップトップとして具現されたEEEB14のデータ処理システムであって、前記ラップトップは、データ通信ネットワークを介して、ビデオ会議サーバーおよびビデオ会議クライアントの少なくとも一つと通信するためのネットワーク・インターフェースを備え、前記ラップトップは、EEEB1〜B12のいずれかに記載の方法を実行することによって、処理されたビデオ・データを生成し、前記処理されたビデオ・データを前記ネットワーク・インターフェースを介して、前記ビデオ会議サーバーおよび前記ビデオ会議クライアントの前記少なくとも一つに通信するように構成される、データ処理システム。
〔EEEB16〕
〇カメラによって捕捉された物理的な筆記面のビデオ・フレームシーケンスを受領する段階と；
〇前記ビデオ・フレームにおける関心画像領域を選択する段階であって、前記ビデオ・フレームのサブ領域および前記ビデオ・フレームの全領域の一つを選択する段階と；
〇ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記関心画像領域に適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
・前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを実行するよう構成された、
ビデオ会議装置。
いくつかの態様を記載しておく。
〔態様１〕
リモートのビデオ会議クライアントおよびリモートのビデオ会議サーバーの少なくとも一つへのその後の伝送のために、筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法であって：
前記カメラからのビデオ・フレームの前記シーケンスを受領する段階と；
前記ビデオ・フレーム内の関心画像領域を選択する段階であって、前記ビデオ・フレームのサブ領域および前記ビデオ・フレームの全領域の一つを選択することを含む、段階と；
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
前記関心画像領域に適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを含む、
方法。
〔態様２〕
前記処理がリアルタイムで実行される、態様１に記載の方法。
〔態様３〕
前記関心画像領域は、前記筆記面を含む、態様１または２に記載の方法。
〔態様４〕
態様１ないし３のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、前記関心画像領域を長方形領域に変換することをさらに含む、方法。
〔態様５〕
前記関心画像領域を長方形領域に変換することが、幾何学的変換を適用することを含む、態様４に記載の方法。
〔態様６〕
ビデオ・フレームの前記シーケンスが、魚眼レンズを備えたカメラから受領され、当該方法は、前記ビデオ・フレームの歪みを除去することをさらに含む、態様１〜５のうちいずれか一項に記載の方法。
〔態様７〕
態様１ないし６のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスは、HDRカメラから受領され、当該方法は、前記ビデオ・フレームをトーンマッピングすることをさらに含む、方法。
〔態様８〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
前記現在のビデオ・フレームの前記関心画像領域に適応的な閾値処理を適用することによって中間マスクを生成し；
所定数のビデオ・フレームの中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
前記平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
態様１ないし７のうちいずれか一項に記載の方法。
〔態様９〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
所定数のビデオ・フレームの前記関心画像領域の時間的平滑化によって、平滑化された画像を決定し；
前記平滑化された画像に適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
態様１ないし８のうちいずれか一項に記載の方法。
〔態様１０〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク・マスクを前記現在のビデオ・フレームの前記関心画像領域に適用して、ペン・ストローク画像を生成することを含む、態様１ないし９のうちいずれか一項に記載の方法。
〔態様１１〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記現在のビデオ・フレームの少なくとも前記関心画像領域に対して画像向上プロセスを適用して、向上された画像を生成し、前記向上された画像に前記ペン・ストローク・マスクを適用して、向上されたペン・ストローク画像を生成することを含む、態様１ないし１０のうちいずれか一項に記載の方法。
〔態様１２〕
前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク画像に画像向上プロセスを適用して、向上されたペン・ストローク画像を生成することを含む、態様１０に記載の方法。
〔態様１３〕
前記画像向上プロセスが、色調整プロセスを含む、態様１１または１２に記載の方法。
〔態様１４〕
前記色調整プロセスが、彩度調整プロセスを含む、態様１３に記載の方法。
〔態様１５〕
前記色調整プロセスが、それぞれ前記現在のビデオ・フレームの前記関心画像領域または前記ペン・ストローク画像の一つまたは複数の色成分のヒストグラム等化を実行することを含む、態様１３または１４に記載の方法。
〔態様１６〕
前記出力ビデオ・フレームを生成する段階が：
前記ストローク・マスクを反転させることによって反転マスクを生成し；
前記現在のビデオ・フレームの前記関心画像領域に前記反転マスクを適用することによって背景画像を生成し；
それぞれ前記ペン・ストローク画像または前記向上されたペン・ストローク画像に前記背景画像を加えて、組み合わされた画像を得ることを含む、
態様１０ないし１５のうちいずれか一項記載の方法。
〔態様１７〕
前記出力ビデオ・フレームを生成する段階が：少なくとも：A）前記ペン・ストローク画像または前記向上されたペン・ストローク画像と； B）前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、態様１０ないし１６のうちいずれか一項に記載の方法。
〔態様１８〕
前記出力ビデオ・フレームを生成する段階が：少なくとも:
A）前記組み合わされた画像と；B）前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクとの重み付けされた和を計算することを含む、態様１６に記載の方法。
〔態様１９〕
態様１ないし１８のうちいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令が記憶されている非一時的なコンピュータ可読記憶媒体。
〔態様２０〕
態様１ないし１８のうちいずれか一項に記載の方法を実行するように構成されたデータ処理システム。
〔態様２１〕
ディスプレイと；
視野内に物理的な筆記面を有するカメラと；
電話と；
制御システムとを有するビデオ会議システムであって、前記制御システムは、セットアップ・フェーズの間に、以下の段階：
前記カメラを使って少なくとも一つの画像を捕捉する段階と；
前記少なくとも一つの画像を前記ディスプレイ上にレンダリングする段階と；
前記少なくとも一つの画像の領域のユーザー選択を、前記電話を介して取得する段階であって、前記領域は、前記物理的な筆記面の画像を含む、段階と；
物理的な筆記面の位置をメモリに保存する段階であって、該保存される物理的な筆記面の位置は前記領域に対応する、段階とを実行するよう構成されている、
ビデオ会議システム。
〔態様２２〕
前記領域のユーザー選択を取得する段階が：
ユーザーが前記電話を介して、前記ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定できるようにすることを含む、
態様２１記載のビデオ会議システム。
〔態様２３〕
前記ユーザーが、前記領域の表現のサイズ、形状または位置のうちの前記少なくとも一つを設定できるようにすることが：
前記電話のタッチスクリーン上に第1の形状を表示する段階であって、前記第1の形状は前記領域の事前選択を表わす、段階と；
前記ディスプレイ上に第2の形状を表示する段階であって、前記第2の形状は前記第1の形状に対応する、段階と；
前記ユーザーが、前記タッチスクリーンを介して、前記第1の形状の操作を実行できるようにする段階と；
前記第1の形状の前記操作に応じて前記第2の形状を操作する段階とを含む、
態様２２記載のビデオ会議システム。
〔態様２４〕
前記制御システムは、ビデオ会議中に、以下の段階：
前記電話を介して、筆記面共有命令を受領する段階と；
保存されている物理的な筆記面の位置にアクセスする段階と；
前記物理的な筆記面の画像を拡大して、ビデオ・フレームの出力ストリームのピクセルの少なくとも過半数を占めるようにする段階とを実行するよう構成されており、
少なくとも前記拡大することは、前記筆記面共有命令に応答する、
態様２１ないし２３のうちいずれか一項記載のビデオ会議システム。
〔態様２５〕
前記制御システムは、前記ビデオ会議中に、以下のさらなる段階：
前記物理的な筆記面の画像に対して幾何学的変換を実行する段階を実行するよう構成され、それにより、前記物理的な筆記面の実質的に長方形の画像が生成される、
態様２４記載のビデオ会議システム。
〔態様２６〕
前記制御システムは、前記ビデオ会議中に、以下のさらなる段階：
前記物理的な筆記面の画像に対して向上処理を実行する段階を実行するよう構成されている、
態様２４または２５記載のビデオ会議システム。
〔態様２７〕
前記制御システムは、前記ビデオ会議中に、以下のさらなる段階：
前記電話を介して、筆記面共有ソフトボタンであって、その選択が前記筆記面共有命令の指示を生成するボタンを提供する段階を含む、
態様２４ないし２６のうちいずれか一項記載のビデオ会議システム。
〔態様２８〕
前記ディスプレイは：テレビジョン、コンピュータ・モニタ、またはプロジェクタおよびスクリーンを含むプロジェクタ・システムのうちの一つである、態様２１ないし２７のうちいずれか一項に記載のビデオ会議システム。
〔態様２９〕
ビデオ会議システムのための制御システムであって、当該制御システムは、セットアップ・フェーズの間、以下の段階：
カメラを使って少なくとも一つの画像を捕捉する段階と；
前記少なくとも一つの画像をディスプレイ上にレンダリングする段階と；
前記少なくとも一つの画像の領域のユーザー選択を、電話を介して取得する段階であって、前記領域は、前記カメラの視野内での物理的な筆記面の画像を含む、段階と；
物理的な筆記面の位置をメモリに保存する段階であって、該保存される物理的な筆記面の位置は前記領域に対応する、段階とを実行するよう構成されている、
制御システム。
〔態様３０〕
前記領域のユーザー選択を取得する段階が：
ユーザーが前記電話を介して、前記ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定できるようにすることを含む、
態様２９記載の制御システム。
〔態様３１〕
前記ユーザーが、前記領域の表現のサイズ、形状または位置のうちの前記少なくとも一つを設定できるようにすることが：
前記電話のタッチスクリーン上に第1の形状を表示する段階であって、前記第1の形状は前記領域の事前選択を表わす、段階と；
前記ディスプレイ上に第2の形状を表示する段階であって、前記第2の形状は前記第1の形状に対応する、段階と；
前記ユーザーが、前記タッチスクリーンを介して、前記第1の形状の操作を実行できるようにする段階と；
前記第1の形状の前記操作に応じて前記第2の形状を操作する段階とを実行することを含む、
態様３０記載の制御システム。
〔態様３２〕
命令を含んでいる非一時的なコンピュータ可読媒体であって、前記命令は、ビデオ会議システムのための制御システムの一つまたは複数のプロセッサによって実行されると、前記制御システムに、セットアップ・フェーズの間、以下の段階：
カメラを使って少なくとも一つの画像を捕捉する段階と；
前記少なくとも一つの画像をディスプレイ上にレンダリングする段階と；
前記少なくとも一つの画像の領域のユーザー選択を、電話を介して取得する段階であって、前記領域は、前記カメラの視野内での物理的な筆記面の画像を含む、段階と；
物理的な筆記面の位置をメモリに保存する段階であって、該保存される物理的な筆記面の位置は前記領域に対応する、段階とを実行させる
非一時的なコンピュータ可読媒体。
〔態様３３〕
前記領域のユーザー選択を取得する段階が：
ユーザーが前記電話を介して、前記ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定できるようにすることを含む、
態様３２記載の非一時的なコンピュータ可読媒体。
〔態様３４〕
前記ユーザーが、前記領域の表現のサイズ、形状または位置のうちの前記少なくとも一つを設定できるようにすることが：
前記電話のタッチスクリーン上に第1の形状を表示する段階であって、前記第1の形状は前記領域の事前選択を表わす、段階と；
前記ディスプレイ上に第2の形状を表示する段階であって、前記第2の形状は前記第1の形状に対応する、段階と；
前記ユーザーが、前記タッチスクリーンを介して、前記第1の形状の操作を実行できるようにする段階と；
前記第1の形状の前記操作に応じて前記第2の形状を操作する段階とを含む、
態様３３記載の非一時的なコンピュータ可読媒体。