【手続補正書】
【提出日】令和1年9月5日(2019.9.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオカメラ（１０２）を備えるシステム（１００）内で実行される方法であって、
前記ビデオカメラ（１０２）が、部分的に重複する視野を有する複数の画像センサ（１０３）を使用することによって、複数の画像（Ａ、Ｂ、Ｃ、Ｄ）を並行してキャプチャすること（Ｓ０２）と、
前記ビデオカメラ（１０２）が、前記複数の画像（Ａ、Ｂ、Ｃ、Ｄ）の重複部分（５０２ａ、５０２ｂ、５０２ｃ）を、前記複数の画像のうちの少なくとも２つの画像が重複する部分であると識別すること（Ｓ０４）と、
前記ビデオカメラ（１０２）が、前記複数の画像の部分（５１４ａ、５１２ａ、５１４ｂ、５１２ｂ、５１４ｃ、５１２ｃ、５１４ｄ）を互いに接合することによって、前記複数の画像センサの前記視野の結合に対応するパノラマ画像（５１０）を生成すること
を含み、
前記複数の画像の各重複部分（５０２ａ、５０２ｂ、５０２ｃ）に対して、前記ビデオカメラが、前記パノラマ画像内で重複する前記少なくとも２つの画像のうちの１つ（Ａ、Ｂ、Ｃ）からの画像データ（５１２ａ、５１２ｂ、５１２ｃ）を含み、前記ビデオカメラが、重複する前記少なくとも２つの画像のうちの他方の画像（Ｂ、Ｃ、Ｄ）からの画像データ（５２２ａ、５２２ｂ、５２２ｃ）を無視し、
前記システムは、さらにクライアントデバイスを備え、前記方法は、
前記ビデオカメラが、前記パノラマ画像（５１０）および前記パノラマ画像を生成するときに無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）を符号化し（Ｓ０８）、それらを、符号化されたビデオストリーム（３１０）内で前記クライアントデバイス（１０４ａ、１０４ｂ、１０４ｃ）に送信することと、
前記クライアントデバイス（１０４ａ、１０４ｂ、１０４ｃ）が、前記符号化されたビデオストリーム（１０４）を受信および復号し（Ｓ１０）、さらに、前記パノラマ画像（５１０）を生成するときに前記ビデオカメラ（１０２）によって無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）を扱うために前記クライアントデバイスがカスタマイズされるという条件付きで、前記クライアントデバイス（１０４ｃ）が、前記パノラマ画像（５１０）を生成するときに前記ビデオカメラ（１０２）によって無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）を使用して、前記複数の画像の前記重複部分（５０２ａ、５０２ｂ、５０２ｃ）に対応する部分（５１２ａ、５１２ｂ、５１２ｃ）内の前記パノラマ画像（５１０）を更新することと
を含む方法。
【請求項２】
前記クライアントデバイス（１０４ｃ）が、前記複数の画像の重複部分（５０２ａ、５０２ｂ、５０２ｃ）に対応する前記パノラマ画像（５１０）の各部分（５１２ａ、５１２ｂ、５１２ｃ）に対して、前記パノラマ画像（５１０）およびその重複部分に関して前記ビデオカメラによって無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）の重み付き平均を計算することによって、前記パノラマ画像（５１０）を更新する、請求項１に記載の方法。
【請求項３】
前記重み付き平均の重み（ｗ１、ｗ２）が、前記複数の画像の重複部分（５０２ａ、５０２ｂ、５０２ｃ）に対応する前記パノラマ画像の前記部分（５１２ａ、５１２ｂ、５１２ｃ）の周縁に対するピクセルの近接性に基づいて、ピクセルごとに選択される、請求項２に記載の方法。
【請求項４】
前記重み付き平均の前記重み（ｗ１、ｗ２）が、前記複数の画像の重複部分（５０２ａ、５０２ｂ、５０２ｃ）に対応する前記パノラマ画像の前記部分（５１２ａ、５１２ｂ、５１２ｃ）の前記周縁に対する前記ピクセルの前記近接性の平滑関数である、請求項３に記載の方法。
【請求項５】
前記複数の画像の重複部分（５０２ａ、５０２ｂ、５０２ｃ）に対応する前記パノラマ画像の各部分（５１２ａ、５１２ｂ、５１２ｃ）に対して、
前記クライアントデバイス（１０４ｃ）が、前記パノラマ画像（５１０）およびその重複部分に対して前記ビデオカメラによって無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）の第１の重み付き平均を、第１の閾値よりも低い空間周波数に関して計算することと、
前記クライアントデバイス（１０４ｃ）が、前記パノラマ画像（５１０）およびその重複部分に対して前記ビデオカメラ（１０２）によって無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）の第２の重み付き平均を、前記第１の閾値よりも大きいまたはこれに等しい第２の閾値に等しいまたはこれを上回る空間周波数に関して計算することと
をさらに含み、
前記パノラマ画像（５１０）が、前記第１の重み付き平均と前記第２の重み付き平均をマージすることによって、前記複数の画像の重複部分（５０２ａ、５０２ｂ、５０２ｃ）に対応する各部分（５１２ａ、５１２ｂ、５１２ｃ）内で更新され、
前記第１の重み付き平均および前記第２の重み付き平均を計算するために使用される重みが、異なるように選択される、請求項２から４のいずれか一項に記載の方法。
【請求項６】
前記第１の重み付き平均の前記重みが、前記複数の画像の前記重複部分（５０２ａ、５０２ｂ、５０２ｃ）に対応する前記パノラマ画像の前記部分（５１２ａ、５１２ｂ、５１２ｃ）の前記周縁に対する前記近接性の平滑関数であり、
前記第２の重み付き平均の前記重みが、前記複数の画像の前記重複部分（５０２ａ、５０２ｂ、５０２ｃ）に対応する前記パノラマ画像の前記部分（５１２ａ、５１２ｂ、５１２ｃ）の前記周縁に対する前記近接性に応じたゼロまたは１のどちらかである、請求項５に記載の方法。
【請求項７】
前記クライアントデバイス（１０４ｃ）が、前記複数の画像の重複部分（５０２ａ、５０２ｂ、５０２ｃ）に対応する前記パノラマ画像の前記部分内の、および前記パノラマ画像のその部分を生成するときに前記ビデオカメラによって無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）内の、物体（５１２ａ、５１２ｂ、５１２ｃ）を識別すること
をさらに含み、
物体が、前記複数の画像の重複部分に対応する前記パノラマ画像の前記部分（５１２ａ、５１２ｂ、５１２ｃ）内と前記パノラマ画像のその部分を生成するときに前記ビデオカメラによって無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）内の両方において識別される場合、前記パノラマ画像およびその部分を生成するときに前記ビデオカメラによって無視された前記画像データのうちの一方の重みが、その物体に属すると識別されるピクセルに対してゼロに設定される、請求項２から６のいずれか一項に記載の方法。
【請求項８】
前記クライアントデバイス（１０４ｃ）が、前記パノラマ画像（５１０）および前記パノラマ画像を生成するときに無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）から前記複数の画像（Ａ、Ｂ、Ｃ、Ｄ）を復元すること
をさらに含む、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記クライアントデバイス（１０４ｃ）が、前記パノラマ画像（５１０）および前記パノラマ画像を生成するときに前記ビデオカメラによって無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）に基づいて、前記複数の画像の前記重複部分に対応する前記パノラマ画像の部分（５１２ａ、５１２ｂ、５１２ｃ）に対する深度情報を計算すること
をさらに含む、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記パノラマ画像を生成するときに前記ビデオカメラによって無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）を扱うために前記クライアントデバイスがカスタマイズされていないという条件付きで、前記クライアントデバイス（１０４ａ）が前記パノラマ画像を表示すること
をさらに含む、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記パノラマ画像（５１０）が、前記符号化されたビデオストリーム（３１０）内でタイムスタンプによってマークされるビデオフレームとして符号化され、前記ビデオカメラが、符号化された、前記パノラマ画像を生成するときに無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）を同じタイムスタンプによってマークする、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
前記パノラマ画像（５１０）を生成するときに無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）が、前記パノラマ画像（５１０）と同じビデオフレーム内で追加符号化タイルおよび／または追加符号化スライスとして符号化される、請求項１１に記載の方法。
【請求項１３】
前記パノラマ画像（５１０）を生成するときに無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）が、１つまたは複数の別個のビデオフレームとして符号化される、請求項１１に記載の方法。
【請求項１４】
前記１つまたは複数の別個のビデオフレームが、非表示フレームとしてマークされる、請求項１３に記載の方法。
【請求項１５】
部分的に重複する視野を有する複数の画像センサ（１０３）を備えるビデオカメラ（１０２）を備えたシステム（１００）であって、前記複数の画像センサ（１０３）が、複数の画像（Ａ、Ｂ、Ｃ、Ｄ）を並行してキャプチャするように構成され、前記ビデオカメラ（１０２）が、
前記複数の画像（Ａ、Ｂ、Ｃ、Ｄ）の重複部分（５０２ａ、５０２ｂ、５０２ｃ）を、前記複数の画像のうちの少なくとも２つの画像が重複する部分であると識別し、
前記複数の画像（Ａ、Ｂ、Ｃ、Ｄ）の部分（５１４ａ、５１２ａ、５１４ｂ、５１２ｂ、５１４ｃ、５１２ｃ、５１４ｄ）を互いに接合することによって、前記複数の画像センサ（５０３）の前記視野の結合に対応するパノラマ画像（５１０）を生成し、前記複数の画像の各重複部分（５０２ａ、５０２ｂ、５０２ｃ）に対して、ビデオカメラ（１０２）が、前記パノラマ画像内で重複する前記少なくとも２つの画像のうちの１つ（Ａ、Ｂ、Ｃ）からの画像データ（５１２ａ、５１２ｂ、５１２ｃ）を含み、重複する前記少なくとも２つの画像のうちの他方の画像（Ｂ、Ｃ、Ｄ）からの画像データ（５２２ａ、５２２ｂ、５２２ｃ）を無視するように構成され、
前記パノラマ画像（５１０）および前記パノラマ画像を生成するときに無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）を符号化し、それらを、ビデオストリーム（３１０）内でクライアントデバイス（１０４ｃ）に送信する
ようにさらに構成され、
前記システムが、
前記ビデオストリーム（３１０）を受信および復号し、前記パノラマ画像（５１０）を生成するときに前記ビデオカメラ（１０２）によって無視された前記画像データ（５２２ａ、５２２ｂ、５２２ｃ）を使用して前記複数の画像の前記重複部分（５０２ａ、５０２ｂ、５０２ｃ）に対応する部分（５１２ａ、５１２ｂ、５１２ｃ）内の前記パノラマ画像（５１０）を更新するように構成されたクライアントデバイス（１０４ｃ）
をさらに備える、システム（１００）。