【手続補正書】
【提出日】令和3年6月4日(2021.6.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
部分的に重複する視野をもつ第１および第２のセンサー（１０２ａ、１０２ｂ）を有するマルチセンサービデオカメラ（１００）において実施される方法であって、
前記第１のセンサー（１０２ａ）および前記第２のセンサー（１０２ｂ）の各々によって同時にキャプチャされる第１のビデオフレーム（１０８ａ）および第２のビデオフレーム（１０８ｂ）を受信すること（Ｓ０２）であって、
前記第１および前記第２のビデオフレーム（１０８ａ、１０８ｂ）の各々は、前記第１および前記第２のビデオフレーム（１０８ａ、１０８ｂ）の他方と重複しない、重複しない部分（１１８ａ、１１８ｂ）と、前記第１および前記第２のビデオフレーム（１０８ａ、１０８ｂ）の他方と重複する、重複する部分（１２８ａ、１２８ｂ）とを有する、受信すること（Ｓ０２）と、
前記第１および前記第２のビデオフレーム（１０８ａ、１０８ｂ）の前記重複しない部分（１１８ａ、１１８ｂ）からの画像データ（Ａ、Ｂ）を、前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）からの画像データ（Ａ’）のみと結合することによって、第１のビデオストリーム（２１４）のフレーム（３０２）を生成すること（Ｓ０４）と、
少なくとも前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）からの画像データ（Ｂ’）を含む、第２のビデオストリーム（２１６）のフレーム（３０４、４０４）を生成すること（Ｓ０６）と、
前記第１のビデオストリームの前記フレーム（３０２）および前記第２のビデオストリームの前記フレーム（３０４、４０４）を並列に処理すること（Ｓ０８）であって、前記第２のビデオストリームの前記フレーム（３０４、４０４）の前記処理が、少なくとも前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）からの前記画像データ（Ｂ’）に基づいてオーバーレイ（３０６、４０６）を準備することを含む、処理すること（Ｓ０８）と、
前記第１のビデオストリームの処理されたフレーム（３０８）に、前記処理されたフレーム（３０８）の前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）に対応する部分（３２８ａ）において、前記オーバーレイ（３０６、４０６）を追加すること（Ｓ１０）と
を備え、
前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）からの画像データ（Ａ’）が、前記オーバーレイを準備するステップと前記オーバーレイを追加するステップとのうちの少なくとも１つにおいて、前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）からの画像データ（Ｂ’）とブレンドされる、方法。
【請求項２】
前記第２のビデオストリームの前記フレーム（３０４）が、前記第１および前記第２のビデオフレーム（１０８ａ、１０８ｂ）の前記重複する部分（１２８ａ、１２８ｂ）からの画像データ（Ａ’）を備え、前記オーバーレイを準備するステップが、前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）からの画像データ（Ｂ’）を、前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）からの画像データ（Ａ’）とブレンドすることを含む、請求項１に記載の方法。
【請求項３】
前記オーバーレイを追加するステップにおいて、前記オーバーレイ（３０６）が、前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）に対応する、前記部分（３２８ａ）中の前記第１のビデオストリームの前記処理されたフレーム（３０８）の画像データ（Ａ’）と置き替わる、請求項２に記載の方法。
【請求項４】
前記ブレンドすることが、前記重複する部分（１２８ａ、１２８ｂ）中の各ピクセルについて、前記第１のビデオフレーム（１０８ａ）からの画像データ（Ａ’）と前記第２のビデオフレーム（１０８ｂ）からの画像データ（Ｂ’）との重み付き平均を計算することを含み、
前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）からの前記画像データ（Ｂ’）に関連する重みが、前記ピクセルから、前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）と前記重複しない部分（１１８ｂ）との間の境界までの最短距離に依存し、
前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）からの前記画像データ（Ａ’）に関連する重みが、前記ピクセルから、前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）と前記重複しない部分（１１８ａ）との間の境界までの最短距離に依存する、請求項２または３に記載の方法。
【請求項５】
前記ブレンドすることは、
前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）からの画像データ（Ａ’）および前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）からの画像データ（Ｂ’）の第１の重み付き平均を計算することであって、前記第１の重み付き平均を、第１のしきい値よりも低い空間周波数に関して計算することと、
前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）からの画像データ（Ａ’）および前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）からの画像データ（Ｂ’）の第２の重み付き平均を計算することであって、前記第２の重み付き平均を、前記第１のしきい値よりも大きいかまたはそれに等しい第２のしきい値に等しいかまたはそれを上回る空間周波数に関して計算することと、ここで重みは、前記第１の重み付き平均と前記第２の重み付き平均とについて別様に選択され、
前記第１の重み付き平均を前記第２の重み付き平均に追加することによって前記オーバーレイを計算することと
を含む、請求項２から４のいずれか一項に記載の方法。
【請求項６】
前記ブレンドすることは、
前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）中の物体と、前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）中の物体とを識別することと、
前記重複する部分（１２８ａ、１２８ｂ）中で前記第１のビデオフレーム（１０８ａ）からの画像データ（Ａ’）と前記第２のビデオフレーム（１０８ｂ）からの画像データ（Ｂ’）との重み付き平均を計算することと
を含み、
前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）と前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）の両方の中で物体が識別された場合、前記第１のビデオフレーム（１０８ａ）の画像データ（Ａ’）または前記第２のビデオフレーム（１０８ｂ）の画像データ（Ｂ’）のうちの１つに関連する重みが、当該の物体に属するとして識別されるピクセルについて０に設定される、請求項２から５のいずれか一項に記載の方法。
【請求項７】
前記オーバーレイ（４０６）が前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）からの画像データ（Ｂ’）のみを含み、前記オーバーレイを追加するステップが、前記第１のビデオストリーム（１０８ａ）の前記処理されたフレーム（３０８）と、前記処理されたフレーム（３０８）の前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）に対応する前記部分（３２８ａ）において、前記オーバーレイ（４０６）をブレンドすることを含む、請求項１に記載の方法。
【請求項８】
前記第１のビデオストリームの前記処理されたフレーム（３０８）と前記オーバーレイ（４０６）をブレンドすることが、前記オーバーレイ（４０６）の各ピクセルについてブレンディングの程度を定義するマスク（４０８）に従って行われる、請求項７に記載の方法。
【請求項９】
前記オーバーレイ（４０６）の各ピクセルが、前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）のピクセルに対応し、ブレンディングの前記程度が、前記ピクセルから、前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）と前記重複しない部分（１１８ｂ）との間の境界までの最短距離に依存する、請求項８に記載の方法。
【請求項１０】
前記第２のビデオストリームの前記フレーム（４０４）が、前記第１および前記第２のビデオフレーム（１０８ａ、１０８ｂ）の前記重複する部分（１２８ａ、１２８ｂ）からの画像データ（Ａ’、Ｂ’）を含み、オーバーレイを準備するステップが、前記第１および前記第２のビデオフレーム（１０８ａ、１０８ｂ）の前記重複する部分（１２８ａ、１２８ｂ）からの前記画像データ（Ａ’、Ｂ’）に基づいて前記マスク（４０８）を計算することをさらに備える、請求項８に記載の方法。
【請求項１１】
前記マスク（４０８）は、ビデオフレームが前記第１および前記第２のセンサー（１０２ａ、１０２ｂ）から受信されるレートよりも低いレートにおいて更新される、請求項１０に記載の方法。
【請求項１２】
前記第１のビデオストリームの前記フレーム（３０２）の前記処理、および前記第２のビデオストリームの前記フレーム（３０４、４０４）の前記処理が、前記第１のビデオフレーム（１０８ａ）の画像データおよび前記第２のビデオフレーム（１０８ｂ）の画像データを整合させることを含む、請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
部分的に重複する視野をもつ第１および第２のセンサー（１０２ａ、１０２ｂ）を有するマルチセンサービデオカメラ（１００）のための処理パイプライン（１０４）であって、
それぞれ前記第１のセンサーおよび前記第２のセンサー（１０２ａ、１０２ｂ）によって同時にキャプチャされている第１のビデオフレームおよび第２のビデオフレーム（１０８ａ、１０８ｂ）を受信するように構成された受信機（２０２）であって、
前記第１および前記第２のビデオフレーム（１０８ａ、１０８ｂ）の各々は、前記第１および前記第２のビデオフレーム（１０８ａ、１０８ｂ）の他方と重複しない、重複しない部分（１１８ａ、１１８ｂ）と、前記第１および前記第２のビデオフレーム（１０８ａ、１０８ｂ）の他方と重複する、重複する部分（１２８ａ、１２８ｂ）とを有する、受信機（２０２）と、
前記第１および前記第２のビデオフレーム（１０８ａ、１０８ｂ）の前記重複しない部分（１１８ａ、１１８ｂ）からの画像データ（Ａ、Ｂ）を、前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ、１２８ｂ）からの画像データのみと結合することによって、第１のビデオストリーム（２１４）のフレーム（３０２）を生成し、且つ、少なくとも前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）からの画像データ（Ｂ’）を含む、第２のビデオストリーム（２１６）のフレーム（３０４、４０４）を生成するように構成されたフレーム生成構成要素（２０６）と、
前記第１のビデオストリーム（２１４）の前記フレーム（３０２）を処理するように構成された第１の処理構成要素（２０８）と、
前記第１のビデオストリーム（２１４）の前記フレーム（３０２）を処理する前記第１の処理構成要素（２０８）と並列に前記第２のビデオストリーム（２１６）の前記フレーム（３０４、４０４）を処理するように構成された第２の処理構成要素（２１０）であって、前記第２のビデオストリーム（１０８ｂ）の前記フレーム（３０４、４０４）の前記処理が、少なくとも前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）からの前記画像データ（Ｂ’）に基づいてオーバーレイ（３０６、４０６）を準備することを含む、第２の処理構成要素（２１０）と、
前記第１のビデオストリーム（２１４）の処理されたフレーム（３０８）に、前記処理されたフレーム（３０８）の前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）に対応する部分（３２８ａ）において、前記オーバーレイ（３０６、４０６）を追加するように構成されたオーバーレイ構成要素（２１２）と
を備え、
前記第２の処理構成要素（２１０）と前記オーバーレイ構成要素（２１２）とのうちの少なくとも１つが、前記オーバーレイを準備するかまたは前記オーバーレイを追加するとき、前記第１のビデオフレーム（１０８ａ）の前記重複する部分（１２８ａ）からの画像データ（Ａ’）を前記第２のビデオフレーム（１０８ｂ）の前記重複する部分（１２８ｂ）からの画像データ（Ｂ’）とブレンドするように構成された、処理パイプライン（１０４）。
【請求項１４】
第１の視野を表すビデオフレームをキャプチャするように配置された第１のセンサー（１０２ａ）と、
前記第１のセンサー（１０２ａ）と同時にビデオフレームをキャプチャするように配置された第２のセンサー（１０２ｂ）であって、前記第１の視野と一部重複する第２の視野を表す、第２のセンサー（１０２ｂ）と、
請求項１３に記載の処理パイプライン（１０４）と
を備える、マルチセンサービデオカメラ（１００）。
【請求項１５】
前記第２のビデオストリームのフレームが、前記第２および第１のビデオフレームの前記重複する部分からの画像データを含み、前記第２の処理構成要素または前記オーバーレイ構成要素が、前記オーバーレイを準備するかまたは前記オーバーレイを追加するとき、前記第２のビデオフレームの前記重複する部分からの画像データを前記第１のビデオフレームの前記重複する部分からの画像データとブレンドするように構成されている、請求項１４に記載のマルチセンサービデオカメラ（１００）。
【請求項１６】
前記オーバーレイを追加するとき、前記第２の処理構成要素または前記オーバーレイ構成要素が、前記オーバーレイで、前記第１のビデオフレームの前記重複する部分に対応する前記部分において、前記第１のビデオストリームの前記処理されたフレームの画像データを置き替える、請求項１５に記載のマルチセンサービデオカメラ（１００）。
【請求項１７】
ブレンドするとき、前記第２の処理構成要素または前記オーバーレイ構成要素が、前記重複する部分中の各ピクセルについて、前記第１のビデオフレームからの画像データと前記第２のビデオフレームからの画像データとの重み付き平均を計算するように構成されており、
前記第２のビデオフレームの前記重複する部分からの前記画像データに関連する重みが、前記ピクセルから、前記第２のビデオフレームの前記重複する部分と前記重複しない部分との間の境界までの最短距離に依存し、
前記第１のビデオフレームの前記重複する部分からの前記画像データに関連する重みが、前記ピクセルから、前記第１のビデオフレームの前記重複する部分と前記重複しない部分との間の境界までの最短距離に依存する、請求項１５に記載のマルチセンサービデオカメラ（１００）。
【請求項１８】
ブレンドするとき、前記第２の処理構成要素または前記オーバーレイ構成要素が、
前記第１のビデオフレームの前記重複する部分からの画像データおよび前記第２のビデオフレームの前記重複する部分からの画像データの第１の重み付き平均を計算することであって、前記第１の重み付き平均を、第１のしきい値よりも低い空間周波数に関して計算することと、
前記第１のビデオフレームの前記重複する部分からの画像データおよび前記第２のビデオフレームの前記重複する部分からの画像データの第２の重み付き平均を計算することであって、前記第２の重み付き平均を、前記第１のしきい値よりも大きいかまたはそれに等しい第２のしきい値に等しいかまたはそれを上回る空間周波数に関して計算することと、ここで重みは、前記第１の重み付き平均と前記第２の重み付き平均とについて別様に選択され、
前記第１の重み付き平均を前記第２の重み付き平均に追加することによって前記オーバーレイを計算することと
を行うように構成されている、請求項１５に記載のマルチセンサービデオカメラ（１００）。
【請求項１９】
ブレンドするとき、前記第２の処理構成要素または前記オーバーレイ構成要素が、
前記第１のビデオフレームの前記重複する部分中の物体と、前記第２のビデオフレームの前記重複する部分中の物体とを識別し、
前記重複する部分中で前記第１のビデオフレームからの画像データと前記第２のビデオフレームからの画像データとの重み付き平均を計算する
ように構成されており、前記第１のビデオフレームの前記重複する部分と前記第２のビデオフレームの前記重複する部分の両方の中で物体が識別された場合、前記第１のビデオフレームの画像データまたは前記第２のビデオフレームの画像データのうちの１つに関連する重みが、当該の物体に属するとして識別されるピクセルについて０に設定される、請求項１５に記載のマルチセンサービデオカメラ（１００）。
【請求項２０】
処理能力を有するデバイスによって実行されたとき、請求項１から１２のいずれか一項に記載の方法を遂行するための、コンピュータコード命令が記憶されたコンピュータ可読媒体を備えるコンピュータプログラム製品。