【手続補正書】
【提出日】令和2年6月12日(2020.6.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオストリームをビデオコーディングフォーマットで符号化するための方法であって、前記ビデオコーディングフォーマットが、補助フレーム（１１０）を前記符号化されたビデオストリーム（４１６）内に含めることをサポートし、前記補助フレーム（１１０）が、前記符号化されたビデオストリーム（４１６）内の別のフレーム（１１２）によって参照され、前記符号化されたビデオストリーム（４１６）内の別のフレームを補完する画像データを備え、前記補助フレーム（１１０）が、前記補助フレーム（１１０）の前記画像データが、前記符号化されたビデオストリーム（４１６）を復号するときに示されることは意図されず、代わりに、示される画像データを達成するために前記別のフレームのデータとともに使用されることを指示するフラグ値を備え、前記方法が、
ビデオ捕捉デバイス（１０４）によって捕捉された第１の画像データ（１０６ａ）を受信するステップと、
復号されるときの前記ビデオストリーム（１０６）のための意図される解像度を判定するステップ（Ｓ５０２）と、
第１のスケールダウンされた画像データ（１１４）を取得するために前記第１の画像データ（１０６ａ）をスケールダウンするステップ（Ｓ５０４）であって、前記第１のスケールダウンされた画像データ（１１４）が、前記意図される解像度よりも低い第１の解像度を有する、スケールダウンするステップ（Ｓ５０４）と、
空の第１の補助フレーム（１１０ａ）を準備するステップであって、前記第１の補助フレーム（１１０ａ）の前記画像データが、前記意図される解像度に等しい解像度を有し、かつ、すべてが同じ事前定義された値を有するビットを備える、準備するステップと、
前記第１のスケールダウンされた画像データ（１１４）を前記第１の補助フレーム（１１０ａ）の前記画像データ内に貼り付けるステップ（Ｓ５０６）と、
前記第１の補助フレーム（１１０ａ）をイントラフレームとして符号化するステップと、
前記第１の補助フレーム（１１０ａ）の前記画像データ（１０６）内の前記第１のスケールダウンされた画像データ（１１４）を前記意図される解像度を有する第１のアップスケールされた画像データにアップスケールするための第１の画像変換を判定するステップと、
少なくとも１つの所定のマクロブロックサイズに従って、前記第１の画像変換の結果生じる画素の移動をサンプリングすることによって、第１の動きベクトル（１２０）を判定するステップ（Ｓ５０８）と、
前記第１の画像データ（１０６ａ）を前記第１の補助フレーム（１１０ａ）を参照するインターフレームとして第１のフレーム（１１２ａ）に符号化するステップであって、前記第１のフレーム（１１２ａ）の動きベクトル（１２０）が前記第１の動きベクトル（１２０）に対応する、符号化するステップと
を備える、方法。
【請求項２】
前記ビデオ捕捉デバイス（１０４）によって捕捉された第２の画像データ（１０６ｂ）を受信するステップと、
第２のスケールダウンされた画像データを取得するために前記第２の画像データ（１０６ｂ）をスケールダウンするステップであって、前記第２のスケールダウンされた画像データの解像度が前記第１の解像度である、スケールダウンするステップと、
空の第２の補助フレーム（１１０ｂ）を準備するステップであって、前記第２の補助フレーム（１１０ｂ）の前記画像データが前記意図される解像度に等しい解像度を有する、準備するステップと、
前記第２のスケールダウンされた画像データを前記第２の補助フレーム（１１０ｂ）の前記画像データ内に貼り付けるステップと、
前記第２の補助フレーム（１１０ｂ）を前記第１の補助フレーム（１１０ａ）を参照するインターフレームとして符号化するステップと、
前記第２の補助フレーム（１１０ｂ）の前記画像データ内の前記第２のスケールダウンされた画像データを前記意図される解像度を有する第２のアップスケールされた画像データにアップスケールするための第２の画像変換を判定するステップと、
前記第２の画像変換をサンプリングすることによって、第２の動きベクトルを判定するステップと、
前記第２の画像データ（１０６ｂ）を、前記第２の補助フレーム（１１０ｂ）を参照するインターフレームとして第２のフレーム（１１２ｂ）に符号化するステップであって、前記第２のフレーム（１１２ｂ）の動きベクトルが前記第２の動きベクトルに対応する、符号化するステップと
をさらに備える、請求項１に記載の方法。
【請求項３】
ビデオ記録デバイス（１０４）によって第３の画像データ（１０６ｃ）を捕捉するステップと、
第３のスケールダウンされた画像データ（１１６）を取得するために前記第３の画像データ（１０６ｃ）をスケールダウンするステップであって、前記第３のスケールダウンされた画像データ（１１６）が第２の解像度を有し、前記第２の解像度が、前記第１の解像度とは異なり、前記意図される解像度よりも低い、スケールダウンするステップと、
空の第３の補助フレーム（１１０ｃ）を準備するステップであって、前記第３の補助フレーム（１１０ｃ）の前記画像データが、前記意図される解像度に等しい解像度を有する、準備するステップと、
前記第３のスケールダウンされた画像データ（１１６）を前記第３の補助フレーム（１１０ｃ）の前記画像データ内に貼り付けるステップと、
前記第３の補助フレーム（１１０ｃ）をイントラフレームとして符号化するステップと、
前記第３の補助フレーム（１１０ｃ）の前記画像データ内の前記第３のスケールダウンされた画像データを前記意図される解像度を有する第３のアップスケールされた画像データにアップスケールするための第３の画像変換を判定するステップと、
前記第３の画像変換をサンプリングすることによって、第３の動きベクトルを判定するステップと、
前記第３の画像データを、前記第３の補助フレーム（１１０ｃ）を参照するインターフレームとして第３のフレーム（１１２ｃ）に符号化するステップであって、前記第３のフレーム（１１２ｃ）の動きベクトルが前記第３の動きベクトルに対応する、符号化するステップと
をさらに備える、請求項１または２に記載の方法。
【請求項４】
前記第１の画像データ（１０６ａ）のセクションＲＯＩ１（３０２）が前記符号化されたビデオストリーム（４１６）に第３の解像度で含まれるべきと判定するステップであって、前記第３の解像度が前記第１の解像度よりも高い、判定するステップと、
前記ＲＯＩ１（３０２）が前記第１のスケールダウンされた画像データ（１１４）に重複しないために、前記ＲＯＩ１（３０２）が、前記第１のスケールダウンされた画像データ（１１４）を上書きしないように、または前記第１のスケールダウンされた画像データ（１１４）によって上書きされるように、前記第３の解像度を有する前記ＲＯＩ１（３０２）を前記第１の補助フレーム（１１０ａ）の前記画像データ内に貼り付けるステップ（Ｓ５０６）と、
前記意図される解像度を有する前記ＲＯＩ１（３０２）を前記第１のアップスケールされた画像データ内に挿入するための第４の画像変換を判定するステップと、
前記第４の画像変換をサンプリングすることによって、第４の動きベクトル（１２０）を判定するステップと
をさらに備え、
前記第１の画像データ（１０６ａ）をインターフレームとして前記第１のフレーム（１１２ａ）に前記符号化するステップ（Ｓ５１０）が、前記第１のフレーム（１１２ａ）の動きベクトルが前記第１の動きベクトルおよび前記第４の動きベクトルに対応すると判定するステップを備える、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記ビデオ捕捉デバイスによって捕捉された第２の画像データを受信するステップと、
第２のスケールダウンされた画像データを取得するために前記第２の画像データをスケールダウンするステップであって、前記第２のスケールダウンされた画像データの解像度が前記第１の解像度である、スケールダウンするステップと、
空の第２の補助フレームを準備するステップであって、前記第２の補助フレームの前記画像データが、前記意図される解像度と等しい解像度を有する、準備するステップと、
前記第２のスケールダウンされた画像データを、前記第２の補助フレームの前記画像データに貼り付けるステップと、
前記第１の補助フレームを参照するインターフレームとして前記第２の補助フレームを符号化するステップと、
前記第２の補助フレームの前記画像データ内の前記第２のスケールダウンされた画像データを、前記意図された解像度を有する第２のスケールアップされた画像データにスケールアップするための第２の画像変換を判定するステップと、
前記第２の画像変換をサンプリングすることによって、第２の動きベクトルを判定するステップと、
前記第２の画像データを前記第２の補助フレームを参照するインターフレームとして第２のフレームに符号化するステップであって、前記第２のフレームの動きベクターが、前記第２の動きベクターに対応する、符号化するステップと、
前記第２の画像データ（１０６ｂ）のセクションＲＯＩ２が前記符号化されたビデオストリーム（４１６）内に前記第３の解像度で含まれるべきと判定するステップと、
前記ＲＯＩ２が、前記第２のスケールダウンされた画像データを上書きしないように、または前記第２のスケールダウンされた画像データによって上書きされるように、前記第３の解像度を有する前記ＲＯＩ２を前記第２の補助フレーム（１１０ｂ）の前記画像データ内に貼り付けるステップと、
前記意図される解像度を有する前記ＲＯＩ２を前記第２のアップスケールされた画像データ内に挿入するための第５の画像変換を判定するステップと、
前記第４の画像変換をサンプリングすることによって、第５の動きベクトルを判定するステップと
をさらに備え、
前記第２の画像データ（１０６ｂ）をインターフレームとして前記第２のフレーム（１１２ｂ）に前記符号化するステップが、前記第２のフレーム（１１２ｂ）の動きベクトルが前記第２の動きベクトルおよび前記第５の動きベクトルに対応すると判定するステップを備える、請求項４に記載の方法。
【請求項６】
前記ＲＯＩ１（３０２）および前記ＲＯＩ２が、それぞれ、前記第１のおよび前記第２の補助フレーム（１１０ａ〜ｂ）の前記画像データ内の対応する位置に貼り付けられる、請求項５に記載の方法。
【請求項７】
前記第３の解像度が、前記意図される解像度に等しい、および前記意図される解像度よりも大きい、のうちの１つである、請求項４から６のいずれか一項に記載の方法。
【請求項８】
前記意図される解像度が、前記ビデオ記録デバイス（１０４）によって捕捉された前記画像データ（１０６）の解像度に等しい、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記ビデオコーディングフォーマットが、ハイ・エフィシエンシー・イメージ・ファイル・フォーマット、Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、Ｈ．２６５、Ｈ．２６４、ＶＰ１０、ＶＰ９、ＡＶ１、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、およびＨ．２６６のうちの１つである、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記エンコーダ（１０８）が接続されたデジタルネットワーク（４０２）のビットレートに基づいて前記第１の解像度を判定するステップ（Ｓ５０２）
をさらに備える、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
処理能力を有するデバイスによって実行されると、請求項１から１０のいずれか一項に記載の方法を前記デバイスに実行させる命令を含む非一時的コンピュータ読み取り可能記憶媒体。
【請求項１２】
ビデオ記録デバイス（１０４）によって捕捉されたビデオストリーム（１０６）をビデオコーディングフォーマットで符号化するように構成されたビデオストリームエンコーダ（１０８）であって、前記ビデオコーディングフォーマットが、補助フレーム（１１０）を前記符号化されたビデオストリーム（４１６）内に含めることをサポートし、前記補助フレーム（１１０）が、前記符号化されたビデオストリーム（４１６）内の別のフレームによって参照され、かつ、前記符号化されたビデオストリーム（４１６）内の別のフレームを補完する画像データを備え、前記補助フレームが、前記補助フレーム（１１０）の前記画像データが、前記符号化されたビデオストリーム（４１６）を復号するときに示されることは意図されず、代わりに、示される画像データを達成するために前記別のフレームのデータとともに使用されることを指示するフラグ値を備え、前記エンコーダ（１０８）が、
前記ビデオ捕捉デバイス（１０４）によって捕捉された第１の画像データ（１０６ａ）を受信することと、
復号されるときの前記ビデオストリームのための意図される解像度を判定すること（Ｓ５０２）と、
第１のスケールダウンされた画像データ（１１４）を取得するために前記第１の画像データ（１０６ａ）をスケールダウンすること（Ｓ５０４）であって、前記第１のスケールダウンされた画像データ（１１４）が、前記意図される解像度よりも低い第１の解像度を有する、スケールダウンすること（Ｓ５０４）と、
空の第１の補助フレーム（１１０ａ）を準備することであって、前記第１の補助フレーム（１１０ａ）の前記画像データが、前記意図される解像度に等しい解像度を有し、すべてが同じ事前定義された値を有するビットを備える、準備することと、
前記第１のスケールダウンされた画像データ（１１４）を前記第１の補助フレーム（１１０ａ）の前記画像データ内に貼り付けること（Ｓ５０６）と、
前記第１の補助フレーム（１１０ａ）をイントラフレームとして符号化することと、
前記第１の補助フレーム（１１０ａ）の前記画像データ（１０６ａ）内の前記第１のスケールダウンされた画像データ（１１４）を前記意図される解像度を有する第１のアップスケールされた画像データにアップスケールするための第１の画像変換を判定することと、
少なくとも１つの所定のマクロブロックサイズに従って、前記第１の画像変換の結果生じた画素の移動をサンプリングすることによって、第１の動きベクトル（１２０）を判定すること（Ｓ５０８）と、
前記第１の画像データ（１０６ａ）を前記第１の補助フレーム（１１０ａ）を参照するインターフレームとして第１のフレーム（１１２ａ）に符号化することであって、前記第１のフレーム（１１２ａ）の動きベクトル（１２０）が前記第１の動きベクトル（１２０）に対応する、符号化することと
を行うようにさらに構成されている、ビデオストリームエンコーダ（１０８）。
【請求項１３】
請求項１２に記載のビデオストリームエンコーダ（１０８）と、
デコーダであって、前記ビデオストリームエンコーダ（１０８）が、デジタルネットワーク（４０２）を介して前記デコーダ（４０４）に接続されている、デコーダと、
を含む、システムであって、
前記ビデオストリームエンコーダ（１０８）が、
前記ビデオ捕捉デバイスによって捕捉された第１の画像データを受信することと、
復号されるときの前記ビデオストリームのための意図される解像度を判定することと、
第１のスケールダウンされた画像データを取得するために前記第１の画像データをスケールダウンすることであって、前記第１のスケールダウンされた画像データが、前記意図される解像度よりも低い第１の解像度を有する、スケールダウンすることと、
空の第１の補助フレームを準備することであって、前記第１の補助フレームの前記画像データが、前記意図される解像度に等しい解像度を有し、すべてが同じ事前定義された値を有するビットを備える、準備することと、
前記第１のスケールダウンされた画像データを前記第１の補助フレームの前記画像データ内に貼り付けることと、
前記第１の補助フレームをイントラフレームとして符号化することと、
前記第１の補助フレームの前記画像データ内の前記第１のスケールダウンされた画像データを前記意図される解像度を有する第１のアップスケールされた画像データにアップスケールするための第１の画像変換を判定することと、
少なくとも１つの所定のマクロブロックサイズに従って、前記第１の画像変換の結果生じた画素の移動をサンプリングすることによって、第１の動きベクトルを判定することと、
前記第１の画像データを前記第１の補助フレームを参照するインターフレームとして第１のフレームに符号化することであって、前記第１のフレームの動きベクトルが前記第１の動きベクトルに対応する、符号化することと
を行うようにさらに構成され、
前記デコーダ（４０４）が、
前記ビデオストリームエンコーダ（１０８）の前記ビデオコーディングフォーマットで符号化されたビデオストリームを復号するように構成され、前記ビデオストリームエンコーダ（１０８）が、
前記デジタルネットワーク（４０２）を介して前記意図される解像度を受信することと、
第１の解像度を受信することと、
前記受信された意図される解像度および前記受信された第１の解像度に従って、前記ビデオストリーム（１０６）を符号化することと、
前記デジタルネットワーク（４０２）を介して前記符号化されたビデオストリーム（４１６）を送信することと、
前記デジタルネットワーク（４０２）を介して、前記符号化されたビデオストリーム（４１６）を受信することと、
復号されたビデオストリームを達成するために、前記符号化されたビデオストリーム（４１６）を復号することと、
を行うように適合されている、システム。
【請求項１４】
ディスプレイ（４１８）をさらに備え、前記ビデオストリームエンコーダ（１０８）が、
前記第１の画像データのセクションＲＯＩ１（３０２）が前記符号化されたビデオストリーム（４１６）内に前記第１の解像度よりも高い第３の解像度で含まれるべきと判定することと、
前記ＲＯＩ１が前記第１のスケールダウンされた画像データ（１１４）に重複しないために、前記ＲＯＩ１（３０２）が、前記第１のスケールダウンされた画像データ（１１４）を上書きしないよう、または前記第１のスケールダウンされた画像データ（１１４）によって上書きされるよう、前記第３の解像度を有する前記ＲＯＩ１（３０２）を前記第１の補助フレーム（１１０ａ）の前記画像データ内に貼り付けることと、
前記意図される解像度を有する前記ＲＯＩ１（３０２）を前記第１のアップスケールされた画像データ内に挿入するための第４の画像変換を判定することと、
前記第４の画像変換をサンプリングすることによって、第４の動きベクトルを判定することと
を行うようにさらに構成されており、
前記第１の画像データ（１０６ａ）をインターフレームとして前記第１のフレーム（１１２ａ）に前記符号化するステップが、前記第１のフレーム（１１２ａ）の動きベクトルが前記第１の動きベクトル（１２０）および前記第４の動きベクトルに対応すると判定することを備え、
前記デコーダ（４０４）が、
復号されたビデオストリームを達成するために、前記符号化されたビデオストリーム（４１６）を復号することであって、前記第１の補助フレーム（１１０ａ）の前記画像データ（１０６）から前記ＲＯＩ１（３０２）を抽出することを備える、復号することと、
前記ＲＯＩ１（３０２）を前記復号されたビデオストリームとは個別に前記ディスプレイ（４１８）上に表示すること（４１２）
を行うようにさらに構成されている、請求項１３に記載のシステム。
【請求項１５】
前記第３の解像度が前記意図される解像度よりも大きく、前記ＲＯＩ１（３０２）を前記復号されたビデオストリームとは個別に前記ディスプレイ（４１８）上に前記表示する（４１２）ステップが、前記ＲＯＩ１（３０２）を前記ディスプレイ（４１８）上に前記第３の解像度で表示することを備える、請求項１４に記載のシステム。