【手続補正書】
【提出日】令和1年10月24日(2019.10.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチビュービデオストリームにエフェクトを適用するための方法であって、
データストアにおいて、前記ビデオストリームを受け付けるステップと、
入力装置において、前記ビデオストリームの基準画像の前景領域と前記前景領域とは異なる深度の背景領域との境界を指定する第１のユーザ入力を受け付けるステップと、
プロセッサにおいて、前記第１のユーザ入力に基づいて、前記前景領域および前記背景領域を示す基準マスクを生成するステップと、
前記プロセッサにおいて、前記基準マスクを用いて、前記ビデオストリームの前記基準画像とは異なる第１の非基準画像についての前記前景領域および前記背景領域を示す第１の非基準マスクを生成するステップと、
前記プロセッサにおいて、前記基準マスクを用いて前記基準画像に前記エフェクトを適用し、前記第１の非基準マスクを用いて前記第１の非基準画像に前記エフェクトを適用することによって、修正されたビデオストリームを生成するステップと、
表示装置において、前記修正されたビデオストリームを仮想現実または拡張現実体験として表示するステップとを含む、方法。
【請求項２】
前記データストアにおいて前記ビデオストリームを受け付けるステップの前に、カメラにおいて、前記ビデオストリームをキャプチャするステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記基準画像は、前記ビデオストリームの基準フレームからの画像であり、
前記第１の非基準画像は、前記ビデオストリームの前記基準フレームとは異なる第１フレームからの画像である、請求項１または２に記載の方法。
【請求項４】
前記プロセッサにおいて、前記第１の非基準マスクを用いて、前記ビデオストリームの前記基準フレームおよび前記第１フレームとは異なる第２フレームからの第２の非基準画像についての前記前景領域および前記背景領域を示す第２の非基準マスクを生成するステップをさらに含み、
前記修正されたビデオストリームを生成するステップは、前記第２の非基準マスクを用いて前記第２の非基準画像に前記エフェクトを適用するステップをさらに含む、請求項３に記載の方法。
【請求項５】
前記基準画像は、前記ビデオストリームの基準フレームの基準ビューからの画像であり、
前記第１の非基準画像は、前記ビデオストリームの前記基準フレームの前記基準ビューとは異なる第１ビューからの画像である、請求項１〜４のいずれかに記載の方法。
【請求項６】
前記プロセッサにおいて、前記第１の非基準マスクを用いて、前記ビデオストリームの前記基準フレームの前記基準ビューおよび前記第１ビューとは異なる第２ビューからの第２の非基準画像についての前記前景領域および前記背景領域を示す第２の非基準マスクを生成するステップをさらに含み、
前記修正されたビデオストリームを生成するステップは、前記第２の非基準マスクを用いて前記第２の非基準画像に前記エフェクトを適用するステップをさらに含む、請求項５に記載の方法。
【請求項７】
前記入力装置において、前記第１のユーザ入力を受け付けるステップの前に、前記ビデオストリームの複数の画像の中から前記基準画像を指定する第２のユーザ入力を受け付けるステップをさらに含む、請求項１〜６のいずれかに記載の方法。
【請求項８】
前記基準マスクを生成するステップは、
前記境界を用いて、前記基準画像の前記前景領域および前記背景領域を指定する初期バイナリセグメンテーションを計算するステップと、
前記境界をリファインして、前記前景領域および前記背景領域をより正確に指定するリファインされた境界の輪郭を示すステップと、
前記リファインされた境界を用いて前記基準マスクを生成するステップとを含む、請求項１〜７のいずれかに記載の方法。
【請求項９】
前記リファインされた境界を用いて前記基準マスクを生成するステップは、前記リファインされた境界を用いて前記前景領域と前記背景領域との間の未知領域をさらに示すトライマップを生成するステップを含み、前記未知領域は、前記前景領域または前記背景領域のいずれかに属すると思われる画素を含む、請求項８に記載の方法。
【請求項１０】
前記プロセッサにおいて、前記トライマップにマッティングアルゴリズムを適用して、前記前景領域、前記背景領域、および前記未知領域に含まれる前記画素のアルファ値を含んだアルファマットを取得するステップをさらに含む、請求項９に記載の方法。
【請求項１１】
前記ビデオストリームは、１つ以上のライトフィールドカメラによって撮影されたライトフィールド映像を含む、請求項１０に記載の方法。
【請求項１２】
前記アルファマットと前記前景領域の前景画像とを前記ライトフィールド映像に逆投影するステップをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記基準マスクを用いて前記第１の非基準マスクを生成するステップは、
前記第１の非基準画像の第１の非基準セグメントと第２の非基準セグメントとの第１の非基準境界を指定するステップと、
前記第１の非基準境界を用いて、前記第１の非基準画像の前記第１の非基準セグメントおよび前記第２の非基準セグメントを指定する初期非基準バイナリセグメンテーションを計算するステップと、
前記第１の非基準境界をリファインして、前記第１の非基準セグメントおよび前記第２の非基準セグメントをより正確に指定するリファインされた非基準境界の輪郭を示すステップと、
前記リファインされた非基準境界を用いて、前記第１の非基準セグメントと前記第２の非基準セグメントとの間の未知の非基準セグメントをさらに示す非基準トライマップを生成するステップとを含み、前記未知の非基準セグメントは、前記第１の非基準セグメントまたは前記第２の非基準セグメントに属すると思われる非基準画素を含む、請求項９に記載の方法。
【請求項１４】
前記プロセッサにおいて、前記非基準トライマップにマッティングアルゴリズムを適用して、前記未知の非基準セグメントに含まれる前記非基準画素の非基準アルファ値を含んだ非基準アルファマットを取得し、前記前景領域の非基準前景画像を生成するステップをさらに含む、請求項１３に記載の方法。
【請求項１５】
マルチビュービデオストリームにエフェクトを適用するための非一時的なコンピュータ読み取り可能な媒体であって、命令を格納し、前記命令は、プロセッサによって実行されると、
データストアに、前記ビデオストリームを受け付けさせることと、
入力装置に、前記ビデオストリームの基準画像の前景領域と前記前景領域とは異なる深度の背景領域との境界を指定する第１のユーザ入力を受け付けさせることと、
前記第１のユーザ入力に基づいて、前記前景領域および前記背景領域を示す基準マスクを生成することと、
前記基準マスクを用いて、前記ビデオストリームの前記基準画像とは異なる第１の非基準画像についての前記前景領域および前記背景領域を示す第１の非基準マスクを生成することと、
前記基準マスクを用いて前記基準画像に前記エフェクトを適用し、前記第１の非基準マスクを用いて前記第１の非基準画像に前記エフェクトを適用することによって、修正されたビデオストリームを生成することと、
表示装置に、前記修正されたビデオストリームを仮想現実または拡張現実体験として表示させることとを行う、非一時的なコンピュータ読み取り可能な媒体。
【請求項１６】
プロセッサによって実行されると前記データストアにおいて前記ビデオストリームを受け付けることの前に、カメラに前記ビデオストリームをキャプチャさせる命令をさらに格納した、請求項１５に記載の非一時的なコンピュータ読み取り可能な媒体。
【請求項１７】
前記基準画像は、前記ビデオストリームの基準フレームからの画像であり、
前記第１の非基準画像は、前記ビデオストリームの前記基準フレームとは異なる第１フレームからの画像であり、
前記非一時的なコンピュータ読み取り可能な媒体は、プロセッサによって実行されると、前記第１の非基準マスクを用いて、前記ビデオストリームの前記基準フレームおよび前記第１フレームとは異なる第２フレームからの第２の非基準画像についての前記前景領域および前記背景領域を示す第２の非基準マスクを生成する命令をさらに格納し、
前記修正されたビデオストリームを生成することは、前記第２の非基準マスクを用いて前記第２の非基準画像に前記エフェクトを適用することをさらに含む、請求項１５または１６に記載の非一時的なコンピュータ読み取り可能な媒体。
【請求項１８】
前記ビデオストリームは、マルチビュービデオストリームを含み、
前記基準画像は、前記ビデオストリームの基準フレームの基準ビューからの画像であり、
前記第１の非基準画像は、前記ビデオストリームの前記基準フレームの前記基準ビューとは異なる第１ビューからの画像であり、
前記非一時的なコンピュータ読み取り可能な媒体は、プロセッサによって実行されると、前記第１の非基準マスクを用いて、前記ビデオストリームの前記基準フレームの前記基準ビューおよび前記第１ビューとは異なる第２ビューからの第２の非基準画像についての前記前景領域および前記背景領域を示す第２の非基準マスクを生成する命令をさらに格納し、
前記修正されたビデオストリームを生成することは、前記第２の非基準マスクを用いて前記第２の非基準画像に前記エフェクトを適用することをさらに含む、請求項１５〜１７のいずれかに記載の非一時的なコンピュータ読み取り可能な媒体。
【請求項１９】
プロセッサによって実行されると、前記入力装置に、前記第１のユーザ入力を受け付けることの前に、前記ビデオストリームの複数の画像の中から前記基準画像を指定する第２のユーザ入力を受け付けさせる命令をさらに格納した、請求項１５〜１８のいずれかに記載の非一時的なコンピュータ読み取り可能な媒体。
【請求項２０】
前記基準マスクを生成することは、
前記境界を用いて、前記基準画像の前記前景領域および前記背景領域を指定する初期バイナリセグメンテーションを計算することと、
前記境界をリファインして、前記前景領域および前記背景領域をより正確に指定するリファインされた境界の輪郭を示すことと、
前記リファインされた境界を用いて前記基準マスクを生成することとを含み、
前記リファインされた境界を用いて前記基準マスクを生成することは、前記リファインされた境界を用いて前記前景領域と前記背景領域との間の未知領域をさらに示すトライマップを生成することを含み、前記未知領域は、前記前景領域または前記背景領域のいずれかに属すると思われる画素を含む、請求項１５〜１９のいずれかに記載の非一時的なコンピュータ読み取り可能な媒体。
【請求項２１】
プロセッサによって実行されると、前記トライマップにマッティングアルゴリズムを適用して、前記前景領域、前記背景領域、および前記未知領域に含まれる前記画素のアルファ値を含んだアルファマットを取得する命令をさらに格納した、請求項２０に記載の非一時的なコンピュータ読み取り可能な媒体。
【請求項２２】
前記ビデオストリームは、１つ以上のライトフィールドカメラによって撮影されたライトフィールド映像を含み、
前記非一時的なコンピュータ読み取り可能な媒体は、プロセッサによって実行されると、前記アルファマットと前記前景領域の前景画像とを前記ライトフィールド映像に逆投影する命令をさらに格納する、請求項２１に記載の非一時的なコンピュータ読み取り可能な媒体。
【請求項２３】
前記基準マスクを用いて前記第１の非基準マスクを生成することは、
前記第１の非基準画像の第１の非基準セグメントと第２の非基準セグメントとの第１の非基準境界を指定することと、
前記第１の非基準境界を用いて、前記第１の非基準画像の前記第１の非基準セグメントおよび前記第２の非基準セグメントを指定する初期非基準バイナリセグメンテーションを計算することと、
前記第１の非基準境界をリファインして、前記第１の非基準セグメントおよび前記第２の非基準セグメントをより正確に指定するリファインされた非基準境界の輪郭を示すことと、
前記リファインされた非基準境界を用いて、前記第１の非基準セグメントと前記第２の非基準セグメントとの間の未知の非基準セグメントをさらに示す非基準トライマップを生成することとを含み、前記未知の非基準セグメントは、前記第１の非基準セグメントまたは前記第２の非基準セグメントに属すると思われる非基準画素を含む、請求項２０に記載の非一時的なコンピュータ読み取り可能な媒体。
【請求項２４】
プロセッサによって実行されると、前記非基準トライマップにマッティングアルゴリズムを適用して、前記未知の非基準セグメントに含まれる前記非基準画素の非基準アルファ値を含んだ非基準アルファマットを取得し、前記前景領域の非基準前景画像を生成する命令をさらに格納した、請求項２３に記載の非一時的なコンピュータ読み取り可能な媒体。
【請求項２５】
マルチビュービデオストリームにエフェクトを適用するためのシステムであって、
前記ビデオストリームを受け付けるように構成されたデータストアと、
前記ビデオストリームの基準画像の前景領域と前記前景領域とは異なる深度の背景領域との境界を指定する第１のユーザ入力を受け付けるように構成された入力装置と、
前記データストアおよび前記入力装置に通信可能に接続されたプロセッサとを備え、前記プロセッサは、
前記第１のユーザ入力に基づいて、前記前景領域および前記背景領域を示す基準マスクを生成し、
前記基準マスクを用いて、前記ビデオストリームの前記基準画像とは異なる第１の非基準画像についての前記前景領域および前記背景領域を示す第１の非基準マスクを生成し、
前記基準マスクを用いて前記基準画像に前記エフェクトを適用し、前記第１の非基準マスクを用いて前記第１の非基準画像に前記エフェクトを適用することによって、修正されたビデオストリームを生成するように構成されており、
前記修正されたビデオストリームを仮想現実または拡張現実体験として表示するように構成された表示装置をさらに備える、システム。
【請求項２６】
前記データストアにおいて前記ビデオストリームを受け付ける前に前記ビデオストリームをキャプチャするように構成されたカメラをさらに備える、請求項２５に記載のシステム。
【請求項２７】
前記基準画像は、前記ビデオストリームの基準フレームからの画像であり、
前記第１の非基準画像は、前記ビデオストリームの前記基準フレームとは異なる第１フレームからの画像であり、
前記プロセッサは、前記第１の非基準マスクを用いて、前記ビデオストリームの前記基準フレームおよび前記第１フレームとは異なる第２フレームからの第２の非基準画像についての前記前景領域および前記背景領域を示す第２の非基準マスクを生成するようにさらに構成され、
前記プロセッサは、前記第２の非基準マスクを用いて前記第２の非基準画像に前記エフェクトを適用することによって前記修正されたビデオストリームを生成するようにさらに構成される、請求項２５または２６に記載のシステム。
【請求項２８】
前記ビデオストリームは、マルチビュービデオストリームを含み、
前記基準画像は、前記ビデオストリームの基準フレームの基準ビューからの画像であり、
前記第１の非基準画像は、前記ビデオストリームの前記基準フレームの前記基準ビューとは異なる第１ビューからの画像であり、
前記プロセッサは、前記第１の非基準マスクを用いて、前記ビデオストリームの前記基準フレームの前記基準ビューおよび前記第１ビューとは異なる第２ビューからの第２の非基準画像についての前記前景領域および前記背景領域を示す第２の非基準マスクを生成するようにさらに構成され、
前記プロセッサは、前記第２の非基準マスクを用いて前記第２の非基準画像に前記エフェクトを適用することによって前記修正されたビデオストリームを生成するようにさらに構成される、請求項２５〜２７のいずれかに記載のシステム。
【請求項２９】
前記入力装置は、前記第１のユーザ入力を受け付ける前に、前記ビデオストリームの複数の画像の中から前記基準画像を指定する第２のユーザ入力を受け付けるようにさらに構成される、請求項２５〜２８のいずれかに記載のシステム。
【請求項３０】
前記プロセッサは、
前記境界を用いて、前記基準画像の前記前景領域および前記背景領域を指定する初期バイナリセグメンテーションを計算し、
前記境界をリファインして、前記前景領域および前記背景領域をより正確に指定するリファインされた境界の輪郭を示し、
前記リファインされた境界を用いて前記基準マスクを生成することによって、前記基準マスクを生成するようにさらに構成され、
前記プロセッサは、前記リファインされた境界を用いて前記前景領域と前記背景領域との間の未知領域をさらに示すトライマップを生成することによって、前記リファインされた境界を用いて前記基準マスクを生成するようにさらに構成され、前記未知領域は、前記前景領域または前記背景領域のいずれかに属すると思われる画素を含む、請求項２５〜２９のいずれかに記載のシステム。
【請求項３１】
前記プロセッサは、前記トライマップにマッティングアルゴリズムを適用して、前記前景領域、前記背景領域、および前記未知領域に含まれる前記画素のアルファ値を含んだアルファマットを取得するようにさらに構成される、請求項３０に記載のシステム。
【請求項３２】
前記ビデオストリームは、１つ以上のライトフィールドカメラによって撮影されたライトフィールド映像を含み、
前記プロセッサは、前記アルファマットと前記前景領域の前景画像とを前記ライトフィールド映像に逆投影するようにさらに構成される、請求項３１に記載のシステム。
【請求項３３】
前記プロセッサは、
前記第１の非基準画像の第１の非基準セグメントと第２の非基準セグメントとの第１の非基準境界を指定することと、
前記第１の非基準境界を用いて、前記第１の非基準画像の前記第１の非基準セグメントおよび前記第２の非基準セグメントを指定する初期非基準バイナリセグメンテーションを計算することと、
前記第１の非基準境界をリファインして、前記第１の非基準セグメントおよび前記第２の非基準セグメントをより正確に指定するリファインされた非基準境界の輪郭を示すことと、
前記リファインされた非基準境界を用いて、前記第１の非基準セグメントと前記第２の非基準セグメントとの間の未知の非基準セグメントをさらに示す非基準トライマップを生成することとによって、前記基準マスクを用いて前記第１の非基準マスクを生成するようにさらに構成され、前記未知の非基準セグメントは、前記第１の非基準セグメントまたは前記第２の非基準セグメントに属すると思われる非基準画素を含む、請求項３０に記載のシステム。
【請求項３４】
前記プロセッサは、前記非基準トライマップにマッティングアルゴリズムを適用して、前記未知の非基準セグメントに含まれる前記非基準画素の非基準アルファ値を含んだ非基準アルファマットを取得し、前記前景領域の非基準前景画像を生成するようにさらに構成される、請求項３３に記載のシステム。
【請求項３５】
請求項１〜１４のいずれかに記載の方法をコンピュータに実行させる、プログラム。