【手続補正書】
【提出日】令和2年6月16日(2020.6.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理装置であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び視線方向を示す視点情報を取得する視点情報取得手段と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得手段により取得された視点情報に基づいて複数の画像処理方法の中から決定する決定手段と、
前記決定手段により決定された画像処理方法を用いて生成された仮想視点画像を出力する出力手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記複数の撮影装置の設置に関わる撮影情報を取得する撮影情報取得手段を有し、
前記決定手段は、前記視点情報取得手段により取得された視点情報と、前記撮影情報取得手段により取得された撮影情報とに基づいて、前記画像処理方法を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影情報は、撮影装置の位置、姿勢、及び画角の少なくとも何れかの情報を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記視点情報取得手段により取得された視点情報から特定される仮想視点の視線方向と、前記撮影情報取得手段により取得された撮影情報から特定される撮影装置の撮影方向との関係に基づいて、前記画像処理方法を決定することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記決定手段は、前記仮想視点の視線方向と前記撮影装置の撮影方向とがなす角度が所定値より小さい場合にはイメージベースレンダリングが使用され、前記角度が前記所定値と等しいかそれより大きい場合にはモデルベースレンダリングが使用されるように、前記画像処理方法を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記決定手段は、前記視点情報取得手段により取得された視点情報から特定される仮想視点に応じた視野と、前記撮影情報取得手段により取得された撮影情報から特定される複数の撮影装置の撮影範囲内に含まれる注視領域との関係に基づいて、前記画像処理方法を決定することを特徴とする請求項２乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記決定手段は、前記仮想視点に応じた視野内における前記注視領域が占める割合が所定値より大きい場合にはモデルベースレンダリングが使用され、前記割合が前記所定値より大きくない場合にはイメージベースレンダリングが使用されるように、前記画像処理方法を決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記決定手段は、前記視点情報取得手段により取得された視点情報から特定される仮想視点の変化の状況に基づいて前記画像処理方法を決定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記決定手段は、前記仮想視点の位置の変化が円弧状の移動である場合にはモデルベースレンダリングが使用されるように、前記画像処理方法を決定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記決定手段は、前記視点情報取得手段により取得された視点情報から特定される仮想視点に応じた視野に含まれるオブジェクトの種別に基づいて、前記画像処理方法を決定することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記決定手段は、前記複数の画像処理方法のうち２以上の画像処理方法を決定し、
前記出力手段は、前記決定手段により決定された前記２以上の画像処理方法を用いて生成された２以上の仮想視点画像の中から選択された仮想視点画像を出力することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記決定手段は、前記画像処理方法が変更されてから所定時間が経過するまでは前記画像処理方法が新たに変更されないように、前記画像処理方法を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記複数の画像処理方法には、モデルベースレンダリングによる複数の画像処理方法であって使用される三次元モデルの粗さが異なる複数の画像処理方法が含まれることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
【請求項１４】
前記複数の画像処理方法には、イメージベースレンダリングによる複数の画像処理方法であって使用される撮影画像の数が異なる複数の画像処理方法が含まれることを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
【請求項１５】
前記複数の画像処理方法には、モデルベースレンダリングによる画像処理方法とイメージベースレンダリングによる画像処理方法とが含まれることを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
【請求項１６】
複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理方法であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び視線方向を示す視点情報を取得する視点情報取得工程と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得工程において取得された視点情報に基づいて複数の画像処理方法の中から決定する決定工程と、
前記決定工程において決定された画像処理方法を用いて生成された仮想視点画像を出力する出力工程と、を有することを特徴とする画像処理方法。
【請求項１７】
前記複数の撮影装置の設置に関わる撮影情報を取得する撮影情報取得工程を有し、
前記決定工程においては、前記視点情報取得工程において取得された視点情報と、前記撮影情報取得工程において取得された撮影情報とに基づいて、前記画像処理方法が決定されることを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記決定工程においては、前記視点情報取得工程において取得された視点情報から特定される仮想視点の視線方向と、前記撮影情報取得工程において取得された撮影情報から特定される撮影装置の撮影方向との関係に基づいて、前記画像処理方法が決定されることを特徴とする請求項１７に記載の画像処理方法。
【請求項１９】
コンピュータを、請求項１乃至１５のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理装置および画像処理方法、プログラム
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、複数のカメラからの撮影画像を用いて仮想視点画像を生成する画像処理装置および画像処理方法、プログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明は、カメラの設置状態と仮想視点の位置との関係が変化しても、仮想視点画像を高画質に生成することが可能な画像処理装置および画像処理方法を提供することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を有する。すなわち、
複数の撮影装置により異なる位置から撮影することで得られる複数の撮影画像に基づく仮想視点画像を出力する画像処理装置であって、
生成すべき仮想視点画像に対応する仮想視点の位置及び視線方向を示す視点情報を取得する視点情報取得手段と、
前記複数の撮影画像に基づいて前記仮想視点に対応する仮想視点画像を生成するために用いられる画像処理方法を、前記視点情報取得手段により取得された視点情報に基づいて複数の画像処理方法の中から決定する決定手段と、
前記決定手段により決定された画像処理方法を用いて生成された仮想視点画像を出力する出力手段と、を有する。