【手続補正書】
【提出日】令和1年5月20日(2019.5.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想視点画像を生成する画像処理システムに用いられる情報処理装置であって、
撮影画像から抽出されたオブジェクト領域を示す第１の画像データと、撮影画像から抽出された、少なくともオブジェクト領域とは異なる非オブジェクト領域を示す第２の画像データとを、異なる頻度で取得する取得手段と、
前記取得手段により取得された第１の画像データと第２の画像データとを、前記第１の画像データに付与された時間情報と前記第２の画像データに付与された時間情報とに基づいて対応付けて出力する出力手段と、を有することを特徴とする情報処理装置。
【請求項２】
前記出力手段は、前記取得手段により取得された第１の画像データと、前記取得手段により取得された第２の画像データのうち前記第１の画像データに付与された時間情報と所定の規則に基づく関係にある時間情報が付与された第２の画像データとを、対応付けて出力することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の画像データに付与された時間情報と所定の規則に基づく関係にある時間情報が付与された第２の画像データは、前記取得手段により取得された第２の画像データのうち前記第１の画像データに付与された時間情報に最も近い時間情報が付与された第２の画像データであることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第１の画像データに付与された時間情報と所定の規則に基づく関係にある時間情報が付与された第２の画像データは、前記取得手段により取得された第２の画像データであって前記第１の画像データより前の時刻に対応する時間情報が付与された第２の画像データのうち、前記第１の画像データに付与された時間情報に最も近い時間情報が付与された第２の画像データであることを特徴とする請求項２又は３に記載の情報処理装置。
【請求項５】
前記第１の画像データに付与された時間情報と所定の規則に基づく関係にある時間情報が付与された第２の画像データは、前記取得手段により取得された第２の画像データであって前記第１の画像データより後の時刻に対応する時間情報が付与された第２の画像データのうち、前記第１の画像データに付与された時間情報に最も近い時間情報が付与された第２の画像データであることを特徴とする請求項２又は３に記載の情報処理装置。
【請求項６】
前記取得手段は、前記オブジェクトの三次元形状データをさらに取得し、
前記出力手段は、前記取得手段により取得された第１の画像データと第２の画像データと三次元形状データとを、前記第１の画像データに付与された時間情報と前記第２の画像データに付与された時間情報と前記三次元形状データに付与された時間情報とに基づいて対応付けて出力することを特徴とする請求項１乃至５のうち何れか１項に記載の情報処理装置。
【請求項７】
前記出力手段の出力先は、前記情報処理装置が備える記憶部と、前記情報処理装置とネットワークを介して接続される記憶装置と、前記情報処理装置とネットワークを介して接続され前記仮想視点画像を生成する画像生成装置のうち少なくとも何れかであることを特徴とする請求項１乃至６のうち何れか１項に記載の情報処理装置。
【請求項８】
前記オブジェクト領域は、動体の領域を含むことを特徴とする請求項１乃至７のうち何れか１項に記載の情報処理装置。
【請求項９】
人物とボールのうち少なくとも一方の領域は、前記オブジェクト領域に含まれることを特徴とする請求項１乃至８のうち何れか１項に記載の情報処理装置。
【請求項１０】
前記取得手段は、前記第１の画像データを、前記第２の画像データよりも高い頻度で取得することを特徴とする請求項１乃至９のうち何れか１項に記載の情報処理装置。
【請求項１１】
仮想視点画像を生成する画像処理システムであって、
撮影画像から抽出されたオブジェクト領域を示す第１の画像データと、
撮影画像から抽出された、少なくともオブジェクト領域とは異なる非オブジェクト領域を示す第２の画像データを、前記第１の画像データを取得する頻度と異なる頻度で取得する第２の取得手段と、
仮想視点画像の生成に係る視点を指定するための情報を取得する第３の取得手段と、
前記第３の取得手段により取得された情報と、前記第１の取得手段により取得された第１の画像データと、前記第２の取得手段により取得された第２の画像データのうち前記第１の画像データに付与された時間情報と所定の規則に基づく関係にある時間情報が付与された第２の画像データと、に基づいて、仮想視点画像を生成する生成手段と、を有することを特徴とする画像処理システム。
【請求項１２】
前記第１の画像データに付与された時間情報と所定の規則に基づく関係にある時間情報が付与された第２の画像データは、前記取得手段により取得された第２の画像データのうち前記第１の画像データに付与された時間情報に最も近い時間情報が付与された第２の画像データであることを特徴とする請求項１１に記載の画像処理システム。
【請求項１３】
仮想視点画像を生成する画像処理システムに用いられる情報処理装置の制御方法であって、
撮影画像から抽出されたオブジェクト領域を示す第１の画像データを取得する第１の取得工程と、
撮影画像から抽出された、少なくともオブジェクト領域とは異なる非オブジェクト領域を示す第２の画像データを、前記第１の画像データを取得する頻度と異なる頻度で取得する第２の取得工程と、
前記第１の取得工程において取得された第１の画像データと、前記第２の取得工程において取得された第２の画像データとを、前記第１の画像データに付与された時間情報と前記第２の画像データに付与された時間情報とに基づいて対応付けて出力する出力工程と、を有することを特徴とする制御方法。
【請求項１４】
仮想視点画像の生成方法であって、
撮影画像から抽出されたオブジェクト領域を示す第１の画像データを取得する第１の取得工程と、
撮影画像から抽出された、少なくともオブジェクト領域とは異なる非オブジェクト領域を示す第２の画像データを、前記第１の画像データを取得する頻度と異なる頻度で取得する第２の取得工程と、
仮想視点画像の生成に係る視点を指定するための情報を取得する第３の取得工程と、
前記第３の取得工程おいて取得された情報と、前記第１の取得工程において取得された第１の画像データと、前記第２の取得工程において取得された第２の画像データのうち前記第１の画像データに付与された時間情報と所定の規則に基づく関係にある時間情報が付与された第２の画像データと、に基づいて、仮想視点画像を生成する生成工程と、を有することを特徴とする生成方法。
【請求項１５】
コンピュータを請求項１乃至１０のうち何れか１項に記載の情報処理装置として動作させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、仮想視点画像を生成する画像処理システムに用いられる情報処理装置であって、撮影画像から抽出されたオブジェクト領域を示す第１の画像データと、撮影画像から抽出された、少なくともオブジェクト領域とは異なる非オブジェクト領域を示す第２の画像データとを、異なる頻度で取得する取得手段と、前記取得手段により取得された第１の画像データと第２の画像データとを、前記第１の画像データに付与された時間情報と前記第２の画像データに付与された時間情報とに基づいて対応付けて出力する出力手段と、を有する。