【手続補正書】
【提出日】平成30年6月1日(2018.6.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、
仮想視点を示す視点情報を取得する情報取得手段と、
ユーザに仮想視点を指定させるための画像を表示する表示装置へ出力される第１の仮想視点画像と、前記表示装置とは異なる出力先へ出力される第２の仮想視点画像であって前記第１の仮想視点画像より画質が高い前記第２の仮想視点画像とを、前記画像取得手段により取得された前記撮影に基づく画像と前記情報取得手段により取得された前記視点情報とに基づいて生成する生成手段とを有することを特徴とする画像処理システム。
【請求項２】
前記第２の仮想視点画像は、ユーザに仮想視点を指定させるための画像を表示する前記表示装置とは異なる表示装置及び記憶装置の少なくとも何れかへ出力される仮想視点画像であることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記生成手段により生成される前記第１の仮想視点画像及び前記第２の仮想視点画像を出力する出力手段を有し、
前記第１の仮想視点画像が前記出力手段により出力されるタイミングは、前記第２の仮想視点画像が前記出力手段により出力されるタイミングよりも早いことを特徴とする請求項１又は２に記載の画像処理システム。
【請求項４】
前記表示装置へ前記第１の仮想視点画像が出力され、前記表示装置とは異なる他の表示装置へ前記第２の仮想視点画像が出力されるように、前記生成手段により生成される前記第１の仮想視点画像及び前記第２の仮想視点画像の出力を制御する出力制御手段を有することを特徴とする請求項１又は２に記載の画像処理システム。
【請求項５】
前記情報取得手段により取得される前記視点情報は、前記表示装置への画像表示に応じたユーザ操作に基づいて指定された仮想視点を示すことを特徴とする請求項１乃至４の何れか１項に記載の画像処理システム。
【請求項６】
前記生成手段は、前記第１の仮想視点画像と前記第２の仮想視点画像とに加えて、前記第２の仮想視点画像より画質が高い第３の仮想視点画像を前記撮影に基づく画像と前記視点情報とに基づいて生成することを特徴とする請求項１乃至５の何れか１項に記載の画像処理システム。
【請求項７】
前記第２の仮想視点画像は、生放送される仮想視点画像であり、
前記第３の仮想視点画像は、収録後に放送される仮想視点画像であることを特徴とする請求項６に記載の画像処理システム。
【請求項８】
前記生成手段は、前記第１の仮想視点画像を生成するための処理の結果を用いて前記第２の仮想視点画像を生成することを特徴とする請求項１乃至７の何れか１項に記載の画像処理システム。
【請求項９】
前記生成手段は、前記撮影に基づく画像と前記視点情報とに基づいて生成された仮想視点画像に対して画質を向上させるための画像処理を行うことにより前記第２の仮想視点画像を生成し、前記第２の仮想視点画像を生成するための処理に含まれる部分的な処理であって所定の閾値以下の処理時間で実行される処理を行うことにより前記第１の仮想視点画像を生成することを特徴とする請求項１乃至７の何れか１項に記載の画像処理システム。
【請求項１０】
前記第１の仮想視点画像は、前記複数のカメラの少なくとも何れかにより撮影されるオブジェクトの形状を表す画像であり、
前記第２の仮想視点画像は、前記オブジェクトの形状に加えてさらに前記オブジェクトの色を表す画像であることを特徴とする請求項１乃至７の何れか１項に記載の画像処理システム。
【請求項１１】
前記生成手段により生成される仮想視点画像に係る前記画質は、仮想視点画像に含まれる色の階調数であることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理システム。
【請求項１２】
前記生成手段により生成される仮想視点画像に係る前記画質は、仮想視点画像の解像度であることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理システム。
【請求項１３】
前記第１の仮想視点画像より画質が高い前記第２の仮想視点画像は、前記第１の仮想視点画像の生成に用いられる撮影画像に対応するカメラの数より多くのカメラの撮影画像を用いて生成されることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理システム。
【請求項１４】
仮想視点画像の画質に関するパラメータを前記生成手段へ出力する出力手段を有し、
前記生成手段は、前記出力手段から出力される前記画質に関するパラメータに基づいて前記第１の仮想視点画像及び前記第２の仮想視点画像を生成することを特徴とする請求項１乃至１３の何れか１項に記載の画像処理システム。
【請求項１５】
前記画質に関するパラメータは、仮想視点画像の生成に用いられる撮影画像に対応するカメラの数、仮想視点画像の解像度、仮想視点画像の生成に係る処理時間として許容される時間の少なくとも何れかを含むことを特徴とする請求項１４に記載の画像処理システム。
【請求項１６】
仮想視点画像の生成指示を受け付ける受付手段を有し、
前記生成手段は、前記受付手段による前記生成指示の受け付けに応じて前記第１の仮想視点画像及び前記第２の仮想視点画像を生成することを特徴とする請求項１乃至１５の何れか１項に記載の画像処理システム。
【請求項１７】
前記受付手段により受け付けられる生成指示は、仮想視点画像の生成を開始させるための指示、又は仮想視点画像の生成を予約するための指示であることを特徴とする請求項１６に記載の画像処理システム。
【請求項１８】
複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、
仮想視点を示す視点情報を取得する情報取得手段と、
ユーザに仮想視点を指定させるための画像を表示する表示装置へ出力される第１の仮想視点画像と、前記表示装置とは異なる出力先へ出力される第２の仮想視点画像であって前記第１の仮想視点画像よりも生成に係る処理量が多い前記第２の仮想視点画像とを、前記画像取得手段により取得された前記撮影に基づく画像と前記情報取得手段により取得された前記視点情報とに基づいて生成する生成手段とを有することを特徴とする画像処理システム。
【請求項１９】
前記第２の仮想視点画像は、仮想視点を指定する前記ユーザとは異なる視聴者に対して表示させるための仮想視点画像であることを特徴とする請求項１８に記載の画像処理システム。
【請求項２０】
前記情報取得手段により取得される前記視点情報は、前記表示装置への画像表示に応じたユーザ操作に基づいて指定された仮想視点を示すことを特徴とする請求項１８又は１９に記載の画像処理システム。
【請求項２１】
複数のカメラによる複数の方向からの撮影に基づく画像と仮想視点を示す視点情報とを用いて生成される仮想視点画像の生成指示を受け付ける受付手段と、
ユーザに仮想視点を指定させるための画像を表示する第１表示装置へ出力される第１の仮想視点画像と、前記表示装置とは異なる出力先へ出力される第２の仮想視点画像であって前記第１の仮想視点画像より画質が高い第２の仮想視点画像とが、前記撮影に基づく画像と前記視点情報とに基づいて生成手段により生成されるように、前記受付手段による前記生成指示の受け付けに応じて前記生成手段を制御する制御手段とを有することを特徴とする画像処理装置。
【請求項２２】
前記第２の仮想視点画像は、仮想視点を指定する前記ユーザとは異なる視聴者に対して表示させるための仮想視点画像であることを特徴とする請求項２１に記載の画像処理装置。
【請求項２３】
前記生成手段により生成される前記第１の仮想視点画像及び前記第２の仮想視点画像を出力する出力手段を有し、
前記第１の仮想視点画像が前記出力手段により出力されるタイミングは、前記第２の仮想視点画像が前記出力手段により出力されるタイミングよりも早いことを特徴とする請求項２１又は２２に記載の画像処理装置。
【請求項２４】
複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得工程と、
仮想視点を示す視点情報を取得する情報取得工程と、
ユーザに仮想視点を指定させるための画像を表示する表示装置へ出力される第１の仮想視点画像と、前記表示装置とは異なる出力先へ出力される第２の仮想視点画像であって前記第１の仮想視点画像より画質が高い前記第２の仮想視点画像とを、前記画像取得工程において取得された前記撮影に基づく画像と前記情報取得工程において取得された前記視点情報とに基づいて生成する生成工程とを有することを特徴とする画像処理方法。
【請求項２５】
前記第２の仮想視点画像は、仮想視点を指定する前記ユーザとは異なる視聴者に対して表示させるための仮想視点画像であることを特徴とする請求項２４に記載の画像処理方法。
【請求項２６】
前記生成工程において生成される前記第１の仮想視点画像及び前記第２の仮想視点画像を出力する出力工程を有し、
前記第１の仮想視点画像が前記出力工程において出力されるタイミングは、前記第２の仮想視点画像が前記出力工程において出力されるタイミングよりも早いことを特徴とする請求項２４又は２５に記載の画像処理方法。
【請求項２７】
コンピュータを、請求項２１乃至２３の何れか１項に記載の画像処理装置の各手段として動作させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記課題を解決するため、本発明に係る画像処理システムは、例えば以下の構成を有する。すなわち、複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、仮想視点を示す視点情報を取得する情報取得手段と、ユーザに仮想視点を指定させるための画像を表示する表示装置へ出力される第１の仮想視点画像と、前記表示装置とは異なる出力先へ出力される第２の仮想視点画像であって前記第１の仮想視点画像より画質が高い前記第２の仮想視点画像とを、前記画像取得手段により取得された前記撮影に基づく画像と前記情報取得手段により取得された前記視点情報とに基づいて生成する生成手段とを有する。