【手続補正書】
【提出日】令和1年9月20日(2019.9.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザに画像を表示する表示部を有するＣＧ（コンピュータグラフィクス）を表示するための表示デバイスと、前記表示部にＣＧを表示するための情報を転送する情報処理装置とを含む、画像処理システムであって、
前記表示デバイスは、
物理空間を撮像する撮像部と、
前記表示デバイスの位置姿勢を検出する位置姿勢検出センサと、
前記情報処理装置と通信するための第１の通信インタフェースと、
第１の複数の処理を実行するため、第１の命令を実行する制御部とを有し、前記第１の複数の処理には、
前記第１の通信インタフェースを介して前記情報処理装置に、前記位置姿勢検出センサで検出された位置姿勢に関する位置姿勢情報と、前記撮像部で撮像されたフレームを特定する情報を転送する第１の転送処理、
前記情報処理装置からＣＧコマンドを受信する第１の受信処理、
前記第１の受信処理により受信したＣＧコマンドに基づきＣＧを描画する描画処理、
前記描画処理で描画されたＣＧの特定情報と合成対象画像の特定情報とが一致する場合、前記物理空間の撮像画像上に前記ＣＧを合成する合成処理と、
前記描画処理によって描画されたＣＧと、前記合成処理で合成された画像とを表示するよう、前記表示部を制御する表示制御処理が含まれ、
前記情報処理装置は、
前記表示デバイスと通信するための第２の通信インタフェースと、
第２の複数の処理を実行するため、第２の命令を実行する少なくとも１つのプロセッサ又は回路とを有し、前記第２の複数の処理には、
前記表示デバイスから、前記位置姿勢情報及び前記特定情報とを受信する第２の受信処理と、
前記表示デバイスから受信した前記位置姿勢情報と前記特定情報とに基づいてＣＧコマンドを生成するＣＧコマンド生成処理と、
前記生成されたＣＧコマンドを前記第２の通信インタフェースを介して前記表示デバイスに転送する第２の転送処理が含まれる
ことを特徴とする画像処理システム。
【請求項２】
前記撮像部は、所定のフレームレートで前記物理空間の画像を撮像し、
前記撮像部による撮像して得た前記フレームを特定する特定情報は、当該フレームによって示される画像を特定し、
前記第１の受信処理は、前記情報処理装置から、前記ＣＧコマンドと共に前記特定情報を受信する
ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記表示デバイスは、更に、ユーザの視線方向を検出する視線検出部を有し、
前記第１の複数の処理は、前記視線検出部により検出した視線方向に基づき、前記合成処理による合成画像を加工する加工処理を含む
ことを特徴とする請求項１に記載の画像処理システム。
【請求項４】
前記加工処理は、前記合成画像における視線方向によって示される位置から所定の範囲を超える領域をぼかすことを特徴とする請求項３に記載の画像処理システム。
【請求項５】
前記表示制御処理は、前記加工処理で加工された画像を表示するよう前記表示部を制御することを特徴とする請求項４に記載の画像処理システム。
【請求項６】
前記第１の転送処理は、前記情報処理装置に、前記視線検出部で検出された視線方法を表す視線情報を転送し、
前記ＣＧコマンド生成処理は、
前記視線情報によって表される位置から所定領域内の場合では第１のＣＧコマンドを、前記所定領域外では前記第１のＣＧコマンドよりも描画が粗い第２のＣＧコマンドを生成する
ことを特徴とする請求項３に記載の画像処理システム。
【請求項７】
前記第１の複数の処理は、前記加工処理による変更された変更後の合成画像を符号化する符号化処理を含み、
前記第１の転送処理は、前記符号化処理によって得られた符号化データを前記情報処理装置に転送し、
前記第２の受信処理は、前記符号化データを受信し、
前記第２の複数の処理は、前記第２の受信処理により受信した前記符号化データを復号する復号処理を含む
ことを特徴とする請求項３に記載の画像処理システム。
【請求項８】
物理空間を撮像する撮像部及びユーザに画像を表示する表示部とを有するＣＧ（コンピュータグラフィクス）を表示するための表示デバイスと、前記表示部にＣＧを表示するための情報を転送する情報処理装置とを含む画像表示システムの制御方法であって、
前記表示デバイスが、当該表示デバイスに設けられたセンサを介して、前記表示デバイスの位置姿勢を検出する検出工程と、
前記表示デバイスが、当該表示デバイスに設けられた第１の通信インタフェースを介して、検出工程で検出した前記位置姿勢に関する位置姿勢情報及び前記撮像部で撮像されたフレームを特定する特定情報とを、前記情報処理装置に転送する第１の転送工程と、
前記表示デバイスが、前記情報処理装置からＣＧコマンドを受信する第１の受信工程と、
前記表示デバイスが、前記第１の受信工程で受信したＣＧコマンドに基づきＣＧを描画する描画工程と、
前記描画工程で描画されたＣＧの特定情報と合成対象画像の特定情報とが一致する場合、前記物理空間の撮像画像上に前記ＣＧを合成する合成工程と、
前記描画工程によって描画されたＣＧと、前記合成工程で合成された画像とを表示する表示工程と、
前記情報処理装置が、当該情報処理装置に設けられた第２の通信インタフェースを介して、前記位置姿勢情報及び前記特定情報とを受信する第２の受信工程と、
前記情報処理装置が、前記表示デバイスから受信した前記位置姿勢情報と前記特定情報とに基づいてＣＧコマンドを生成するＣＧコマンド生成工程と、
前記情報処理装置が、前記生成されたＣＧコマンドを前記第２の通信インタフェースを介して前記表示デバイスに転送する第２の転送工程と
を有することを特徴とする方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理システム及びその制御方法
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像処理システム及びその制御方法に関するものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
この課題を解決するため、例えば本発明の画像処理システムは以下の構成を備える。すなわち、
ユーザに画像を表示する表示部を有するＣＧ（コンピュータグラフィクス）を表示するための表示デバイスと、前記表示部にＣＧを表示するための情報を転送する情報処理装置とを含む、画像処理システムであって、
前記表示デバイスは、
物理空間を撮像する撮像部と、
前記表示デバイスの位置姿勢を検出する位置姿勢検出センサと、
前記情報処理装置と通信するための第１の通信インタフェースと、
第１の複数の処理を実行するため、第１の命令を実行する制御部とを有し、前記第１の複数の処理には、
前記第１の通信インタフェースを介して前記情報処理装置に、前記位置姿勢検出センサで検出された位置姿勢に関する位置姿勢情報と、前記撮像部で撮像されたフレームを特定する情報を転送する第１の転送処理、
前記情報処理装置からＣＧコマンドを受信する第１の受信処理、
前記第１の受信処理により受信したＣＧコマンドに基づきＣＧを描画する描画処理、
前記描画処理で描画されたＣＧの特定情報と合成対象画像の特定情報とが一致する場合、前記物理空間の撮像画像上に前記ＣＧを合成する合成処理と、
前記描画処理によって描画されたＣＧと、前記合成処理で合成された画像とを表示するよう、前記表示部を制御する表示制御処理が含まれ、
前記情報処理装置は、
前記表示デバイスと通信するための第２の通信インタフェースと、
第２の複数の処理を実行するため、第２の命令を実行する少なくとも１つのプロセッサ又は回路とを有し、前記第２の複数の処理には、
前記表示デバイスから、前記位置姿勢情報及び前記特定情報とを受信する第２の受信処理と、
前記表示デバイスから受信した前記位置姿勢情報と前記特定情報とに基づいてＣＧコマンドを生成するＣＧコマンド生成処理と、
前記生成されたＣＧコマンドを前記第２の通信インタフェースを介して前記表示デバイスに転送する第２の転送処理が含まれることを特徴とする。