(57)【要約】【課題】仮想現実空間が表示されるまでの待ち時間が長くなるのを抑制する。【解決手段】表示システムは、記憶装置と、画像形成装置と、表示装置と、を備え、表示装置は、仮想現実空間の編集を受け付け、画像形成装置は、編集内容を反映した仮想現実空間を表示するための編集済表示データを生成するとともに、編集済表示データとデータ識別情報とを対応付けて記憶装置に記憶させ、データ識別情報が入力されると、データ識別情報に対応する編集済表示データを取得し、編集済表示データを表示装置に送信することによって編集済表示データに基づく仮想現実空間を表示装置に表示させる。【選択図】図７
2018067261.tif 000002
【特許請求の範囲】
【請求項１】
仮想現実空間を表示するための基本データを記憶するとともに、前記仮想現実空間にオブジェクトを表示するためのオブジェクトデータを記憶する記憶装置と、
前記基本データと前記オブジェクトデータとを合成する合成処理を行うことにより、前記オブジェクトが配置された前記仮想現実空間を表示するための表示データを生成する画像形成装置と、
前記画像形成装置から送信される前記表示データを受信し、前記表示データに基づく前記仮想現実空間を表示する表示装置と、を備え、
前記表示装置は、前記仮想現実空間を表示しているとき、現在表示中の前記仮想現実空間の編集を受け付け、当該受け付けた編集内容を示す編集内容情報を前記画像形成装置に送信し、
前記画像形成装置は、前記編集内容情報に基づき前記編集内容を認識し、前記編集内容を反映した前記仮想現実空間を表示するための前記表示データである編集済表示データを生成し前記表示装置に送信することによって前記編集済表示データに基づく前記仮想現実空間を前記表示装置に表示させるとともに、前記編集済表示データと前記編集済表示データを識別するためのデータ識別情報とを対応付けて前記記憶装置に記憶させ、
前記画像形成装置は、前記データ識別情報が前記画像形成装置に入力されると、前記データ識別情報に対応する前記編集済表示データを前記記憶装置から取得し、前記編集済表示データを前記表示装置に送信することによって前記編集済表示データに基づく前記仮想現実空間を前記表示装置に表示させることを特徴とする表示システム。
【請求項２】
前記画像形成装置は、画像を印刷するための印刷部を含み、前記データ識別情報を示す画像の記録媒体への印刷を前記印刷部に行わせることを特徴とする請求項１に記載の表示システム。
【請求項３】
前記画像形成装置は、画像を読み取るための画像読取部を含み、前記記録媒体に印刷された前記データ識別情報を示す画像の読み取りを前記画像読取部に行わせ、前記画像読取部による読み取りによって得られた画像データに基づき前記データ識別情報を認識し、当該認識した前記データ識別情報に対応する前記編集済表示データを前記表示装置に送信すべき前記編集済表示データとして前記記憶装置から取得することを特徴とする請求項２に記載の表示システム。
【請求項４】
前記画像形成装置は、前記表示データを部分的に順次生成していく処理を前記合成処理として行い、前記表示データのうち生成が完了したデータ部分から段階的に前記表示装置に送信することにより、前記仮想現実空間のうち前記表示データの生成が完了している部分から段階的に表示する処理を前記表示装置に行わせることを特徴とする請求項１〜３のいずれか１項に記載の表示システム。
【請求項５】
前記表示装置は、前記仮想現実空間のうち前記表示データの生成が完了していない部分にダミー情報を表示することを特徴とする請求項４に記載の表示システム。
【請求項６】
仮想現実空間を表示するための基本データを記憶するとともに、前記仮想現実空間にオブジェクトを表示するためのオブジェクトデータを記憶する記憶装置と、
前記基本データと前記オブジェクトデータとを合成する合成処理を行うことにより、前記オブジェクトが配置された前記仮想現実空間を表示するための表示データを生成する画像形成装置と、
前記画像形成装置から送信される前記表示データを受信し、前記表示データに基づく前記仮想現実空間を表示する表示装置と、を備え、
前記画像形成装置は、前記表示データを部分的に順次生成していく処理を前記合成処理として行い、前記表示データのうち生成が完了したデータ部分から段階的に前記表示装置に送信することにより、前記仮想現実空間のうち前記表示データの生成が完了している部分から段階的に表示する処理を前記表示装置に行わせることを特徴とする表示システム。
【請求項７】
前記表示装置は、前記仮想現実空間のうち前記表示データの生成が完了していない部分にダミー情報を表示することを特徴とする請求項６に記載の表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置と表示装置とを備える表示システムに関する。
【背景技術】
【０００２】
従来、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）や拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を利用した表示システムが知られている。このような表示システムは、たとえば、特許文献１に開示されている。
【０００３】
特許文献１の表示システムは、画像形成装置と表示装置とを備える。画像形成装置は画像処理機能を有する複合機であり、表示に関する種々の処理が画像形成装置によって行われる。なお、表示装置としては、スマートフォンやヘッドマウントディスプレイが用いられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−８１３１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
たとえば、画像形成装置と表示装置とを備える表示システムには、画像形成装置が表示データを生成し、画像形成装置が生成した表示データに基づき表示装置が表示を行うよう構成したシステムがある。このような表示システムでは、画像形成装置による表示データの生成が完了するまで、表示装置による表示は行われない。
【０００６】
ここで、ユーザー所望のオブジェクトが配置された仮想現実空間を表示するための表示データを画像形成装置に生成させる場合には、多くの処理（たとえば、仮想現実空間のデータとオブジェクトのデータとを合成する処理など）が必要となるので、画像形成装置による表示データの生成に時間がかかる。この場合、ユーザー所望の仮想現実空間が表示装置に表示されるまでの待ち時間が長くなるので、ユーザーにとっては煩わしく利便性が悪い。
【０００７】
本発明は、上記課題を解決するためになされたものであり、仮想現実空間が表示されるまでの待ち時間が長くなるのを抑制することが可能な表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の第１の局面による表示システムは、仮想現実空間を表示するための基本データを記憶するとともに、仮想現実空間にオブジェクトを表示するためのオブジェクトデータを記憶する記憶装置と、基本データとオブジェクトデータとを合成する合成処理を行うことにより、オブジェクトが配置された仮想現実空間を表示するための表示データを生成する画像形成装置と、画像形成装置から送信される表示データを受信し、表示データに基づく仮想現実空間を表示する表示装置と、を備える。表示装置は、仮想現実空間を表示しているとき、現在表示中の仮想現実空間の編集を受け付け、当該受け付けた編集内容を示す編集内容情報を画像形成装置に送信する。また、画像形成装置は、編集内容情報に基づき編集内容を認識し、編集内容を反映した仮想現実空間を表示するための表示データである編集済表示データを生成し表示装置に送信することによって編集済表示データに基づく仮想現実空間を表示装置に表示させるとともに、編集済表示データと編集済表示データを識別するためのデータ識別情報とを対応付けて記憶装置に記憶させる。そして、画像形成装置は、データ識別情報が画像形成装置に入力されると、データ識別情報に対応する編集済表示データを記憶装置から取得し、編集済表示データを表示装置に送信することによって編集済表示データに基づく仮想現実空間を表示装置に表示させる。
【０００９】
第１の局面による表示システムでは、表示装置に現在表示されている仮想現実空間に対して編集を行った場合、編集した仮想現実空間を表示するための編集済表示データが生成され、編集済表示データに基づく仮想現実空間（編集済の仮想現実空間）が表示装置に表示される。また、編集済表示データは記憶装置に記憶される。そして、それ以降、編集済の仮想現実空間を表示装置に再度表示させるときには、記憶装置に記憶された編集済表示データが用いられる。このとき、画像形成装置による合成処理などは行われない。したがって、編集済の仮想現実空間の再表示をユーザーが所望する場合には、速やかに、編集済の仮想現実空間をユーザーに提供することができる。すなわち、仮想現実空間が表示されるまでの待ち時間が短くなる。
【００１０】
本発明の第２の局面による表示システムは、仮想現実空間を表示するための基本データを記憶するとともに、仮想現実空間にオブジェクトを表示するためのオブジェクトデータを記憶する記憶装置と、基本データとオブジェクトデータとを合成する合成処理を行うことにより、オブジェクトが配置された仮想現実空間を表示するための表示データを生成する画像形成装置と、画像形成装置から送信される表示データを受信し、表示データに基づく仮想現実空間を表示する表示装置と、を備える。画像形成装置は、表示データを部分的に順次生成していく処理を合成処理として行い、表示データのうち生成が完了したデータ部分から段階的に表示装置に送信することにより、仮想現実空間のうち表示データの生成が完了している部分から段階的に表示する処理を表示装置に行わせる。
【００１１】
第２の局面による表示システムでは、仮想現実空間を表示するための表示データのうち生成が完了したデータ部分から段階的に表示装置に送信され、仮想現実空間のうち表示データの生成が完了している部分から段階的に表示装置に表示される。これにより、ユーザー所望の仮想現実空間のうち表示データの生成が完了した部分については、速やかに、ユーザーに提供することができる。すなわち、仮想現実空間が表示されるまでの待ち時間が短くなる。
【発明の効果】
【００１２】
本発明によれば、仮想現実空間が表示されるまでの待ち時間が長くなるのを抑制することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による表示システムの構成を示す図
【図２】本発明の一実施形態による表示システムの画像形成装置が読み取るデータ取得シートを示す図
【図３】本発明の一実施形態による表示システムにおいて基本表示データに基づく仮想現実空間を表示するときの処理の流れを示すフローチャート
【図４】本発明の一実施形態による表示システムの表示装置が表示する仮想現実空間を示す図
【図５】本発明の一実施形態による表示システムの表示装置が表示する仮想現実空間を示す図（編集操作が行われる前後の図）
【図６】本発明の一実施形態による表示システムの画像形成装置が印刷するとともに読み取る編集済表示データ取得シートを示す図
【図７】本発明の一実施形態による表示システムにおいて編集操作を受け付けるときの処理の流れを示すフローチャート
【図８】本発明の一実施形態による表示システムにおいて編集済表示データに基づく仮想現実空間を表示するときの処理の流れを示すフローチャート
【発明を実施するための形態】
【００１４】
＜表示システムの構成＞
図１に示すように、本実施形態の表示システム１０００は、仮想現実空間を表示するためのシステムであって、複合機１００、ヘッドマウントディスプレイ２００およびサーバー３００を備える。複合機１００は「画像形成装置」に相当し、ヘッドマウントディスプレイ２００は「表示装置」に相当し、サーバー３００は「記憶装置」に相当する。なお、以下の説明では、ヘッドマウントディスプレイをＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）と略称する。
【００１５】
複合機１００は、ＨＭＤ２００と通信可能に接続される。また、複合機１００は、サーバー３００と通信可能に接続される。なお、ＨＭＤ２００とサーバー３００とが通信可能に接続されてもよい。
【００１６】
複合機１００は、スキャン機能やプリント機能を有する画像形成装置であり、画像読取部１１０、印刷部１２０、操作表示部１３０、複合機記憶部１４０、複合機制御部１５０および複合機通信部１６０を備える。
【００１７】
画像読取部１１０は、原稿（記録媒体）の画像を読み取って原稿の画像データを生成する。印刷部１２０は、用紙（記録媒体）に画像を印刷して印刷済みの用紙を出力する。操作表示部１３０は、タッチパネルディスプレイおよびハードウェアキーを含む。操作表示部１３０は、ソフトウェアキーなどを配した画面をタッチパネルディスプレイに表示するとともに、各種設定を行うための操作（ソフトウェアキーに対するタッチ操作やハードウェアキーに対する押下操作）を受け付ける。
【００１８】
複合機記憶部１４０は、ＲＯＭやＲＡＭを含み、制御用のプログラムおよびデータを記憶する。複合機制御部１５０は、ＣＰＵなどのプロセッサーを含み、複合機１００の各部を制御する。すなわち、複合機制御部１５０は、画像読取部１１０の読取動作や印刷部１２０の印刷動作を制御する。また、複合機制御部１５０は、操作表示部１３０の表示動作を制御したり、操作表示部１３０に対する操作を検知したりする。
【００１９】
また、複合機制御部１５０は、画像処理部１５１を含む。画像処理部１５１は、画像処理用の回路（たとえば、ＡＳＩＣなど）や、画像処理用のプログラムおよびデータを記憶するメモリーなどで構成される。画像処理部１５１は、画像データに対して、拡大／縮小や濃度変換などの画像処理を行う。また、画像処理部１５１は、画像データに含まれる文字を認識する文字認識処理を行う。なお、画像処理部１５１による文字認識処理では、たとえば、ＯＣＲ技術が用いられる。さらに、画像処理部１５１は、仮想現実空間の表示に必要な表示データを生成する処理を行う。
【００２０】
複合機通信部１６０は、ＨＭＤ２００やサーバー３００との間で通信を行うための通信インターフェースである。複合機制御部１５０は、複合機通信部１６０を介してＨＭＤ２００やサーバー３００と通信し、データを送受信する。
【００２１】
ＨＭＤ２００は、ユーザーにより装着される。なお、ＨＭＤ２００は、眼鏡型であり、眼鏡のレンズに相当する箇所に仮想現実空間を表示する（ユーザーの眼前に仮想現実空間を表示する）。このＨＭＤ２００は、表示部２１０、撮像部２２０、操作部２３０、ＨＭＤ記憶部２４０、ＨＭＤ制御部２５０およびＨＭＤ通信部２６０を備える。
【００２２】
表示部２１０は、ＨＭＤ２００を装着したユーザーの眼と対向する位置に配置される。そして、表示部２１０は、仮想現実空間を表示する。撮像部２２０は、ＣＣＤカメラなどを含み、ＨＭＤ２００を装着したユーザーの視界方向の撮像が可能な位置に配置される。操作部２３０は、ハードウェアキーなどを含み、各種設定を行うための操作（ハードウェアキーに対する押下操作）を受け付ける。
【００２３】
ＨＭＤ記憶部２４０は、ＲＯＭやＲＡＭを含み、制御用のプログラムおよびデータを記憶する。ＨＭＤ制御部２５０は、ＣＰＵなどのプロセッサーを含み、ＨＭＤ記憶部２４０に記憶された制御用のプログラムおよびデータに基づき、表示部２１０の表示動作や撮像部２２０の撮像動作を制御する。
【００２４】
ＨＭＤ通信部２６０は、複合機１００との間で通信を行うための通信インターフェースである。ＨＭＤ制御部２５０は、ＨＭＤ通信部２６０を介して複合機１００と通信し、データを送受信する。なお、ＨＭＤ通信部２６０を介して、ユーザー所有の携帯端末（携帯電話、スマートフォンおよびタブレット端末など）との間で通信が行われてもよい。この場合、ユーザー所有の携帯端末を用いて各種設定を行うことができる。
【００２５】
サーバー３００は、たとえば、インターネットなどのネットワーク上のストレージサーバー（クラウド）である。サーバー３００からのデータの読み出しやサーバー３００へのデータの書き込みは複合機１００によって行われる。なお、表示システム１０００からサーバー３００を省略し、複合機１００を「記憶装置」として機能させてもよい。この場合には、大容量の記憶領域（ＨＤＤなど）を複合機１００に設置してもよい。
【００２６】
＜仮想現実空間の表示＞
本実施形態の表示システム１０００において行われる仮想現実空間の表示について、住宅や店舗、オフィスビルなどの建物の実際の室内空間に対応する仮想現実空間を表示する場合を例にとって説明する。この場合には、たとえば、不動産業者によって表示システム１０００が管理され、建物の室内確認を所望するユーザーに対して、建物の実際の室内空間に対応する仮想現実空間を表示するサービス（以下、単に表示サービスと称する場合がある）が提供される。
【００２７】
まず、表示システム１０００の管理者によって、図２に示すようなデータ取得シート４００が予め作成される。このデータ取得シート４００は、建物内の部屋の大きさや配置などを示す間取図４０１が印刷された記録媒体（紙媒体）である。なお、データ取得シート４００は複数種作成され、複数種のデータ取得シート４００のそれぞれに互いに異なる間取図４０１が印刷される。
【００２８】
また、複数種のデータ取得シート４００には、それぞれ、基本識別情報を示す情報画像４０２（図２では、便宜上、アルファベット「ａ」の羅列で示す）が印刷される。たとえば、データ取得シート４００には、対応する建物（間取図４０１）の建物情報を示すテキスト画像を印刷するための領域Ａ１が設けられる。そして、データ取得シート４００の領域Ａ１に印刷されたテキスト画像で示される建物情報が基本識別情報とされる。特に限定されないが、建物の住所や所在地を示すテキスト画像がデータ取得シート４００の領域Ａ１に印刷される。この場合には、建物の住所や所在地が基本識別情報とされる。なお、基本識別情報が単純な通し番号であってもよいし、管理者が任意に設定した文字や数字の羅列であってもよい。
【００２９】
ここで、サーバー３００は、複数の基本識別情報（建物情報）にそれぞれ対応付けられた複数の基本データＤ１（図１参照）を予め記憶する。複数の基本データＤ１は、それぞれ、対応する建物の室内空間に応じた仮想現実空間を表示するためのデータである。
【００３０】
さらに、サーバー３００は、複数のオブジェクトデータＤ２（図１参照）を予め記憶する。複数のオブジェクトデータＤ２は、それぞれ、仮想現実空間にオブジェクトを表示するためのデータである。たとえば、オブジェクトとしては、家具（たとえば、テーブルやソファー）、電器製品（たとえば、テレビや照明器具）、および、カーテンなどがある。
【００３１】
そして、複合機１００は、複合機１００に基本識別情報が入力されると、仮想現実空間を表示するための表示データ（以下、基本表示データと称する）を生成し、基本表示データをＨＭＤ２００に送信する。ＨＭＤ２００は、基本表示データを受信すると、基本表示データに基づく仮想現実空間を表示する。このときに表示される仮想現実空間は、複合機１００に入力された基本識別情報に対応する建物の室内空間をイメージしたものである。  
【００３２】
たとえば、表示システム１０００の管理者は、ユーザーに対して表示サービスを提供するとき、ユーザー所望の間取図４０１が印刷されたデータ取得シート４００の読み取りを複合機１００に行わせる。すなわち、複合機１００にデータ取得シート４００がセットされ、データ取得シート４００の読み取りを開始するための開始操作（スタートキーに対する押下操作）が操作表示部１３０に対して行われる。
【００３３】
複合機制御部１５０は、操作表示部１３０に対する開始操作を検知すると、複合機１００にセットされたデータ取得シート４００の読み取りを画像読取部１１０に行わせる。これにより、データ取得シート４００の画像データが生成される。その後、複合機制御部１５０は、データ取得シート４００の画像データのうち領域Ａ１を対象とした文字認識処理を行うことによって基本識別情報を認識し、当該認識した基本識別情報を複合機１００に入力された基本識別情報として扱う。
【００３４】
なお、操作表示部１３０が基本識別情報の入力受付を行ってもよい。すなわち、操作表示部１３０を介して複合機１００に基本識別情報が入力されてもよい。
【００３５】
以下、図３に示すフローチャートを参照し、仮想現実空間を表示するときの処理の流れについて説明する。図３に示すフローチャートは、データ取得シート４００の読取開始指示を複合機１００が受け付けたときにスタートする。
【００３６】
ステップＳ１において、複合機制御部１５０は、データ取得シート４００（基本識別情報）の読み取りを画像読取部１１０に行わせる。そして、複合機制御部１５０は、画像読取部１１０が読み取った基本識別情報を複合機１００に入力された基本識別情報として認識する。
【００３７】
続いて、ステップＳ２において、複合機制御部１５０は、サーバー３００から、複合機１００に入力された基本識別情報に対応する基本データＤ１を取得する。また、複合機制御部１５０は、サーバー３００から、基本データＤ１に対応する仮想現実空間に表示すべきオブジェクトとして予め定められた基本オブジェクトのオブジェクトデータＤ２を取得する。たとえば、基本オブジェクトのオブジェクトデータＤ２には、仮想現実空間における配置位置（座標）などを定義したデータが含まれる。
【００３８】
その後、ステップＳ３において、複合機制御部１５０は、サーバー３００から取得した基本データＤ１とオブジェクトデータＤ２とを合成する合成処理を行うことにより、基本オブジェクトが配置された仮想現実空間を表示するための基本表示データを生成する。また、ステップＳ４において、複合機制御部１５０は、ＨＭＤ２００に基本表示データを送信することによって、基本表示データに基づく仮想現実空間（基本オブジェクトが配置された仮想現実空間）の表示をＨＭＤ２００に行わせる。
【００３９】
ここで、複合機制御部１５０は、ステップＳ３において、基本表示データを部分的に順次生成してく処理を合成処理として行う。また、複合機制御部１５０は、ステップＳ４において、基本表示データのうち生成が完了したデータ部分から段階的にＨＭＤ２００に送信することにより、仮想現実空間のうち基本表示データの生成が完了している部分から段階的に表示する処理をＨＭＤ２００に行わせる。
【００４０】
以下に、図４の最下段に図示した仮想現実空間をＨＭＤ２００に表示させる場合について説明する。なお、図４では、家具などの基本オブジェクトに符号４を付す。
【００４１】
まず、複合機制御部１５０は、基本データＤ１と基本オブジェクト４（４１）のオブジェクトデータＤ２と合成する処理を行うことによって基本表示データ（ここでは第１データと称する）を生成し、第１データをＨＭＤ２００に送信する。これにより、ＨＭＤ２００では、図４の最上段に図示した仮想現実空間の表示が行われる。
【００４２】
次に、複合機制御部１５０は、第１データと基本オブジェクト４（４２）のオブジェクトデータＤ２とを合成する処理を行うことによって基本表示データ（ここでは第２データとする）を生成し、第２データをＨＭＤ２００に送信する。これにより、ＨＭＤ２００では、図４の中段に図示した仮想現実空間の表示が行われる。
【００４３】
次に、複合機制御部１５０は、第２データと基本オブジェクト４（４３）のオブジェクトデータＤ２とを合成する処理を行うことによって基本表示データ（ここでは第３データと称する）を生成し、第３データをＨＭＤ２００に送信する。これにより、ＨＭＤ２００では、図４の最下段に図示した仮想現実空間の表示が行われる。すなわち、基本オブジェクト４１〜４３の全てが配置された仮想現実空間がＨＭＤ２００に表示される。
【００４４】
なお、ＨＭＤ２００は、仮想現実空間のうち基本表示データの生成が完了していない部分にダミー情報５を表示する。ダミー情報５の表示形態（形状や色など）は特に限定されない。たとえば、「Ｄｕｍｍｙ」というテキスト文字が表示されてもよい。
【００４５】
図３に戻り、仮想現実空間のうち基本表示データの生成が完了している部分から段階的に表示する処理をＨＭＤ２００に行わせる場合には、ステップＳ４からステップＳ５に移行する。
【００４６】
ステップＳ５に移行すると、複合機制御部１５０は、基本表示データの生成が全て完了したか否かを判断する。すなわち、複合機制御部１５０は、仮想現実空間に表示すべき基本オブジェクトが全て表示されているか否かを判断する。その結果、基本表示データの生成が全て完了したと複合機制御部１５０が判断した場合には、本フローは終了し、基本表示データの生成が完了していないと複合機制御部１５０が判断した場合には、ステップＳ３に移行する。
【００４７】
＜編集の受け付け＞
ＨＭＤ２００は、仮想現実空間を表示しているとき、現在表示中の仮想現実空間を編集するための編集操作を受け付ける。この編集操作により、現在表示中の仮想現実空間におけるオブジェクトの変更（置き換え）を行うことができる。あるいは、オブジェクトの削除や追加、移動などが行えてもよい。
【００４８】
なお、ＨＭＤ制御部２５０は、撮像部２２０を用いてユーザーのジェスチャー検知を行い、予め定められたジェスチャーを検知したとき、当該検知したジェスチャーを編集操作と認識する。あるいは、ＭＭＤ制御部２５０は、操作部２３０に対して予め定められた操作が行われたことを検知したとき、当該検知した操作を編集操作と認識する。
【００４９】
たとえば、ＨＭＤ制御部２５０は、編集操作の一操作である指定操作（変更元のオブジェクトを指定する操作）が行われたことを検知したとき、変更先となり得るオブジェクトを示す情報（たとえば、オブジェクトのサムネイル）を選択肢として表示する。そして、ＨＭＤ制御部２５０は、編集操作の一操作である選択操作（変更先のオブジェクトを選択する操作）が行われたことを検知したとき、変更元および変更先の各オブジェクトをそれぞれ示す編集内容情報（編集内容を示す情報）を生成し、複合機１００に編集内容情報を送信する。
【００５０】
複合機制御部１５０は、ＨＭＤ２００から編集内容情報を受信すると、編集内容情報に基づき編集内容を認識し、当該認識した編集内容を反映した仮想現実空間（変更元のオブジェクトを変更先のオブジェクトに置き換えた仮想現実空間）を表示するための表示データを編集済表示データとして生成する。そして、複合機制御部１５０は、ＨＭＤ２００に編集済表示データを送信することによって、編集済表示データに基づく仮想現実空間の表示をＨＭＤ２００に行わせる。これにより、たとえば、図５に示すように、仮想現実空間に配置されていた基本オブジェクト４（４３）が別の基本オブジェクト４（４４）に置き換えられる。この例では、基本オブジェクト４３が変更元であり、基本オブジェクト４４が変更先である。
【００５１】
ここで、複合機制御部１５０は、編集済表示データを生成した場合、編集済表示データをサーバー３００に記憶させる（図１参照）。以下の説明では、編集済表示データに符号ＥＤを付す。このとき、複合機制御部１５０は、編集済表示データＥＤを識別するためのデータ識別情報を設定し、編集済表示データＥＤとデータ識別情報とを対応付ける。
【００５２】
さらに、複合機制御部１５０は、図６に示すような編集済表示データ取得シート４１０の印刷を印刷部１２０に行わせる。たとえば、編集済表示データ取得シート４１０を印刷するための印刷データは、現在表示中の仮想現実空間の表示に際して読み取ったデータ取得シート４００（図２参照）の画像データに基づき生成される。
【００５３】
ただし、編集済表示データ取得シート４１０には、領域Ａ２がさらに設けられる。編集済表示データ取得シート４１０の領域Ａ２には、データ識別情報を示す情報画像４０３（図６では、便宜上、アルファベット「ｂ」の羅列で示す）が印刷される。なお、現在表示中の仮想現実空間に配置されたオブジェクトに関するオブジェクト情報４０４が編集済表示データ取得シート４１０に印刷されてもよい。図６に示すオブジェクト情報４０４における「□□」には、たとえば、家具（オブジェクト）のメーカー名、製品名および型式など、家具を特定するためのテキストが挿入される。
【００５４】
以下、図７に示すフローチャートを参照し、編集操作を受け付けるときの処理の流れについて説明する。図７に示すフローチャートは、ＨＭＤ２００が編集操作を受け付け、ＨＭＤ２００が複合機１００に編集内容情報を送信したときにスタートする。
【００５５】
ステップＳ１１において、複合機制御部１５０は、編集内容情報に基づき編集内容を認識し、当該認識した編集内容を反映した仮想現実空間を表示するための編集済表示データＥＤを生成する。その後、ステップＳ１２において、複合機制御部１５０は、ＨＭＤ２００に編集済表示データＥＤを送信し、編集済表示データＥＤに基づく仮想現実空間の表示をＨＭＤ２００に行わせる。
【００５６】
また、ステップＳ１３において、複合機制御部１５０は、編集済表示データＥＤとデータ識別情報とを対応付けてサーバー３００に記憶させる。そして、ステップＳ１４において、複合機制御部１５０は、編集済表示データ取得シート４１０の印刷を印刷部１２０に行わせる。
【００５７】
複合機１００によって編集済表示データ取得シート４１０が印刷されて以降、編集済表示データ取得シート４１０の読み取りを複合機１００に行わせると（複合機１００にデータ識別情報を入力すると）、編集済表示データＥＤに基づく仮想現実空間をＨＭＤ２００に表示させることができる。
【００５８】
以下、図８に示すフローチャートを参照して具体的に説明する。図８に示すフローチャートは、編集済表示データ取得シート４１０の読取開始指示を複合機１００が受け付けたときにスタートする。
【００５９】
ステップＳ２１において、複合機制御部１５０は、編集済表示データ取得シート４１０（データ識別情報）の読み取りを画像読取部１１０に行わせる。そして、複合機制御部１５０は、編集済表示データ取得シート４１０の画像データ（読取データ）のうち領域Ａ２を対象とした文字認識処理を行うことによってデータ識別情報を認識し、当該認識したデータ識別情報を複合機１００に入力されたデータ識別情報として扱う。
【００６０】
なお、操作表示部１３０がデータ識別情報の入力受付を行ってもよい。すなわち、操作表示部１３０を介して複合機１００にデータ識別情報が入力されてもよい。
【００６１】
続いて、ステップＳ２２において、複合機制御部１５０は、サーバー３００から、データ識別情報に対応する編集済表示データＥＤを取得する。そして、ステップＳ２３において、複合機制御部１５０は、ＨＭＤ２００に編集済表示データＥＤを送信することによって、編集済表示データＥＤに基づく仮想現実空間の表示をＨＭＤ２００に行わせる。
【００６２】
本実施形態の表示システム１０００では、ＨＭＤ２００に現在表示されている仮想現実空間に対して編集を行った場合、編集した仮想現実空間を表示するための編集済表示データＥＤが生成され、編集済表示データＥＤに基づく仮想現実空間がＨＭＤ２００に表示される。また、編集済表示データＥＤはサーバー３００に記憶される。そして、それ以降、編集済の仮想現実空間をＨＭＤ２００に再度表示させるときには、サーバー３００に記憶された編集済表示データＥＤが用いられる。このとき、複合機１００による合成処理などは行われない。このため、編集済の仮想現実空間の再表示をユーザーが所望する場合には、速やかに、編集済の仮想現実空間をユーザーに提供することができる。すなわち、仮想現実空間が表示されるまでの待ち時間が短くなる。
【００６３】
また、本実施形態では、上記のように、編集済表示データ取得シート４１０の読み取りを複合機１００に行わせるだけで、編集済の仮想現実空間を表示することができるので、ユーザーの利便性が向上する。
【００６４】
また、本実施形態では、上記のように、仮想現実空間を表示するための表示データのうち生成が完了したデータ部分から段階的にＨＭＤ２００に送信され、仮想現実空間のうち表示データの生成が完了している部分から段階的にＨＭＤ２００に表示される。これにより、ユーザー所望の仮想現実空間のうち表示データの生成が完了した部分については、速やかに、ユーザーに提供することができる。すなわち、仮想現実空間が表示されるまでの待ち時間が短くなる。
【００６５】
また、本実施形態では、上記のように、仮想現実空間のうち表示データの生成が完了していない部分にダミー情報５が表示されるので、仮想現実空間を表示するための表示データの生成が全て完了しているか否かをユーザーに報知することができる。
【００６６】
今回開示された実施形態は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記実施形態の説明ではなく特許請求の範囲によって示され、さらに、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
【００６７】
たとえば、上記実施形態では、建物の室内空間に対応する仮想現実空間を表示するようにしたが、自動車の室内空間など建物以外の室内空間に対応する仮想現実空間を表示する場合にも適用可能である。
【００６８】
また、上記実施形態では、ＨＭＤ２００を「表示装置」として用いたが、プロジェクターなどを「表示装置」として用いてもよい。
【００６９】
また、上記実施形態では、基本識別情報やデータ識別情報を複合機１００で読み取るようにしたが、基本識別情報やデータ識別情報をＨＭＤ２００（撮像部２２０）で読み取ってもよい。この場合、ＨＭＤ２００が読み取った情報がＨＭＤ２００から複合機１００に送信される。
【符号の説明】
【００７０】
１００  複合機（画像形成装置）
２００  ＨＭＤ（表示装置）
３００  サーバー（記憶装置）
１０００  表示システム
Ｄ１  基本データ
Ｄ２  オブジェクトデータ
ＥＤ  編集済表示データ
【図１】
2018067261.tif 000003
【図２】
2018067261.tif 000004
【図３】
2018067261.tif 000005
【図４】
2018067261.tif 000006
【図５】
2018067261.tif 000007
【図６】
2018067261.tif 000008
【図７】
2018067261.tif 000009
【図８】
2018067261.tif 000010