(57)【特許請求の範囲】
【請求項１】
映像データを送信する送信装置と、前記送信装置が送信する映像データに基づき映像を表示する第１表示装置及び第２表示装置と、を有する表示システムであって、
前記送信装置は、
連続するフレームで構成される前記映像データを前記第１表示装置に無線送信し、また、前記第１表示装置に無線送信する前記映像データと同じ前記映像データを前記第２表示装置に無線送信するデータ送信部を備え、
前記第１表示装置は、
前記送信装置が送信する前記映像データを受信する第１映像受信部と、
前記第１映像受信部で受信する前記映像データに基づき、フレームを単位として映像を表示して使用者の一方の眼に映像を視認させる第１表示部と、
前記第２表示装置と通信する第１装置間通信部と、を備え、
前記第２表示装置は、
前記送信装置が送信する前記映像データを受信する第２映像受信部と、
前記第２映像受信部で受信する前記映像データに基づき、フレームを単位として映像を表示してして使用者の他方の眼に映像を視認させる第２表示部と、
前記第１表示装置と通信する第２装置間通信部と、を備え、
前記第１表示装置が備える前記第１装置間通信部と前記第２表示装置が備える前記第２装置間通信部とが通信を実行することにより、前記第１表示部が表示するフレームと前記第２表示部が表示するフレームとのずれを検出し、前記ずれを検出した場合にずれているフレーム数を算出し、算出したフレーム数に対応して前記ずれを補正する、ことを特徴とする表示システム。
【請求項２】
前記送信装置は、前記映像データと、前記映像データの各々のフレームを識別するフレーム識別情報とを送信し、
前記第１装置間通信部と前記第２装置間通信部とが通信を実行することにより、前記第１表示部が表示するフレームのフレーム識別情報と前記第２表示部が表示するフレームのフレーム識別情報とを比較して、前記ずれを検出する、ことを特徴とする請求項１記載の表示システム。
【請求項３】
前記第２表示装置は、前記第２装置間通信部により前記第２表示部が表示するフレームのフレーム識別情報を含むデータを前記第１表示装置に送信し、
前記第１表示装置は、前記第２表示装置が送信するデータを前記第１装置間通信部により受信し、
前記第１装置間通信部で受信したデータに含まれるフレーム識別情報を前記第１表示部が表示するフレームのフレーム識別情報と比較して前記ずれを検出する、ことを特徴とする請求項２記載の表示システム。
【請求項４】
前記第１表示装置は、前記第１映像受信部で受信するフレームを記憶する記憶部を備え、
前記第１表示部が表示するフレームが、前記第２表示部が表示するフレームよりも後に前記送信装置が送信したフレームである場合に、前記第１表示装置は、前記記憶部に記憶したフレームを前記第１表示部によって複数回表示する、ことを特徴とする請求項１から３のいずれかに記載の表示システム。
【請求項５】
前記第１表示装置は、前記第１映像受信部で受信するフレームを記憶する記憶部を備え、
前記第１表示部が表示するフレームが、前記第２表示部が表示するフレームよりも後に前記送信装置が送信したフレームである場合に、前記第１表示装置は、前記第１表示部による表示を、所定数のフレームを表示する時間に相当する時間だけ停止し、その後、前記記憶部に記憶したフレームを前記第１表示部により表示する、ことを特徴とする請求項１から３のいずれかに記載の表示システム。
【請求項６】
前記第１表示部は、第１ハーフミラーを有し、前記第１ハーフミラーで反射した画像光と前記第１ハーフミラーを透過した外光とを使用者の一方の眼に入射することで、前記第１映像受信部で受信する前記映像データに基づく映像を外景に重ねて前記一方の眼に視認させ、
前記第２表示部は、第２ハーフミラーを有し、前記第２ハーフミラーで反射した画像光と前記第２ハーフミラーを透過した外光とを使用者の他方の眼に入射することで、前記第２映像受信部で受信する前記映像データに基づく映像を外景に重ねて前記他方の眼に視認させる、
ことを特徴とする請求項１から５のいずれかに記載の表示システム。
【請求項７】
連続するフレームで構成される映像データに基づき映像を表示する表示装置であって、
他の表示装置に無線送信される前記映像データと同じ前記映像データを無線で受信する映像受信部と、
前記映像受信部で受信する前記映像データに基づき、フレームを単位として映像を表示して使用者の一方の眼に映像を視認させる表示部と、
前記映像データに基づき、フレームを単位として映像を表示して使用者の他方の眼に映像を視認させる前記他の表示装置と通信する装置間通信部と、
前記装置間通信部により前記他の表示装置と通信を実行して、前記表示部が表示するフレームと前記他の表示装置が表示するフレームとのずれを検出し、前記ずれを検出した場合にずれているフレーム数を算出し、算出したフレーム数に対応して前記ずれを補正する制御部と、
を備えることを特徴とする表示装置。
【請求項８】
前記映像受信部により、前記映像データに含まれる各々のフレームを識別するフレーム識別情報を受信する、ことを特徴とする請求項７記載の表示装置。
【請求項９】
前記制御部は、前記表示部により表示するフレームのフレーム識別情報と前記他の表示装置が表示するフレームのフレーム識別情報とを比較することにより、前記ずれを検出する、ことを特徴とする請求項８記載の表示装置。
【請求項１０】
前記装置間通信部により、前記他の表示装置が表示するフレームのフレーム識別情報を受信し、
前記制御部は、前記装置間通信部により受信した前記他の表示装置が表示するフレームのフレーム識別情報を、前記表示部が表示するフレームのフレーム識別情報と比較することにより、前記ずれを検出する、ことを特徴とする請求項９記載の表示装置。
【請求項１１】
前記装置間通信部により、前記表示部が表示するフレームのフレーム識別情報を前記他の表示装置に送信する、ことを特徴とする請求項９記載の表示装置。
【請求項１２】
使用者の頭部に装着される頭部装着型表示装置であって、
連続するフレームで構成される映像データを受信して、受信した前記映像データに基づいて映像を表示する第１表示装置及び第２表示装置を有し、
前記第１表示装置は、
前記第２表示装置が受信する前記映像データと同じ前記映像データを受信する第１映像受信部と、
前記第１映像受信部で受信する前記映像データに基づき、フレームを単位として映像を表示して前記使用者の一方の眼に映像を視認させる第１表示部と、
前記第２表示装置と通信する第１装置間通信部と、を備え、
前記第２表示装置は、
前記第１表示装置が受信する前記映像データと同じ前記映像データを受信する第２映像受信部と、
前記第２映像受信部で受信する前記映像データに基づき、フレームを単位として映像を表示して前記使用者の他方の眼に映像を視認させる第２表示部と、
前記第１表示装置と通信する第２装置間通信部と、を備え、
前記第１表示装置が備える前記第１装置間通信部と前記第２表示装置が備える前記第２装置間通信部とが通信を実行することにより、前記使用者が右眼と左眼とで視認するフレームのずれを検出し、前記ずれを検出した場合にずれているフレーム数を算出し、算出したフレーム数に対応して前記ずれを補正する、ことを特徴とする頭部装着型表示装置。
【請求項１３】
映像データを送信する送信装置と、前記送信装置が送信する映像データに基づき映像を表示する第１表示装置及び第２表示装置と、を有する表示システムにおける表示制御方法であって、
前記送信装置により、
連続するフレームで構成される前記映像データを前記第１表示装置に無線送信し、また、前記第１表示装置に無線送信する前記映像データと同じ前記映像データを前記第２表示装置に無線送信し、
前記第１表示装置により、
前記送信装置が送信する前記映像データを受信し、
受信する前記映像データに基づき、フレームを単位として映像を第１表示部により表示して使用者の一方の眼に映像を視認させ、
第１装置間通信部で前記第２表示装置と通信し、
前記第２表示装置により、
前記送信装置が送信する前記映像データを受信し、
受信する前記映像データに基づき、フレームを単位として映像を第２表示部により表示して使用者の他方の眼に映像を視認させ、
第２装置間通信部で前記第１表示装置と通信し、
前記第１装置間通信部と前記第２装置間通信部とが通信を実行して、前記第１表示部が表示するフレームと前記第２表示部が表示するフレームとのずれを検出し、前記ずれを検出した場合にずれているフレーム数を算出し、算出したフレーム数に対応して前記ずれを補正する、ことを特徴とする表示制御方法。
【請求項１４】
連続するフレームで構成される映像データに基づき、フレームを単位として表示部により映像を表示して使用者の一方の眼に映像を視認させる表示装置の制御方法であって、
前記映像データに基づきフレームを単位として映像を表示して使用者の他方の眼に映像を視認させる他の表示装置に無線送信される前記映像データと同じ前記映像データを無線で受信し、
前記他の表示装置と通信を実行して、前記表示部が表示するフレームと前記他の表示装置が表示するフレームとのずれを検出し、前記ずれを検出した場合にずれているフレーム数を算出し、算出したフレーム数に対応して前記ずれを補正する、ことを特徴とする表示装置の制御方法。
【請求項１５】
連続するフレームで構成される映像データに基づき、フレームを単位として表示部により映像を表示して使用者の一方の眼に映像を視認させる表示装置を制御するコンピューターが実行可能なプログラムであって、
前記映像データに基づきフレームを単位として映像を表示して使用者の他方の眼に映像を視認させる他の表示装置に無線送信される前記映像データと同じ前記映像データを無線で受信し、
前記他の表示装置と通信を実行して、前記表示部が表示するフレームと前記他の表示装置が表示するフレームとのずれを検出し、前記ずれを検出した場合にずれているフレーム数を算出し、算出したフレーム数に対応して前記ずれを補正するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム、表示装置、頭部装着型表示装置、表示制御方法、表示装置の制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来、映像信号を受信して映像を表示する表示装置が知られている（例えば、特許文献１参照）。特許文献１記載のヘッドマウントディスプレイは、ＨＤＭＩ（登録商標）レシーバーで受信する映像信号に基づいて画像を表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−６１５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＨＤＭＩ（High-Definition Multimedia Interface）や、各種の通信手段を利用して、例えば、１台の装置から複数の表示装置に対して映像信号を送信できる。このような構成において、それぞれの表示装置が表示する映像の整合を図る例は無かった。
本発明は上記事情に鑑みてなされたものであり、複数の表示装置が整合のとれた映像を表示できる表示システム、表示装置、表示制御方法、表示装置の制御方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明は、映像データを送信する送信装置と、前記送信装置が送信する映像データに基づき映像を表示する第１表示装置及び第２表示装置と、を有する表示システムであって、前記送信装置は、連続するフレームで構成される前記映像データを前記第１表示装置および前記第２表示装置に無線送信するデータ送信部を備え、前記第１表示装置は、前記送信装置が送信する前記映像データを受信する第１映像受信部と、前記第１映像受信部で受信する前記映像データに基づき映像を表示する第１表示部と、前記第２表示装置と通信する第１装置間通信部と、を備え、前記第２表示装置は、前記送信装置が送信する前記映像データを受信する第２映像受信部と、前記第２映像受信部で受信する前記映像データに基づき映像を表示する第２表示部と、前記第１表示装置と通信する第２装置間通信部と、を備え、前記第１表示装置が備える前記第１装置間通信部と前記第２表示装置が備える前記第２装置間通信部とが通信を実行することにより、前記第１表示部が表示する映像と前記第２表示部が表示する映像とのずれを検出する、ことを特徴とする。
本発明によれば、送信装置から複数の表示装置に映像データを送信する場合に、複数の表示装置が表示する映像のずれを検出できる。このため、例えば、映像を表示するタイミングのずれを検出できるので、この種のずれに対する対策を施すことで、複数の表示装置が表示する映像の整合を図ることができる。
【０００６】
また、本発明は、上記表示システムにおいて、前記送信装置は、フレームで構成される前記映像データを送信し、前記第１表示装置は、前記第１映像受信部で受信する前記映像データに基づき、フレームを単位として前記第１表示部により映像を表示し、前記第２表示装置は、前記第２映像受信部で受信する前記映像データに基づき、フレームを単位として前記第２表示部により映像を表示し、前記第１装置間通信部と前記第２装置間通信部とが通信を実行することにより、前記第１表示部が表示するフレームと前記第２表示部が表示するフレームとのずれを検出する、ことを特徴とする。
本発明によれば、複数の表示装置が表示するフレームのずれを検出できる。このため、複数の表示装置が表示する映像の表示タイミングを整合させることができる。
【０００７】
また、本発明は、上記表示システムにおいて、前記送信装置は、前記映像データと、前記映像データの各々のフレームを識別するフレーム識別情報とを送信し、前記第１装置間通信部と前記第２装置間通信部とが通信を実行することにより、前記第１表示部が表示するフレームのフレーム識別情報と前記第２表示部が表示するフレームのフレーム識別情報とを比較して、ずれを検出する、ことを特徴とする。
本発明によれば、送信装置が送信するフレームが識別可能であるため、より正確に、複数の表示装置が表示するフレームのずれを検出できる。
【０００８】
また、本発明は、上記表示システムにおいて、前記第１表示装置は、前記第１装置間通信部により前記第１表示部が表示するフレームのフレーム識別情報を含むデータを前記第２表示装置に送信し、前記第２表示装置は、前記第１表示装置が送信するデータを前記第２装置間通信部により受信し、前記第２装置間通信部で受信したデータに含まれるフレーム識別情報を前記第２表示部が表示するフレームのフレーム識別情報と比較してずれを検出する、ことを特徴とする。
本発明によれば、一方の表示装置から他の表示装置にフレーム識別情報を送信することにより、当該他の表示装置において、複数の表示装置が表示するフレームのずれを確実に検出できる。
【０００９】
また、本発明は、上記表示システムにおいて、前記第１表示部が表示するフレームが、前記第２表示部が表示するフレームよりも後に前記送信装置が送信したフレームである場合、前記第２表示装置は、前記第２映像受信部で受信したフレームの表示をリセットして、次に前記第２映像受信部で受信するフレームを前記第１表示部で表示する、ことを特徴とする。
本発明によれば、２つの表示装置が表示するフレームにずれがある場合に、古いフレームを表示する側の表示装置、すなわち表示が遅れた側の表示装置の表示をリセットする。これにより、複数の表示装置が表示するフレームのずれを解消できる。
【００１０】
また、本発明は、上記表示システムにおいて、前記第１表示部が表示するフレームが、前記第２表示部が表示するフレームよりも後に前記送信装置が送信したフレームである場合、前記第２表示装置は、前記第２表示部の表示を停止する、ことを特徴とする。
本発明によれば、２つの表示装置が表示するフレームにずれがある場合に、古いフレームを表示する側の表示装置、すなわち表示が遅れた側の表示装置の表示を停止する。これにより、複数の表示装置が、フレームがずれた状態で表示を継続する状態を回避できる。
【００１１】
また、本発明は、上記表示システムにおいて、前記第１表示装置は、前記第１映像受信部で受信するフレームを記憶する記憶部を備え、前記第１表示部が表示するフレームが、前記第２表示部が表示するフレームよりも後に前記送信装置が送信したフレームである場合に、前記第１表示装置は、前記記憶部に記憶したフレームを前記第１表示部によって複数回表示する、ことを特徴とする。
本発明によれば、２つの表示装置が表示するフレームにずれがある場合に、新しいフレームを表示する側の表示装置、すなわち表示が進んだ側の表示装置が同じフレームを複数回表示する。これにより、表示するフレームの進みを解消して、複数の表示装置が表示するフレームのずれを解消できる。
【００１２】
また、本発明は、上記表示システムにおいて、前記第１表示装置は、前記第１映像受信部で受信するフレームを記憶する記憶部を備え、前記第１表示部が表示するフレームが、前記第２表示部が表示するフレームよりも後に前記送信装置が送信したフレームである場合に、前記第１表示装置は、前記第１表示部による表示を、所定数のフレームを表示する時間に相当する時間だけ停止し、その後、前記記憶部に記憶したフレームを前記第１表示部により表示する、ことを特徴とする。
本発明によれば、２つの表示装置が表示するフレームにずれがある場合に、新しいフレームを表示する側の表示装置、すなわち表示が進んだ側の表示装置が表示を停止して、表示するフレームの進みを解消する。これにより、複数の表示装置が表示するフレームのずれを解消できる。
【００１３】
また、上記目的を達成するために、本発明の表示装置は、映像を表示する表示装置であって、無線送信される映像データを受信する映像受信部と、前記映像受信部で受信する映像データに基づき映像を表示する表示部と、他の表示装置と通信する装置間通信部と、前記装置間通信部により前記他の表示装置と通信を実行して、前記表示部が表示する映像と前記他の表示装置が表示する映像とのずれを検出する制御部と、を備えることを特徴とする。
本発明によれば、表示装置が表示する映像と、他の表示装置が表示する映像とのずれを表示装置が検出できる。このため、例えば、映像を表示するタイミングのずれを検出できるので、この種のずれに対する対策を施すことで、複数の表示装置が表示する映像の整合を図ることができる。
【００１４】
また、本発明は、上記表示装置において、前記表示部により、前記映像受信部で受信する映像データに基づく画像をフレーム単位で表示し、前記制御部は、前記表示部が表示するフレームと前記他の表示装置が表示するフレームとのずれを検出する、ことを特徴とする。
本発明によれば、表示装置が表示するフレームと他の表示装置が表示するフレームとのずれを検出できる。このため、複数の表示装置が表示する映像の表示タイミングを整合させることができる。
【００１５】
また、本発明は、上記表示装置において、前記映像受信部により、前記映像データに含まれる各々のフレームを識別するフレーム識別情報を受信する、ことを特徴とする。
本発明によれば、表示装置が受信して表示するフレームが識別可能であるため、より正確に、複数の表示装置が表示するフレームのずれを検出できる。
【００１６】
また、本発明は、上記表示装置において、前記制御部は、前記表示部により表示するフレームのフレーム識別情報と前記他の表示装置が表示するフレームのフレーム識別情報とを比較することにより、ずれを検出する、ことを特徴とする。
本発明によれば、送信装置が送信するフレームが識別可能であるため、より正確に、複数の表示装置が表示するフレームのずれを検出できる。
【００１７】
また、本発明は、上記表示装置において、前記装置間通信部により、前記他の表示装置が表示するフレームのフレーム識別情報を受信し、前記制御部は、前記装置間通信部により受信した前記他の表示装置が表示するフレームのフレーム識別情報を、前記表示部が表示するフレームのフレーム識別情報と比較することにより、ずれを検出する、ことを特徴とする。
本発明によれば、表示装置がフレーム識別情報を送受信することにより、複数の表示装置が表示するフレームのずれを確実に検出できる。
【００１８】
また、本発明は、上記表示装置において、前記装置間通信部により、前記表示部が表示するフレームのフレーム識別情報を前記他の表示装置に送信する、ことを特徴とする。
本発明によれば、表示装置がフレーム識別情報を送受信することにより、複数の表示装置が表示するフレームのずれを確実に検出できる。
【００１９】
また、上記目的を達成するために、本発明は、使用者の頭部に装着される頭部装着型表示装置であって、映像データを受信して、受信した映像データに基づいて映像を表示する第１表示装置及び第２表示装置を有し、前記第１表示装置は、前記映像データを受信する第１映像受信部と、前記第１映像受信部で受信する前記映像データに基づき前記使用者の一方の眼に映像を視認させる第１表示部と、前記第２表示装置と通信する第１装置間通信部と、を備え、前記第２表示装置は、前記映像データを受信する第２映像受信部と、前記第２映像受信部で受信する前記映像データに基づき前記使用者の他方の眼に映像を視認させる第２表示部と、前記第１表示装置と通信する第２装置間通信部と、を備え、前記第１表示装置が備える前記第１装置間通信部と前記第２表示装置が備える前記第２装置間通信部とが通信を実行することにより、前記使用者が右眼と左眼とで視認する映像のずれを検出する、ことを特徴とする。
本発明によれば、頭部装着型表示装置に対して映像データを送信し、この映像データに基づき頭部装着型表示装置が使用者に映像を視認させる構成において、使用者が左右それぞれの眼で視認する映像のずれを検出できる。このため、例えば、映像を表示するタイミングのずれを検出できるので、この種のずれに対する対策を施すことで、使用者が視認する映像の整合を図ることができ、映像のずれに伴う使用者の違和感や、いわゆる映像酔いを防止または軽減できる。
【００２０】
また、上記目的を達成するために、本発明は、映像データを送信する送信装置と、前記送信装置が送信する映像データに基づき映像を表示する第１表示装置及び第２表示装置と、を有する表示システムにおける表示制御方法であって、前記送信装置により、連続するフレームで構成される前記映像データを前記第１表示装置および前記第２表示装置に無線送信し、前記第１表示装置により、前記送信装置が送信する前記映像データを受信し、受信する前記映像データに基づき第１表示部により映像を表示し、第１装置間通信部で前記第２表示装置と通信し、前記第２表示装置により、前記送信装置が送信する前記映像データを受信し、受信する前記映像データに基づき第２表示部により映像を表示し、第２装置間通信部で前記第１表示装置と通信し、前記第１装置間通信部と前記第２装置間通信部とが通信を実行して、前記第１表示部が表示する映像と前記第２表示部が表示する映像とのずれを検出する、ことを特徴とする。
本発明によれば、送信装置から複数の表示装置に映像データを送信する場合に、複数の表示装置が表示する映像のずれを検出できる。このため、例えば、映像を表示するタイミングのずれを検出できるので、この種のずれに対する対策を施すことで、複数の表示装置が表示する映像の整合を図ることができる。
【００２１】
また、上記目的を達成するために、本発明は、無線送信される映像データを受信して前記映像データに基づき表示部により映像を表示する表示装置の制御方法であって、他の表示装置と通信を実行して、前記表示部が表示する映像と前記他の表示装置が表示する映像とのずれを検出する、ことを特徴とする。
本発明の制御方法を実行することにより、表示装置が、表示装置が表示する映像と、他の表示装置が表示する映像とのずれを検出できる。このため、例えば、映像を表示するタイミングのずれを検出できるので、この種のずれに対する対策を施すことで、複数の表示装置が表示する映像の整合を図ることができる。
【００２２】
また、上記目的を達成するために、本発明は、無線送信される映像データを受信して前記映像データに基づき表示部により映像を表示する表示装置を制御するコンピューターが実行可能なプログラムであって、他の表示装置と通信を実行して、前記表示部が表示する映像と前記他の表示装置が表示する映像とのずれを検出するためのプログラムである。
本発明のプログラムを実行することにより、表示装置が、表示装置が表示する映像と、他の表示装置が表示する映像とのずれを検出できる。このため、例えば、映像を表示するタイミングのずれを検出できるので、この種のずれに対する対策を施すことで、複数の表示装置が表示する映像の整合を図ることができる。
【００２３】
本発明は、上述した表示システム、表示装置、表示制御方法、表示装置の制御方法、及びプログラム以外の種々の形態で実現することも可能である。例えば、上記のプログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。
【図面の簡単な説明】
【００２４】
【図１】第１実施形態の表示システムの外観構成を示す説明図。
【図２】第１表示装置及び第２表示装置の光学系の構成を示す図。
【図３】第１表示装置及び第２表示装置の表示領域を示す図。
【図４】カメラの撮像範囲と実視野の対応を示す説明図。
【図５】表示システムを構成する各装置のブロック図。
【図６】制御装置の機能ブロック図。
【図７】第１表示装置の機能ブロック図。
【図８】第２表示装置の機能ブロック図。
【図９】第１実施形態の表示システムの動作と表示ずれを模式的に示す説明図。
【図１０】第１実施形態における制御装置の動作を示すフローチャート。
【図１１】第１実施形態における第１表示装置の動作を示すフローチャート。
【図１２】第１実施形態における第２表示装置の動作を示すフローチャート。
【図１３】第１実施形態における表示システムの動作例を示すシーケンス図。
【図１４】第１実施形態における表示システムの動作例を示すシーケンス図。
【図１５】第１実施形態における表示システムの動作例を示すシーケンス図。
【図１６】第１実施形態における表示システムの動作例を示すシーケンス図。
【図１７】第２実施形態の表示システムを構成する各装置のブロック図。
【図１８】第２実施形態の表示システムの動作と表示ずれを模式的に示す説明図。
【図１９】第２実施形態における制御装置の動作を示すフローチャート。
【図２０】第２実施形態における第１表示装置の動作を示すフローチャート。
【図２１】第２実施形態における第２表示装置の動作を示すフローチャート。
【図２２】第２実施形態における表示システムの動作例を示すシーケンス図。
【図２３】第３実施形態の表示システムを構成する各装置のブロック図。
【図２４】第３実施形態の表示システムの動作と表示ずれを模式的に示す説明図。
【図２５】第３実施形態における受信装置の動作を示すフローチャート。
【発明を実施するための形態】
【００２５】
［第１実施形態］
図１は、本発明を適用した第１実施形態に係る表示システム１００の構成を示す説明図である。表示システム１００は、使用者の頭部に装着された状態で使用者に虚像を視認させるＨＭＤ（Head Mounted Display：頭部装着型表示装置）であるＨＭＤ２０と、ＨＭＤ２０と無線通信により接続される制御装置１０（送信装置）とを備える。
【００２６】
制御装置１０は、使用者の操作を受け付ける各種のボタン、スイッチ、及び、トラックパッド１４を備え、使用者が表示システム１００を操作するコントローラーとして機能する。
【００２７】
ＨＭＤ２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。ＨＭＤ２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、第１表示装置３０及び第２表示装置４０が取り付けられる。ＨＭＤ２０は、外観上は眼鏡型の一体の装置に見えるが、異なる装置である第１表示装置３０と第２表示装置４０とを、眼鏡型のフレームに取り付けたものである。使用者の右眼に画像を視認させる第１表示装置３０と、左眼に画像を視認させる第２表示装置４０とは、それぞれ独立する装置である。
【００２８】
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部にＨＭＤ２０を保持する。ここで、前部フレーム２７の両端部のうち、ＨＭＤ２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、ＨＭＤ２０装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、ＨＭＤ２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
【００２９】
第１表示装置３０は、使用者がＨＭＤ２０を装着する装着状態において、使用者からみて右側に位置する。第１表示装置３０は、右保持部２１及び前部フレーム２７に固定されて配置される。第２表示装置４０は、ＨＭＤ２０の装着状態において、使用者からみて左側に位置する。第２表示装置４０は左保持部２３及び前部フレーム２７に固定されて配置される。
【００３０】
前部フレーム２７には、第１表示装置３０が有する光学部材である右導光板２６、及び、第２表示装置４０が有する光学部材である左導光板２８が固定される。右導光板２６は、ＨＭＤ２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、ＨＭＤ２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。
【００３１】
本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成されるプリズムなどの光学部品であり、後述するように、画像光を使用者の眼に導いて画像を視認させる。また、右導光板２６及び左導光板２８の表面に、波長フィルターとして機能する調光板（図示略）を設けてもよい。この場合、調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。
【００３２】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者がＨＭＤ２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、ＨＭＤ２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とによりＨＭＤ２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、ＨＭＤ２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによってＨＭＤ２０を使用者の頭部に保持できる。
【００３３】
カメラ６１（撮像部）は、ＨＭＤ２０の前部フレーム２７に配設される。図１の例で、カメラ６１は、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らないように、前部フレーム２７の端部ＥＲ側に配置される。カメラ６１は、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。
【００３４】
カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ２０の表側方向、換言すれば、ＨＭＤ２０を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ６１の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように、カメラ６１の撮像範囲が設定される。
【００３５】
本実施形態で、カメラ６１は、第１表示装置３０の一部を構成する。カメラ６１は、第１表示装置３０の制御部３１０（図７）の制御に従って撮像を実行し、撮像画像データを出力する。
【００３６】
図２は、ＨＭＤ２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
ＨＭＤ２０は、第１表示装置３０と、第２表示装置４０とがそれぞれ、使用者の右眼ＲＥと左眼ＬＥに画像を視認させる。
第１表示装置３０は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１を備える。また、第１表示装置３０は、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１を備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。
【００３７】
ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図６）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２３８が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。
【００３８】
右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
【００３９】
また、第２表示装置４０は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。
【００４０】
ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０（図６）の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。
【００４１】
左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
【００４２】
ＨＭＤ２０は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ２０は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１は、第１表示装置３０が出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。また、ハーフミラー２８１は、第２表示装置４０が出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
【００４３】
なお、右光学系２５１及び右導光板２６をまとめて「右導光部」と呼び、左光学系２５２及び左導光板２８を総称して「左導光部」と呼ぶこともできる。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
【００４４】
図１に戻り、制御装置１０とＨＭＤ２０とは、無線通信回線により接続され、画像データを含む各種のデータを送受信できる。
【００４５】
制御装置１０は、使用者により操作される被操作部として、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。
ボタン１１は、制御装置１０が実行するオペレーティングシステム１４３（図６）の操作等を行うためのメニューキー、ホームキー、戻るキー等を含み、特に、これらのキーやスイッチのうち押圧操作により変位するものを含む。ＬＥＤインジケーター１２は、制御装置１０の動作状態に対応して点灯し、或いは点滅する。上下キー１５は、イヤホン（図示略）から出力する音量の増減の指示入力や、ＨＭＤ２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、制御装置１０の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチで構成される。
【００４６】
トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。
また、制御装置１０は、図示はしないが、タッチ操作を検出するタッチ操作部を備える。タッチ操作部は操作により変位するスイッチ等を持たず、例えば操作位置と操作内容を示すアイコン等が画面による表示や印刷で配置される。このタッチ操作部への接触（タッチ操作）は、後述するタッチセンサー１３（図５）により検出される。
【００４７】
図３及び図４は、ＨＭＤ２０の要部構成を示す図である。図３はＨＭＤ２０を使用者の頭部側から見た要部斜視図である。また、図４はカメラ６１の画角の説明図である。
【００４８】
図３は、ＨＭＤ２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び、左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。
このように、第１表示装置３０は、ハーフミラー２６１が構成する矩形の表示領域によって画像を使用者に視認させる。第２表示装置４０は、ハーフミラー２８１が構成する矩形の表示領域により画像を視認させる。ハーフミラー２６１は第１表示装置３０の画像表示領域に相当し、ハーフミラー２８１は第２表示装置４０の画像表示領域に相当する。
【００４９】
図４は、カメラ６１の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。カメラ６１の画角（撮像範囲）をＣで示す。なお、図４には水平方向の画角Ｃを示すが、カメラ６１の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。
【００５０】
カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ２０を装着した状態で視認できる外景は、無限遠とは限らない。例えば図４に示すように、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、制御装置１０について、通常使用時における使用者から対象物ＯＢまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物ＯＢまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物ＯＢが画角に含まれるように、設定されることが好ましい。
【００５１】
また、一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図４の対象物ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者がＨＭＤ２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶことができる。図１及び図２に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
【００５２】
カメラ６１の画角Ｃは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Ｃが、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Ｃが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Ｃが、使用者の安定注視野よりも広く、最も好ましくは、画角Ｃが使用者の両眼の視野角よりも広い。
【００５３】
カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。
【００５４】
図５は、表示システム１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行して制御装置１０を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１４０には、入力装置としてトラックパッド１４及び操作部１１０が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ１１５が接続される。また、メインプロセッサー１４０には、通信部１１７、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、及び、無線通信部１９０が接続される。これらは外部とのインターフェイスとして機能する。
【００５５】
メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部コネクター１８４、外部メモリーインターフェイス１８６、及び、ＵＳＢコネクター１８８をコントローラー基板１２０に実装した構成であってもよい。
【００５６】
メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（Embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。
【００５７】
メインプロセッサー１４０は、トラックパッド１４から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１、タッチセンサー１３、およびＬＥＤ表示部１７を含む。タッチセンサー１３は、制御装置１０が有するタッチ操作部へのタッチ操作を検出する。ボタン１１の操作が行われた場合、及び、タッチセンサー１３がタッチ操作を検出した場合、操作部１１０からメインプロセッサー１４０に対し、操作信号が出力される。
ＬＥＤ表示部１７は、ＬＥＤインジケーター１２（図１）が備えるＬＥＤ、及び、このＬＥＤを点灯させる駆動回路を含む。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。また、ＬＥＤ表示部１７は、ＬＥＤが発光する輝度を制御してもよい。また、ＬＥＤ表示部１７は、赤、青、緑の３色のＬＥＤを備える構成であってもよく、この場合、各色のＬＥＤの輝度を調整することによって任意の色でＬＥＤインジケーター１２を発光させてもよい。
【００５８】
６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。磁気センサー１１３の地磁気の検出結果を利用すれば、地面を基準とする制御装置１０の３次元的な向きを特定できる。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
【００５９】
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。
【００６０】
通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信を行う。例えば、制御装置１０は、通信部１１７によってコンテンツサーバー（図示略）と通信を実行し、コンテンツサーバーから、映像や音声を含むコンテンツデータを取得する。また、通信部１１７は、通信ケーブルに接続され、有線通信回線を介して通信を実行する構成であってもよい。
【００６１】
音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。表示システム１００は、図示はしないが、使用者に対し音声を出力するヘッドホンやスピーカーを備える構成とすることができる。この場合、ヘッドホンやスピーカーが音声インターフェイス１８２に接続され、音声コーデック１８０は、音声インターフェイス１８２を介してヘッドホンやスピーカーに対し音声信号を出力する。また、音声インターフェイス１８２にマイク（図示略）を接続する構成としてもよい。この場合、音声インターフェイス１８２にはマイクから音声信号が入力される。音声コーデック１８０は、音声インターフェイス１８２を介して入力される音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。
【００６２】
外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続するインターフェイスである。外部コネクター１８４は、例えば、メインプロセッサー１４０が実行するプログラムのデバッグや、制御装置１０、第１表示装置３０、第２表示装置４０等の動作のログの収集を行う場合に利用される。
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Universal Serial Bus）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。
【００６３】
また、制御装置１０は、バイブレーター１９を備える。バイブレーター１９は、モーター（図示略）、偏心した回転子（図示略）等を備え、メインプロセッサー１４０の制御に従って振動を発生する。制御装置１０は、例えば、操作部１１０に対する操作を検出した場合、制御装置１０の電源がオン／オフされる場合等に、所定の振動パターンでバイブレーター１９により振動を発生する。
【００６４】
無線通信部１９０は、第１表示装置３０及び第２表示装置４０のそれぞれとの間で無線通信を実行する。無線通信部１９０は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。無線通信部１９０が実行する通信方式は、例えば、Bluetooth、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）、或いはその他の近距離無線通信方式とすることができる。無線通信部１９０は、メインプロセッサー１４０の制御に従って、コンテンツデータを構成する映像データを、第１表示装置３０と第２表示装置４０のそれぞれに送信する。
【００６５】
無線通信部１９０は、第１表示装置３０と通信する第１の通信モジュール、及び、第２表示装置４０と通信する第２の通信モジュールを備える構成としてもよい。この場合、第１及び第２の通信モジュールのそれぞれが、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備え、或いはこれらが統合されたデバイスを備える。
【００６６】
ＨＭＤ２０は、ＨＭＤ２０の状態を検出するための各種センサー、及び上述したカメラ６１を備える。詳細には、カメラ６１、照度センサー６５、６軸センサー２３５、磁気センサー２３７を備える。また、ＨＭＤ２０はＨＭＤ２０の動作状態を示すＬＥＤインジケーター６７を備える。これらの各部はＨＭＤ２０に設けられていればよいので、第１表示装置３０が備える構成としてもよいし、第２表示装置４０が備える構成としてもよい。本実施形態では、第１表示装置３０がカメラ６１、照度センサー６５及びＬＥＤインジケーター６７を備え、第２表示装置４０が６軸センサー２３５、磁気センサー２３７及び温度センサー２３９を備える構成とする。これは一例であり、各センサー及び温度センサー６８を第１表示装置３０が備えるか第２表示装置４０が備えるか、或いは第１表示装置３０と第２表示装置４０の両方が備えるかを、適宜に変更可能である。
【００６７】
第１表示装置３０は、プログラムを実行して第１表示装置３０を制御するプロセッサー３１を備える。プロセッサー３１には、不揮発性記憶部３２が接続される。また、プロセッサー３１には無線通信部３３及び装置間通信部３４が接続される。また、プロセッサー３１には、ＯＬＥＤユニット２２１が接続され、プロセッサー３１はＯＬＥＤユニット２２１による画像の表示を制御する。また、プロセッサー３１にはカメラ６１、照度センサー６５、ＬＥＤインジケーター６７、及び温度センサー２３８が接続される。
【００６８】
不揮発性記憶部３２は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリー等の半導体記憶素子で構成される。不揮発性記憶部３２は、プロセッサー３１が実行するプログラムや、これらのプログラムの実行中に参照されるデータ等を不揮発的に記憶する。また、不揮発性記憶部３２は、各種のデータをプロセッサー３１が読み取り可能に記憶する。不揮発性記憶部３２は、例えば、ＯＬＥＤユニット２２１の発光特性や表示特性に関するデータ、第１表示装置３０が備える各種センサーの特性に関するデータなどを記憶する。
【００６９】
無線通信部３３は、制御装置１０との間で無線通信を実行する。無線通信部３３は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。無線通信部３３は、無線通信部１９０と通信可能に構成される。無線通信部３３が実行する通信方式は、無線通信部１９０が実行する通信方式の少なくとも一部と共通であり、例えば、Bluetooth、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）、或いはその他の近距離無線通信方式とすることができる。無線通信部３３は、プロセッサー３１の制御に従って、無線通信部１９０が送信する映像データ、及び／または、制御データを受信する。
【００７０】
装置間通信部３４は、第２表示装置４０が備える装置間通信部４４との間で無線通信を実行し、制御データを含む各種データを送受信する。装置間通信部３４が実行する通信方式は、例えば、ＮＦＣ（Near Field Communication）、Bluetooth、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）、或いはその他の近距離無線通信方式とすることができる。
【００７１】
カメラ６１は、プロセッサー３１の制御に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をプロセッサー３１に出力する。
照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、ＨＭＤ２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。プロセッサー３１は、照度センサー６５の検出値を取得可能である。
ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、プロセッサー３１の制御に従って点灯し、例えば、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。
【００７２】
温度センサー２３８は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３８は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２３８は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２３８は、主としてＯＬＥＤパネル２２３の温度を検出する。プロセッサー３１は、温度センサー２３８の検出値を取得可能である。
【００７３】
プロセッサー３１は、カメラ６１、照度センサー６５、及び温度センサー２３８の各センサーに対し、各センサーのサンプリング周期の設定及び初期化を行う。プロセッサー３１は、カメラ６１が生成する撮像画像データ、及び、照度センサー６５、温度センサー２３８の検出値を、各センサーのサンプリング周期に合わせて取得する。また、プロセッサー３１は、予め設定されたタイミングで、各センサーの検出値や撮像画像データを制御装置１０に送信（出力）する。プロセッサー３１が、各センサーの検出値や撮像画像データを、制御装置１０に送信するタイミングに合わせて一時的に保持する機能を備えてもよい。これら撮像画像データや検出値は、例えば、プロセッサー３１が内蔵するメモリー（図示略）に一時記憶してもよい。また、プロセッサー３１は、各センサーの検出値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、制御装置１０に送信する機能を備えてもよい。また、プロセッサー３１は、ＬＥＤインジケーター６７への通電を開始及び停止させる機能を有する。プロセッサー３１は、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。
【００７４】
第２表示装置４０は、プログラムを実行して第２表示装置４０を制御するプロセッサー４１を備える。プロセッサー４１には、不揮発性記憶部４２が接続される。また、プロセッサー４１には無線通信部４３及び装置間通信部４４が接続される。また、プロセッサー４１には、ＯＬＥＤユニット２４１が接続され、プロセッサー４１はＯＬＥＤユニット２４１による画像の表示を制御する。また、プロセッサー４１には６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９が接続される。
【００７５】
不揮発性記憶部４２は、ＥＥＰＲＯＭやフラッシュメモリー等の半導体記憶素子で構成される。不揮発性記憶部４２は、プロセッサー４１が実行するプログラムや、これらのプログラムの実行中に参照されるデータ等を不揮発的に記憶する。また、不揮発性記憶部４２は、各種のデータをプロセッサー４１が読み取り可能に記憶する。不揮発性記憶部４２は、例えば、ＯＬＥＤユニット２４１の発光特性や表示特性に関するデータ、第２表示装置４０が備える各種センサーの特性に関するデータなどを記憶する。
【００７６】
無線通信部４３は、制御装置１０との間で無線通信を実行する。無線通信部４３は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。無線通信部４３は、無線通信部１９０と通信可能に構成される。無線通信部４３が実行する通信方式は、無線通信部１９０が実行する通信方式の少なくとも一部と共通であり、例えば、Bluetooth、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）、或いはその他の近距離無線通信方式とすることができる。無線通信部４３は、プロセッサー４１の制御に従って、無線通信部１９０が送信する映像データ、及び／または、制御データを受信する。
【００７７】
装置間通信部４４は、第１表示装置３０が備える装置間通信部３４との間で無線通信を実行し、制御データを含む各種データを送受信する。装置間通信部４４が実行する通信方式は、装置間通信部３４が実行する通信方式の少なくとも一部と共通であり、例えば、ＮＦＣ、Bluetooth、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）、或いはその他の近距離無線通信方式とすることができる。
【００７８】
６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。磁気センサー２３７の地磁気の検出結果を利用すれば、地面を基準とするＨＭＤ２０の３次元的な向きを特定できる。
プロセッサー４１は、６軸センサー２３５、及び、磁気センサー２３７の検出値を取得可能である。
【００７９】
温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図２）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。プロセッサー４１は、温度センサー２３９の検出値を取得可能である。
【００８０】
また、温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。
【００８１】
プロセッサー４１は、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９の各センサーに対し、各センサーのサンプリング周期の設定及び初期化を行う。プロセッサー４１は、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９の検出値を、各センサーのサンプリング周期に合わせて取得する。また、プロセッサー４１は、予め設定されたタイミングで、各センサーの検出値や撮像画像データを制御装置１０に送信（出力）する。プロセッサー４１が、各センサーの検出値や撮像画像データを、制御装置１０に送信するタイミングに合わせて一時的に保持する機能を備えてもよい。これら撮像画像データや検出値は、例えば、プロセッサー４１が内蔵するメモリー（図示略）に一時記憶してもよい。また、プロセッサー４１は、各センサーの検出値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、制御装置１０に送信する機能を備えてもよい。
【００８２】
また、制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０から制御装置１０の各部への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。
【００８３】
また、第１表示装置３０及び第２表示装置４０のそれぞれは、図示しないバッテリーを備える。第１表示装置３０及び第２表示装置４０は、それぞれ、バッテリーから各部へ電源を供給する。また、ＨＭＤ２０に１つのバッテリーを設け、この１つのバッテリーから第１表示装置３０および第２表示装置４０に電源を供給してもよい。
【００８４】
図６は、制御装置１０の制御系を構成する記憶部１２２、及び制御部１５０の機能ブロック図である。図６に示す記憶部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。また、制御部１５０、及び、制御部１５０が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１１８、及び不揮発性記憶部１２１により構成される。
【００８５】
制御部１５０は、記憶部１２２が記憶するデータを利用して各種処理を実行し、制御装置１０を制御する。
記憶部１２２は、制御部１５０が処理する各種のデータを記憶する。記憶部１２２は、設定データ１２３、コンテンツデータ１２５、検出データ１２７、及び表示制御データ１２９を記憶する。設定データ１２３は、制御装置１０の動作に係る各種の設定値を含む。また、制御部１５０が制御装置１０を制御する際にパラメーター、行列式、演算式、ＬＵＴ（LookUp Table）等を用いる場合、これらを設定データ１２３に含めてもよい。
【００８６】
また、設定データ１２３は、制御装置１０が第１表示装置３０及び第２表示装置４０との間で実行する通信に係る各種設定のデータを含む。この種のデータとしては、例えば、通信方式を指定するデータ、制御装置１０、第１表示装置３０及び第２表示装置４０を識別する識別データ、パスワード等の認証データ等が挙げられる。
【００８７】
コンテンツデータ１２５は、制御部１５０の制御によって第１表示装置３０及び第２表示装置４０が表示する画像や映像を含むコンテンツのデータであり、映像データ（動画像であっても静止画像であってもよい）を含む。また、コンテンツデータ１２５は、音声データを含んでもよい。また、コンテンツデータ１２５は複数の画像の画像データを含んでもよい。これら複数の画像は、第１表示装置３０及び第２表示装置４０が同時に複数の画像を表示する態様に限定されず、例えば、第１表示装置３０及び第２表示装置４０が複数の画像を順に表示する態様であってもよい。
【００８８】
コンテンツデータ１２５は、コンテンツをＨＭＤ２０により表示する際に、制御装置１０によって使用者の操作を受け付けて、受け付けた操作に応じた処理を制御部１５０が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ１２５は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。
【００８９】
また、制御部１５０は、記憶部１２２に記憶されるコンテンツデータ１２５がＡＲ（Augmented Reality）コンテンツのデータである場合に、このコンテンツデータ１２５に基づきＡＲ表示を行う構成であってもよい。ＡＲ表示では、右導光板２６及び左導光板２８を透過して使用者が視認する実空間の対象物に合わせて、いわゆるＡＲ効果を奏する画像（以下、ＡＲ画像と呼ぶ）を表示する。ＡＲ表示を行うと、使用者には、実空間に存在する対象物を見ている状態で、対象物に重なる位置または対象物に対応する位置にＡＲ画像が見える。このため、使用者にとっては、実空間の対象物に、文字や画像を含む仮想的な表示オブジェクトが付加されて視認できるため、あたかも現実を拡張するような効果がある。
【００９０】
検出データ１２７は、第１表示装置３０及び第２表示装置４０が備える各センサーの検出値（カメラ６１の撮像画像データを含む）である。制御部１５０は、第１表示装置３０または第２表示装置４０から、センサーの検出値を含むデータを受信した場合に、センサーの検出値を検出データ１２７として記憶する。
表示制御データ１２９は、第１表示装置３０及び第２表示装置４０に映像データを送信する処理、及び、第１表示装置３０及び第２表示装置４０の表示を制御する処理に関する各種設定データを含む。例えば、表示制御データ１２９は、無線通信部１９０により第１表示装置３０及び第２表示装置４０に映像データを送信した送信結果のログを含む。また、例えば、表示制御データ１２９は、第１表示装置３０及び第２表示装置４０において後述する表示ずれが発生した場合に、制御部１５０が実行する処理を示すデータ等を含む。
【００９１】
制御部１５０は、オペレーティングシステム（ＯＳ）１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、検出制御部１５１、及び、通信制御部１５３の機能を有する。オペレーティングシステム１４３の機能は、記憶部１２２が記憶する制御プログラムの機能であり、その他の各部は、オペレーティングシステム１４３上で実行されるアプリケーションプログラムの機能である。
【００９２】
画像処理部１４５は、コンテンツデータ１２５に基づいて、第１表示装置３０及び第２表示装置４０で処理可能なデータフォーマットを有する映像データを生成する。画像処理部１４５が生成する映像データは、ＯＬＥＤユニット２２１、２４１の表示解像度や、右導光板２６及び左導光板２８と使用者の頭部との相対位置等に対応して加工されたデータである。画像処理部１４５は、必要に応じて、画像データの解像度を第１表示装置３０及び第２表示装置４０に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１４５は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。
画像処理部１４５は、メインプロセッサー１４０がプログラムを実行して実現される構成に限らず、例えば、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。
【００９３】
表示制御部１４７は、画像処理部１４５が処理した画像データに基づき第１表示装置３０及び第２表示装置４０における表示の開始、終了を指示する制御データを生成する。また、表示制御部１４７は、ＯＬＥＤユニット２２１、２４１の表示輝度を指定する制御データを生成する。表示制御部１４７が生成する制御データは、通信制御部１５３の制御によって、無線通信部１９０から送信される。また、表示制御部１４７は、第１表示装置３０及び第２表示装置４０において表示ずれが発生した場合に、表示ずれを解消する動作を制御する。
【００９４】
撮像制御部１４９は、カメラ６１による撮像実行を指示する制御データを生成する。この制御データは、通信制御部１５３の制御によって、無線通信部１９０から第１表示装置３０に送信される。撮像制御部１４９は、第１表示装置３０が送信するカメラ６１の撮像画像データを無線通信部１９０が受信した場合、受信した撮像画像データを記憶部１２２に記憶する。
【００９５】
検出制御部１５１は、第１表示装置３０及び第２表示装置４０が備える各センサーの検出値の取得を指示する制御データを生成する。検出制御部１５１は、カメラ６１を対象とする制御データを生成してもよいし、カメラ６１以外のセンサーを対象とする制御データを生成してもよい。この制御データは、通信制御部１５３の制御によって、無線通信部１９０から第１表示装置３０、第２表示装置４０に送信される。撮像制御部１４９は、第１表示装置３０及び第２表示装置４０が送信する検出値を含むデータを無線通信部１９０が受信した場合、受信したデータを記憶部１２２に記憶する。
【００９６】
通信制御部１５３は、無線通信部１９０を制御して第１表示装置３０及び第２表示装置４０との間で通信を実行する。通信制御部１５３は、設定データ１２３に含まれる通信に関するデータに従って、無線通信部３３、４３のそれぞれとの間で無線通信回線を確立する。通信制御部１５３は、制御部１５０が生成する映像データ、制御データを第１表示装置３０と第２表示装置４０のいずれかまたは両方に送信する。また、通信制御部１５３は、第１表示装置３０が送信する制御データを受信する処理、及び、第２表示装置４０が送信する制御データを受信する処理を実行する。
【００９７】
図７は、第１表示装置３０の制御系を構成する制御部３１０、記憶部３３０及び受信バッファー３４０の機能ブロック図である。図７に示す記憶部３３０は、不揮発性記憶部３２（図５）により構成される論理的な記憶部である。受信バッファー３４０は、不揮発性記憶部３２、及び／またはプロセッサー３１が内蔵するメモリーで構成される論理的な記憶部である。制御部３１０、及び、制御部３１０が有する各種の機能部は、プロセッサー３１がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。
【００９８】
制御部３１０は、記憶部３３０が記憶するデータを利用して各種処理を実行し、第１表示装置３０を制御する。
記憶部３３０は、制御部３１０が処理する各種のデータを記憶する。記憶部３３０は、設定データ３３１、検出データ３３３、表示制御データ３３５、ずれ補正設定データ３３７、及び補正指示データ３３９を記憶する。設定データ３３１は、第１表示装置３０の動作に係る各種の設定値を含む。また、制御部３１０が第１表示装置３０を制御する際にパラメーター、行列式、演算式、ＬＵＴ等を用いる場合、これらを設定データ３３１に含めてもよい。
【００９９】
設定データ３３１は、第１表示装置３０が制御装置１０との間で実行する通信に係る各種設定のデータを含む。また、設定データ３３１は、装置間通信部３４（図５）により第２表示装置４０と通信を実行する場合に使用する各種データを含む。この種のデータとしては、例えば、通信方式を指定するデータ、制御装置１０、第１表示装置３０及び第２表示装置４０を識別する識別データ、パスワード等の認証データ等が挙げられる。
【０１００】
検出データ３３３は、第１表示装置３０が備える各センサーの検出値（カメラ６１の撮像画像データを含む）である。制御部３１０は、カメラ６１の撮像画像データ、照度センサー６５及び温度センサー２３８の検出値を取得した場合、記憶部３３０に検出データ３３３として記憶する。
表示制御データ３３５は、制御装置１０から受信する映像データを表示する処理に関する各種設定データを含む。例えば、表示制御データ３３５は、映像データを表示する場合のＯＬＥＤユニット２２１の制御に係るデータを含む。
【０１０１】
ずれ補正設定データ３３７は、第１表示装置３０及び第２表示装置４０の間において後述する表示ずれが発生した場合に、制御部３１０が実行する処理を示すデータ等を含む。
補正指示データ３３９は、第１表示装置３０と第２表示装置４０との間に表示ずれが発生した場合に、第２表示装置４０に対して送信する指示のデータである。
【０１０２】
受信バッファー３４０は、第１表示装置３０が制御装置１０から受信した映像データ等を記憶する一時記憶領域である。受信バッファー３４０は、フレームデータ３４１と、フレーム識別情報３４３とを記憶する。フレームデータ３４１は、制御装置１０から受信した映像データを構成するフレームのデータである。フレーム識別情報３４３は、制御装置１０から受信した映像データを構成するそれぞれのフレームを識別する情報であり、制御装置１０から映像データの各フレームに対応付けて送信される。受信バッファー３４０は、フレームデータ３４１と、フレーム識別情報３４３とを対応付けて格納する。
【０１０３】
制御部３１０は、オペレーティングシステム（ＯＳ）３１１、画像処理部３１３、表示制御部３１５、検出制御部３１７、撮像制御部３１９、通信制御部３２１、及び、ずれ判定部３２３の機能を有する。オペレーティングシステム３１１の機能は、記憶部３３０が記憶する制御プログラムの機能であり、その他の各部は、オペレーティングシステム３１１上で実行されるアプリケーションプログラムの機能である。
【０１０４】
画像処理部３１３は、受信バッファー３４０が記憶するフレームデータ３４１をＯＬＥＤユニット２２１により表示するための処理を実行し、ＯＬＥＤユニット２２１による表示に適した映像データを生成する。
【０１０５】
表示制御部３１５は、画像処理部３１３が生成した画像データに基づきＯＬＥＤユニット２２１を制御して、右導光板２６に映像を表示させる。また、表示制御部３１５は、制御装置１０から送信される制御データに従って、ＯＬＥＤユニット２２１における輝度等を制御する。
【０１０６】
また、表示制御部３１５は、画像処理部３１３が受信バッファー３４０から取得したフレームデータ３４１に対応するフレーム識別情報３４３を、受信バッファー３４０から取得する。
【０１０７】
検出制御部３１７は、制御装置１０から送信される制御データに従って、照度センサー６５、及び温度センサー２３８の検出値を取得して、検出データ３３３として記憶する。
【０１０８】
撮像制御部３１９は、制御装置１０から送信される制御データに従って、カメラ６１に撮像を実行させ、カメラ６１が出力する撮像画像データを記憶部３３０に検出データ３３３として記憶する。
【０１０９】
通信制御部３２１は、無線通信部３３を制御して制御装置１０との間で通信を実行する。通信制御部３２１は、制御装置１０の無線通信部１９０が送信する制御データを受信する。また、通信制御部３２１は、制御装置１０が送信する映像データを受信し、受信バッファー３４０に記憶する。受信バッファー３４０が記憶するフレームデータ３４１は、通信制御部３２１が受信した映像データを構成するフレームのデータであり、受信バッファー３４０は１または複数のフレームのデータを格納できる。通信制御部３２１は、受信した映像データをフレーム単位で受信バッファー３４０に格納する。
【０１１０】
また、通信制御部３２１は、記憶部３３０が記憶する検出データ３３３を、無線通信部３３により制御装置１０に送信する。これにより、制御装置１０は、第１表示装置３０が備えるセンサーの検出値を取得できる。通信制御部３２１が検出データ３３３を送信するタイミング、送信するセンサーの検出値の種類等は、制御装置１０が第１表示装置３０に送信する制御データにより指定される。
また、通信制御部３２１は、装置間通信部３４により第２表示装置４０との間で、無線通信を実行し、各種制御データを送受信する。
【０１１１】
ずれ判定部３２３は、第２表示装置４０から送信される制御データに基づき、第２表示装置４０が表示するフレームを特定する。ずれ判定部３２３は、表示制御部３１５が表示するフレームを特定し、第２表示装置４０が表示するフレームとの間で表示ずれがあるか否かを判定する。ずれ判定部３２３は、表示ずれが発生したと判定した場合、表示ずれを補正するための処理を実行する。
【０１１２】
図８は、第２表示装置４０の制御系を構成する制御部４１０、記憶部４３０及び受信バッファー４４０の機能ブロック図である。図８に示す記憶部４３０は、不揮発性記憶部４２（図５）により構成される論理的な記憶部である。受信バッファー４４０は、不揮発性記憶部４２、及び／またはプロセッサー４１が内蔵するメモリーで構成される論理的な記憶部である。制御部４１０、及び、制御部４１０が有する各種の機能部は、プロセッサー４１がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部４１０、及び制御部４１０を構成する各機能部は、例えば、プロセッサー４１及び不揮発性記憶部４２により構成される。
【０１１３】
制御部４１０は、記憶部４３０が記憶するデータを利用して各種処理を実行し、第２表示装置４０を制御する。
記憶部４３０は、制御部４１０が処理する各種のデータを記憶する。記憶部４３０は、設定データ４３１、検出データ４３３、及び、表示制御データ４３５を記憶する。設定データ４３１は、第２表示装置４０の動作に係る各種の設定値を含む。また、制御部４１０が第２表示装置４０を制御する際にパラメーター、行列式、演算式、ＬＵＴ等を用いる場合、これらを設定データ４３１に含めてもよい。
【０１１４】
設定データ４３１は、制御装置１０との間で実行する通信に係る各種設定のデータを含む。設定データ４３１は、装置間通信部４４（図５）により第１表示装置３０と通信を実行する場合に使用する各種データを含む。この種のデータとしては、例えば、通信方式を指定するデータ、制御装置１０、第２表示装置４０及び第２表示装置４０を識別する識別データ、パスワード等の認証データ等が挙げられる。
【０１１５】
検出データ４３３は、第２表示装置４０が備える各センサーの検出値である。制御部４１０は、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９の検出値を取得した場合、記憶部４３０に検出データ４３３として記憶する。
表示制御データ４３５は、制御装置１０から受信する映像データを表示する処理に関する各種設定データを含む。例えば、表示制御データ４３５は、映像データを表示する場合のＯＬＥＤユニット２４１の制御に係るデータを含む。また、表示制御データ４３５は、後述するように表示制御部４１５により表示されるフレームのフレーム識別情報４４３を含む。
【０１１６】
受信バッファー４４０は、第２表示装置４０が制御装置１０から受信した映像データを記憶する一時記憶領域である。受信バッファー４４０は、フレームデータ４４１と、フレーム識別情報４４３とを記憶する。フレームデータ４４１は、制御装置１０から受信した映像データを構成するフレームのデータである。フレーム識別情報４４３は、制御装置１０から受信した映像データを構成するそれぞれのフレームを識別する情報であり、制御装置１０から映像データの各フレームに対応付けて送信される。受信バッファー４４０は、フレームデータ４４１と、フレーム識別情報４４３とを対応付けて格納する。
【０１１７】
制御部４１０は、オペレーティングシステム（ＯＳ）４１１、画像処理部４１３、表示制御部４１５、検出制御部４１７、及び、通信制御部４２１の機能を有する。オペレーティングシステム４１１の機能は、記憶部４３０が記憶する制御プログラムの機能であり、その他の各部は、オペレーティングシステム４１１上で実行されるアプリケーションプログラムの機能である。
【０１１８】
画像処理部４１３は、受信バッファー４４０が記憶するフレームデータ４４１をＯＬＥＤユニット２４１により表示するための処理を実行し、ＯＬＥＤユニット２４１による表示に適した映像データを生成する。
【０１１９】
表示制御部４１５は、画像処理部４１３が生成した画像データに基づきＯＬＥＤユニット２４１を制御して、左導光板２８に映像を表示させる。また、表示制御部４１５は、制御装置１０から送信される制御データに従って、ＯＬＥＤユニット２４１における輝度等を制御する。
【０１２０】
また、表示制御部４１５は、画像処理部４１３が受信バッファー４４０から取得したフレームデータ４４１に対応するフレーム識別情報４４３を、受信バッファー４４０から取得する。表示制御部４１５は、取得したフレーム識別情報４４３を、表示制御データ４３５として記憶部４３０に記憶する。このフレーム識別情報４４３は、表示制御部４１５の制御によりＯＬＥＤユニット２４１が表示するフレームに対応する。
【０１２１】
検出制御部４１７は、制御装置１０から送信される制御データに従って、照度センサー６５、及び温度センサー２３８の検出値を取得して、検出データ４３３として記憶する。
【０１２２】
通信制御部４２１は、無線通信部４３を制御して制御装置１０との間で通信を実行する。通信制御部４２１は、制御装置１０の無線通信部１９０が送信する制御データを受信する。また、通信制御部４２１は、制御装置１０が送信する映像データを受信し、受信バッファー４４０に記憶する。また、通信制御部４２１は、記憶部４３０が記憶する検出データ４３３を、無線通信部４３により制御装置１０に送信する。
また、通信制御部４２１は、装置間通信部４４により装置間通信部３４との間で無線通信を実行し、第１表示装置３０に対する制御データの送信等を行う。例えば、通信制御部４２１は、表示制御データ４３５に含まれるフレーム識別情報４４３を、第１表示装置３０に送信する。
【０１２３】
図９は、表示システム１００の動作と表示ずれを模式的に示す説明図である。図９において、符号Ｖ３は第１表示装置３０が画像を表示する表示領域を指し、例えば、ハーフミラー２６１（図３）により画像が表示される領域に相当する。符号Ｖ４は第２表示装置４０が画像を表示する表示領域を指し、例えば、ハーフミラー２８１（図３）により画像が表示される領域に相当する。
【０１２４】
図９に示すように，制御装置１０は、第１表示装置３０と第２表示装置４０のそれぞれに対し、映像データを送信する。制御装置１０が送信する映像データは、複数のフレームで構成される。例えば、制御装置１０が、３０ＦＰＳ（Frames Per Second）の映像データを送信する場合、１秒あたり３０フレームの映像データが送信される。制御装置１０は、第１表示装置３０及び第２表示装置４０のそれぞれに対してフレーム単位で映像データを送信する。図９には、制御装置１０が１フレームずつ送信を行う例を示すが、複数のフレームをまとめて制御装置１０が送信することも勿論可能である。
【０１２５】
第１表示装置３０及び第２表示装置４０のそれぞれは、制御装置１０が送信する映像データをフレーム単位で受信する。第１表示装置３０は、制御装置１０から受信する映像データをフレーム単位で受信バッファー３４０（図７）にフレームデータ３４１として記憶する。また、第２表示装置４０は、制御装置１０から受信する映像データを、受信バッファー４４０（図８）にフレームデータ４４１として記憶する。
【０１２６】
制御装置１０は、第１表示装置３０及び第２表示装置４０のそれぞれに対し、映像データのフレームと、フレームを識別するフレーム識別情報とを対応付けて送信する。図９の例では、制御装置１０は、フレーム１、フレーム２、フレーム３、…を順次送信する。フレーム１のフレーム識別情報は「０１」であり、フレーム２のフレーム識別情報は「０２」である。フレーム識別情報は、それぞれのフレームを特定可能な情報であり、制御装置１０が記憶するコンテンツデータ１２５に予め付与されていてもよいし、制御装置１０が付与してもよい。また、図９のフレーム識別情報は連続する番号であるが、この例に限定されず、それぞれのフレームを識別できる態様のデータであればよい。フレーム識別情報は、それぞれのフレームを、少なくとも前後１０フレーム以内の他のフレームと区別できればよい。好ましくは２０フレーム、或いは１秒間に表示される複数のフレームの中で、他のフレームと区別できる情報であればよい。従って、フレーム識別情報は、全てのフレームに固有の情報であってもよいが、予め設定された数のフレーム識別情報が、循環して付与されてもよい。例えば、３０ＦＰＳで制御装置１０がフレームを送信する場合、互いに異なる３０個のフレーム識別情報を循環して各フレームに付与する構成であってもよい。
制御装置１０１は、フレーム識別情報を、映像データの各フレームのデータが有する垂直同期信号（Ｖｓｙｎｃ）に付加して送信してもよい。また、垂直同期信号を符号化して、垂直同期信号にフレーム識別情報を含ませてもよい。この場合、垂直同期信号を、フレーム識別情報を伝送する信号と兼ねて利用できる。
【０１２７】
第１表示装置３０の制御部３１０は、制御装置１０が送信する映像データを受信してフレーム単位でフレームデータ３４１として受信バッファー３４０に格納し、受信したフレームのフレーム識別情報をフレーム識別情報３４３として格納する。受信バッファー３４０に格納されるフレームデータ３４１とフレーム識別情報３４３とは、制御装置１０が映像データを送信したときの対応付けを維持して、対応付けられる。
制御部３１０は、受信バッファー３４０に格納したフレームデータ３４１を、受信した順に、フレーム単位で読み出してＯＬＥＤユニット２２１により表示する。この際、制御部３１０は、ＯＬＥＤユニット２２１により表示するフレームのフレーム識別情報３４３を受信バッファー３４０から取得する。このため、制御部３１０は、表示中のフレームのフレーム識別情報を特定できる。
【０１２８】
第２表示装置４０の制御部４１０は、制御装置１０が送信する映像データを受信してフレーム単位でフレームデータ４４１として受信バッファー４４０に格納し、受信したフレームのフレーム識別情報をフレーム識別情報４４３として格納する。受信バッファー４４０に格納されるフレームデータ４４１とフレーム識別情報４４３とは、制御装置１０が映像データを送信したときの対応付けを維持して、対応付けられる。
制御部４１０は、受信バッファー４４０に格納したフレームデータ４４１を、受信した順に、フレーム単位で読み出してＯＬＥＤユニット２４１により表示する。この際、制御部４１０は、ＯＬＥＤユニット２４１により表示するフレームのフレーム識別情報４４３を受信バッファー４４０から取得する。このため、制御部４１０は、表示中のフレームのフレーム識別情報を特定できる。
【０１２９】
第１表示装置３０及び第２表示装置４０に対し、制御装置１０は同じ映像データのフレームを送信する。制御装置１０が第１表示装置３０にフレームを送信するタイミングと、第２表示装置４０にフレームを送信するタイミングとは同期が図られる。このため、第１表示装置３０及び第２表示装置４０は、制御装置１０が送信した同じフレームを、同じタイミングで表示する。これにより、使用の右眼ＲＥ及び左眼ＬＥに同じフレームが視認される。
【０１３０】
第１表示装置３０と第２表示装置４０との間で、表示ずれが発生することがある。表示ずれは、例えば、図９に示すように、第１表示装置３０が表示領域Ｖ３に表示するフレームと、第２表示装置４０が表示領域Ｖ４に表示するフレームとがずれる現象である。図９には、表示領域Ｖ３にフレーム３が表示されたタイミングで、表示領域Ｖ４に、フレーム３よりも前に制御装置１０が送信したフレーム１が表示された例を示す。この場合、使用者の右眼ＲＥと左眼ＬＥに異なるフレームが視認されるため、使用者の違和感が喚起される。
【０１３１】
表示ずれの要因は、例えば、第１表示装置３０及び第２表示装置４０のいずれか一方が、制御装置１０が送信するフレームの受信に失敗したことが挙げられる。この現象は、制御装置１０と第１表示装置３０との間の通信状態、及び、制御装置１０と第２表示装置４０との間の通信状態に著しい差がある場合に、起こり得る。別の要因としては、第１表示装置３０及び第２表示装置４０のいずれかにおいて、映像データの処理の失敗、或いは処理の遅延により、表示タイミングが遅れることが挙げられる。
【０１３２】
表示システム１００は、第１表示装置３０と第２表示装置４０との間で表示ずれが発生した場合に、表示ずれを補正し、第１表示装置３０と第２表示装置４０とが同じフレームを表示する状態に移行する、ずれ補正処理を行うことができる。
ずれ補正処理では、第１表示装置３０が表示するフレームのフレーム識別情報と、第２表示装置４０が表示するフレームのフレーム識別情報とを照合することにより、表示ずれを検出する。表示ずれが検出された場合には、表示ずれにより使用者の違和感が喚起されないように、表示ずれに対応する処理が行われる。
【０１３３】
本実施形態では、表示ずれを検出する処理を第１表示装置３０が実行する例を説明する。また、表示ずれに対応する処理を、第１表示装置３０の制御によって第１表示装置３０および第２表示装置４０が実行する例を説明する。第１表示装置３０が表示ずれを検出する処理を実行するため、第２表示装置４０は、制御装置１０から送信される映像データを受信して表示する場合に、表示するフレームのフレーム識別情報を第１表示装置３０に送信する。第１表示装置３０は、第２表示装置４０から受信するフレーム識別情報を用いて表示ずれを検出する。
【０１３４】
以下、表示システム１００における表示ずれの検出、および、表示ずれに対応する処理を詳細に説明する。
【０１３５】
図１０は、第１実施形態における制御装置１０の動作を示すフローチャートである。
制御装置１０の制御部１５０は、操作部１１０によってコンテンツデータ１２５の送信の指示を受け付けたことを検出すると（ステップＳ１１）、この指示により指定されたコンテンツデータ１２５を記憶部１２２から読み出す（ステップＳ１２）。制御部１５０は、記憶部１２２から読み出したコンテンツデータ１２５の映像データに対し、各フレームにフレーム識別情報を付加する処理を行い、フレームのデータとフレーム識別情報とを、送信する（ステップＳ１３）。ステップＳ１３で、制御部１５０は、第１表示装置３０と第２表示装置４０のそれぞれにフレームのデータとフレーム識別情報とを送信する。好ましくは、制御部１５０は、第１表示装置３０に対しデータを送信するタイミングと、第２表示装置４０に対しデータを送信するタイミングとを同期させる。通信環境が好適な条件では、第１表示装置３０および第２表示装置４０は、制御装置１０から、同じフレーム識別情報が付加されたフレームのデータを、同時、或いはほぼ同時とみなせる程度の時間差で、受信する。
【０１３６】
制御部１５０は、指定されたコンテンツデータ１２５を構成する全てのフレームの送信が完了したか否かを判定し（ステップＳ１４）、送信が完了しない間は（ステップＳ１４；Ｎｏ）、ステップＳ１３を実行する。送信が完了した場合（ステップＳ１４；Ｙｅｓ）、制御部１５０は、第１表示装置３０および第２表示装置４０に対してコンテンツデータ１２５の送信完了を通知する制御データを送信し（ステップＳ１５）、本処理を終了する。
【０１３７】
図１１は、第１表示装置３０の動作を示すフローチャートである。
第１表示装置３０の制御部３１０は、制御装置１０が送信する制御データに従って、制御装置１０が送信する映像データの受信を開始する（ステップＳ２１）。制御部３１０は、制御装置１０から受信したフレーム、および、受信したフレームに対応するフレーム識別情報を、受信バッファー３４０に格納する処理を開始する（ステップＳ２２）。
【０１３８】
制御部３１０は、受信バッファー３４０からフレームデータ３４１、およびフレームデータ３４１に対応するフレーム識別情報３４３を読み出し（ステップＳ２３）、読み出したフレームデータに基づき画像を表示する（ステップＳ２４）。ここで、受信バッファー３４０が複数のフレームのデータを記憶している場合、制御部３１０は、表示されていないフレームのうち最も古いフレームから順に読み出す。つまり、制御部３１０は、制御装置１０から受信した順にフレームのデータを読み出して表示する。
【０１３９】
また、制御部３１０は、ステップＳ２３で読み出したフレーム識別情報を、記憶部３３０または図示しないＲＡＭに一時的に記憶する（ステップＳ２５）。
【０１４０】
制御部３１０は、第２表示装置４０からフレーム識別情報を受信したか否かを判定する（ステップＳ２６）。
【０１４１】
フレーム識別情報を受信した場合（ステップＳ２６；Ｙｅｓ）、制御部３１０は、受信したフレーム識別情報に基づき、表示ずれを検出する（ステップＳ２７）。具体的には、制御部３１０は、第２表示装置４０から受信したフレーム識別情報と、ステップＳ２５で一時記憶したフレーム識別情報とを比較する。制御部３１０は、フレーム識別情報が一致するか否かに基づき、第１表示装置３０が表示するフレームと第２表示装置４０が表示するフレームとがずれているか否かを判定する。また、ステップＳ２７で、制御部３１０は、フレーム識別情報を比較することにより、ずれているフレーム数を算出する処理を行う。
【０１４２】
つまり、本実施形態では、装置間通信部３４と、装置間通信部４４とが通信を実行することにより、ＯＬＥＤユニット２２１、２４１が表示するフレームのずれを検出する構成の具体例として、制御部３１０が検出を行う例を示す。この例では、第２表示装置４０から第１表示装置３０に情報を送信し、第１表示装置３０がずれを検出する。具体的には、制御部４１０が装置間通信部４４を制御して、ＯＬＥＤユニット２４１が表示するフレームのフレーム識別情報を第１表示装置３０に送信する。第１表示装置３０は、装置間通信部３４により、第２表示装置４０が送信するフレーム識別情報を受信して、制御部３１０が、ＯＬＥＤユニット２２１が表示するフレームのフレーム識別情報と比較する。
【０１４３】
別の例として、第１表示装置３０が第２表示装置４０にフレーム識別情報を送信し、制御部４１０がフレーム識別情報を比較して、表示ずれを検出してもよい。また、フレーム識別情報を比較する処理は、表示ずれを検出する処理の一例であり、例えば、ＯＬＥＤユニット２２１がフレームを表示するタイミングとＯＬＥＤユニット２４１がフレームを表示するタイミングとのずれを、装置間通信部３４と装置間通信部４４とが相互に通信することで検出してもよい。具体的には、予め設定されたフレーム識別情報を有するフレームをＯＬＥＤユニット２２１が表示するタイミングと、ＯＬＥＤユニット２４１が表示するタイミングとの差を検出することにより、表示のずれを検出してもよい。
【０１４４】
フレーム識別情報が一致し、表示ずれがないと判定した場合（ステップＳ２８；Ｎｏ）、制御部３１０は後述するステップＳ３３に移行する。また、フレーム識別情報が一致しない場合、制御部３１０は表示ずれがあると判定し（ステップＳ２８；Ｙｅｓ）、表示ずれ補正処理を実行するよう設定する（ステップＳ２９）。ステップＳ２９で、制御部３１０は、表示ずれを補正するために実行する処理の内容と、補正するフレーム数とを設定する。
【０１４５】
表示システム１００で実行される表示ずれ補正処理は、例えば、４通りの方法を用いることができる。これら４通りの表示ずれ補正処理のうちいずれかを実行するよう、制御部３１０に予め設定されてもよい。また、制御部３１０の制御により、４通りの表示ずれ補正処理のうち複数の表示ずれ補正処理を実行可能な構成としてもよい。この場合、制御部３１０が実行する表示ずれ補正処理の種類を設定できるようにしてもよいし、予め選択された種類の表示ずれ補正処理を実行するようにしてもよい。
【０１４６】
表示ずれが発生した場合、第１表示装置３０及び第２表示装置４０のいずれか一方の装置が表示するフレームが、他方の装置が表示するフレームよりも、制御装置１０が先に送信したフレーム、すなわち古いフレームである。以下の説明では、第２表示装置４０が表示するフレームが、第１表示装置３０が表示するフレームよりも古い場合を例にする。つまり、第２表示装置４０がフレームを表示する処理が、第１表示装置３０よりも遅れている場合を例示する。この例では、第１表示装置３０を、表示するフレームが先行する側の装置と呼び、第２表示装置４０を、表示するフレームが遅れた装置と呼ぶこともできる。勿論、表示システム１００においては逆の表示ずれが発生することもあり得るし、この表示ずれを補正することも可能である。
【０１４７】
表示ずれ補正処理の具体的な方法は、例えば次の（１）〜（４）である。
（１）第２表示装置４０の表示をリセットして、第２表示装置４０を、制御装置１０から受信する最新のフレームを表示する状態に移行させる。
（２）第２表示装置４０の表示を停止させる。
（３）第２表示装置４０が表示するフレームが順に切り替わる間、第１表示装置３０が同じフレームを複数回表示する。
（４）第２表示装置４０が表示するフレームが順に切り替わる間、第１表示装置３０の表示を一時的に停止させる。
上記（１）については図１３を参照して後述する。（２）については図１４を、（３）については図１５を、（４）については図１６を参照して後述する。
【０１４８】
制御部３１０は、表示ずれ補正処理について設定を行い（ステップＳ２９）、設定した表示ずれ補正処理において、第２表示装置４０に対して指示を送信するか否かを判定する（ステップＳ３０）。例えば、上述した（１）、（２）の方法で表示ずれ補正処理を実行する場合、制御部３１０は第２表示装置４０に対し、指示を送信する。
【０１４９】
第２表示装置４０に対して指示を送信する場合（ステップＳ３０；Ｙｅｓ）、制御部３１０は補正に係る指示を示す制御データを第２表示装置４０に送信し（ステップＳ３１）、ステップＳ３２に移行する。また、第２表示装置４０に対して指示を送信しない場合（ステップＳ３０；Ｎｏ）、制御部３１０はステップＳ３２に移行する。
【０１５０】
ステップＳ３２において、制御部３１０は、ステップＳ２９で設定した表示ずれ補正処理を実行し（ステップＳ３２）、ステップＳ３３に移行する。
ステップＳ３３において、制御部３１０は、表示を終了するか否かを判定する（ステップＳ３３）。制御部３１０は、制御装置１０が映像データの送信を終了する、制御装置１０からの制御データにより表示停止が指示される等、表示を完了する条件が成立した場合（ステップＳ３３；Ｙｅｓ）、本処理を終了する。
また、表示を完了しない場合（ステップＳ３３；Ｎｏ）、制御部３１０はステップＳ２３に戻る。
【０１５１】
図１２は、第２表示装置４０の動作を示すフローチャートである。
第２表示装置４０の制御部４１０は、制御装置１０が送信する制御データに従って、制御装置１０が送信する映像データの受信を開始する（ステップＳ４１）。制御部４１０は、制御装置１０から受信したフレーム、および、受信したフレームに対応するフレーム識別情報を、受信バッファー４４０に格納する処理を開始する（ステップＳ４２）。
【０１５２】
制御部４１０は、受信バッファー４４０からフレームデータ４４１、およびフレームデータ４４１に対応するフレーム識別情報４４３を読み出し（ステップＳ４３）、読み出したフレームデータに基づき画像を表示する（ステップＳ４４）。ここで、受信バッファー４４０が複数のフレームのデータを記憶している場合、制御部４１０は、表示されていないフレームのうち最も古いフレームから順に読み出す。つまり、制御部４１０は、制御装置１０から受信した順にフレームのデータを読み出して表示する。
【０１５３】
また、制御部４１０は、ステップＳ４３で読み出したフレーム識別情報を、第１表示装置３０に送信する（ステップＳ４５）。
【０１５４】
ここで、制御部４１０は、第１表示装置３０から表示ずれ補正処理に関する指示を示す制御データを受信したか否かを判定する（ステップＳ４６）。
指示を受信した場合（ステップＳ４６；Ｙｅｓ）、制御部４１０は、受信した指示に従って表示ずれ補正処理を実行し（ステップＳ４７）。ステップＳ４８に移行する。ステップＳ４７で実行する表示ずれ補正処理の具体的内容は、図１３〜図１６を参照して後述する。
【０１５５】
第１表示装置３０から指示を受信しない場合（ステップＳ４６；Ｎｏ）、制御部４１０はステップＳ４８に移行する。
ステップＳ４８において、制御部４１０は、表示を終了するか否かを判定する（ステップＳ４８）。制御部４１０は、制御装置１０が映像データの送信を終了する、制御装置１０からの制御データにより表示停止が指示される等、表示を完了する条件が成立した場合（ステップＳ４８；Ｙｅｓ）、本処理を終了する。また、表示を完了しない場合（ステップＳ４８；Ｎｏ）、制御部４１０はステップＳ４３に戻る。
【０１５６】
図１３は、表示ずれ補正処理に関する表示システム１００の動作を示すシーケンス図である。詳細には、上記（１）の方法により表示ずれ補正処理を実行する例を示す。上述したように、以後の説明では第２表示装置４０の表示が遅れる形の表示ずれが発生した場合の動作を例として説明する。
【０１５７】
制御装置１０は、第１表示装置３０に対して映像データを送信する処理（ステップｔ１）、及び、第２表示装置４０に対し映像データを送信する処理（ステップｔ２）を実行する。この２つの処理は図９に示したように同期して実行され、第１表示装置３０及び第２表示装置４０には、同じタイミング、或いはほぼ同時と見なすことができるタイミングで映像データのフレームが送信される。
【０１５８】
第１表示装置３０は、制御装置１０から受信した映像データをフレーム単位で表示し（ステップｔ３）、第２表示装置４０は、制御装置１０から受信した映像データをフレーム単位で表示する（ステップｔ４）。また、第２表示装置４０は、映像データのフレームを表示する際に、フレーム識別情報を第１表示装置３０に送信し（ステップｔ５）、第１表示装置３０は表示ずれを検出する処理を行う（ステップｔ６）。以上の動作は図１０〜図１２を参照して説明した通りである。
【０１５９】
図１３の例では、制御部３１０が、第２表示装置４０に対してリセットを指示する制御データを送信する（ステップｔ７）。制御部４１０は、第１表示装置３０からリセットを指示する制御データを受信した場合、データリセットを実行し、受信バッファー４４０に記憶するフレームデータ４４１を消去する（ステップｔ８）。データリセットにおいて、制御部４１０は、受信バッファー４４０が記憶するフレーム識別情報４４３を消去してもよい。また、データリセットにおいて、制御部４１０は、表示中のフレームを消去して表示を一時停止してもよい。
【０１６０】
このデータリセットを行うことにより、制御部４１０は、次に制御装置１０から受信するフレームを受信バッファー４４０に格納し、このフレームのデータを表示する。このため、第２表示装置４０が第１表示装置３０よりも表示が遅れる状態を解消し、表示ずれを補正できる。
【０１６１】
図１４は、表示ずれ補正処理に関する表示システム１００の動作を示すシーケンス図である。詳細には、上記（２）の方法により表示ずれ補正処理を実行する例を示す。なお、図１３に示した動作と同じ処理については、同ステップ番号を付す。
【０１６２】
制御装置１０は、第１表示装置３０に対して映像データを送信する処理（ステップｔ１）、及び、第２表示装置４０に対し映像データを送信する処理（ステップｔ２）を実行する。第１表示装置３０は、制御装置１０から受信した映像データをフレーム単位で表示し（ステップｔ３）、第２表示装置４０は、制御装置１０から受信した映像データをフレーム単位で表示する（ステップｔ４）。また、第２表示装置４０は、映像データのフレームを表示する際に、フレーム識別情報を第１表示装置３０に送信し（ステップｔ５）、第１表示装置３０は表示ずれを検出する処理を行う（ステップｔ６）。
【０１６３】
図１４の例では、制御部３１０が、第２表示装置４０に対して表示停止を指示する制御データを送信する（ステップｔ１１）。制御部４１０は、第１表示装置３０から表示停止を指示する制御データを受信した場合、表示中のフレームを消去して表示を停止する（ステップｔ１２）。これにより、ＯＬＥＤユニット２４１（図５）は何も表示しない状態となる。ＨＭＤ２０を装着する使用者には、右眼ＲＥに対しＯＬＥＤユニット２２１により画像が表示される一方、左眼ＬＥには表示画像が視認されない。
【０１６４】
ＨＭＤ２０では右眼ＲＥと左眼ＬＥに対し、第１表示装置３０及び第２表示装置４０のそれぞれが画像を視認させるため、表示ずれが発生すると、使用者が強い違和感を抱く。この場合、ＯＬＥＤユニット２２１、２４１のいずれかの表示を停止させれば、使用者は右眼ＲＥか左眼ＬＥの片側で画像を視認するので、左右の表示の不整合により使用者が違和感を抱くことは回避できる。また、ＨＭＤ２０では、ＯＬＥＤユニット２４１の表示を停止させた場合、左眼ＬＥには、左導光板２８を透過する外光ＯＬにより、外景が視認される。この外景は、当然ではあるが、右眼ＲＥが右導光板２６を透過する外光ＯＬで視認する外景と整合する。従って、ＯＬＥＤユニット２４１が表示を停止することにより使用に違和感を与える可能性は低い。
【０１６５】
図１５は、表示ずれ補正処理に関する表示システム１００の動作を示すシーケンス図である。詳細には、上記（３）の方法により表示ずれ補正処理を実行する例を示す。
【０１６６】
ステップｔ１〜ｔ６の動作は、図１３、図１４に示した動作と同じ処理であるため説明を省略する。
図１５の例では、制御部３１０の制御により、第１表示装置３０が、フレームを繰り返し表示する。例えば、第２表示装置４０が、第１表示装置３０よりも５フレーム遅れて表示を行う場合（ずれ量が５フレームである場合）、第１表示装置３０は、５フレーム分の繰り返し表示を行う。具体的には、１つのフレームを表示した後、このフレームの表示を、５回、繰り返す。この場合、１フレームを６回表示するので、５フレーム分のずれを解消できる。
【０１６７】
図１５において、制御部３１０は、ステップｔ６で検出したずれ量、すなわち表示がずれているフレーム数に対応して、表示の繰り返し回数を算出して設定する（ステップｔ２１）。繰り返し回数を設定する処理で、制御部３１０は、複数のフレームの繰り返し回数を設定してもよい。例えば、１つのフレームの繰り返し回数を２回とし、次のフレームの繰り返し回数を３回とすれば、合わせて５フレームの表示ずれを補正できる。
【０１６８】
制御部３１０は、ステップｔ２１で設定した回数だけ、フレームの表示を繰り返し実行する（ステップｔ２２）。ステップｔ２２で、制御部３１０は、例えば、受信バッファー３４０から１つのフレームデータ３４１を繰り返して読み出し、表示する処理を実行する。この場合、制御部３１０は、繰り返しを行わない場合と同じように、受信バッファー４４０からフレームのデータを読み出す処理を実行すれば良いので、表示ずれ補正処理を簡易化できるという利点がある。
【０１６９】
図１６は、表示ずれ補正処理に関する表示システム１００の動作を示すシーケンス図である。詳細には、上記（４）の方法により表示ずれ補正処理を実行する例を示す。
ステップｔ１〜ｔ６の動作は、図１３〜図１５に示した動作と同じ処理であるため説明を省略する。
【０１７０】
図１６の例では、制御部３１０の制御により、第１表示装置３０が表示を一時的に停止する。停止中、第１表示装置３０は、ＯＬＥＤユニット２２１による表示を行わないので、ＯＬＥＤユニット２２１が表示する画像がない。つまり、使用者の右眼ＲＥには画像が視認されない状態となる。表示を一時停止する期間は、表示ずれのずれ量に対応して制御部３１０が設定する。例えば、第２表示装置４０が、第１表示装置３０よりも５フレーム遅れて表示を行う場合（ずれ量が５フレームである場合）、第１表示装置３０は、５フレームの表示期間に相当する時間、表示を停止する。
【０１７１】
図１６において、制御部３１０は、ステップｔ６で検出したずれ量、すなわち表示がずれているフレーム数に対応して、一時停止する期間を算出する（ステップｔ３１）。制御部３１０は、ステップｔ３１で算出した期間だけ、ＯＬＥＤユニット２２１による表示を停止する（ステップｔ３２）。表示を停止する期間が経過した後、制御部３１０は、受信バッファー３４０からフレームデータ３４１を読み出して表示する処理を再開する。なお、制御部３１０は、表示を一時停止する間も、制御装置１０から受信する映像データのフレーム及びフレーム識別情報を受信バッファー３４０に格納する。第１表示装置３０は、受信バッファー３４０に、一時停止用の画像データ（例えば、黒一色の画像）を格納し、一時停止中に、制御部３１０が一時停止用の画像データを受信バッファー３４０から読み出して表示してもよい。この場合、制御部３１０は、一時停止中も受信バッファー３４０からデータを読み出して表示する処理を実行すれば良いので、表示ずれ補正処理を簡易化できるという利点がある。
【０１７２】
以上説明したように、本発明を適用した実施形態の表示システム１００は、映像データを送信する制御装置１０と、制御装置１０が送信する映像データに基づき映像を表示する第１表示装置３０及び第２表示装置４０と、を有する。制御装置１０は、連続するフレームで構成される映像データを第１表示装置３０および第２表示装置４０に無線送信する無線通信部１９０を備える。第１表示装置３０は、制御装置１０が送信する映像データを受信する無線通信部３３と、無線通信部３３で受信する映像データに基づき映像を表示するＯＬＥＤユニット２２１と、第２表示装置４０と通信する装置間通信部３４と、を備える。第２表示装置４０は、制御装置１０が送信する映像データを受信する無線通信部４３と、無線通信部４３で受信する映像データに基づき映像を表示するＯＬＥＤユニット２４１と、第１表示装置３０と通信する装置間通信部４４と、を備える。第１表示装置３０が備える装置間通信部３４と第２表示装置４０が備える装置間通信部４４とが通信を実行することにより、ＯＬＥＤユニット２２１が表示する映像とＯＬＥＤユニット２４１が表示する映像とのずれを検出する。
【０１７３】
これにより、制御装置１０から、ＨＭＤ２０が備える複数の表示装置である第１表示装置３０及び第２表示装置４０に映像データを送信する場合に、第１表示装置３０及び第２表示装置４０における映像のずれを検出できる。このため、例えば、映像を表示するタイミングのずれを検出できるので、この種のずれに対する対策を施すことで、複数の表示装置が表示する映像の整合を図ることができる。
【０１７４】
表示システム１００において、制御装置１０は、フレームで構成される映像データを送信する。第１表示装置３０は、無線通信部３３で受信する映像データに基づき、フレームを単位としてＯＬＥＤユニット２２１により映像を表示する。第２表示装置４０は、無線通信部４３で受信する映像データに基づき、フレームを単位としてＯＬＥＤユニット２４１により映像を表示する。そして、装置間通信部３４と装置間通信部４４とが通信を実行することにより、ＯＬＥＤユニット２２１が表示するフレームとＯＬＥＤユニット２４１が表示するフレームとのずれを検出する。これにより、ＨＭＤ２０が備える複数の表示装置である第１表示装置３０及び第２表示装置４０が表示するフレームのずれを検出できる。このため、複数の表示装置が表示する映像の表示タイミングを整合させることができる。
【０１７５】
また、制御装置１０は、映像データと、映像データの各々のフレームを識別するフレーム識別情報とを送信する。第１表示装置３０及び第２表示装置４０は、装置間通信部３４と装置間通信部４４とが通信を実行する。これにより、ＯＬＥＤユニット２２１が表示するフレームのフレーム識別情報とＯＬＥＤユニット２４１が表示するフレームのフレーム識別情報とを比較して、ずれを検出する。従って、制御装置１０が送信するフレームが識別可能であるため、より正確に、複数の表示装置が表示するフレームのずれを検出できる。
【０１７６】
また、第２表示装置４０は、装置間通信部４４によりＯＬＥＤユニット２４１が表示するフレームのフレーム識別情報を含むデータを第１表示装置３０に送信する。第１表示装置３０は、第２表示装置４０が送信するデータを装置間通信部３４により受信し、装置間通信部３４で受信したデータに含まれるフレーム識別情報をＯＬＥＤユニット２２１が表示するフレームのフレーム識別情報と比較してずれを検出する。これにより、第１表示装置３０において、第１表示装置３０が表示するフレームと第２表示装置４０が表示するフレームのずれを確実に検出できる。
【０１７７】
表示システム１００では、ＯＬＥＤユニット２２１が表示するフレームが、ＯＬＥＤユニット２４１が表示するフレームよりも後に制御装置１０が送信したフレームである場合、表示ずれ補正処理を実行する。
表示システム１００は、上述した（１）の方法により、第２表示装置４０において、無線通信部４３で受信したフレームの表示をリセットしてもよい。この場合、第２表示装置４０は、次に無線通信部４３で受信するフレームをＯＬＥＤユニット２２１で表示する。つまり、第１表示装置３０が表示するフレームと第２表示装置４０が表示するフレームとのずれがある場合に、古いフレームを表示する側の表示装置、すなわち表示が遅れた側の表示装置である第２表示装置４０をリセットする。これにより、第１表示装置３０と第２表示装置４０との間の表示ずれを解消できる。
【０１７８】
また、表示システム１００は、上述した（２）の方法により、第２表示装置４０において、ＯＬＥＤユニット２４１の表示を停止してもよい。この場合、第１表示装置３０と第２表示装置４０の表示ずれが発生した場合に、古いフレームを表示する側の表示装置、すなわち表示が遅れた側の表示装置の表示を停止する。これにより、第１表示装置３０と第２表示装置４０が、フレームがずれた状態で表示を継続する状態を回避できる。
【０１７９】
また、第１表示装置３０は、無線通信部３３で受信するフレームを記憶する受信バッファー３４０を備えてもよい。この場合、表示システム１００は、上述した（３）の方法により、第１表示装置３０において、受信バッファー３４０に記憶したフレームをＯＬＥＤユニット２２１によって複数回表示してもよい。この場合、第１表示装置３０及び第２表示装置４０の表示ずれが発生した場合に、新しいフレームを表示する側の表示装置、すなわち表示が進んだ側の表示装置である第１表示装置３０が同じフレームを複数回表示する。これにより、表示するフレームの進みを解消して、第１表示装置３０と第２表示装置４０との間の表示ずれを解消できる。
【０１８０】
また、表示システム１００は、上述した（４）の方法により、第１表示装置３０において、ＯＬＥＤユニット２２１による表示を、所定数のフレームを表示する時間に相当する時間だけ停止してもよい。その後、第１表示装置３０は、受信バッファー３４０に記憶したフレームをＯＬＥＤユニット２２１により表示する。この場合、第１表示装置３０及び第２表示装置４０の表示ずれが発生した場合に、新しいフレームを表示する側の表示装置、すなわち表示が進んだ側の表示装置である第１表示装置３０が表示を停止して、表示するフレームの進みを解消する。これにより、第１表示装置３０と第２表示装置４０との間の表示ずれを解消できる。
【０１８１】
また、第１表示装置３０は、無線通信部３３と、ＯＬＥＤユニット２２１と、装置間通信部３４と、制御部３１０とを備える。第１表示装置３０は、無線通信部３３により、制御装置１０から無線送信される映像データを受信する。第１表示装置３０は、ＯＬＥＤユニット２２１により、無線通信部３３で受信する映像データに基づき映像を表示する。第１表示装置３０は、装置間通信部３４により、第２表示装置４０と通信する。第１表示装置３０は、制御部３１０により、装置間通信部３４により第２表示装置４０と通信を実行して、ＯＬＥＤユニット２２１が表示する映像と第２表示装置４０が表示する映像とのずれを検出する。この構成により、第１表示装置３０が表示する映像と、第２表示装置４０が表示する映像とのずれを第１表示装置３０が検出できる。このため、例えば、映像を表示するタイミングのずれを検出できるので、この種のずれに対する対策を施すことで、第１表示装置３０及び第２表示装置４０が表示する映像の整合を図ることができる。
【０１８２】
第１表示装置３０は、ＯＬＥＤユニット２２１により、無線通信部３３で受信する映像データに基づく画像をフレーム単位で表示する。制御部３１０は、ＯＬＥＤユニット２２１が表示するフレームと第２表示装置４０が表示するフレームとのずれを検出する。この構成によれば、表示装置が表示するフレームと第２表示装置４０が表示するフレームとのずれを検出できる。このため、第１表示装置３０及び第２表示装置４０が表示する映像の表示タイミングを整合させることができる。
【０１８３】
また、第１表示装置３０は、無線通信部３３により、映像データに含まれる各々のフレームを識別するフレーム識別情報を受信する。これにより、表示装置が受信して表示するフレームが識別可能であるため、より正確に、第１表示装置３０及び第２表示装置４０が表示するフレームのずれを検出できる。
【０１８４】
また、制御部３１０は、ＯＬＥＤユニット２２１により表示するフレームのフレーム識別情報と第２表示装置４０が表示するフレームのフレーム識別情報とを比較することにより、ずれを検出する。この構成によれば、制御装置１０が送信するフレームが識別可能であるため、より正確に、第１表示装置３０及び第２表示装置４０が表示するフレームのずれを検出できる。
【０１８５】
また、第１表示装置３０は、装置間通信部３４により、第２表示装置４０が表示するフレームのフレーム識別情報を受信する。制御部３１０は、装置間通信部３４により受信した第２表示装置４０が表示するフレームのフレーム識別情報を、ＯＬＥＤユニット２２１が表示するフレームのフレーム識別情報と比較することにより、ずれを検出する。この構成によれば、第１表示装置３０と第２表示装置４０とがフレーム識別情報を送受信することにより、第１表示装置３０及び第２表示装置４０の表示ずれを確実に検出できる。
【０１８６】
また、第２表示装置４０は、装置間通信部４４により、ＯＬＥＤユニット２４１が表示するフレームのフレーム識別情報を第１表示装置３０に送信する。この構成によれば、第１表示装置３０及び第２表示装置４０がフレーム識別情報を送受信することにより、第１表示装置３０及び第２表示装置４０の表示ずれを確実に検出できる。
【０１８７】
また、第１表示装置３０及び第２表示装置４０は、頭部装着型表示装置としてのＨＭＤ２０を構成する。第１表示装置３０は、制御装置１０が送信する映像データを受信する無線通信部３３と、無線通信部３３で受信する映像データに基づき使用者の一方の眼（ここでは右眼）に映像を視認させるＯＬＥＤユニット２２１とを備える。また、第１表示装置３０は、第２表示装置４０と通信する装置間通信部３４を備える。第２表示装置４０は、制御装置１０が送信する映像データを受信する無線通信部４３と、無線通信部４３で受信する映像データに基づき使用者の他方の眼（個々では左眼）に映像を視認させるＯＬＥＤユニット２４１とを備える。また。第２表示装置４０は、第１表示装置３０と通信する装置間通信部４４を備える。ＨＭＤ２０は、装置間通信部３４と装置間通信部４４とが通信を実行することにより、使用者が右眼と左眼とで視認する映像のずれを検出する。これにより、使用者が左右それぞれの眼で視認する映像のずれを検出できる。このため、例えば、映像を表示するタイミングのずれを検出できるので、この種のずれに対する対策を施すことで、使用者が視認する映像の整合を図ることができ、映像のずれに伴う使用者の違和感や、いわゆる映像酔いを防止または軽減できる。
【０１８８】
上記実施形態で説明した構成において、制御装置１０が３Ｄ（立体）映像の映像データを送信し、ＨＭＤ２０が３Ｄ映像データに基づき３Ｄ映像を表示する構成としてもよい。この場合、制御装置１０が第１表示装置３０に送信する映像データのフレームと、制御装置１０が第２表示装置４０に送信する映像データのフレームとは、視差を有する映像データである。この場合、制御部３１０は、ステップＳ２８（図１１）で表示ずれがあると判定した場合に、ＨＭＤ２０が表示する映像を２Ｄ（平面）映像に切り換えてもよい。具体的な動作として、次の（Ａ）、（Ｂ）が挙げられる。
【０１８９】
（Ａ）制御装置１０から第１表示装置３０に送信された映像データを、装置間通信部３４によって第２表示装置４０に送信する。第２表示装置４０は、装置間通信部４４で受信する映像データに基づき映像を表示する。或いは、第２表示装置４０が制御装置１０から受信する映像データのフレームを、第１表示装置３０に送信してもよい。
（Ｂ）第１表示装置３０から制御装置１０に対し、第１表示装置３０及び第２表示装置４０に、視差を有さない同じ映像データのフレームを送信するよう要求する。制御装置１０は要求に応答して第１表示装置３０及び第２表示装置４０に同じ映像データのフレームを送信する。
なお、（Ｂ）の方法の変形例として、制御装置１０が、第１表示装置３０に送信する映像データのフレームと第２表示装置４０に送信する映像データのフレームとにおける視差を縮小する方法も考えられる。
【０１９０】
これらの方法を実行することで、制御装置１０は、ＨＭＤ２０により３Ｄ映像を視聴する場合に、左右の眼が視認するフレームがずれることに起因する使用者の不快感、違和感、或いは、いわゆる映像酔いの発生を抑制または防止できる。
【０１９１】
さらに、上記実施形態のステップＳ２８で、制御部３１０が、表示ずれがあると判定する基準を複数有してもよい。例えば、制御部３１０は、ずれているフレーム数が第１閾値以上の場合に、表示ずれがあると判定して（ステップＳ２８；Ｙｅｓ）、表示ずれに対応する表示ずれ補正処理を設定する（ステップＳ２９）構成としてもよい。この場合、制御部３１０は、ずれているフレーム数が第１閾値より少なく、第２閾値以上の場合に、例えば図１３〜図１６に例示した表示ずれ補正処理とは異なる処理を行ってもよい。具体的には、ずれているフレーム数が第１閾値より少なく、第２閾値以上の場合に、上述した３Ｄ映像から２Ｄ映像への切り換えを行ってもよい。また、ずれているフレーム数が第１閾値より少なく第２閾値以上の場合に、ずれ補正処理として、図１５または図１６に示す動作を実行してもよい。この場合、さらに、ずれているフレーム数が第１閾値以上の場合に、ずれ補正処理として図１３または図１４に示す動作を実行してもよい。
【０１９２】
第１の閾値、及び、第２の閾値は、制御装置１０が送信する映像データのフレームレートに応じて決定してもよい。例えば、第１の閾値を、１００ミリ秒に相当するフレーム数としてもよい。この場合、３０ｆｐｓ（フレーム／秒）の映像データにおいて３フレームが第１の閾値に相当する。また、第２の閾値は第１の閾値より小さい数であればよい。
また、表示システム１００では、ＨＭＤ２０を装着する使用者が動いている場合に、ずれの発生を検出する処理に係る閾値を、検出が緩くなる方向に変更してもよい。使用者の動きは、例えば、表示システム１００が備える各種センサーの検出結果から判定してもよい。具体的には、カメラ６１の撮像画像、６軸センサー２３５、磁気センサー２３７、６軸センサー１１１、或いは磁気センサー１１３の検出値または検出値の変化から、使用者の動きを検出すればよい。この場合、単位時間あたりの動き量あるいは動きの速度または加速度が設定された基準値以上の場合に、第２の閾値を第１の閾値に切り換えたり、第１及び第２の閾値の値を変更したりすればよい。
【０１９３】
［第２実施形態］
図１７は、第２実施形態に係る表示システム１００Ａを構成する各装置のブロック図である。図１７に示す第２実施形態の表示システム１００Ａにおいて、第１実施形態で説明した表示システム１００と共通する構成部については同符号を付して説明を省略する。
【０１９４】
表示システム１００Ａは、上記実施形態で説明した表示システム１００（図５）において、ＨＭＤ２０が備える第１表示装置３０、及び第２表示装置４０に代えて、第１表示装置３０Ａ、及び第２表示装置４０Ａを備える。第１表示装置３０Ａ、及び第２表示装置４０ＡはＨＭＤ２０Ａを構成する。
【０１９５】
制御装置１０の構成は、第１実施形態で説明したものと同様である。第２実施形態において、制御装置１０は、映像データをフレーム単位で第１表示装置３０Ａに送信するが、第２表示装置４０には送信しない。
【０１９６】
第１表示装置３０Ａの構成は、第１表示装置３０と共通する。第１表示装置３０Ａは、制御装置１０から映像データのフレーム、及び、フレーム識別情報を受信し、受信バッファー３４０に格納する。また、第１表示装置３０Ａは、制御装置１０から受信する映像データのフレームとフレーム識別情報とを第２表示装置４０Ａに送信する。
【０１９７】
第２表示装置４０Ａは、第２表示装置４０（図５）において、無線通信部４３を排した構成である。第２表示装置４０Ａは、装置間通信部４４により、第１表示装置３０から映像データのフレームとフレーム識別情報とを受信し、受信バッファー４４０に格納する。
【０１９８】
図１８は、第２実施形態の表示システム１００Ａの動作と表示ずれを模式的に示す説明図である。
図１８に示すように、制御装置１０は、第１表示装置３０Ａに対して映像データをフレーム単位で送信する。図１８には、制御装置１０が１フレームずつ送信を行う例を示すが、複数のフレームをまとめて制御装置１０が送信することも勿論可能である。
【０１９９】
第１表示装置３０Ａは、制御装置１０が送信する映像データをフレーム単位で受信する。また、制御装置１０は、第１表示装置３０Ａ及び第２表示装置４０Ａのそれぞれに対し、映像データのフレームと、フレームを識別するフレーム識別情報とを対応付けて送信する。フレーム識別情報の具体例等については第１実施形態と同様である。
第１表示装置３０Ａは、制御装置１０から受信する映像データをフレーム単位で受信バッファー３４０（図７）にフレームデータ３４１として記憶する。また、制御装置１０から受信するフレーム識別情報をフレーム識別情報３４３として受信バッファー３４０に記憶する。
【０２００】
第１表示装置３０Ａは、制御装置１０から受信する映像データをフレーム単位で第２表示装置４０Ａに送信する。また、第１表示装置３０Ａは、フレーム識別情報を第２表示装置４０Ａに送信する。ここで、第１表示装置３０Ａは、制御装置１０から受信し受信バッファー３４０にいったん記憶した映像データのフレーム及びフレーム識別情報を第２表示装置４０Ａに送信する構成であってもよい。
【０２０１】
第２表示装置４０Ａは、第１表示装置３０Ａが送信する映像データのフレーム、及び、フレーム識別情報を、受信バッファー４４０にフレームデータ４４１及びフレーム識別情報４４３として記憶する。
【０２０２】
第１表示装置３０Ａは、制御装置１０から受信する映像データをフレーム単位で表示し、第２表示装置４０Ａは、第１表示装置３０Ａから受信する映像データをフレーム単位で表示する。第１表示装置３０Ａは、第２表示装置４０Ａに映像データを送信する送信タイミング、及び、フレームデータ３４１を読み出してＯＬＥＤユニット２２１で表示するタイミングを同期させる。
これにより、ＨＭＤ２０Ａにおいては、第１表示装置３０Ａと第２表示装置４０Ａとが同期して同じフレームを表示できる。
【０２０３】
表示システム１００Ａでは、制御装置１０が第１表示装置３０Ａに映像データをフレーム単位で送信する際に、第１表示装置３０Ａは、受信した映像データのフレームのフレーム識別情報を、制御装置１０に送信する。制御装置１０は、第１表示装置３０Ａが送信するフレーム識別情報を受信して、既に送信したフレーム識別情報と比較する。これにより、制御装置１０が送信したフレームと、第１表示装置３０Ａが受信したフレームとのずれを検出できる。また、制御装置１０は、第１表示装置３０Ａにフレーム識別情報を送信したタイミングと、第１表示装置３０Ａからフレーム識別情報を受信するタイミングとの時間差から、遅延時間を求めることができる。
【０２０４】
制御装置１０と第１表示装置３０Ａとの間のずれ、及び、フレーム識別情報の遅延時間が長くなる現象は、例えば、制御装置１０と第１表示装置３０Ａとの間の通信環境の影響により発生する。また、第１表示装置３０Ａにおける処理が遅延することも原因としてあげられる。この場合、ＨＭＤ２０Ａが表示する画像を使用者が視認するタイミングが遅延するので、たとえば、制御装置１０が有する操作部１１０に対する操作に応じて表示を変更する場合に、使用者が表示の遅延を知覚し、違和感を抱く可能性がある。
そこで、第２実施形態では、表示システム１００Ａが、制御装置１０と第１表示装置３０Ａとの間のフレーム識別情報のずれ、及び、遅延を検出する構成を説明する。
【０２０５】
図１９は、第２実施形態における制御装置１０の動作を示すフローチャートである。
制御装置１０の制御部１５０は、操作部１１０によってコンテンツデータ１２５の送信の指示を受け付けたことを検出すると（ステップＳ１０１）、この指示により指定されたコンテンツデータ１２５を記憶部１２２から読み出す（ステップＳ１０２）。制御部１５０は、記憶部１２２から読み出したコンテンツデータ１２５の映像データに対し、各フレームにフレーム識別情報を付加する処理を行い、フレームのデータとフレーム識別情報とを、送信する（ステップＳ１０３）。ステップＳ１０３で、制御部１５０は、第１表示装置３０Ａにフレームのデータとフレーム識別情報とを送信する。
【０２０６】
制御部１５０は、第１表示装置３０Ａからフレーム識別情報を受信したか否かを判定する（ステップＳ１０４）。
フレーム識別情報を受信した場合（ステップＳ１０４；Ｙｅｓ）、制御部１５０は、受信したフレーム識別情報に基づき、表示ずれを検出する（ステップＳ１０５）。具体的には、制御部１５０は、第１表示装置３０Ａから受信したフレーム識別情報と、ステップＳ１０３で送信したフレーム識別情報とを比較し、一致するか否かに基づき、ずれの有無を判定する。また、ステップＳ１０５で、制御部１５０は、フレーム識別情報を比較することにより、ずれているフレーム数を算出する処理を行う。
【０２０７】
フレーム識別情報が一致し、表示ずれ或いは遅延がないと判定した場合（ステップＳ１０６；Ｎｏ）、制御部１５０は後述するステップＳ１０９に移行する。また、フレーム識別情報が一致しない場合、制御部１５０は表示ずれがあると判定し（ステップＳ１０６；Ｙｅｓ）、表示ずれ補正処理を実行するよう設定する（ステップＳ１０７）。ステップＳ１０７で、制御部１５０は、表示ずれ或いは遅延を補正するために実行する処理の内容と、補正するフレーム数とを設定する。
【０２０８】
制御部１５０は、ステップＳ１０８で設定する表示ずれ補正処理を実行し（ステップＳ１０８）、ステップＳ１０９に移行する。
ステップＳ１０８で、制御部１５０は、例えば、第１表示装置３０Ａに送信するフレーム及びフレーム識別情報を、表示ずれ或いは遅延分に相当する数だけジャンプさせる処理を行う。この場合、制御装置１０が第１表示装置３０Ａに送信する予定のコンテンツデータ１２５のフレームのうち、一部のフレームが送信されないが、第１表示装置３０Ａ、第２表示装置４０Ａが表示するフレームが早送りされる。このため、表示ずれ、及び遅延が解消される。また、制御装置１０は、ステップＳ１０８で、第１表示装置３０Ａに対し、既に送信したフレームを、再度送信する処理を行ってもよい。この場合、第１表示装置３０Ａが、制御装置１０が送信するフレームの一部を受信できず、表示が停止した場合等に、表示を正常に継続できる。また、制御装置１０は、ステップＳ１０８で、第１表示装置３０Ａに対して、受信バッファー３４０に記憶したフレームのクリアを含むリセット処理を指示してもよい。この場合、第１表示装置３０Ａは、フレームデータ３４１をクリアするリセット処理を実行する。また、第１表示装置３０Ａは、制御装置１０によって送信されたリセット処理を指示する制御データを、第２表示装置４０Ａに送信してもよい。この場合、第２表示装置４０Ａは、フレームデータ４４１をクリアするリセット処理を実行する。この場合、第１表示装置３０Ａ、及び第２表示装置４０Ａは、制御装置１０から次に受信するフレームを表示するので、表示ずれ、及び遅延を解消できる。
【０２０９】
制御部１５０は、ステップＳ１０９で、指定されたコンテンツデータ１２５を構成する全てのフレームの送信が完了したか否かを判定する（ステップＳ１０９）。送信が完了しない間は（ステップＳ１０９；Ｎｏ）、ステップＳ１０３に戻る。送信が完了した場合（ステップＳ１０９；Ｙｅｓ）、制御部１５０は、第１表示装置３０Ａに対してコンテンツデータ１２５の送信完了を通知する制御データを送信し（ステップＳ１１０）、本処理を終了する。第１表示装置３０Ａは、コンテンツデータ１２５の送信完了を通知する制御データを制御装置１０から受信した場合、受信した制御データを第２表示装置４０Ａに送信しても良い。
【０２１０】
図２０は、第１表示装置３０Ａの動作を示すフローチャートである。
第１表示装置３０Ａの制御部３１０は、制御装置１０が送信する制御データに従って、制御装置１０が送信する映像データの受信を開始する（ステップＳ１２１）。制御部３１０は、制御装置１０から受信したフレーム、および、受信したフレームに対応するフレーム識別情報を、受信バッファー３４０に格納する処理を開始する（ステップＳ１２２）。
【０２１１】
制御部３１０は、制御装置１０から受信したフレーム識別情報を、制御装置１０に送信する処理を開始する（ステップＳ１２４）。ここで、制御部３１０は、制御装置１０からフレームのデータを受信する毎に、フレーム識別情報を制御装置１０に送信してもよい。また、予め設定された数のフレームのデータを受信する毎に、フレーム識別情報を制御装置１０に送信してもよい。
【０２１２】
制御部３１０は、制御装置１０から受信したフレーム、および、受信したフレームに対応するフレーム識別情報を、第２表示装置４０Ａに転送する処理を開始する（ステップＳ１２４）。
【０２１３】
制御部３１０は、受信バッファー３４０からフレームデータ３４１、およびフレームデータ３４１に対応するフレーム識別情報３４３を読み出し（ステップＳ１２５）、読み出したフレームデータに基づき画像を表示する（ステップＳ１２６）。受信バッファー３４０が複数のフレームのデータを記憶している場合、制御部３１０は、表示されていないフレームのうち最も古いフレームから順に読み出す。つまり、制御部３１０は、制御装置１０から受信した順にフレームのデータを読み出して表示する。
制御部３１０は、表示を終了するか否かを判定する（ステップＳ１２７）。制御部３１０は、制御装置１０が映像データの送信を終了する、制御装置１０からの制御データにより表示停止が指示される等、表示を完了する条件が成立した場合（ステップＳ１２７；Ｙｅｓ）、本処理を終了する。また、表示を完了しない場合（ステップＳ１２７；Ｎｏ）、制御部３１０はステップＳ１２５に戻る。
【０２１４】
図２１は、第２表示装置４０Ａの動作を示すフローチャートである。
第２表示装置４０Ａの制御部４１０は、第１表示装置３０Ａが送信する映像データの受信を開始する（ステップＳ１３１）。制御部４１０は、第１表示装置３０Ａから受信したフレーム、および、受信したフレームに対応するフレーム識別情報を、受信バッファー４４０に格納する処理を開始する（ステップＳ１３２）。
【０２１５】
制御部４１０は、受信バッファー４４０からフレームデータ４４１、およびフレームデータ４４１に対応するフレーム識別情報４４３を読み出し（ステップＳ１３３）、読み出したフレームデータに基づき画像を表示する（ステップＳ１３４）。ここで、受信バッファー４４０が複数のフレームのデータを記憶している場合、制御部４１０は、表示されていないフレームのうち最も古いフレームから順に読み出す。つまり、制御部４１０は、制御装置１０から受信した順にフレームのデータを読み出して表示する。
【０２１６】
制御部４１０は、表示を終了するか否かを判定する（ステップＳ１３５）。制御部４１０は、第１表示装置３０Ａが映像データの送信を終了する、第１表示装置３０Ａを介して送信される制御データにより表示停止が指示される等、表示を完了する条件が成立した場合（ステップＳ１３５；Ｙｅｓ）、本処理を終了する。また、表示を完了しない場合（ステップＳ１３５；Ｎｏ）、制御部４１０はステップＳ１３３に戻る。
【０２１７】
図２２は、第２実施形態における表示システム１００Ａの動作例を示すシーケンス図である。
【０２１８】
制御装置１０は、第１表示装置３０Ａに対して映像データを送信する（ステップｔ１０１）。
第１表示装置３０Ａは、制御装置１０から受信した映像データを第２表示装置４０Ａに送信する（ステップｔ１０２）。また、第１表示装置３０Ａは、制御装置１０から受信した映像データをフレーム単位で表示する（ステップｔ１０３）。第２表示装置４０Ａは、第１表示装置３０Ａから受信した映像データをフレーム単位で表示する（ステップｔ１０４）。
【０２１９】
また、第１表示装置３０Ａは、制御装置１０から受信したフレーム識別情報を制御装置１０に送信する（ステップｔ１０５）。制御装置１０は、第１表示装置３０Ａが送信するフレーム識別情報に基づき、表示ずれ、或いは遅延を検出する（ステップｔ１０６）。
表示ずれ、或いは遅延を検出した場合、制御装置１０は、第１表示装置３０Ａに対し、表示ずれを補正する処理を実行する（ステップｔ１０７）。ステップｔ１０７では、成就したように、送信済みのフレームを再度送信する処理、リセットを指示する制御データを第１表示装置３０Ａに送信する処理等が挙げられる。
【０２２０】
この第２実施形態の表示システム１００Ａによれば、制御装置１０から第１表示装置３０Ａに対して映像データを送信する処理により、第１表示装置３０Ａと第２表示装置４０Ａとによって映像を表示できる。また、制御装置１０が送信した映像データのフレームが、遅延して第１表示装置３０Ａにより受信され、或いは、第１表示装置３０Ａが受信に失敗したことにより、表示の遅延やずれが発生した場合に、これを制御装置１０が検出できる。制御装置１０は、表示の遅延やずれを解消する制御を行うことで、例えば、使用者が期待するタイミングよりも表示タイミングが遅延する等の現象を回避し、或いは解消できる。
【０２２１】
［第３実施形態］
図２３は、第３実施形態に係る表示システム１００Ｂを構成する各装置のブロック図である。図２３に示す第３実施形態の表示システム１００Ｂにおいて、第２実施形態で説明した表示システム１００Ａと共通する構成部については同符号を付して説明を省略する。
【０２２２】
表示システム１００Ｂは、第２実施形態で説明した表示システム１００Ａ（図１９）において、ＨＭＤ２０Ａが備える第１表示装置３０Ａに代えて、第１表示装置３０Ｂを備える。第１表示装置３０Ｂは、第２表示装置４０ＡとともにＨＭＤ２０Ｂを構成する。
制御装置１０及び第２表示装置４０Ａの構成及び動作は、第２実施形態と同様である。
【０２２３】
第１表示装置３０Ｂの構成は、第１表示装置３０Ａ（図１９）において、受信装置７０を備える。受信装置７０は、マイコン７１と、無線通信部７２とを備える。
マイコン７１は、無線通信部７２に接続され、無線通信部７２を介して制御装置１０との間で各種データを無線信号により送受信する。マイコン７１は、装置間通信部３４に接続される。
【０２２４】
また、マイコン７１は、制御装置１０から受信したデータを、装置間通信部３４を介してプロセッサー３１に出力する。また、マイコン７１は、第２表示装置４０Ａが備える装置間通信部４４に接続される。マイコン７１は、制御装置１０から受信したデータを、装置間通信部４４を介して、第２表示装置４０Ａのプロセッサー４１に出力する。ここで、受信装置７０は、プロセッサー３１、４１のそれぞれと無線通信回線を介して接続されてもよい。
【０２２５】
図２４は、第３実施形態の表示システム１００Ｂの動作と表示ずれを模式的に示す説明図である。
制御装置１０は、映像データをフレーム単位で送信し、この映像データを受信装置７０が受信する。図２４には、制御装置１０が１フレームずつ送信を行う例を示すが、複数のフレームをまとめて制御装置１０が送信することも勿論可能である。また、制御装置１０は、映像データのフレームと、フレームを識別するフレーム識別情報とを対応付けて受信装置７０に送信する。フレーム識別情報の具体例については第１、第２実施形態と同様である。
【０２２６】
受信装置７０は、制御装置１０が送信する映像データをフレーム単位で受信して、第１表示装置３０Ｂ、及び、第２表示装置４０Ａに送信する。第１表示装置３０Ｂの制御部３１０は、受信装置７０から受信する映像データをフレーム単位で受信バッファー３４０にフレームデータ３４１として記憶する。また、制御装置１０から受信するフレーム識別情報をフレーム識別情報３４３として受信バッファー３４０に記憶する。
【０２２７】
第２表示装置４０Ａは、受信装置７０から映像データのフレーム、及び、フレーム識別情報を受信して、受信バッファー４４０にフレームデータ４４１及びフレーム識別情報４４３として記憶する。
【０２２８】
第１表示装置３０Ｂは、制御装置１０から受信する映像データをフレーム単位で表示し、第２表示装置４０Ａは、第１表示装置３０Ｂから受信する映像データをフレーム単位で表示する。受信装置７０は、第１表示装置３０Ａ、及び、第２表示装置４０Ａに映像データを送信する送信タイミングを同期させる。これにより、ＨＭＤ２０Ｂにおいては、第１表示装置３０Ｂと第２表示装置４０Ａとが同期して同じフレームを表示できる。
【０２２９】
表示システム１００Ｂでは、制御装置１０が受信装置７０に映像データをフレーム単位で送信する際に、受信装置７０が、受信した映像データのフレームのフレーム識別情報を、制御装置１０に送信する。制御装置１０は、受信装置７０が送信するフレーム識別情報を受信して、既に送信したフレーム識別情報と比較する。これにより、制御装置１０が送信したフレームと、受信装置７０が受信したフレームとのずれを検出できる。また、制御装置１０は、受信装置７０にフレーム識別情報を送信したタイミングと、受信装置７０からフレーム識別情報を受信するタイミングとの時間差から、遅延時間を求めることができる。
【０２３０】
第３実施形態では、第２実施形態と同様に、制御装置１０とＨＭＤ２０Ｂとの間のフレームの表示ずれ及び遅延を検出し、回避できる。第３実施形態では、第１表示装置３０Ｂ、及び第２表示装置４０Ａは、図２１を参照して説明した第２表示装置４０Ａと同様の動作を実行すれば良い。従って、プロセッサー３１及びプロセッサー３１が実行する制御部３１０の負荷を軽減することができ、例えば安定して表示を実行できる。
【０２３１】
図２５は、受信装置７０の動作を示すフローチャートである。
マイコン７１は、制御装置１０が送信する制御データに従って、制御装置１０が送信する映像データの受信を開始する（ステップＳ１５１）。マイコン７１は、制御装置１０から受信したフレーム、および、受信したフレームに対応するフレーム識別情報を、図示しない受信バッファーに格納する処理を開始する（ステップＳ１５２）。
【０２３２】
マイコン７１は、制御装置１０から受信したフレーム識別情報を、制御装置１０に送信する処理を開始する（ステップＳ１５３）。ここで、マイコン７１は、制御装置１０からフレームのデータを受信する毎に、フレーム識別情報を制御装置１０に送信してもよい。また、予め設定された数のフレームのデータを受信する毎に、フレーム識別情報を制御装置１０に送信してもよい。
【０２３３】
マイコン７１は、制御装置１０から受信したフレーム、および、受信したフレームに対応するフレーム識別情報を、第１表示装置３０Ａ、及び、第２表示装置４０Ａに転送する処理を開始する（ステップＳ１５４）。
そして、マイコン７１は、ＨＭＤ２０Ｂによる表示を終了するか否かを判定する（ステップＳ１５５）。マイコン７１は、制御装置１０が映像データの送信を終了する、制御装置１０からの制御データにより表示停止が指示される等、表示を完了する条件が成立した場合（ステップＳ１５５；Ｙｅｓ）、本処理を終了する。また、表示を完了しない場合（ステップＳ１５５；Ｎｏ）、マイコン７１は表示を完了するまで、ステップＳ１５２〜Ｓ１５４で開始した処理を継続する。
【０２３４】
この第３実施形態によれば、制御装置１０から映像データのフレーム及びフレーム識別情報を受信し、制御装置１０にフレーム識別情報を送信する専用の受信装置７０を設けることにより、映像を表示するプロセッサー３１及び制御部３１０の負荷を軽減できる。
【０２３５】
なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。例えば、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮像した実空間の画像と仮想画像とを組み合わせるＭＲ（Mixed Reality）表示、或いは仮想画像を表示するＶＲ（Virtual Reality）表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
【０２３６】
また、上記各実施形態ではＨＭＤ２０、２０Ａ、２０Ｂにより映像を出力する例を説明したが、音声を出力してもよい。例えば、表示システム１００は、ヘッドホンやスピーカーなどの音声出力部を、制御装置１０の音声インターフェイス１８２（図５）に有線または無線で接続して、音声を出力する構成としてもよい。この場合、ＨＭＤ２０が使用者に視認させる映像に対応する音声を出力することができる。この構成において、ＨＭＤ２０が出力する映像と、音声とのずれを検出してもよい。例えば、制御装置１０が第１表示装置３０に対し、制御装置１０により送信される映像データのフレームと音声の出力タイミングの対応を示す情報を送信する。この構成で、第１表示装置３０の制御部３１０が、ＯＬＥＤユニット２２１、２４１が表示するフレームと、音声インターフェイス１８２から出力される音声とのタイミングのずれを検出してもよい。また、制御装置１０が、第１表示装置３０及び第２表示装置４０に送信する映像データのフレームと、音声インターフェイス１８２が出力する音声の出力タイミングとのずれを検出してもよい。そして、映像データのフレームと音声の出力タイミングのずれを検出した場合、音声を一時停止させる、音声の一部を省略して早送りする等の手法により、ずれを補正してもよい。音声表示システム１００Ａ、１００Ｂについても同様である。
【０２３７】
また、制御装置１０から第１表示装置３０及び第２表示装置４０のそれぞれに音声データ或いは音声信号を送信し、第１表示装置３０及び第２表示装置４０のそれぞれが、音声を出力する構成であってもよい。この場合、制御装置１０は、音声データ或いは音声信号を符号化し、またはこれらに重畳して、映像データのフレームのフレーム識別情報を送信してもよい。
【０２３８】
また、表示システム１００は、カメラ６１で撮像した撮像画像データに基づく映像データを、制御装置１０から第１表示装置３０及び第２表示装置４０に送信してもよい。この場合、ＨＭＤ２０は、第１表示装置３０及び第２表示装置４０によって、カメラ６１の撮像画像を表示する。この構成において、カメラ６１が撮像した撮像画像が第１表示装置３０または第２表示装置４０により表示されるまでの間の時間を、カメラ６１の撮像タイミングと表示タイミングのずれとして検出してもよい。
【０２３９】
この場合、制御部１５０は、カメラ６１の撮像画像データから表示用の映像データを生成する処理を行う。制御部１５０は、ずれを検出した場合、或いは、検出したずれの量が予め設定された閾値以上である場合に、ずれを補正あるいは抑制する処理を行ってもよい。例えば、制御部１５０は、カメラ６１の撮像画像データから生成する表示用の映像データのフレームレートを、デフォルト値として設定された第１フレームレートとする。制御部１５０は、カメラ６１の撮像タイミングと表示タイミングのずれが検出され、或いは、ずれ量が所定時間以上である場合に、フレームレートを、第１フレームレートより低い第２フレームレートに変更してもよい。また、例えば、制御部１５０は、カメラ６１の撮像画像データから生成する表示用の映像データの解像度を、デフォルト値として設定された第１解像度とする。制御部１５０は、カメラ６１の撮像タイミングと表示タイミングのずれが検出され、或いは、ずれ量が所定時間以上である場合に、解像度を、第１解像度より低い第２解像度に変更してもよい。これらの場合、映像データを生成する処理、及び、映像データの表示に要する処理を高速化できるので、ずれの解消或いは抑制が期待できる。また、既に発生したずれを解消するため、映像データを生成する処理でカメラ６１の撮像画像データの一部を省略してもよい。また、第１表示装置３０及び第２表示装置４０で映像データのフレームを一時記憶する受信バッファー３４０、４４０をクリアさせてもよい。音声表示システム１００Ａ、１００Ｂについても同様である。
【０２４０】
また、ＨＭＤ２０を装着する使用者が動いている場合に、フレームレートや解像度を低下させてもよい。この場合、使用者が、フレームレートや解像度の低下を知覚しにくい状況で、表示システム１００における処理の負荷を軽減し、ずれを抑制し、或いは解消できる。使用者の動きは、上述したように、例えば、表示システム１００が備える各種センサーの検出結果から判定してもよい。具体的には、カメラ６１の撮像画像、６軸センサー２３５、磁気センサー２３７、６軸センサー１１１、或いは磁気センサー１１３の検出値または検出値の変化から、使用者の動きを検出すればよい。この場合、単位時間あたりの動き量あるいは動きの速度または加速度が設定された基準値以上の場合に、フレームレートや解像度を低くするように設定を変更してもよい。
【０２４１】
また、表示システム１００において、ずれが検出され、或いは、ずれ量が所定時間以上である場合に、制御装置１０と第１表示装置３０との間、及び／または制御装置１０と第２表示装置４０との間の通信の帯域を変更してもよい。この場合、通信帯域を拡張して、通信の高速化を図ることで、ずれを抑制する構成であってもよい。また、表示システム１００で映像データのフレームのフレームレート及び／又は解像度を変更する場合に、上記の帯域を、フレームレート及び／又は解像度に対応する帯域に変更してもよい。音声表示システム１００Ａ、１００Ｂについても同様である。
【０２４２】
また、制御装置１０と第１表示装置３０、及び／又は制御装置１０と第２表示装置４０との間の無線通信の具体的態様は任意であり、第１表示装置３０Ａ、３０Ｂ、第２表示装置４０Ａについても同様である。また、第１表示装置３０と第２表示装置４０との間における無線通信についても同様であり、第１表示装置３０Ａ、３０Ｂ、第２表示装置４０Ａについても同様である。例えば、パケット通信を利用して映像データのフレーム、或いは、フレーム識別情報を送受信してもよい。この場合、パケットを受信する側の装置がＡＣＫ（ACKnowledgement／肯定応答／確認応答）パケットを送信し、このＡＣＫパケットによりずれを検出する構成としてもよい。
【０２４３】
また、ＨＭＤ２０は、使用者の頭部に装着されて画像を表示するものであればよい。例えば、ＨＭＤ２０のフレームに代えて、例えば帽子のように装着するフレームを有する表示部等、他の方式の表示部を採用してもよい。表示システム１００は、使用者の左眼に対応して画像を表示する第１表示装置と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
【０２４４】
さらに、上記実施形態では、ＨＭＤ２０、２０Ａ、２０Ｂと制御装置１０とが分離され、無線通信回線により接続された構成を例に挙げて説明したが、制御装置１０とＨＭＤ２０、２０Ａ、２０Ｂとが有線接続する構成であってもよい。また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
【０２４５】
また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
【０２４６】
また、図５等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１または制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。
【符号の説明】
【０２４７】
１０…制御装置（送信装置）、１１…ボタン、１３…タッチセンサー、１４…トラックパッド、１９…バイブレーター、２０…ＨＭＤ（頭部装着型表示装置）、２０Ａ、２０Ｂ…ＨＭＤ、２６…右導光板、２８…左導光板、３０…第１表示装置（表示装置）、３０Ａ、３０Ｂ…第１表示装置、３１…プロセッサー、３２…不揮発性記憶部、３３…無線通信部（第１映像受信部、映像受信部）、３４…装置間通信部（第１装置間通信部）、４０…第２表示装置（表示装置）、４０Ａ…第２表示装置、４１…プロセッサー、４２…不揮発性記憶部、４３…無線通信部（第２映像受信部、映像受信部）、４４…装置間通信部（第２装置間通信部）、６１…カメラ、６５…照度センサー、６７…ＬＥＤインジケーター、６８…温度センサー、７０…受信装置、７１…マイコン、７２…無線通信部、１００…表示システム、１００Ａ、１００Ｂ…表示システム、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部、１２３…設定データ、１２５…コンテンツデータ、１２７…検出データ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４３…オペレーティングシステム、１４５…画像処理部、１４９…撮像制御部、１５０…制御部、１５１…検出制御部、１５３…通信制御部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９０…無線通信部、２２１…ＯＬＥＤユニット（第１表示部、表示部）、２３５…６軸センサー、２３７…磁気センサー、２３８…温度センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット（第２表示部、表示部）、３１０…制御部、３１１…オペレーティングシステム、３１３…画像処理部、３１７…検出制御部、３１９…撮像制御部、３２１…通信制御部、３２３…ずれ判定部、３３０…記憶部、３３１…設定データ、３３３…検出データ、３３７…ずれ補正設定データ、３３９…補正指示データ、３４０…受信バッファー（記憶部）、３４１…フレームデータ、３４３…フレーム識別情報、４１０…制御部、４１１…オペレーティングシステム、４１３…画像処理部、４１７…検出制御部、４２１…通信制御部、４３０…記憶部、４３１…設定データ、４３３…検出データ、４４０…受信バッファー（記憶部）、４４１…フレームデータ、４４３…フレーム識別情報。
【図１】
0006623888.tif 000002
【図２】
0006623888.tif 000003
【図３】
0006623888.tif 000004
【図４】
0006623888.tif 000005
【図５】
0006623888.tif 000006
【図６】
0006623888.tif 000007
【図７】
0006623888.tif 000008
【図８】
0006623888.tif 000009
【図９】
0006623888.tif 000010
【図１０】
0006623888.tif 000011
【図１１】
0006623888.tif 000012
【図１２】
0006623888.tif 000013
【図１３】
0006623888.tif 000014
【図１４】
0006623888.tif 000015
【図１５】
0006623888.tif 000016
【図１６】
0006623888.tif 000017
【図１７】
0006623888.tif 000018
【図１８】
0006623888.tif 000019
【図１９】
0006623888.tif 000020
【図２０】
0006623888.tif 000021
【図２１】
0006623888.tif 000022
【図２２】
0006623888.tif 000023
【図２３】
0006623888.tif 000024
【図２４】
0006623888.tif 000025
【図２５】
0006623888.tif 000026