(57)【要約】【課題】第三者に覗き見されるのを防止する。【解決手段】本発明の表示システムは、映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、利用者の視界内に映像を表示するヘッドマウントディスプレイ（ＨＭＤ）と、を具備し、ＨＭＤは、利用者の視界方向に向かって撮影した撮影画像の画像データを出力し、端末装置は、出力された画像データに基づいて、ＨＭＤに対する表示部の位置関係を検出する検出部と、表示部およびＨＭＤのいずれか一方を映像の表示先として決定し、ＨＭＤを映像の表示先として決定した場合には、検出された位置関係に基づいて、ＨＭＤが映像表示可能な表示可能領域における、利用者から見て表示部と重複する領域を特定し、ＨＭＤに特定した領域および特定した領域の周辺領域に映像を表示させるとともに、表示部に映像の表示を停止させる制御部と、を有する。【選択図】図１
2012173476.tif 000002
【特許請求の範囲】
【請求項１】
映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを出力する撮影部を有し、
前記端末装置は、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部と、を有することを特徴とする表示システム。
【請求項２】
映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを出力する撮影部と、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、を有し、
前記端末装置は、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部を有することを特徴とする表示システム。
【請求項３】
映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイおよび前記端末装置とネットワークを介して接続されるサーバと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを前記サーバに出力する撮影部を有し、
前記端末装置は、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記映像を示す映像データを前記サーバに出力するとともに、前記表示部に映像の表示を停止させる第１の制御部を有し、
前記サーバは、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に、前記第１の制御部より出力された映像データに示される映像を表示させる第２の制御部と、を有することを特徴とする表示システム。
【請求項４】
映像を表示する表示部と、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部と、を有することを特徴とする端末装置。
【請求項５】
請求項４記載の端末装置であって、
前記制御部は、前記表示可能領域における固定領域に映像をさらに表示させることを特徴とする端末装置。
【請求項６】
請求項４または５記載の端末装置において、
前記表示部は、位置合わせ用パターンを表示し、
前記検出部は、前記撮影部の撮影画像における前記位置合わせ用パターンを検出し、該検出結果に基づいて、前記位置関係を検出することを特徴とする端末装置。
【請求項７】
請求項４または５記載の端末装置において、
前記表示部の近傍に設けられ、赤外線を発光する複数の発光部をさらに有し、
前記検出部は、前記撮影部の撮影画像における前記複数の発光部の位置を検出し、該検出結果に基づいて、前記位置関係を検出することを特徴とする端末装置。
【請求項８】
映像を表示する表示部を有する端末装置の制御方法であって、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力し、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させることを特徴とする端末装置の制御方法。
【請求項９】
映像を表示する表示部を有する端末装置に、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する処理と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる処理と、を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム、端末装置、端末装置の制御方法、および、プログラムに関する。
【背景技術】
【０００２】
利用者に対して映像を表示する表示装置の１つとして、利用者の頭部に装着され、利用者の視界内に映像を表示するヘッドマウントディスプレイ（ＨＭＤ）がある。
【０００３】
近年、ＨＭＤと携帯電話などの端末装置とを連動させ、ＨＭＤを端末装置の外部表示装置として使用する表示システムが検討されている。
【０００４】
例えば、特許文献１（特開２００６−２６７６０４号公報）には、表示部を有する端末装置とＨＭＤとからなる表示システムにおいて、端末装置の表示部に映像を表示させるとともに、ＨＭＤが映像表示可能な表示可能領域における、利用者から見て端末装置の表示部と重複する領域を特定し、ＨＭＤに特定した領域の周辺領域に種々の映像を表示させる技術が開示されている。
【０００５】
特許文献１に開示の技術によれば、端末装置の表示部とは重複しないように、ＨＭＤの表示可能領域に映像を表示させることができる
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２６７６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示の技術によれば、端末装置の表示部に表示された映像を利用者以外の第三者に覗き見されるおそれがあるという課題がある。
【０００８】
本発明の目的は、上述した課題を解決し、第三者に映像が覗き見される可能性を低減することができる表示システム、端末装置、端末装置の制御方法、および、プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明の第１の表示システムは、
映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを出力する撮影部を有し、
前記端末装置は、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部と、を有する。
【００１０】
上記目的を達成するために本発明の第２の表示システムは、
映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを出力する撮影部と、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、を有し、
前記端末装置は、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部を有する。
【００１１】
上記目的を達成するために本発明の第３の表示システムは、
映像を表示する表示部を有する端末装置と、利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイおよび前記端末装置とネットワークを介して接続されるサーバと、を具備し、
前記ヘッドマウントディスプレイは、
前記利用者の視界方向に向かって撮影した撮影画像の画像データを前記サーバに出力する撮影部を有し、
前記端末装置は、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記映像を示す映像データを前記サーバに出力するとともに、前記表示部に映像の表示を停止させる第１の制御部を有し、
前記サーバは、
前記撮影部より出力された画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に、前記第１の制御部より出力された映像データに示される映像を表示させる第２の制御部と、を有する。
【００１２】
上記目的を達成するために本発明の端末装置は、
映像を表示する表示部と、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する検出部と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記検出部より出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる制御部と、を有する。
【００１３】
上記目的を達成するために本発明の端末装置の制御方法は、
映像を表示する表示部を有する端末装置の制御方法であって、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力し、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる。
【００１４】
上記目的を達成するために本発明のプログラムは、
映像を表示する表示部を有する端末装置に、
利用者の頭部に装着され、前記利用者の視界内に映像を表示するヘッドマウントディスプレイより出力される、前記利用者の視界方向に向かって撮影された撮影画像の画像データを取得し、該取得した画像データに基づいて、前記ヘッドマウントディスプレイに対する前記表示部の位置関係を検出し、該検出した位置関係を示す位置情報を出力する処理と、
前記表示部および前記ヘッドマウントディスプレイのいずれか一方を映像の表示先として決定し、前記ヘッドマウントディスプレイを映像の表示先として決定した場合には、前記出力された位置情報に基づいて、前記ヘッドマウントディスプレイが映像表示可能な表示可能領域における、前記利用者から見て前記表示部と重複する領域を特定し、前記ヘッドマウントディスプレイに前記特定した領域および該特定した領域の周辺領域に映像を表示させるとともに、前記表示部に映像の表示を停止させる処理と、を実行させる。
【発明の効果】
【００１５】
本発明によれば、ヘッドマウントディスプレイに映像を表示する場合に、端末装置の表示部への映像の表示を停止させるので、第三者に映像が覗き見される可能性を低減することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態の表示システムの構成を示すブロック図である。
【図２】図１に示す表示システムの使用状態を示す図である。
【図３】図１に示す端末装置の外観の一例を示す図である。
【図４】図１に示すヘッドマウントディスプレイの外観の一例を示す図である。
【図５】図１に示す表示システムの動作の一例を示すフローチャートである。
【図６】図１に示す表示システムの、ＨＭＤの使用開始処理時の動作の一例を示すフローチャートである。
【図７】図１に示す表示システムの、ＨＭＤへの画像表示処理時の動作の一例を示すフローチャートである。
【図８Ａ】図１に示すＨＭＤの表示部に表示される映像の一例を示す図である。
【図８Ｂ】図１に示すＨＭＤの表示部に表示される映像の他の一例を示す図である。
【図９】図１に示すＨＭＤの利用者により視認される映像の一例を示す図である。
【図１０】本発明の第２の実施形態の表示システムの構成を示すブロック図である。
【図１１】図１０に示す端末装置の外観の一例を示す図である。
【図１２】図１０に示す端末装置の外観の他の一例を示す図である。
【図１３】図１０に示す表示システムの動作の一例を示すフローチャートである。
【図１４】本発明の第３の実施形態の表示システムの構成を示すブロック図である。
【図１５】本発明の第４の実施形態の表示システムの構成を示すブロック図である。
【図１６】本発明の第５の実施形態の表示システムの構成を示すブロック図である。
【図１７】本発明の第６の実施形態の表示システムの構成を示すブロック図である。
【図１８】本発明の第７の実施形態の表示システムの構成を示すブロック部である。
【発明を実施するための形態】
【００１７】
以下に、本発明を実施するための形態について図面を参照して説明する。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態の表示システム１０の構成を示すブロック図である。
【００１９】
図１に示す表示システム１０は、端末装置１００とヘッドマウントディスプレイ（ＨＭＤ）２００とを具備する。
【００２０】
端末装置１００は、表示部１１０を有しており、表示部１１０およびＨＭＤ２００のいずれかを一方を映像の表示先として決定し、ＨＭＤ２００を映像の表示先として決定した場合には、映像データをＨＭＤ２００に送信する。なお、端末装置１００の具体例としては、携帯電話がある。
【００２１】
ＨＭＤ２００は、図２に示すように、利用者の頭部に装着され、端末装置１００から送信されてきた映像データを受信し、映像データに示される映像を表示する。
【００２２】
次に、端末装置１００の構成について説明する。なお、図３は、端末装置１００の外観を示す図である。
【００２３】
端末装置１００は、表示部１１０と、キー操作部１２０と、通信部１３０と、演算回路１４０と、を有する。
【００２４】
また、演算回路１４０は、表示制御部１４１と、キー制御部１４２と、通信制御部１４３と、アプリケーション部１４４と、ＨＭＤ制御部１４５と、端末姿勢取得部１４６と、を備える。
【００２５】
表示部１１０は、端末装置１００に付属する付属ディスプレイであり、演算回路１４０から出力された映像データに示される映像を表示する。
【００２６】
キー操作部１２０は、利用者が操作したキーの状態を示す信号を演算回路１４０に出力する。
【００２７】
通信部１３０は、ＨＭＤ２００と有線または無線通信を用いて相互にデータの送受信を行う。なお、本実施形態においては、ＨＭＤ２００との通信方法は、特に限定されるものではなく、既存の通信方法を用いるものとする。
【００２８】
演算回路１４０は、キー操作部１２０を介した操作などのイベントを入力とし、入力されたイベントの内容に応じて種々の情報処理を行い、上述した各部を制御する。
【００２９】
表示制御部１４１は、アプリケーション部１４４からの指示に従い、映像を表示部１１０に表示させ、また、映像の表示を停止させる。さらに、表示制御部１４１は、ＨＭＤ制御部１４５からの指示に従い、ＨＭＤ２００に対する表示部１１０の相対的な位置関係を検出するための位置合わせ用パターンを表示部１１０に表示させる。
【００３０】
キー制御部１４２は、キー操作部１２０から出力された信号に基づいて生成した、利用者の操作内容を示すイベントデータをアプリケーション部１４４に出力する。
【００３１】
通信制御部１４３は、通信部１３０を介したＨＭＤ２００との通信を制御する。
【００３２】
アプリケーション部１４４は、キー制御部１４２から出力されたイベントデータに応じて種々の情報処理を行い、表示制御部１４１に指示して表示部１１０に処理結果を表示させ、また、ＨＭＤ制御部１４５に指示してＨＭＤ２００に処理結果を表示させる。なお、アプリケーション部１４４が行う処理は、端末装置１００に内蔵されたソフトウェア全般を用いて実現される。
【００３３】
ＨＭＤ制御部１４５は、アプリケーション部１４４からの指示に従い、ＨＭＤ２００との接続状況の確認、ＨＭＤ２００の使用開始、ＨＭＤ２００への画像表示、ＨＭＤ２００の使用終了などの処理を行う。
【００３４】
端末姿勢取得部１４６は、通信部１３０を介して受信された、後述するＨＭＤ２００のカメラが撮影した撮影画像を示す画像データを取得する。また、端末姿勢取得部１４６は、表示部１１０に表示される位置合わせ用パターンを予め記憶しており、取得した画像データに示される撮影画像における位置合わせ用パターンの画像認識を行うことで、ＨＭＤ２００に対する表示部１１０の相対的な位置関係（相対位置および相対姿勢）を検出し、検出した位置関係を示す位置情報をＨＭＤ制御部１４５に出力する。なお、以下では、ＨＭＤに対する端末装置の表示部の相対的な位置関係を相対位置関係と称する。
【００３５】
次に、ＨＭＤ２００の構成について説明する。なお、図４は、ＨＭＤ２００の外観を示す図である。
【００３６】
ＨＭＤ２００は、カメラ２１０と、表示部２２０と、通信部２３０と、演算回路２４０と、を有する。
【００３７】
また、演算回路２４０は、カメラ制御部２４１と、表示制御部２４２と、通信制御部２４３と、を備える。
【００３８】
カメラ２１０は、撮影部の一例であり、撮影した撮影画像を示す画像データを出力する。なお、カメラ２１０は、図４に示すように、ＨＭＤ２００の正面に設けられ、ＨＭＤ２００を装着した利用者の視界方向に向けられる。したがって、カメラ２１０の撮影範囲は、利用者の視界の範囲とほぼ一致する。
【００３９】
表示部２２０は、演算回路２４０から出力された映像データに示される映像を表示する。なお、表示部２２０としては、非透過スクリーン型のものと透過スクリーン型のものとがある。表示部２２０が非透過スクリーン型のものである場合には、利用者の視界は完全に遮断される。また、表示部２２０が透過スクリーン型のものである場合には、利用者の視界に重ね合わせて映像が表示される。また、図４に示すように、表示部２２０として、スクリーンを両眼に設けたものと片眼に設けたものとがある。また、スクリーンではなく、利用者の網膜へ直接映像を投射する方式のものを用いてもよい。
【００４０】
通信部２３０は、端末装置１００と有線または無線通信を用いて相互にデータの送受信を行う。なお、本実施形態においては、端末装置１００との通信方法は、特に限定されるものではなく、既存の通信方法を用いるものとする。
【００４１】
演算回路２４０は、種々の情報処理を行い、上述した各部を制御する。
【００４２】
カメラ制御部２４１は、カメラ２１０への撮影要求があると、カメラ２１０に撮影を行わせ、カメラ２１０から出力された画像データを通信制御部２４３に出力する。
【００４３】
表示制御部２４２は、通信制御部２４３から映像データが出力されると、その映像データに示される映像を表示部２２０に表示させる。
【００４４】
通信制御部２４３は、通信部２３０を介した端末装置１００との通信を制御する。
【００４５】
次に、本実施形態の表示システム１０の動作について説明する。
【００４６】
図５は、表示システム１０の動作の一例を示すフローチャートである。
【００４７】
端末装置１００の動作開始時に、アプリケーション部１４４は、ＨＭＤ２００との接続状況の確認処理を行う旨をＨＭＤ制御部１４５に指示する（ステップＳ０１）。
【００４８】
アプリケーション部１４４からの指示を受けて、ＨＭＤ制御部１４５は、通信制御部１４３に通信部１３０を介したＨＭＤ２００との通信の確立を試みさせる。ＨＭＤ制御部１４５は、通信の確立に成功したら、ＨＭＤ２００と接続中である旨をアプリケーション部１４４に通知し、通信の確立に失敗したら、ＨＭＤ２００と未接続である旨をアプリケーション部１４４に通知する。
【００４９】
ＨＭＤ２００と接続中である旨が通知されると、アプリケーション部１４４は、ＨＭＤ２００の使用開始処理を行う旨をＨＭＤ制御部１４５に指示し、ＨＭＤ制御部１４５は、ＨＭＤ２００の使用開始処理を行う（ステップＳ０２）。なお、使用開始処理の詳細については後述する。
【００５０】
次に、アプリケーション部１４４は、例えば、ＨＭＤ２００を映像の表示先とする操作入力がキー操作部１２０を介して行われたか否かに応じて、ＨＭＤ２００を映像の表示先として使用する否かを判定する（ステップＳ１０３）。なお、ＨＭＤ２００と未接続である旨が通知された場合には、アプリケーション部１４４は、ＨＭＤ２００を使用しないと判定する。
【００５１】
ＨＭＤ２００を使用する場合には（ステップＳ０３：Ｙｅｓ）、アプリケーション部１４４は、映像データをＨＭＤ制御部１４５に出力し、ＨＭＤ２００への画像表示処理を行う旨をＨＭＤ制御部１４５に指示する。なお、画像表示処理の詳細については後述する。
【００５２】
アプリケーション部１４４からの指示を受けて、ＨＭＤ制御部１４５は、通信制御部１４３に通信部１３０を介してＨＭＤ２００に映像データを送信させる。
【００５３】
ＨＭＤ２００では、通信部２３０が、端末装置１００から送信されてきた映像データを受信して通信制御部２４３に出力し、通信制御部２４３は、その映像データを表示制御部２４２に出力する。
【００５４】
表示制御部２４２は、通信制御部２４３から出力された映像データに示される映像を表示部２２０に表示させる（ステップＳ０４）。
【００５５】
一方、ＨＭＤ２００を使用しない場合には（ステップＳ０３：Ｎｏ）、アプリケーション部１４４は、映像データを表示制御部１４１に出力し、表示制御部１４１は、その映像データに示される映像を表示部１１０に表示させる（ステップＳ０５）。
【００５６】
次に、アプリケーション部１４４は、キー操作部１２０あるいはシステム内の他の入力手段を介して入力されたイベントについてイベントデータを取得し（ステップＳ０６）、入力されたイベントに応じた処理を行う。
【００５７】
例えば、端末装置１００の動作を終了すべき旨を示すイベントが入力された場合には、アプリケーション部１４４は、各部の動作を終了させる。
【００５８】
また、ＨＭＤ２００の使用終了処理を行うべき旨を示すイベントが入力された場合には、アプリケーション部１４４は、使用終了処理を行う旨をＨＭＤ制御部１４５に指示し、ＨＭＤ制御部１４５は、端末姿勢取得部１４６の動作を停止させるとともに、通信制御部１４３にＨＭＤ２００との通信を解除させる（ステップＳ０７）。
【００５９】
また、ＨＭＤ２００の使用開始処理を行うべき旨を示すイベントが入力された場合には、アプリケーション部１４４は、ステップＳ０１に戻る。
【００６０】
また、上述したイベント以外のイベントが入力された場合には、アプリケーション部１４４は、入力されたイベントに応じた処理を行い（ステップＳ０８）、処理結果を表示するために、ステップＳ０３の処理に戻る。
【００６１】
次に、図５のステップＳ０２における、ＨＭＤ２００の使用開始処理時の表示システム１０の動作について、図６に示すフローチャートを参照して説明する。
【００６２】
まず、ＨＭＤ制御部１４５は、位置合わせ用パターンを表示部１１０に表示させるように表示制御部１４１に指示し、表示制御部１４１は、位置合わせ用パターンを表示部１１０に表示させる（ステップＳ１１）。
【００６３】
次に、ＨＭＤ制御部１４５は、カメラ２１０への撮影要求をＨＭＤ２００に送信するように通信制御部１４３に指示し、通信制御部１４３は、通信部１３０を介してカメラ２１０への撮影要求をＨＭＤ２００に送信する。
【００６４】
ＨＭＤ２００では、通信部２３０が、端末装置１００から送信されてきたカメラ２１０への撮影要求を受信し、通信制御部２４３に出力する。通信制御部２４３は、カメラ２１０への撮影要求があった旨をカメラ制御部２４１に通知し、カメラ制御部２４１は、カメラ２１０に撮影を行わせる（ステップＳ１２）。
【００６５】
カメラ２１０は、撮影画像を示す画像データをカメラ制御部２４１に出力し、カメラ制御部２４１は、その画像データを通信制御部２４３に出力する。通信制御部２４３は、カメラ制御部２４１から出力された画像データを、通信部２３０を介して端末装置１００に送信する。
【００６６】
端末装置１００では、通信部１３０が、ＨＭＤ２００から送信されてきた画像データを受信して通信制御部１４３に出力し、通信制御部１４３は、その画像データを端末姿勢取得部１４６に出力する。
【００６７】
端末姿勢取得部１４６は、通信制御部１４３から出力された画像データに示される撮影画像における位置合わせ用パターンの検出を行う（ステップＳ１３）。次に、端末姿勢取得部１４６は、検出した位置合わせ用パターンの大きさと歪みとに基づいて相対位置関係を計算する（ステップＳ１４）。なお、ステップＳ１３における位置合わせ用パターンの検出、および、ステップＳ１４における相対位置関係の計算は、例えば、ARToolKit(http://www.hitl.washington.edu/artoolkit/)などの既存のソフトウェアを用いて行われる。
【００６８】
相対位置関係の計算結果は、ＨＭＤ２００の表示部２２０に全画面表示した矩形の位置合わせ用パターンを、ステップＳ１３において検出した位置合わせ用パターンの形にアフィン変換するためのアフィン変換行列として、端末姿勢取得部１４６に保持される。
【００６９】
ＨＭＤ２００を映像の表示先として使用する場合には、ＨＭＤ制御部１４５は、映像表示処理に進み、端末姿勢取得部１４６が検出した相対位置関係に基づいて、表示部２２０の表示可能領域における特定の領域に映像を表示させる。また、ＨＭＤ制御部１４５は、表示制御部１４１に、位置合わせ用パターン以外の表示部１１０への表示を停止させる。
【００７０】
なお、ＨＭＤ２００の表示部２２０における映像を表示する領域が頻繁に（フレーム毎に）変化すると、利用者にとって見難いため、相対位置関係の計算結果の変化量を平滑化するようにしてもよい。
【００７１】
次に、ＨＭＤ２００の使用終了処理を行うべき旨を示すイベントが入力された場合には（ステップＳ１５：Ｙｅｓ）、ＨＭＤ制御部１４５は、表示制御部１４１に、表示部１１０に表示されている位置合わせ用パターンを消去させ（ステップＳ１６）、通常の画面に戻させる。
【００７２】
一方、ＨＭＤ２００の使用終了処理を行うべき旨を示すイベントが入力されていない場合には（ステップＳ１５：Ｎｏ）、ＨＭＤ制御部１４５は、ステップＳ１２の処理に戻る。
【００７３】
次に、図５のステップＳ０４における、ＨＭＤ２００への映像表示処理時の表示システム１０の動作について、図７に示すフローチャートを参照して説明する。
【００７４】
ＨＭＤ制御部１４５は、アフィン変換行列を端末姿勢取得部１４６から取得し（ステップＳ２１）、アプリケーション部１４４から出力された映像データに対して、取得したアフィン変換行列を用いてアフィン変換を施す（ステップＳ２２）。
【００７５】
図８Ａは、アフィン変換後の映像データに示される映像の一例を示す図である。
【００７６】
アフィン変換が施されることで、利用者から見て表示部２２０の表示可能領域Ｐと端末装置１００の表示部１１０とが重複する領域Ａが特定され、その領域Ａに映像が表示される。
【００７７】
なお、領域Ａのサイズは、利用者から見た端末装置１００の表示部１１０のサイズと一致する。領域Ａのサイズが小さいと、表示部２２０の解像度によっては文字などがつぶれて見難くなる場合がある。この場合、変換後の画像データにおいて、領域Ａのサイズを適当な倍率で拡大することが望ましい。ここで、領域Ａのサイズを拡大する場合には、キー操作部１２０がＨＭＤ００の表示部２２０に表示される映像のために隠れないように、表示部２２０の表示可能領域の下端と端末装置１００の表示部１１０の下端とを揃え、上方向に拡大することが望ましい。
【００７８】
また、ＨＭＤ制御部１４５は、図８Ａに示すように、例えば、領域Ａの右側の領域Ｂおよび左側の領域Ｃのように、領域Ａの周辺領域にも映像を表示させる。なお、図８Ａにおいては、領域Ａの左右の領域を周辺領域として映像を表示する例を示しているが、これに限られるものではなく、領域Ａの上下の領域を周辺領域としてもよい。
【００７９】
領域Ａとその周辺領域に表示される映像の具体例としては、例えば、字幕つきの映像を表示する場合に、領域Ａに映像を表示し、周辺領域に字幕を表示する例がある。また、操作入力が階層的に構成された操作画面に応じて行われる場合には、現在の操作画面を領域Ａに表示し、その１つ前の階層の操作画面を周辺領域に表示する例などがある。
【００８０】
さらに、ＨＭＤ制御部１４５は、図８Ｂに示すように、表示可能領域Ｐ内の固定領域Ｄに映像を表示する映像データを生成する。
【００８１】
固定領域Ｄに表示される映像としては、電波強度、電池残量、メール着信通知、現在時刻などがある。なお、図８Ｂにおいては、表示可能領域Ｐ内の上端に固定領域Ｄが位置する例を示しているが、これに限られるものではなく、固定領域Ｄは、表示可能領域Ｐ内の任意の位置に設定される。
【００８２】
次に、ＨＭＤ制御部１４５は、図８Ａおよび図８Ｂに示される映像の映像データを合成する。ここで、表示部２２０が非透過スクリーン型のものである場合には、ＨＭＤ制御部１４５は、カメラ２１０が取得した最新の撮影画像に、領域Ａから領域Ｄに表示する映像を上書きする。一方、表示部２２０が透過スクリーン型のものである場合には、ＨＭＤ制御部１４５は、領域Ａから領域Ｄ以外の領域は透明色とする。領域Ａから領域Ｄ以外の領域を透明色とすることで、利用者の視界を確保することができる。
【００８３】
ＨＭＤ制御部１４５は、合成後の映像データを通信制御部１４３に出力し、通信制御部１４３は、通信部１３０を介してその映像データをＨＭＤ２００に送信する（ステップＳ２３）。また、ＨＭＤ制御部１４５は、位置合わせ用パターン以外の映像の表示部１１０への表示を表示制御部１４１に停止させる。
【００８４】
ＨＭＤ２００では、通信部２３０が、端末装置１００から送信されてきた映像データを受信し、表示制御部２２０は、その映像データに示される映像を表示部２２０に表示させる。
【００８５】
図９は、利用者に視認される映像の一例を示す図である。
【００８６】
図９に示すように、表示部２２０の表示可能領域Ｐ内における、利用者から見て端末装置１００の表示部１１０と重複する領域のサイズを拡大した領域Ａおよびその周辺領域（領域Ｂおよび領域Ｃ）と固定領域Ｄとに映像が表示される。また、端末装置１００の表示部１１０への映像の表示は停止される。
【００８７】
なお、利用者が自宅などの安全な場所で表示システム１０を使用する場合には、表示部２２０の固定領域に映像を表示するようにしてもよい。この場合、利用者が所定の操作入力を行うと、表示システム１０は、表示部２２０の固定領域に映像を表示する固定モードに移行する。固定モードに移行した場合には、ＨＭＤ制御部１４５は、図７におけるステップＳ２１の処理を行わず、ステップＳ２２において、アプリケーション部１４４から出力された映像データをＨＭＤ２００の表示部２２０に適したサイズに拡大または縮小する処理を行う。また、ステップＳ０２および図６に示される処理は不要となる。
【００８８】
このように本実施形態によれば、端末装置１００は、ＨＭＤ２００に対する表示部１１０の位置関係を検出し、その位置関係に基づいて、ＨＭＤ２００の表示部２２０の表示可能領域における、利用者から見て表示部１１０と重複する領域を特定し、ＨＭＤ２００に特定した領域およびその周辺領域に映像を表示させるとともに、表示部１１０に映像の表示を停止させる。
【００８９】
そのため、以下のような効果が得られる。
【００９０】
第１の効果は、常に、表示部２２０の固定領域に映像が表示されるのではなく、利用者が見たいときだけ、端末装置１００の表示部１１０の方向を見れば、ＨＭＤ２００の表示部２２０に映像が表示されるので、周囲の状況の確認を表示部１１０から視線をそらすという自然な動作で実現することができる。
【００９１】
第２の効果は、利用者から見て、端末装置１００の表示部１１０に映像を表示する場合よりも大きい映像を、ＨＭＤ２００を用いて表示することができるため、映像の視認性を向上させることができる。
【００９２】
第３の効果は、ＨＭＤ２００を映像の表示先とする場合には、端末装置１００の表示部１１０への映像の表示が停止されるので、第三者に覗き見られるのを防止することができる。
【００９３】
（第２の実施形態）
第１の実施形態においては、相対位置関係を検出するために表示部１１０に位置合わせ用パターンを表示していた。しかし、表示部２２０が透過スクリーン型のものである場合、あるいは、片眼のものである場合には、利用者に位置合わせ用パターンが見えてしまい、映像の閲覧の邪魔になる。また、例えば、端末装置１００の表示部１１０がタッチパネルである場合には、タッチパネルへの操作を行うことで、位置合わせ用パターンが隠れてしまい、相対位置関係を検出できない可能性がある。
【００９４】
そこで、本実施形態においては、端末装置は、表示部１１０に位置合わせ用パターンを表示することなく相対位置関係を検出する。
【００９５】
図１０は、本実施形態の表示システム２０の構成を示す図である。なお、図１０において、図１と同様の構成については同じ符号を付し、説明を省略する。
【００９６】
図１０に示す端末装置３００は、図１に示す端末装置１００と比較して、ＬＥＤ（Light Emitting Diode）３１０を追加した点が主に異なる。
【００９７】
ＬＥＤ３１０は、発光部の一例であり、表示制御部１４１からの指示に従い、赤外線を発光する。なお、赤外線は、可視光の範囲から外れるため利用者には視認されないが、カメラ２１０は検出することができる。したがって、ＬＥＤ３１０を発光させても、利用者の映像の閲覧の邪魔とはならない。
【００９８】
図１１は、端末装置３００の外観の一例を示す図である。
【００９９】
図１１に示すように、端末装置３００は、表示部１１０の近傍に３つのＬＥＤ３１０を備える。また、表示部１１０がタッチパネルである場合には、図１２に示すように、ＬＥＤ３１０は、利用者が指などで操作入力を行う場合に指で隠れない位置に配置される。
【０１００】
図１３は、ＨＭＤ２００の使用開始処理時の表示システム２０の動作を示すフローチャートである。なお、図１３において、図６と同様の処理については同じ符号を付し、説明を省略する。
【０１０１】
まず、ＨＭＤ制御部１４５は、表示部１１０の映像表示の停止とＬＥＤ３１０の点灯とを表示制御部１４１に指示し、表示制御部１４１は、表示部１１０の映像表示を停止させるとともに、複数のＬＥＤ３１０を点灯させる（ステップＳ３１）。なお、表示制御部１４１は、複数のＬＥＤ３１０の各々の点滅パターン、あるいは、点灯する光の周波数を変える。各ＬＥＤ３１０の点滅パターン、あるいは、点灯する光の周波数を変えることで、端末姿勢取得部１４６が各ＬＥＤ３１０を識別することが可能となる。
【０１０２】
端末姿勢取得部１４６は、カメラ２１０の撮影画像の解析を行い、撮影画像における複数のＬＥＤ３１０の位置を検出し（ステップＳ３２）、検出した複数のＬＥＤ３１０の位置に基づいて相対位置関係を計算する。なお、相対位置関係の計算は、第１の実施形態と同様の方法を用いて行われる。
【０１０３】
ＨＭＤ２００の使用終了処理を行うべき旨を示すイベントが入力された場合には（ステップＳ１５：Ｙｅｓ）、ＨＭＤ制御部１４５は、ＬＥＤ３１０を消灯させる旨を表示制御部１４１に指示し、表示制御部１４１は、ＬＥＤ３１０を消灯させる（ステップＳ３３）。
【０１０４】
このように、本実施形態によれば、端末装置３００は、赤外線を発光する複数のＬＥＤ３１０を有し、カメラ２１０の撮影画像におけるＬＥＤ３１０の位置に基づいて相対位置関係を検出する。
【０１０５】
そのため、位置合わせ用パターンを表示部１１０に表示する必要がなくなり、また、赤外線は利用者に視認されないので、利用者の映像の閲覧を妨げることなく、相対位置関係を検出することができる。
【０１０６】
（第３の実施形態）
第１および第２の実施形態においては、カメラ２１０の撮影画像の画像データを端末装置に送信するため、ＨＭＤ２００と端末装置との間で送受信されるデータ量が増大する。
【０１０７】
そこで、本実施形態においては、ＨＭＤ側で相対位置関係の検出を行う。
【０１０８】
図１４は、本実施形態の表示システム３０の構成を示す図である。なお、図１４において、図１と同様の構成については同じ符号を付し、説明を省略する。
【０１０９】
図１４に示すＨＭＤ４００は、図１に示すＨＭＤ２００と比較して、端末姿勢取得部４１０を追加した点が主に異なる。
【０１１０】
端末姿勢取得部４１０は、カメラ制御部２４１から出力された画像データに基づいて相対位置関係を検出し、検出した相対位置関係を示す位置情報を通信制御部２４３に出力する。通信制御部２４３に出力された位置情報は、通信部２３０を介して端末装置１００に送信され、端末姿勢取得部１４６に保持される。
【０１１１】
すなわち、端末姿勢取得部４１０は、図６におけるステップＳ１２からステップＳ１５までの処理を行い、ステップＳ１４において計算した相対位置関係を示す位置情報を、通信制御部２４３を用いて端末装置１０に送信する。
【０１１２】
なお、第２の実施形態のように、端末装置がＬＥＤを備える場合には、端末姿勢取得部４１０は、図１３におけるステップＳ１２からステップＳ１５までの処理を行う。
【０１１３】
このように本実施形態によれば、ＨＭＤ４００が、相対位置関係を検出し、検出した相対位置関係を示す位置情報を端末装置１００に出力する。
【０１１４】
相対位置関係の検出処理をＨＭＤ４００側で行うことで、端末装置１００とＨＭＤ４００との間で画像データを送受信する必要がなくなるので、通信量を削減することができ、また、端末装置１００の演算回路１４０の処理量を低減することができる。
【０１１５】
（第４の実施形態）
第１から第３の実施形態においては、相対位置関係の検出などの処理を端末装置またはＨＭＤで行っていたため、端末装置およびＨＭＤの演算回路の処理量が増加してしまう。
【０１１６】
そこで、本実施形態においては、ネットワーク上のサーバが、相対位置関係の検出などの処理を行うようにする。
【０１１７】
図１５は、本実施形態の表示システム４０の構成を示す図である。なお、図１５において、図１と同様の構成については同じ符号を付し、説明を省略する。
【０１１８】
図１５に示す表示システム４０は、端末装置５００と、ＨＭＤ６００と、端末装置５００およびＨＭＤ６００とネットワークを介して接続されるサーバ７００と、を具備する。
【０１１９】
端末装置５００は、図１に示す端末装置１００と比較して、端末姿勢取得部１４６を削除した点と、通信部１３０を通信部５１０に変更した点と、が異なる。
【０１２０】
また、ＨＭＤ６００は、図１に示すＨＭＤ２００と比較して、通信部２３０を通信部６１０に変更した点が異なる。
【０１２１】
端末装置５００は、ＨＭＤ６００を映像の表示先として決定した場合には、通信部５１０を介して映像データをサーバ７００に送信する。また、端末装置５００は、通信部５１０を介してＨＭＤ６００のカメラ２１０への撮影要求をサーバ７００に送信する。
【０１２２】
ＨＭＤ６００は、通信部６１０を介してカメラ２１０の撮影画像の画像データをサーバ７００に送信する。また、ＨＭＤ６００は、サーバ７００から送信されてきたカメラ２１０への撮影要求および映像データを、通信部６１０を介して受信する。
【０１２３】
サーバ７００は、端末装置側通信部７１０と、ＨＭＤ側通信部７２０と、端末姿勢取得部７３０と、制御部７４０と、を有する。
【０１２４】
端末装置側通信部７１０は、端末装置５００から送信されてきたＨＭＤ６００のカメラ２１０への撮影要求および映像データを受信し、制御部７４０に出力する。
【０１２５】
ＨＭＤ側通信部７２０は、制御部７４０から出力されたカメラ２１０への撮影要求および映像データをＨＭＤ６００に送信する。また、ＨＭＤ側通信部７２０は、ＨＭＤ６００から送信されてきた画像データを受信し、端末姿勢取得部７３０に出力する。
【０１２６】
端末姿勢取得部７３０は、ＨＭＤ側通信部７２０から出力された画像データに基づいて相対位置関係を検出し、検出した相対位置関係を示す位置情報を制御部７４０に出力する。
【０１２７】
制御部７４０は、端末装置側通信部７１０から出力されたカメラ２１０への撮影要求をＨＭＤ側通信部７２０に出力する。また、制御部７４０は、端末姿勢取得部７３０から出力された位置情報に基づいて、表示部２２０の表示可能領域における、利用者から見て端末装置５００の表示部１１０と重複する領域を特定し、特定した領域とその周辺領域とに映像が表示されるように、端末装置側通信部７１０から出力された映像データを変換してＨＭＤ側制御部７２０に出力する。
【０１２８】
このように本実施形態によれば、サーバ７００が、相対位置関係の検出および相対位置関係に応じた映像データの変換を行う。
【０１２９】
そのため、端末装置５００およびＨＭＤ６００の演算回路の処理量を低減することができる。
【０１３０】
（第５の実施形態）
図１６は、本発明の第５の実施形態の表示システム５０の構成を示す図である。
【０１３１】
図１６に示す表示システム５０は、端末装置８００と、ＨＭＤ９００と、を具備する。
【０１３２】
ＨＭＤ９００は、ＨＭＤ９００の備えるディスプレイへの映像の表示、あるいは、利用者の網膜に直接映像を投射することで、端末装置７００から出力された映像データに示される映像を利用者の視界内に表示する。なお、図１６においては、ＨＭＤ９００が備える、ディスプレイ、あるいは、利用者の網膜に映像を投射する投射機構については記載を省略する。
【０１３３】
次に、ＨＭＤ９００の構成について説明する。
【０１３４】
ＨＭＤ９００は、撮影部９１０を有する。
【０１３５】
撮影部９１０は、利用者の視界方向に向かって撮影した撮影画像の画像データを、有線または無線通信を用いて端末装置８００に出力する。
【０１３６】
次に、端末装置８００の構成について説明する。
【０１３７】
端末装置８００は、表示部８１０と、検出部８２０と、制御部８３０と、を有する。
【０１３８】
表示部８１０は、制御部８３０から出力される映像データに示される映像を表示する。
【０１３９】
検出部８２０は、撮影部９１０より出力された画像データに基づいて、ＨＭＤ９００に対する表示部８１０の相対的な位置関係を検出し、検出した位置関係を示す位置情報を出力する。
【０１４０】
制御部８３０は、表示部８１０およびＨＭＤ９００のいずれか一方を映像の表示先として決定し、ＨＭＤ９００を映像の表示先として決定した場合には、検出部８２０より出力された位置情報に基づいて、ＨＭＤ９００の表示可能領域における、利用者から見て表示部８１０と重複する領域を特定し、検出部８２０を介して、ＨＭＤ９００に特定した領域および特定した領域の周辺領域に表示させる映像を示す映像データを出力して映像を表示させるとともに、表示部８１０に映像の表示を停止させる。
【０１４１】
このように本実施形態によれば、端末装置８００は、ＨＭＤ９００に対する表示部８１０の位置関係を検出し、その位置関係に基づいて、ＨＭＤ９００の表示可能領域における、利用者から見て表示部８１０と重複する領域を特定し、ＨＭＤ９００に特定した領域およびその周辺領域に映像を表示させるとともに、表示部８１０に映像の表示を停止させる。
【０１４２】
そのため、上述した第１から第３の効果を得ることができる。
【０１４３】
（第６の実施形態）
図１７は、本発明の第６の実施形態の表示システム６０の構成を示す図である。
【０１４４】
図１７に示す表示システム６０は、端末装置１０００と、ＨＭＤ１１００と、を具備する。
【０１４５】
ＨＭＤ１１００は、ＨＭＤ１１００の備えるディスプレイへの映像の表示、あるいは、利用者の網膜に直接映像を投射することで、端末装置１０００から出力された映像データに示される映像を利用者の視界内に表示する。なお、図１７においては、ＨＭＤ１１００が備える、ディスプレイ、あるいは、利用者の網膜に映像を投射する投射機構については記載を省略する。
【０１４６】
次に、ＨＭＤ１１００の構成について説明する。
【０１４７】
ＨＭＤ１１００は、撮影部１１１０と、検出部１１２０と、を有する。
【０１４８】
撮影部１１１０は、利用者の視界方向に向かって撮影した撮影画像の画像データを検出部１１２０に出力する。
【０１４９】
検出部１１２０は、撮影部１１１０より出力された画像データに基づいて、ＨＭＤ１１００に対する後述する端末装置１０００の表示部の相対的な位置関係を検出し、検出した位置関係を示す位置情報を、有線または無線通信を用いて端末装置１０００に出力する。
【０１５０】
次に、端末装置１０００の構成について説明する。
【０１５１】
端末装置１０００は、表示部１０１０と、制御部１０２０と、を有する。
【０１５２】
表示部１０１０は、制御部１０２０から出力される映像データに示される映像を表示する。
【０１５３】
制御部１０２０は、表示部１０１０およびＨＭＤ１１００のいずれか一方を映像の表示先として決定し、ＨＭＤ１１００を映像の表示先として決定した場合には、検出部１１２０より出力された位置情報に基づいて、ＨＭＤ１１００の表示可能領域における、利用者から見て表示部１０１０と重複する領域を特定し、ＨＭＤ１１００に特定した領域および特定した領域の周辺領域に表示させる映像を示す映像データを出力して、映像を表示させるとともに、表示部１０１０に映像の表示を停止させる。
【０１５４】
このように本実施形態によれば、ＨＭＤ１１００は、ＨＭＤ１１００に対する表示部１０１０の位置関係を検出し、端末装置１０００は、ＨＭＤ１１００が検出した位置関係に基づいて、ＨＭＤ１１００の表示可能領域における、利用者から見て表示部１０１０と重複する領域を特定し、ＨＭＤ１１００に特定した領域およびその周辺領域に映像を表示させるとともに、表示部１０１０に映像の表示を停止させる。
【０１５５】
そのため、上述した第１から第３の効果に加えて、端末装置１０００とＨＭＤ１１００との間で画像データを送受信する必要がなくなるので、通信量を削減することができ、また、端末装置１０００の制御部１０２０の処理量を低減することができるという効果を得ることができる。
【０１５６】
（第７の実施形態）
図１８は、本発明の第７の実施形態の表示システム７０の構成を示す図である。
【０１５７】
図１８に示す表示システム７０は、端末装置１２００と、ＨＭＤ１３００と、サーバ１４００と、を具備する。
【０１５８】
端末装置１２００は、ＨＭＤ１３００を映像の表示先とする場合には、その映像を示す映像データをサーバ１４００に出力する。
【０１５９】
ＨＭＤ１３００は、ＨＭＤ１３００の備えるディスプレイへの映像の表示、あるいは、利用者の網膜に直接映像を投射することで、サーバ１４００から出力された映像データに示される映像を利用者の視界内に表示する。なお、図１８においては、ＨＭＤ１３００が備える、ディスプレイ、あるいは、利用者の網膜に映像を投射する投射機構については記載を省略する。
【０１６０】
サーバ１４００は、端末装置１２００およびＨＭＤ１３００とネットワークを介して接続される。
【０１６１】
次に、端末装置１２００の構成について説明する。
【０１６２】
端末装置１２００は、表示部１２１０と、制御部１２２０と、を有する。なお、制御部１２２０は、第１の制御部の一例である。
【０１６３】
表示部１２１０は、制御部１２２０から出力される映像データに示される映像を表示する。
【０１６４】
制御部１２２０は、表示部１２１０およびＨＭＤ１３００のいずれか一方を映像の表示先として決定し、ＨＭＤ１３００を映像の表示先として決定した場合には、その映像を示す映像データをサーバ１４００に出力するとともに、表示部１２１０に映像の表示を停止させる
次に、ＨＭＤ１３００の構成について説明する。
【０１６５】
ＨＭＤ１３００は、撮影部１３１０を有する。
【０１６６】
撮影部１３１０は、利用者の視界方向に向かって撮影した撮影画像の画像データをサーバ１４００に有線または無線通信を用いて出力する。
【０１６７】
次に、サーバ１４００の構成について説明する。
【０１６８】
サーバ１４００は、検出部１４１０と、制御部１４２０と、を有する。なお、制御部１４２０は、第２の制御部の一例である。
【０１６９】
検出部１４１０は、撮影部１３１０より出力された画像データに基づいて、ＨＭＤ１３００に対する端末装置１２００の表示部１２１０の相対的な位置関係を検出し、検出した位置関係を示す位置情報を制御部１４２０に出力する。
【０１７０】
制御部１４２０は、検出部１４１０より出力された位置情報に基づいて、ＨＭＤ１３００の表示可能領域における、利用者から見て端末装置１２００の表示部１２１０と重複する領域を特定し、ＨＭＤ１３００に特定した領域およびその特定した領域の周辺領域に、端末装置１２００より出力された映像データに示される映像を表示させる。
【０１７１】
このように本実施形態によれば、サーバ１４００が、位置関係の検出および検出した位置関係に応じた映像データの変換を行う。
【０１７２】
そのため、上述した第１から第３の効果に加えて、端末装置１２００およびＨＭＤ１３００における処理量を低減することができる。
【０１７３】
なお、第１から第７の実施形態においては、端末装置が携帯電話である場合を例として説明したが、これに限られるものではなく、例えば、携帯型ゲーム機、据え置き型のパーソナルコンピュータなどであってもよい。
【０１７４】
また、第１から第７の実施形態においては、ＨＭＤの使用終了処理を行うべき旨を示すイベントの入力に応じて、ＨＭＤの使用を終了する例を用いて説明したが、これに限られるものではない。
【０１７５】
例えば、端末装置が、第１および第２の筐体からなり、ヒンジを介して第１の筐体と第２の筐体とが開閉可能に連結される折り畳み構造を有する場合、あるいは、第１の筐体と第２の筐体とがスライド可能に連結されるスライド構造を有する場合には、筐体の開閉あるいはスライドに応じて、ＨＭＤの使用終了処理を行うようにしてもよい。
【０１７６】
また、第１から第７の実施形態においては、端末装置の表示部に表示された位置合わせ用パターン、または、端末装置のＬＥＤの位置に基づいて相対位置関係を検出する例を用いて説明したが、これに限られるものではない。
【０１７７】
例えば、端末姿勢取得部において、端末装置の外部筐体の形状を予め記憶しておき、カメラの撮影画像からその端末装置の外部筐体の形状を検出することで相対位置関係を検出するようにしてもよい。
【０１７８】
なお、本発明の端末装置にて行われる方法は、コンピュータに実行させるためのプログラムに適用してもよい。また、そのプログラムを記憶媒体に格納することも可能であり、ネットワークを介して外部に提供することも可能である。
【符号の説明】
【０１７９】
１０，２０，３０，４０，５０，６０，７０    表示システム
１００，３００，５００，８００，１０００，１２００    端末装置
１１０，８１０，１０１０，１２１０    表示部
１２０    キー操作部
１３０    通信部
１４０    演算回路
１４１    表示制御部
１４２    キー制御部
１４３    通信制御部
１４４    アプリケーション部
１４５    ＨＭＤ制御部
１４６    端末姿勢取得部
２００，４００，６００，９００，１１００，１３００    ヘッドマウントディスプレイ（ＨＭＤ）
２１０    カメラ
２２０    表示部
２３０    通信部
２４０    演算回路
２４１    カメラ制御部
２４２    表示制御部
２４３    通信制御部
３１０    ＬＥＤ
４１０    端末姿勢取得部
７００，１４００    サーバ
７１０    端末装置側通信部
７２０    ＨＭＤ側通信部
７３０    端末姿勢取得部
７４０    制御部
８２０    検出部
８３０，１０２０，１２２０    制御部
９１０，１１１０，１３１０    撮影部
１１２０    検出部
１４１０    検出部
１４２０    制御部
【図１】
2012173476.tif 000003
【図２】
2012173476.tif 000004
【図３】
2012173476.tif 000005
【図４】
2012173476.tif 000006
【図５】
2012173476.tif 000007
【図６】
2012173476.tif 000008
【図７】
2012173476.tif 000009
【図１０】
2012173476.tif 000010
【図１１】
2012173476.tif 000011
【図１２】
2012173476.tif 000012
【図１３】
2012173476.tif 000013
【図１４】
2012173476.tif 000014
【図１５】
2012173476.tif 000015
【図１６】
2012173476.tif 000016
【図１７】
2012173476.tif 000017
【図１８】
2012173476.tif 000018
【図８Ａ】
2012173476.tif 000019
【図８Ｂ】
2012173476.tif 000020
【図９】
2012173476.tif 000021