(57)【要約】【課題】周辺の外部装置における表示を統合することのできる画像表示装置を提供する。【解決手段】画像表示装置は、画像表示装置に接続されている複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の識別画像を一覧表示する第１の表示領域と、複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第２の表示領域と、を含む統合画像を生成する生成部と、統合画像を画像表示装置の使用者に視認させる画像表示部とを備える。【選択図】図５
2015227919.tif 000002
【特許請求の範囲】
【請求項１】
画像表示装置であって、
前記画像表示装置に接続されている複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の前記識別画像を一覧表示する第１の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第２の表示領域と、を含む統合画像を生成する生成部と、
前記統合画像を前記画像表示装置の使用者に視認させる画像表示部と、
を備える、画像表示装置。
【請求項２】
請求項１に記載の画像表示装置であって、さらに、
前記一の外部装置から前記表示画像を取得する取得部と、
前記取得された表示画像を用いて、前記統合画像の前記第２の表示領域を更新する更新部と、
を備える、画像表示装置。
【請求項３】
請求項１または請求項２に記載の画像表示装置であって、
前記識別画像には、前記外部装置の一の時点での表示画像と、前記外部装置を識別するための情報を表す画像と、前記外部装置に割り当てられたシンボルを表す画像と、のうちの少なくともいずれかが含まれる、画像表示装置。
【請求項４】
請求項１から請求項３のいずれか一項に記載の画像表示装置であって、さらに、
前記複数の外部装置の中から、前記使用者が注意を向けた外部装置を特定する外部装置特定部を備え、
前記生成部は、前記複数の外部装置のうち、少なくとも過去に前記外部装置特定部によって特定された前記外部装置の前記識別画像を前記第１の表示領域に表示する、画像表示装置。
【請求項５】
請求項２または請求項２に従属する請求項３から請求項４のいずれか一項に記載の画像表示装置であって、さらに、
前記複数の外部装置の中から、前記使用者が注意を向けた外部装置を特定する外部装置特定部を備え、
前記取得部は、前記外部装置特定部によって特定された前記外部装置から前記表示画像を取得する、画像表示装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載の画像表示装置であって、さらに、
前記画像表示装置と前記複数の外部装置との間の距離をそれぞれ取得する距離取得部を備え、
前記生成部は、前記取得されたそれぞれの距離に応じて、前記第１の表示領域における前記複数の識別画像の表示順序と、前記第１の表示領域における前記識別画像の大きさと、のうちの少なくとも一方を決定する、画像表示装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の画像表示装置であって、
前記生成部は、前記第１の表示領域を更新する、画像表示装置。
【請求項８】
請求項１から請求項７のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、さらに、前記統合画像を表す画像光を生成する表示駆動部を備え、前記生成された画像光を前記使用者の眼に射出することで前記統合画像を前記使用者に視認させる、画像表示装置。
【請求項９】
請求項８に記載の画像表示装置であって、
前記生成部は、前記第２の表示領域の縦横比を前記表示駆動部による前記画像光の生成可能領域の縦横比とし、前記第２の表示領域の外側に前記第１の表示領域を配置した前記統合画像を生成し、
前記画像表示部は、
前記使用者による操作がない場合は、前記表示駆動部に対して、前記統合画像の前記第２の表示領域に相当する部分の前記画像光を生成させ、
前記使用者による操作がある場合は、前記表示駆動部に対して、少なくとも前記統合画像の前記第１の表示領域に相当する部分の前記画像光を生成させる、画像表示装置。
【請求項１０】
請求項８または請求項９に記載の画像表示装置であって、
前記画像表示部は、前記表示駆動部に前記一の外部装置に付すための付加提示用の情報であって、前記使用者へ拡張現実感を提供するための付加提示用の情報を表す画像光を生成させ、前記生成された画像光を前記使用者の眼に射出することで前記付加提示用の情報を前記使用者に視認させる、画像表示装置。
【請求項１１】
画像表示装置を制御する方法であって、
（ａ）前記画像表示装置に接続されている複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の前記識別画像を一覧表示する第１の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第２の表示領域と、を含む統合画像を生成する工程と、
（ｂ）前記統合画像を前記画像表示装置の使用者に視認させる工程と、
を備える、方法。
【請求項１２】
コンピュータープログラムであって、
画像表示装置に接続されている複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の前記識別画像を一覧表示する第１の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第２の表示領域と、を含む統合画像を生成する機能と、
前記統合画像を前記画像表示装置の使用者に視認させる機能と、
をコンピューターに実現させるための、コンピュータープログラム。
【請求項１３】
画像表示システムであって、
情報処理装置と、
前記情報処理装置に接続されている画像表示装置と、
前記情報処理装置に接続されている複数の外部装置と、
を備え、
前記情報処理装置は、
前記複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の前記識別画像を一覧表示する第１の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第２の表示領域と、を含む統合画像を生成する代理生成部と、
前記統合画像を前記情報処理装置に送信する送信部と、
を備え、
前記画像表示装置は、
前記情報処理装置から受信した前記統合画像を、前記画像表示装置の使用者に視認させる画像表示部を備える、画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置に関する。
【背景技術】
【０００２】
頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ））が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板等を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。このような頭部装着型表示装置は、例えばＭｉｃｒｏＵＳＢ（Universal Serial Bus）等の有線インターフェイスによってスマートフォン等の外部装置と接続されて、ＭＨＬ（Mobile High definition Link）等の規格に準拠して、外部装置からの映像信号を受信することができる。同様に、頭部装着型表示装置は、例えば無線ＬＡＮ等の無線インターフェイスによって外部装置と接続されて、Ｍｉｒａｃａｓｔ等の規格に準拠して、外部装置からの映像信号を受信することができる。頭部装着型表示装置は、このようにして受信した映像信号に基づいて、外部装置の表示画面に表示される画面と同じ虚像を頭部装着型表示装置の使用者に視認させることができる。
【０００３】
特許文献１には、現在の番組映像と、現在の番組映像に関する情報と、他のチャンネルの番組情報と、を１つの画面に統合して表示させることのできるＡＶ（Audio Visual）システムが記載されている。特許文献２には、複数のコンピューター装置の表示画面に仮想画面を隣接して設け、各コンピューター装置のユーザーが仮想画面上のウィンドウを操作することができる画像表示装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９６８４６７号公報
【特許文献２】特許第５０８２７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された技術では、ＡＶシステムに接続されるＡＶ機器として、アナログ放送受信ユニットとディジタル放送受信ユニットとが例示されている。すなわち、特許文献１に記載された技術では、特定の機器間における映像を対象としており汎用性が低いという課題があった。また、特許文献２に記載された技術では、コンピューター装置の表示画面とは別の表示手段、すなわち仮想画面を提供しているにすぎず、複数のコンピューター装置の表示画面を統合することはできないという課題があった。
【０００６】
このため、周辺の外部装置（周辺機器）における表示を統合することのできる画像表示装置が望まれていた。そのほか、画像表示装置には、汎用性の向上、ユーザビリティ―の向上、利便性の向上、信頼性の向上、製造コストの低減といった、種々の要望があった。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００８】
（１）本発明の一形態によれば、画像表示装置が提供される。この画像表示装置は；前記画像表示装置に接続されている複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の前記識別画像を一覧表示する第１の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第２の表示領域と、を含む統合画像を生成する生成部と；前記統合画像を前記画像表示装置の使用者に視認させる画像表示部と、を備える。この形態の画像表示装置によれば、画像表示部は、画像表示装置に接続されている複数の外部装置の複数の識別画像のうち、少なくとも一部の識別画像と、複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像と、を含む統合画像を使用者に視認させることができる。このため、画像接続装置周辺の、換言すれば、画像表示装置に接続されている外部装置における表示を統合することのできる画像表示装置を提供することができる。
【０００９】
（２）上記形態の画像表示装置では、さらに；前記一の外部装置から前記表示画像を取得する取得部と；前記取得された表示画像を用いて、前記統合画像の前記第２の表示領域を更新する更新部と、を備えていてもよい。この形態の画像表示装置によれば、画像表示部は、複数の外部装置の中から選択された一の外部装置について、その表示画面が更新された統合画像を使用者に視認させることができる。
【００１０】
（３）上記形態の画像表示装置において；前記識別画像には、前記外部装置の一の時点での表示画像と、前記外部装置を識別するための情報を表す画像と、前記外部装置に割り当てられたシンボルを表す画像と、のうちの少なくともいずれかが含まれていてもよい。この形態の画像表示装置によれば、統合画像の第１の表示領域には、外部装置の一の時点での表示画像と、外部装置を識別するための情報を表す画像と、外部装置に割り当てられたシンボルを表す画像と、のうちの少なくともいずれかを含むことができる。
【００１１】
（４）上記形態の画像表示装置では、さらに；前記複数の外部装置の中から、前記使用者が注意を向けた外部装置を特定する外部装置特定部を備え；前記生成部は、前記複数の外部装置のうち、少なくとも過去に前記外部装置特定部によって特定された前記外部装置の前記識別画像を前記第１の表示領域に表示してもよい。この形態の画像表示装置によれば、生成部は、画像表示装置に接続されている複数の外部装置のうち、少なくとも過去に使用者が注意を向けた外部装置の識別画像を第１の表示領域に表示する。このように、使用者は、第１の表示領域に表示される外部装置を「注意を向ける」ことで選択することができるため、使用者における利便性が向上する。また、画像表示装置に数多くの外部装置が接続されている場合等における、第１の表示領域の煩雑化を抑制することができる。
【００１２】
（５）上記形態の画像表示装置では、さらに；前記複数の外部装置の中から、前記使用者が注意を向けた外部装置を特定する外部装置特定部を備え、前記取得部は、前記外部装置特定部によって特定された前記外部装置から前記表示画像を取得してもよい。この形態の画像表示装置によれば、取得部は、使用者が注意を向けた外部装置から表示画像を取得し、更新部は、取得された表示画像を用いて統合画像の第２の表示領域を更新する。このように、使用者は、第２の表示領域に表示される外部装置を「注意を向ける」ことで選択することができるため、使用者における利便性が向上する。
【００１３】
（６）上記形態の画像表示装置では、さらに；前記画像表示装置と前記複数の外部装置との間の距離をそれぞれ取得する距離取得部を備え；前記生成部は、前記取得されたそれぞれの距離に応じて、前記第１の表示領域における前記複数の識別画像の表示順序と、前記第１の表示領域における前記識別画像の大きさと、のうちの少なくとも一方を決定してもよい。この形態の画像表示装置によれば、画像表示部は、画像表示装置と複数の外部装置との間の距離に応じて、第１の表示領域における複数の識別画像の表示順序と、大きさと、のうちの少なくとも一方が変化された統合画像を使用者に視認させることができる。この結果、使用者は、第１の表示領域における表示順序または大きさによって、画像表示装置と複数の外部装置との間の距離を知ることができる。
【００１４】
（７）上記形態の画像表示装置において；前記生成部は、前記第１の表示領域を更新してもよい。この形態の画像表示装置によれば、生成部は、前記第１の表示領域を更新することもできる。
【００１５】
（８）上記形態の画像表示装置において；前記画像表示部は、さらに、前記統合画像を表す画像光を生成する表示駆動部を備え、前記生成された画像光を前記使用者の眼に射出することで前記統合画像を前記使用者に視認させてもよい。この形態の画像表示装置によれば、画像表示装置を、頭部装着型表示装置として構成することができる。
【００１６】
（９）上記形態の画像表示装置において；前記生成部は、前記第２の表示領域の縦横比を前記表示駆動部による前記画像光の生成可能領域の縦横比とし、前記第２の表示領域の外側に前記第１の表示領域を配置した前記統合画像を生成し；前記画像表示部は；前記使用者による操作がない場合は、前記表示駆動部に対して、前記統合画像の前記第２の表示領域に相当する部分の前記画像光を生成させ；前記使用者による操作がある場合は、前記表示駆動部に対して、少なくとも前記統合画像の前記第１の表示領域に相当する部分の前記画像光を生成させてもよい。この形態の画像表示装置によれば、画像表示部は、使用者による操作がない場合は、統合画像の第２の表示領域に相当する部分を使用者に視認させ、使用者による操作がある場合は、統合画像の第１の表示領域に相当する部分を使用者に視認させる。この結果、この形態の画像表示装置によれば、通常画面（第２の表示領域）の外側に仮想画面（第１の表示領域）を設け、使用者による操作で、通常画面と仮想画面との表示を切り替えることができる。この結果、使用者における利便性を向上させることができる。
【００１７】
（１０）上記形態の画像表示装置において；前記画像表示部は、前記表示駆動部に前記一の外部装置に付すための付加提示用の情報であって、前記使用者へ拡張現実感を提供するための付加提示用の情報を表す画像光を生成させ、前記生成された画像光を前記使用者の眼に射出することで前記付加提示用の情報を前記使用者に視認させてもよい。この形態の画像表示装置によれば、画像表示部は、使用者が一の外部装置に対して注意を向けた場合に、使用者へ拡張現実感を提供するための付加提示用の情報を視認させることができる。この結果、使用者における利便性を向上させることができる。
【００１８】
（１１）本発明の一形態によれば、画像表示システムが提供される。この画像表示システムは；情報処理装置と；前記情報処理装置に接続されている画像表示装置と；前記情報処理装置に接続されている複数の外部装置と、を備え；前記情報処理装置は；前記複数の外部装置を相互に識別するための複数の識別画像のうち、少なくとも一部の前記識別画像を一覧表示する第１の表示領域と、前記複数の外部装置の中から選択された一の外部装置が表示する画像である表示画像を表示する第２の表示領域と、を含む統合画像を生成する代理生成部と；前記統合画像を前記情報処理装置に送信する送信部と、を備え；前記画像表示装置は；前記情報処理装置から受信した前記統合画像を、前記画像表示装置の使用者に視認させる画像表示部を備える。この形態の画像表示システムによれば、画像接続装置周辺の、換言すれば、情報処理装置を介して画像接続装置に接続されている外部装置における表示を統合することのできる画像表示システムを提供することができる。
【００１９】
上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
【００２０】
例えば、本発明の一形態は、生成部と、画像表示部と、の２つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、生成部を有していてもよく、有していなくてもよい。また、この装置は、画像表示部を有していてもよく、有していなくてもよい。こうした装置は、例えば画像表示装置として実現できるが、画像表示装置以外の他の装置としても実現可能である。前述した画像表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
【００２１】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像表示装置、画像表示装置の制御方法、画像表示装置を用いた画像表示システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置を用いた画像表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態における画像表示システム１０００の概略構成を示す説明図である。
【図２】ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。
【図３】領域情報１２２の一例を示す説明図である。
【図４】使用者に視認される虚像の一例を示す説明図である。
【図５】統合画像表示処理の手順を示すシーケンス図である。
【図６】ステップＳ１２６で生成された統合画像の一例を示す説明図である。
【図７】統合画像更新処理の手順を示すシーケンス図である。
【図８Ａ】ヘッドマウントディスプレイ１００において第２の表示領域が更新された統合画像が表示されている様子を示す説明図である。
【図８Ｂ】付加的処理１の無線タグを使用する方法についての説明図である。
【図９】第２実施形態のヘッドマウントディスプレイ１００ａの構成を機能的に示すブロック図である。
【図１０】第２実施形態の統合画像表示処理の手順を示すシーケンス図である。
【図１１】第２実施形態の統合画像表示処理のステップＳ１２６で生成された統合画像の一例を示す説明図である。
【図１２】第２実施形態における統合画像更新処理の手順を示すシーケンス図である。
【図１３】ヘッドマウントディスプレイ１００ａにおいて第１の表示領域と第２の表示領域とが更新された統合画像が表示されている様子を示す説明図である。
【図１４】第３実施形態のヘッドマウントディスプレイ１００ｂの構成を機能的に示すブロック図である。
【図１５】第３実施形態における領域情報１２２ｂの一例を示す説明図である。
【図１６】画像処理部１６０ｂの動作の一例を説明するための説明図である。
【図１７】第４実施形態の画像表示システム１０００ｃの概略構成を示す説明図である。
【図１８】サーバー９００の構成を機能的に示すブロック図である。
【図１９】変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。
【図２０】変形例における領域情報１２２ｘの一例を示す説明図である。
【発明を実施するための形態】
【００２３】
Ａ．第１実施形態：
Ａ−１．画像表示システムの構成：
図１は、本発明の一実施形態における画像表示システム１０００の概略構成を示す説明図である。画像表示システム１０００は、頭部装着型表示装置１００と、コンピューター３００（ＰＣ３００）と、家電４００と、ＡＶ（Audio Visual）機器５００と、携帯端末６００と、ゲーム機器７００とを備えている。以降では、頭部装着型表示装置１００を「画像表示装置」とも呼ぶ。同様に、ＰＣ３００と、家電４００と、ＡＶ機器５００と、携帯端末６００と、ゲーム機器７００とを総称して「外部装置」とも呼ぶ。画像表示システム１０００は、頭部装着型表示装置１００に接続されている外部装置における表示を統合した「統合画像」を頭部装着型表示装置１００に表示させるシステムである。
【００２４】
頭部装着型表示装置１００は、頭部に装着する画像表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のヘッドマウントディスプレイ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。ＰＣ３００は、情報通信端末である。本実施形態では、ＰＣ３００としてノートパソコンを例示するが、ＰＣ３００は、デスクトップパソコン等の他の情報通信端末により構成されてもよい。家電４００は、家庭用の電気製品である。本実施形態では、家電４００として冷蔵庫を例示するが、家電４００は、エアコン、電子レンジ、洗濯機、電話、ファックス、プリンター、デジタルカメラ等の他の電気製品により構成されてもよい。
【００２５】
ＡＶ機器５００は、映像を記録、再生、変換等する映像機器と、音声を記録、再生、変換等する音響機器の総称である。本実施形態では、ＡＶ機器５００としてハードディスクプレイヤーを例示するが、ＡＶ機器５００は、テレビ、ＤＶＤ（Digital Versatile Disk）プレイヤー、コンポーネントオーディオ、ディジタルオーディオプレイヤー等の他の映像機器や音響機器により構成されてもよい。携帯端末６００は、携帯可能な情報通信端末である。本実施形態では、携帯端末６００としてスマートフォン（smartphone）を例示するが、携帯端末６００は、携帯電話、ＰＤＡ（Personal Digital Assistant）、タブレット端末等の他の携帯情報通信端末により構成されてもよい。ゲーム機器７００は、コンピューターゲームを動作させるための機器である。
【００２６】
上述したＰＣ３００、家電４００、ＡＶ機器５００、携帯端末６００、ゲーム機器７００の外部装置は、それぞれ、ヘッドマウントディスプレイ１００と無線通信または有線通信可能に接続されている。
【００２７】
Ａ−２．ヘッドマウントディスプレイの構成：
図２は、ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。図１、２に示すように、ヘッドマウントディスプレイ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。画像表示部２０と制御部１０とは、接続部４０によって接続され、接続部４０を介して各種信号の伝送を行う。接続部４０には、金属ケーブルや光ファイバーを採用することができる。
【００２８】
Ａ−２−１．制御部の構成：
制御部１０は、ヘッドマウントディスプレイ１００を制御するための装置である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている（図２）。
【００２９】
入力情報取得部１１０は、例えば、タッチパッド、十字キー、フットスイッチ、ジェスチャー検出、視線検出、タッチ検出、マイクロホン等の入力デバイスに対する操作入力に応じた信号を取得する。具体的には、フットスイッチは、使用者の足により操作するスイッチである。ジェスチャー検出では、カメラ等を用いて使用者のジェスチャーを検出する。この場合、ジェスチャーとコマンドとが予め対応付けられている。なお、ジェスチャー検出の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者が手に持つ道具等を動き検出のための目印にしてもよい。視線検出では、赤外線センサー等を用いて使用者の視線を検出する。この場合、視線の動きとコマンドとが予め対応付けられている。タッチ検出では、ヘッドマウントディスプレイ１００の筐体の任意の場所（例えば、画像表示部２０の右保持部２１および左保持部２３（図１）の外側）に設けられた接触センサーに対する使用者のタッチ操作を検出する。
【００３０】
このように、入力情報取得部１１０は、種々の入力デバイスに対する操作入力に応じた信号を取得する。特に、フットスイッチ、視線検出、マイクロホンによる操作入力を取得することとすれば、使用者が手を用いて操作することが困難な場面（例えば、家事などの作業場面、医療現場における作業場面、建設業や製造業などの手元作業を必要とする作業場面）において、ヘッドマウントディスプレイ１００が使用される場合における使用者の利便性を大きく向上させることができる。
【００３１】
記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０は、領域情報１２２と、識別画像記憶部１２４とを含んでいる。領域情報１２２は、統合画像表示処理（図５）において生成される統合画像に含まれる「領域」を規定する情報である。識別画像記憶部１２４は、統合画像表示処理において収集された外部装置の識別画像を記憶しておくための記憶部である。ここで、統合画像表示処理とは、統合画像を生成し、ヘッドマウントディスプレイ１００に表示させる処理である。統合画像とは、ヘッドマウントディスプレイ１００に接続されている複数の外部装置の識別画像と、複数の外部装置の中から使用者によって選択された一の外部装置が表示する画像である表示画像（以降、単に「表示画像」とも呼ぶ。）と、の両方を含む画像である。統合画像更新処理とは、統合画像のうち、使用者によって選択された一の外部装置の表示画像を動的に更新し、ヘッドマウントディスプレイ１００に表示させる処理である。
【００３２】
「外部装置の識別画像」とは、ヘッドマウントディスプレイ１００に接続されている外部装置を相互に識別するための画像である。本実施形態における外部装置の識別画像としては、例えば、以下のａ１〜ａ３に例示する情報を表す画像を使用することができる。
（ａ１）外部装置の一の時点での表示画像。
（ａ２）外部装置の操作画面や設定画面の表示画像。
（ａ３）外部装置の一の期間の表示画像の短縮動画像。
【００３３】
図３は、領域情報１２２の一例を示す説明図である。領域情報１２２は、長方形状の領域（以降、「領域１２２」とも呼ぶ。）を有している。領域１２２は、ヘッドマウントディスプレイ１００の表示素子（図２：右ＬＣＤ２４１、左ＬＣＤ２４２）の縦横比と同じ縦横比を有することが好ましい。領域１２２は、６つのサムネイル表示領域Ｂ１〜Ｂ６と、アクティブ表示領域ＢＧと、を含んでいる。サムネイル表示領域Ｂ１〜Ｂ６は、統合画像表示処理（図５）において、複数の外部装置の識別画像が配置されることによって、複数の外部装置の識別画像を一覧表示させるための領域である。サムネイル表示領域Ｂ１〜Ｂ６を「第１の表示領域」とも呼ぶ。アクティブ表示領域ＢＧは、統合画像表示処理において、複数の外部装置の中から使用者によって選択された一の外部装置の表示画像が配置されるための領域である。アクティブ表示領域ＢＧを「第２の表示領域」とも呼ぶ。
【００３４】
図３の例では、サムネイル表示領域Ｂ１〜Ｂ３は、領域１２２の左端部に、それぞれが鉛直方向に隣接して配置されている。サムネイル表示領域Ｂ４〜Ｂ６は、領域１２２の右端部に、それぞれが鉛直方向に隣接して配置されている。また、サムネイル表示領域Ｂ１〜Ｂ６は、それぞれ同じ大きさの領域である。また、図３の例では、アクティブ表示領域ＢＧは、領域１２２からサムネイル表示領域Ｂ１〜Ｂ６を除外した部分を占める領域である。図３において、サムネイル表示領域Ｂ１〜Ｂ６にはドットのハッチングを付し、アクティブ表示領域ＢＧには斜線ハッチングを付す。
【００３５】
なお、図３に示したサムネイル表示領域Ｂ１〜Ｂ６の配置および大きさは一例であり、任意に定めることができる。例えば、サムネイル表示領域Ｂ１〜Ｂ６は、領域１２２の上端部や下端部に配置されてもよい。また、サムネイル表示領域Ｂ１〜Ｂ６は、領域１２２の四辺を取り囲むように配置されてもよい。また、サムネイル表示領域Ｂ１〜Ｂ６は、それぞれの領域が異なる大きさであってもよい。さらに、サムネイル表示領域Ｂ１〜Ｂ６は、それぞれ、領域の少なくとも一部が重なっていてもよい。ただし、アクティブ表示領域ＢＧの視認性を向上させるために、サムネイル表示領域Ｂ１〜Ｂ６は、使用者の視界を妨げない領域１２２の端部に配置されることが好ましい。
【００３６】
電源１３０は、ヘッドマウントディスプレイ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、所定の無線通信規格（例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）に例示される近距離無線通信、ＩＥＥＥ８０２．１１に例示される無線ＬＡＮ等）に則って、外部装置との間で無線通信を行う。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、ヘッドマウントディスプレイ１００の使用者の現在位置を検出し、使用者の現在位置情報を表す現在位置情報を生成する。なお、現在位置情報は、例えば緯度経度を表す座標によって実現することができる。
【００３７】
ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、生成部１４２、更新部１４４、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０として機能する。
【００３８】
生成部１４２は、統合画像表示処理（図５）を実行し、統合画像を生成する。生成部１４２は、複数の外部装置について、複数の外部装置を相互に識別するための複数の識別画像を一覧表示する第１の表示領域と、複数の外部装置の中から使用者によって選択された一の外部装置の表示画像を表示する第２の表示領域と、を含む統合画像を生成する「生成部」としての機能を実現する。更新部１４４は、統合画像更新処理（図７）を実行し、統合画像を更新する。更新部１４４は、複数の外部装置の中から使用者によって選択された一の外部装置の表示画像を取得する「取得部」としての機能と、取得された表示画像を用いて、統合画像の第２の表示領域を更新する「更新部」としての機能を実現する。
【００３９】
画像処理部１６０は、生成部１４２や、インターフェイス１８０や、無線通信部１３２等からＯＳ１５０を介して入力される映像信号に基づいて信号を生成する。画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給することで、画像表示部２０における表示を制御する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。
【００４０】
例えば、ディジタル形式の場合、ディジタルＲ信号と、ディジタルＧ信号と、ディジタルＢ信号と、クロック信号ＰＣＬＫとが同期した状態の映像信号が入力される。画像処理部１６０は、ディジタルＲ信号、ディジタルＧ信号、ディジタルＢ信号からなる画像データーＤａｔａに対して、必要に応じて周知の解像度変換処理、輝度彩度の調整などの種々の色調補正処理、キーストーン補正処理等の画像処理を実行する。その後、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを、送信部５１、５２を介して送信する。
【００４１】
アナログ形式の場合、アナログＲ信号と、アナログＧ信号と、アナログＢ信号と、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃとからなる映像信号が入力される。画像処理部１６０は、入力された信号から垂直同期信号ＶＳｙｎｃと水平同期信号ＨＳｙｎｃを分離し、それらの周期に応じて、図示しないＰＬＬ回路等を用いてクロック信号ＰＣＬＫを生成する。また、画像処理部１６０は、アナログＲ信号と、アナログＧ信号と、アナログＢ信号とを、Ａ／Ｄ変換回路等を用いてディジタル信号に変換する。画像処理部１６０は、変換後のディジタルＲ信号、ディジタルＧ信号、ディジタルＢ信号からなる画像データーＤａｔａに対して、必要に応じて周知の画像処理を実行した後、クロック信号ＰＣＬＫと、画像データーＤａｔａと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃとを、送信部５１、５２を介して送信する。なお、以降では、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。
【００４２】
表示制御部１９０は、画像表示部２０が有する右表示駆動部２２と左表示駆動部２４とを制御する制御信号を生成する。制御信号とは、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを個別に切り替えるための信号である。表示制御部１９０は、これらの制御信号によって、右表示駆動部２２と左表示駆動部２４とにおける画像光の生成および射出を制御する。表示制御部１９０は、生成した制御信号を、送信部５１、５２を介して送信する。
【００４３】
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２の図示しないスピーカーと、左イヤホン３４の図示しないスピーカーとに対して供給する。
【００４４】
インターフェイス１８０は、所定の有線通信規格（例えば、ＭｉｃｒｏＵＳＢ（Universal Serial Bus）、ＵＳＢ、ＨＤＭＩ（High Definition Multimedia Interface、ＨＤＭＩは登録商標）、ＤＶＩ（Digital Visual Interface）、ＶＧＡ（Video Graphics Array）、コンポジット、ＲＳ−２３２Ｃ（Recommended Standard 232）、ＩＥＥＥ８０２．３に例示される有線ＬＡＮ等）に則って、外部装置との間で無線通信を行う。
【００４５】
Ａ−２−２．画像表示部の構成：
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６（図１）と、左光学像表示部２８（図１）と、９軸センサー６６とを含んでいる。
【００４６】
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者のこめかみに対向する位置に配置されている。本実施形態における右表示駆動部２２と左表示駆動部２４とは、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）や投写光学系を用いて、画像を表す画像光を生成し射出する。右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。
【００４７】
受信部５３は、送信部５１から送信されるデーターを受信する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、入力されたクロック信号ＰＣＬＫと右眼用画像データーＤａｔａ１と、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。
【００４８】
左表示駆動部２４は、右表示駆動部２２とほぼ同様の構成を有し、右表示駆動部２２と同様に動作する。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。詳細な説明は省略する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。
【００４９】
右光学像表示部２６と左光学像表示部２８とは、使用者が画像表示部２０を装着した際に使用者の左右の眼前にそれぞれ位置するように配置されている（図１参照）。右光学像表示部２６は、右導光板２６１と、図示しない調光板を含んでいる。右導光板２６１は、光透過性の樹脂材料等によって形成されている。右導光板２６１は、右表示駆動部２２から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥへ導く。右導光板２６１には、回折格子を用いても良いし半透過反射膜を用いても良い。調光板は、薄板状の光学素子であり、画像表示部２０の表側を覆うように配置されている。調光板は、右導光板２６１を保護し、右導光板２６１の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
【００５０】
左光学像表示部２８は、右光学像表示部２６とほぼ同様の構成を有し、右光学像表示部２６と同様に動作する。すなわち、左光学像表示部２８は、左導光板２６２と、図示しない調光板を含み、左表示駆動部２４から出力された画像光を、使用者の左眼ＬＥへ導く。詳細な説明は省略する。
【００５１】
９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、ヘッドマウントディスプレイ１００の使用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。
【００５２】
図４は、使用者に視認される虚像の一例を示す説明図である。図４では、使用者の視野ＶＲを例示している。上述のようにして、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像ＶＩを視認することができる。図４の例では、虚像ＶＩは、ヘッドマウントディスプレイ１００のＯＳの待ち受け画面である。また、使用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。このように、本実施形態のヘッドマウントディスプレイ１００の使用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後の外景ＳＣとを見ることができる。また、使用者は、視野ＶＲのうち虚像ＶＩが表示されていない部分については、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを直接見ることができる。なお、本明細書において、「ヘッドマウントディスプレイ１００が画像を表示する」ことには、ヘッドマウントディスプレイ１００の使用者に対して虚像を視認させることも含む。
【００５３】
Ａ−３．統合画像表示処理：
図５は、統合画像表示処理の手順を示すシーケンス図である。本実施形態の統合画像表示処理とは、統合画像を生成し、ヘッドマウントディスプレイ１００に表示させる処理である。統合画像とは、ヘッドマウントディスプレイ１００に接続されている複数の外部装置の識別画像と、複数の外部装置の中から使用者によって選択された一の外部装置の表示画像と、の両方を含む画像である。統合画像表示処理は、主として生成部１４２により実行される。
【００５４】
ステップＳ１００において、統合画像表示処理を実行するためのアプリケーションが起動される。ステップＳ１００のアプリケーションの起動は、入力情報取得部１１０が使用者による起動操作を検出したことをトリガーとしてもよく、他のアプリケーションからの起動命令の検出をトリガーとしてもよい。ステップＳ１００のアプリケーションの起動によって、ＣＰＵ１４０に対して、生成部１４２および更新部１４４の機能が実現される。
【００５５】
ステップＳ１０２において無線通信部１３２またはインターフェイス１８０は、外部装置としてのＰＣ３００が接続されたことを検出する。なお、以降では、ヘッドマウントディスプレイ１００とＰＣ３００とがＩＥＥＥ８０２．１１に準拠した無線ＬＡＮを用いて通信する場合を例示する。その後、生成部１４２は、ＰＣ３００との間でコネクションを確立する。
【００５６】
ステップＳ１０４においてＰＣ３００は、ＰＣ３００の表示画面の画像を取得する。具体的には、ＰＣ３００は、以下のｂ１〜ｂ３に示すいずれかのフレーム画像を取得する。なお、下記ｂ１は上記ａ１に、下記ｂ２は上記ａ２に、下記ｂ３は上記ａ３に、それぞれ対応している。
（ｂ１）ＰＣ３００において再生中のコンテンツや、アプリケーションＧＵＩ（Graphical User Interface）等、一の時点でＰＣ３００において表示されている画面をレンダリングしたフレーム画像。
（ｂ２）ＰＣ３００の操作画面（すなわち待ち受け画面）や設定画面（すなわちＯＳやＢＩＯＳの設定画面）をレンダリングしたフレーム画像。
（ｂ３）ＰＣ３００において再生中のコンテンツや、アプリケーションＧＵＩ等の、一の期間の間にＰＣ３００に表示されている画面をレンダリングした複数のフレーム画像。
【００５７】
ステップＳ１０６においてＰＣ３００は、取得したフレーム画像をヘッドマウントディスプレイ１００へ送信する。ヘッドマウントディスプレイ１００の生成部１４２は、無線通信部１３２を介して、このフレーム画像を取得する。このとき、生成部１４２と無線通信部１３２とは「取得部」として機能する。
【００５８】
ステップＳ１０８において生成部１４２は、取得したフレーム画像を「外部装置の識別画像」として、識別画像記憶部１２４に記憶させる。なお、生成部１４２は、フレーム画像を縮小処理した後で識別画像記憶部１２４に記憶させてもよい。そうすれば、識別画像記憶部１２４が消費する記憶容量を低減することができる。また、ステップＳ１０８において生成部１４２は、ＰＣ３００との間のコネクションを切断してもよい。
【００５９】
ステップＳ１１０において生成部１４２は、家電４００との間で、ステップＳ１０２〜Ｓ１０８と同様の処理を実施する。同様に、生成部１４２は、ステップＳ１１２においてＡＶ機器５００との間で、ステップＳ１１４において携帯端末６００との間で、ステップＳ１１６においてゲーム機器７００との間で、それぞれ同様の処理を実施する。ステップＳ１１０〜Ｓ１１６の結果、識別画像記憶部１２４には、ヘッドマウントディスプレイ１００に接続されている全ての外部装置の識別画像が格納される。
【００６０】
ステップＳ１１８において生成部１４２は、ヘッドマウントディスプレイ１００の表示画面の画像を取得する。具体的には、ヘッドマウントディスプレイ１００についての、上記ｂ１〜ｂ３に示すいずれかのフレーム画像を取得する。
【００６１】
ステップＳ１２０において生成部１４２は、取得したフレーム画像を「画像表示装置の識別画像」として、識別画像記憶部１２４に記憶させる。なお、生成部１４２は、フレーム画像を縮小処理した後で識別画像記憶部１２４に記憶させてもよい。ステップＳ１１８、Ｓ１２０の結果、識別画像記憶部１２４には、ヘッドマウントディスプレイ１００自身の識別画像が格納される。
【００６２】
ステップＳ１２４において生成部１４２は、識別画像記憶部１２４に格納されている複数の識別画像を取得し、取得した識別画像を所定の条件に従ってソートする。ソートの条件は、例えば、識別画像の取得元である外部装置のＩＤ（例えば製品番号やシリアル番号）、識別画像の取得元である外部装置の名前（例えば製品の名称）、識別画像記憶部１２４における識別画像の取得順、識別画像の取得元である外部装置とヘッドマウントディスプレイ１００との間の距離、外部装置の種類（例えば、ＰＣ、家電、ＡＶ機器等）等を使用することができる。なお、外部装置とヘッドマウントディスプレイ１００との間の距離は、例えば、ＯＳ１５０が、ＧＰＳモジュール１３４によって検出されたヘッドマウントディスプレイ１００の現在位置情報と、外部装置から取得した外部装置の現在位置情報と、を比較することによって求めることができる。この場合、ＯＳ１５０は「距離取得部」として機能する。なお、本実施形態における「外部装置とヘッドマウントディスプレイ１００との間の距離」には、大まかな距離も含む。
【００６３】
ステップＳ１２６において生成部１４２は、ソート後の識別画像を用いて統合画像を生成する。具体的には、生成部１４２は、ステップＳ１２４でソートされた複数の識別画像を、それぞれ、領域情報１２２のサムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域）に配置する。また、生成部１４２は、黒画像を、領域情報１２２のアクティブ表示領域ＢＧ（第２の表示領域）に配置する。このアクティブ表示領域ＢＧには、後述の統合画像変更処理において、使用者によって選択された一の外部装置の表示画像が挿入される。
【００６４】
なお、ステップＳ１２６において生成部１４２は、各識別画像に対して、識別画像の形状の変更、識別画像の透過率の変更、識別画像への色変換処理、識別画像の大きさの変更、識別画像への装飾（文字、図形、記号等）の付与、等を実施してもよい。例えば、生成部１４２は、識別画像の大きさを変更する際に、外部装置とヘッドマウントディスプレイ１００との間の距離に応じて、識別画像の大きさを決定してもよい。例えば、ヘッドマウントディスプレイ１００との間の距離が近い外部装置の識別画像ほど、大きくすることとすれば、統合画像を見た使用者に対して、ヘッドマウントディスプレイ１００と各外部装置との間の距離を視覚的に把握させることが可能となる。同様に、形状や、透過率、色変換処理の処理内容、装飾の内容についても、ヘッドマウントディスプレイ１００と外部装置との間の距離に応じて決定されてもよい。
【００６５】
図６は、ステップＳ１２６で生成された統合画像の一例を示す説明図である。統合画像ＧＩのサムネイル表示領域Ｂ１にはヘッドマウントディスプレイ１００の識別画像として、ヘッドマウントディスプレイ１００の一の時点での表示画像Ｇ１が配置されている。同様に、サムネイル表示領域Ｂ２にはＰＣ３００の識別画像として、ＰＣ３００の一の時点での表示画像Ｇ２が、サムネイル表示領域Ｂ３には家電４００の識別画像として、家電４００の設定画面の表示画像Ｇ３が、サムネイル表示領域Ｂ４にはＡＶ機器５００の識別画像として、ＡＶ機器５００の操作画面の表示画像Ｇ４が、サムネイル表示領域Ｂ５には携帯端末６００の識別画像として、携帯端末６００の一の時点での表示画像Ｇ５が、サムネイル表示領域Ｂ６にはゲーム機器７００の識別画像として、ゲーム機器７００の一の時点での表示画像Ｇ６が、それぞれ配置されている。なお、図６の例では、サムネイル表示領域Ｂ１〜Ｂ６の縦横比と、各外部装置の識別画像Ｇ１〜Ｇ６の縦横比とが一致していない。図５のステップＳ１２６において生成部１４２は、各外部装置の識別画像Ｇ１〜Ｇ６の縦横比を、サムネイル表示領域Ｂ１〜Ｂ６の縦横比にそれぞれ一致させる処理を実施してもよい。
【００６６】
図５のステップＳ１２８において生成部１４２は、ヘッドマウントディスプレイ１００に統合画像を表示させる。具体的には、生成部１４２は、ステップＳ１２６で生成した統合画像を、画像処理部１６０へ送信する。統合画像を受信した画像処理部１６０では、上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、ヘッドマウントディスプレイ１００の使用者は、視野に統合画像の虚像を視認することができる。換言すれば、ヘッドマウントディスプレイ１００は、統合画像を表示することができる。
【００６７】
Ａ−４．統合画像更新処理：
図７は、統合画像更新処理の手順を示すシーケンス図である。本実施形態の統合画像更新処理とは、統合画像のうち、使用者によって選択された一の外部装置の表示画像を動的に更新し、ヘッドマウントディスプレイ１００に表示させる処理である。統合画像更新処理は、主として更新部１４４により実行される。
【００６８】
ステップＳ２００において更新部１４４は、入力情報取得部１１０を介して、複数の外部装置の中から一の外部装置を選択する選択操作を取得する。この選択操作は、ヘッドマウントディスプレイ１００の使用者によってなされる操作である。使用者は、ヘッドマウントディスプレイ１００の備える入力デバイス（例えば、タッチパッド、十字キー、フットスイッチ、ジェスチャー検出、視線検出、タッチ検出、マイクロホン等）を使用して選択操作を実施することができる。
【００６９】
ステップＳ２０２において更新部１４４は、使用者により選択された一の外部装置に対して、表示画像の要求を送信する。図では、使用者によって選択された外部装置はＰＣ３００である例を示している。
【００７０】
ステップＳ２０４において表示画像の要求を受信した外部装置（ＰＣ３００）は、ＰＣ３００の表示画面の画像、すなわち、ＰＣ３００において再生中のコンテンツや、アプリケーションＧＵＩ等の、現在ＰＣ３００において表示されている画面をレンダリングしたフレーム画像を取得する。
【００７１】
ステップＳ２０６においてＰＣ３００は、取得したフレーム画像をヘッドマウントディスプレイ１００へ送信する。ヘッドマウントディスプレイ１００の更新部１４４は、無線通信部１３２を介して第１の画像を取得する。このとき、更新部１４４と無線通信部１３２とは「取得部」として機能する。
【００７２】
ステップＳ２０８において更新部１４４は、取得したフレーム画像を用いて、統合画像表示処理（図５）のステップＳ１２６で生成された統合画像のうちの、アクティブ表示領域ＢＧ（第２の表示領域）を更新する。
【００７３】
ステップＳ２１０において更新部１４４は、更新後の統合画像を表示させる。詳細は統合画像表示処理（図５）のステップＳ１２８と同様である。
【００７４】
ステップＳ２１２において更新部１４４は、ステップＳ２００で取得した外部装置とは異なる他の外部装置の選択操作を取得するまでの間、選択された外部装置（ＰＣ３００）に対して、ステップＳ２０２〜Ｓ２１０の処理を繰り返す。一方、他の外部装置の選択操作を取得した場合、更新部１４４は、他の外部装置に対して、ステップＳ２０２〜Ｓ２１２の処理を実行する。
【００７５】
図８Ａは、ヘッドマウントディスプレイ１００において第２の表示領域が更新された統合画像が表示されている様子を示す説明図である。図８Ａに示すように、ヘッドマウントディスプレイ１００の使用者は、視野ＶＲにおいて、ヘッドマウントディスプレイ１００に接続されている複数の外部装置の複数の識別画像と、複数の外部装置の中から選択された一の外部装置の表示画像と、を含む統合画像ＧＩを、虚像ＶＩとして視認することができる。図８Ａの例において、複数の外部装置の複数の識別画像とは、図６で説明したヘッドマウントディスプレイ１００の識別画像Ｇ１と、ＰＣ３００の識別画像Ｇ２と、家電４００の識別画像Ｇ３と、ＡＶ機器５００の識別画像Ｇ４と、携帯端末６００の識別画像Ｇ５と、ゲーム機器７００の識別画像Ｇ６である。また、図８Ａの例において、選択された一の外部装置の表示画像とは、すなわち、ＰＣ３００が表示する画像である表示画像ＩＭである。なお、本実施形態のヘッドマウントディスプレイ１００は、透過型の頭部装着型表示装置である。このため、図４で説明した通り、使用者は、虚像ＶＩを透過して背景を視認することができる。この背景については、図示の便宜上、図８Ａにおける図示を省略している。
【００７６】
以上のように、第１実施形態の統合画像表示処理（図５）および統合画像更新処理（図７）によれば、画像表示部２０は、ヘッドマウントディスプレイ１００（画像表示装置）に接続されている複数の外部装置（ＰＣ３００〜ゲーム機器７００）の複数の識別画像Ｇ２〜Ｇ７と、複数の外部装置の中から選択された一の外部装置（上記例ではＰＣ３００）の表示画像ＩＭと、を含む統合画像ＧＩを使用者に視認させることができる。このため、ヘッドマウントディスプレイ１００の周辺の、換言すれば、ヘッドマウントディスプレイ１００に接続されている外部装置における表示を統合することのできるヘッドマウントディスプレイ１００を提供することができる。なお、統合画像表示処理（図５）では、ヘッドマウントディスプレイ１００に接続されている複数の外部装置の複数の識別画像Ｇ２〜Ｇ７のうちの少なくとも一部の識別画像をサムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域）に含めることとしてもよい。このようにしても、ヘッドマウントディスプレイ１００に接続されている少なくとも一部の外部装置における表示を統合することのできるヘッドマウントディスプレイ１００を提供することができる。
【００７７】
また、第１実施形態の統合画像更新処理（図７）によれば、画像表示部２０は、複数の外部装置（ＰＣ３００〜ゲーム機器７００）から選択された一の外部装置（上記例ではＰＣ３００）について、その表示画面が動的に更新された統合画像ＧＩを使用者に視認させることができる。上記の統合画像更新処理および統合画像表示処理（図５）によれば、ヘッドマウントディスプレイ１００は、統合画像のうちのアクティブ表示領域ＢＧ（第２の表示領域）のみを動的に更新し、サムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域）は更新しない。このため、ヘッドマウントディスプレイ１００は、各外部装置から識別画像を１回ずつ取得すれば足りることとなり、ヘッドマウントディスプレイ１００と各外部装置との間の通信トラフィックを低減することができる。また、使用者によって選択された一の外部装置については、その表示画像を動的に更新することができる。
【００７８】
Ａ−５．付加的処理：
なお、統合画像表示処理（図５）、または、統合画像更新処理（図７）には、以下のような処理を付加してもよい。以下に示す処理は、単独で付加してもよいし、組み合わせて付加してもよい。
【００７９】
Ａ−５−１．付加的処理１：
付加的処理１では、使用者が複数の外部装置の中から一の外部装置を選択する選択操作を「使用者が一の外部装置へ注意を向けること」で実現する。本処理では、ヘッドマウントディスプレイ１００のＣＰＵ１４０は、さらに、外部装置特定部を備える構成とする。外部装置特定部は、以下に示すｃ１〜ｃ６の方法のいずれかを用いて、使用者が注意を向けたと推定される外部装置を特定し、当該外部装置を「使用者によって選択された外部装置」とする。
【００８０】
（ｃ１）指向性の無線電波を使用する方法：
ヘッドマウントディスプレイ１００の筐体外部の前面に対応する位置、例えば、使用者の眉間に対応する位置（換言すれば、右光学像表示部２６と左光学像表示部２８との間）に指向性の無線アンテナを備える構成とする。そうすれば、この無線アンテナからの電波を受信した外部装置は、使用者が頭部を向けた外部装置であると推定できる。外部装置特定部は、指向性の無線アンテナからの電波を受信した外部装置から、その旨のメッセージを受信することで、使用者が注意を向けたと推定される外部装置を特定することができる。
【００８１】
（ｃ２）赤外線を使用する方法：
ヘッドマウントディスプレイ１００の筐体外部の前面に対応する位置に赤外線の発光部を備える構成とする。さらに、各外部装置に赤外線の受光部を備える構成とする。そうすれば、ヘッドマウントディスプレイ１００からの赤外線を受信した外部装置は、使用者が頭部を向けた外部装置であると推定できる。外部装置特定部は、赤外線を受信した外部装置から、その旨のメッセージを受信することで、使用者が注意を向けたと推定される外部装置を特定することができる。また、ヘッドマウントディスプレイ１００に赤外線の受光部を設け、各外部装置に赤外線の発光部を設けてもよい。この場合、外部装置毎に赤外線の発光パターンを変えれば、赤外線を受光したヘッドマウントディスプレイ１００において、使用者が注意を向けたと推定される外部装置の特定が可能である。
【００８２】
（ｃ３）位置情報を使用する方法：
外部装置特定部は、ＧＰＳモジュール１３４（図２）により得られるヘッドマウントディスプレイ１００の現在位置情報と、各外部装置から取得した各外部装置の位置情報と、を用いて、ヘッドマウントディスプレイ１００と各外部装置との位置関係を求める。その後、外部装置特定部は、９軸センサー６６（図２）により得られるヘッドマウントディスプレイ１００の向き（使用者の頭部の向き）に基づいて、使用者が注意を向けたと推定される外部装置を特定することができる。なお、外部装置特定部は、各外部装置の位置情報を、例えば、無線通信や近距離無線通信を用いて取得することができる。
【００８３】
（ｃ４）無線タグを使用する方法：
図８Ｂは、付加的処理１の無線タグを使用する方法についての説明図である。図８Ｂでは、図示の便宜上、図１のヘッドマウントディスプレイ１００を簡略化して図示すると共に、３台の外部装置のみを例示する。本方法では、ヘッドマウントディスプレイ１００の筐体外部の前面に対応する位置に距離計測センサー６１、または、可視光カメラを備える構成とする。さらに、各外部装置に近距離無線通信が可能な無線タグＲＦ１〜３を内蔵する構成とする。その上で、外部装置特定部は、使用者が頭部を向けた一の外部装置と、使用者（距離計測センサー６１）との間の距離Ｌを計測する。この計測は、例えばＴｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ法を使用することができる。次に外部装置特定部は、各外部装置の無線タグＲＦ１〜３から、それぞれ、無線タグＲＦ１〜３に予め記憶されている各外部装置とヘッドマウントディスプレイ１００との間の距離Ｌ１〜Ｌ３を取得する。外部装置特定部は、計測した距離Ｌと、取得した距離Ｌ１〜Ｌ３と、を比較することで、使用者が注意を向けたと推定される外部装置を特定することができる。なお、各外部装置とヘッドマウントディスプレイ１００との間の距離Ｌ１〜Ｌ３は、予めヘッドマウントディスプレイ１００の記憶部１２０に記憶されていてもよいし、ヘッドマウントディスプレイ１００が、ヘッドマウントディスプレイ１００と外部装置との間の距離を動的に求めてもよい。また、距離Ｌ１〜Ｌ３の送信には、近距離無線通信に代えて無線通信を使用してもよい。さらに、同一距離の２つの外部装置を特定可能とするために、９軸センサー６６（図２）により得られるヘッドマウントディスプレイ１００の向き（使用者の頭部の向き）を併用してもよい。
【００８４】
（ｃ５）画像処理を使用する方法：
ヘッドマウントディスプレイ１００の筐体外部の前面に対応する位置に可視光カメラを備える構成とする。また、ヘッドマウントディスプレイ１００の記憶部１２０には、予め、各外部装置の外見的特徴が記憶されている。外部装置特定部は、可視光カメラに使用者の視界方向の画像（以降「外景画像」とも呼ぶ。）を撮像させる。外部装置特定部は、外景画像を画像解析し、記憶部１２０に記憶されている外部装置の外見的特徴と照合することで、使用者が注意を向けたと推定される外部装置を特定することができる。また、以下に列挙する方法を用いてもよい。
・外部装置特定部は、可視光カメラに、ヘッドマウントディスプレイ１００の使用者が一の外部装置を指さした状態の外景画像を取得させる。外部装置特定部は、外景画像を画像解析し、使用者の指の延長線上にある外部装置を特定する。
・画像表示部２０の筐体内側に、例えば赤外線受発光部からなる瞳孔検出部を設ける。外部装置特定部は、可視光カメラに撮像させた外景画像と、瞳孔検出部によって検出された使用者の眼の動きと、に基づいて、使用者が視線を向けている外部装置を特定する。
【００８５】
（ｃ６）マーカーを使用する方法：
ヘッドマウントディスプレイ１００の筐体外部の前面に対応する位置に可視光カメラを備える構成とする。さらに、外部装置の筐体外部に拡張現実感（ＡＲ、Augmented Reality）処理において用いられるマーカーが付されている構成とする。外部装置特定部は、可視光カメラに外景画像を撮像させる。外部装置特定部は、外景画像に含まれるマーカーによって、使用者が注意を向けたと推定される外部装置を特定することができる。
【００８６】
統合画像表示処理（図５）に付加的処理１を適用する場合、上述のいずれかの方法で特定された外部装置に対してのみ、ステップＳ１０２のコネクションの確立および以降の処理を実施してもよい。また、上述のいずれかの方法で特定された外部装置に対してのみ、ステップＳ１０４、Ｓ１０６を実行させ、ステップＳ１０８を実行してもよい。使用者は、上述のいずれかの方法を用いた外部装置の特定を、複数回繰り返して行うこともできる。このようにすれば、生成部１４２は、ヘッドマウントディスプレイ１００（画像表示装置）に接続されている複数の外部装置（ＰＣ３００〜ゲーム機器７００）のうち、少なくとも過去に使用者が注意を向けたと推定される外部装置の識別画像をサムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域）に一覧表示する。このように、使用者は、サムネイル表示領域Ｂ１〜Ｂ６に表示される外部装置を「注意を向ける」ことで選択することができるため、使用者における利便性が向上する。また、ヘッドマウントディスプレイ１００に数多くの外部装置が接続されている場合等における、サムネイル表示領域Ｂ１〜Ｂ６の煩雑化を抑制することができる。
【００８７】
また、統合画像表示処理（図５）に付加的処理１を適用する場合、予め定められた外部装置と、上述のいずれかの方法で特定された外部装置に対して、ステップＳ１０２以降の処理を実施してもよい。また、予め定められた外部装置と、上述のいずれかの方法で特定された外部装置に対して、ステップＳ１０４、Ｓ１０６を実行させ、ステップＳ１０８を実行してもよい。ここで、「予め定められた外部装置」とは、ヘッドマウントディスプレイ１００の使用者によって予め指定されていてもよいし、工場出荷時等に指定されていてもよいし、所定の条件（例えば、使用者と外部装置との間の距離が所定の閾値以下）によって自動的に次第されてもよい。なお、使用者と外部装置との間の距離は、上述した方法ｃ１〜ｃ４によって求めることができる。このようにしても、使用者における利便性が向上すると共に、サムネイル表示領域Ｂ１〜Ｂ６の煩雑化を抑制することができる。
【００８８】
統合画像更新処理（図７）に付加的処理１を適用する場合、ステップＳ２００に代えて、上述のいずれかの方法で特定された外部装置に対して、ステップＳ２０２以降の処理を実施してもよい。このようにすれば、更新部１４４（取得部）は、使用者が注意を向けたと推定される外部装置から、当該外部装置の表示画像を取得し、更新部１４４は、取得された表示画像を用いて統合画像のアクティブ表示領域ＢＧ（第２の表示領域）を更新する。このように、使用者は、アクティブ表示領域ＢＧに表示される外部装置を「注意を向ける」ことで選択することができるため、使用者における利便性が向上する。
【００８９】
なお、使用者が外部装置へ頭部を向けている時間（注意を向けている時間）に応じて、統合画像表示処理（図５）に付加的処理１を適用するのか、統合画像更新処理（図７）に付加的処理１を適用するのかを決定してもよい。例えば、時間が所定の閾値よりも短い場合は統合画像表示処理に付加的処理１を適用し、長い場合は統合画像更新処理に付加的処理１を適用してもよい。
【００９０】
なお、上記ｃ１〜ｃ６はあくまで一例であり、外部装置特定部は、使用者の頭部の動きや使用者の視線などに応じて、使用者が注意を向けた外部装置を特定することができる。外部装置特定部は、上記ｃ１〜ｃ６を組み合わせることで、一度に複数の外部装置を特定してもよい。
【００９１】
Ａ−５−２．付加的処理２：
付加的処理２では、統合画像更新処理（図７）のステップＳ２００において、使用者によって選択された一の外部装置に対して、拡張現実感を提供するためのタグを付す。この処理において、ヘッドマウントディスプレイ１００のＣＰＵ１４０は、さらに、付加提示用情報生成部を備える構成とする。
【００９２】
付加提示用情報生成部は、使用者が図７のステップＳ２００で選択した外部装置の方向を向いた場合に、当該外部装置を識別するための付加提示用の情報を生成する。付加提示用の情報とは、外部装置に対して何らかの情報を付加、削除、強調、減衰させるための情報である。具体的には、付加提示用の情報とは、例えば、使用者が選択した外部装置である旨を知らせる文字列が含まれる吹き出し、ノート形状のタグ、使用者が選択した外部装置である旨を知らせるアイコン（絵、文字、記号等）、使用者が選択した外部装置である旨を知らせるフレーム（外部装置を装飾するように配置される枠）等である。なお、付加提示用情報生成部は、使用者がステップＳ２００で選択した外部装置の方向を向いたか否かを、上述のｃ１〜ｃ６と同様の方法を用いて判断することができる。
【００９３】
付加提示用情報生成部は、生成した付加提示用の情報を、画像処理部１６０へ送信する。統合画像を受信した画像処理部１６０では、上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ１００の使用者は、ステップＳ２００で自身が選択した外部装置を見た際、外部装置と共に付加提示用の情報（タグ）を表す虚像を視認することができる。
【００９４】
なお、上述した付加提示用情報生成部に代えて、ヘッドマウントディスプレイ１００のＣＰＵ１４０は、付加提示用情報選択部を備えてもよい。付加提示用情報選択部は、例えば記憶部１２０や外部のサーバー等に予め用意されている複数の付加提示用の情報から、使用者が選択した外部装置である旨を知らせるための付加提示用の情報を選択し、選択した付加提示用の情報を画像処理部１６０へ送信する。
【００９５】
このように、付加的処理２によれば、画像表示部２０は、図７のステップＳ２００によって選択された一の外部装置に付すための付加提示用の情報を、使用者に視認させることができる。この結果、使用者は、自身が選択した外部装置と他の外部装置とを区別することができるため、使用者における利便性が向上する。
【００９６】
Ｂ．第２実施形態：
本発明の第２実施形態では、外部装置の識別画像として、第１実施形態に例示した画像とは異なる種類の画像を使用する構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。
【００９７】
Ｂ−１．画像表示システムの構成：
第２実施形態の画像表示システムは、ヘッドマウントディスプレイ１００に代えてヘッドマウントディスプレイ１００ａを備える点を除き、図１に示した第１実施形態と同様である。
【００９８】
Ｂ−２．ヘッドマウントディスプレイの構成：
図９は、第２実施形態のヘッドマウントディスプレイ１００ａの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、制御部１０に代えて制御部１０ａを備える点である。制御部１０ａは、生成部１４２に代えて生成部１４２ａを、更新部１４４に代えて更新部１４４ａをそれぞれ備える。生成部１４２ａは、統合画像表示処理の内容が、図５に示す第１実施形態とは異なる。更新部１４４ａは、統合画像更新処理の内容が、図７に示す第１実施形態とは異なる。
【００９９】
第２実施形態の統合画像表示処理および統合画像更新処理においては、第１実施形態のａ１〜ａ３で例示した「外部装置の識別画像」に代えて、以下のａ４、ａ５のいずれかを「外部装置の識別画像」として使用する。
（ａ４）外部装置を識別するための情報を表す画像。外部装置を識別するための情報とは、例えば、外部装置のＩＤ（例えば製品番号やシリアル番号）、外部装置の名前（例えば製品の名称）、外部装置の状態（例えば製品のプロパティー）等がある。
（ａ５）外部装置に割り当てられたシンボルを表す画像。ここで、「シンボル」とは、例えば、外部装置の存在を表すアイコン、外部装置を抽象化して表す図形または記号等である。
【０１００】
Ｂ−３．統合画像表示処理：
図１０は、第２実施形態の統合画像表示処理の手順を示すシーケンス図である。第２実施形態の統合画像表示処理とは、第１実施形態（図５）と同様に、統合画像を生成し、ヘッドマウントディスプレイ１００ａに表示させる処理である。第１実施形態と異なる点は、外部装置の識別画像として、上記ａ４、ａ５に挙げた画像を使用する点である。統合画像表示処理は、主として生成部１４２ａにより実行される。
【０１０１】
まず、図５で説明した第１実施形態と同様に、アプリケーションが起動され（ステップＳ１００）、ヘッドマウントディスプレイ１００ａとＰＣ３００との間のコネクションが確立される（ステップＳ１０２）。
【０１０２】
ステップＳ３００においてＰＣ３００は、ＰＣ３００の機器情報を取得する。具体的には、ＰＣ３００は、以下のｂ４、ｂ５に示すいずれかの情報（画像でなくともよい）を取得する。なお、下記ｂ４は上記ａ４に、下記ｂ５は上記ａ５に、それぞれ対応している。
（ｂ４）ＰＣ３００を識別するための情報。例えば、ＰＣ３００の製造番号やシリアル番号等のＩＤ、ＰＣ３００の名称、ＰＣ３００のプロパティー等の状態を表す情報。
（ｂ５）ＰＣ３００のシンボルを表す画像。例えば、ＰＣ３００のアイコン画像。
【０１０３】
ステップＳ３０２においてＰＣ３００は、取得した機器情報をヘッドマウントディスプレイ１００ａへ送信する。ヘッドマウントディスプレイ１００ａの生成部１４２ａは、無線通信部１３２を介して、この機器情報を取得する。このとき、生成部１４２ａと無線通信部１３２とは「取得部」として機能する。
【０１０４】
ステップＳ３０３において生成部１４２ａは、取得した機器情報を表す画像を生成する。生成部１４２ａは、生成した画像を「外部装置の識別画像」として、識別画像記憶部１２４に記憶させる。なお、上記ｂ５のように、ＰＣ３００から受信した機器情報が画像の形式である場合は、機器情報を表す画像の生成は省略可能である。
【０１０５】
ステップＳ３０４において生成部１４２ａは、ヘッドマウントディスプレイ１００ａとＰＣ３００との間のコネクションを切断する。このように、不要なコネクションをすぐに切断することにより、通信トラフィックおよび消費電力を低減させることができる。
【０１０６】
ステップＳ３０６において生成部１４２は、家電４００との間で、ステップＳ１０２およびステップＳ３００〜Ｓ３０４と同様の処理を実施する。同様に、生成部１４２は、ステップＳ３０８においてＡＶ機器５００との間で、ステップＳ３０８において携帯端末６００との間で、ステップＳ３１０においてゲーム機器７００との間で、それぞれ同様の処理を実施する。この結果、識別画像記憶部１２４には、ヘッドマウントディスプレイ１００ａに接続されている全ての外部装置の識別画像が格納される。
【０１０７】
ステップＳ３１４において生成部１４２ａは、ヘッドマウントディスプレイ１００の機器情報を取得する。具体的には、ヘッドマウントディスプレイ１００ａについての、上記ｂ４、ｂ５に示すいずれかの情報を取得する。
【０１０８】
ステップＳ３１６において生成部１４２ａは、取得した機器情報を表す画像を生成し、「画像表示装置の識別画像」として、識別画像記憶部１２４に記憶させる。ステップＳ３１４、Ｓ３１６の結果、識別画像記憶部１２４には、ヘッドマウントディスプレイ１００ａ自身の識別画像が格納される。
【０１０９】
以降、図５で説明した第１実施形態と同様に、生成部１４２ａは、識別画像記憶部１２４に格納されている複数の識別画像をソートし（ステップＳ１２４）、統合画像を生成し（ステップＳ１２６）、統合画像を表示させる（ステップＳ１２８）。詳細は図５で説明した通りである。
【０１１０】
図１１は、第２実施形態の統合画像表示処理のステップＳ１２６で生成された統合画像の一例を示す説明図である。統合画像ＧＩのサムネイル表示領域Ｂ１にはヘッドマウントディスプレイ１００の識別画像として、ヘッドマウントディスプレイ１００の製品番号を表す画像Ｊ１が配置されている。同様に、サムネイル表示領域Ｂ２にはＰＣ３００の識別画像として、ＰＣ３００のアイコン画像Ｊ２が、サムネイル表示領域Ｂ３には家電４００の識別画像として、家電４００の製品の名称を表す画像Ｊ３が、サムネイル表示領域Ｂ４にはＡＶ機器５００の識別画像として、ＡＶ機器５００のアイコン画像Ｊ４が、サムネイル表示領域Ｂ５には携帯端末６００の識別画像として、携帯端末６００の製品番号を表す画像Ｊ５が、サムネイル表示領域Ｂ６にはゲーム機器７００の識別画像として、ゲーム機器７００の製品番号を表す画像Ｊ６が、それぞれ配置されている。
【０１１１】
Ｂ−４．統合画像更新処理：
図１２は、第２実施形態における統合画像更新処理の手順を示すシーケンス図である。第２実施形態の統合画像更新処理とは、第１実施形態（図７）と同様に、統合画像の第２の表示領域を動的に表示させる処理である。第１実施形態と異なる点は、外部装置の識別画像として、上記ａ４、ａ５に挙げた画像を使用する点と、第２の表示領域を更新するために外部装置から取得した表示画像を利用して、識別画像記憶部１２４内の外部装置の識別画像を更新する点である。統合画像更新処理は、主として更新部１４４ａにより実行される。
【０１１２】
まず、図７で説明した第１実施形態と同様に、複数の外部装置の中から一の外部装置を選択する選択操作を取得し（ステップＳ２００）、選択された一の外部装置から表示画面の画像（フレーム画像）を取得する（ステップＳ２０２〜Ｓ２０６）。
【０１１３】
ステップＳ４００において更新部１４４ａは、取得したフレーム画像を「外部装置の識別画像」として、識別画像記憶部１２４に記憶させる。この際、更新部１４４ａは、統合画像表示処理（図１０）のステップＳ３０３で既に記憶されている同一の外部装置の識別画像を上書きする。なお、ステップＳ４００では、取得したフレーム画像を縮小処理した後で識別画像記憶部１２４に記憶させてもよい。
【０１１４】
ステップＳ４０２において更新部１４４ａは、識別画像記憶部１２４に格納されている複数の識別画像を取得し、取得した識別画像を所定の条件に従ってソートする。詳細は統合画像表示処理（図５）のステップＳ１２４と同様である。
【０１１５】
ステップＳ４０４において更新部１４４ａは、ソート後の識別画像を用いて統合画像のサムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域）を更新する。詳細は統合画像表示処理（図５）のステップＳ１２６と同様である。
【０１１６】
ステップＳ４０８において更新部１４４ａは、ステップＳ２０６で取得したフレーム画像を用いて、ステップＳ４０４で更新された統合画像のうちの、アクティブ表示領域ＢＧ（第２の表示領域）を更新する。
【０１１７】
ステップＳ２１０において更新部１４４ａは、更新後の統合画像を表示させる。詳細は統合画像表示処理（図５）のステップＳ１２８と同様である。
【０１１８】
ステップＳ４１０において更新部１４４ａは、ステップＳ２００で取得した外部装置とは異なる他の外部装置の選択操作を取得するまでの間、選択された外部装置（ＰＣ３００）に対して、ステップＳ２０２、Ｓ２０４、Ｓ２０６、Ｓ４０８、Ｓ２１０の処理を繰り返す。一方、他の外部装置の選択操作を取得した場合、更新部１４４は、他の外部装置に対して、ステップＳ２０２〜Ｓ４１０の一連の処理を実行する。
【０１１９】
図１３は、ヘッドマウントディスプレイ１００ａにおいて第１の表示領域と第２の表示領域とが更新された統合画像が表示されている様子を示す説明図である。図１３に示すように、ヘッドマウントディスプレイ１００ａの使用者は、視野ＶＲにおいて、ヘッドマウントディスプレイ１００ａに接続されている複数の外部装置の複数の識別画像と、複数の外部装置の中から選択された一の外部装置の表示画像と、を含む統合画像ＧＩを、虚像ＶＩとして視認することができる。図１３の例において、複数の外部装置の複数の識別画像とは、図１１で説明したヘッドマウントディスプレイ１００ａの識別画像Ｊ１と、ＰＣ３００の識別画像Ｊ２と、家電４００の識別画像Ｊ３と、ＡＶ機器５００の識別画像Ｊ４と、携帯端末６００の識別画像Ｊ５と、ゲーム機器７００の識別画像Ｊ６である。ここで、ＰＣ３００の識別画像Ｊ２については、統合画像更新処理（図１２）のステップＳ４００における更新後の識別画像が表示されている。また、図１３の例において、選択された一の外部装置の表示画像とは、すなわち、ＰＣ３００が表示する画像である表示画像ＩＭである。なお、図８Ａと同様に、図１４においても、本来、虚像ＶＩを透過する背景については図示を省略している。
【０１２０】
以上のように、第２実施形態の統合画像表示処理（図１０）および統合画像更新処理（図１２）によれば、第１実施形態と同様の効果を得ることができる。さらに、第２実施形態の統合画像表示処理および統合画像更新処理では、外部装置の識別画像として、第１実施形態に例示した画像とは異なる種類の画像を使用することができる。
【０１２１】
Ｂ−５．付加的処理：
第２実施形態においても、上述した付加的処理１、２を適用可能である。
【０１２２】
Ｃ．第３実施形態：
本発明の第３実施形態では、結合画像のサムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域）を、仮想的な表示領域とする構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。
【０１２３】
Ｃ−１．画像表示システムの構成：
第３実施形態の画像表示システムは、ヘッドマウントディスプレイ１００に代えてヘッドマウントディスプレイ１００ｂを備える点を除き、図１に示した第１実施形態と同様である。
【０１２４】
Ｃ−２．ヘッドマウントディスプレイの構成：
図１４は、第３実施形態のヘッドマウントディスプレイ１００ｂの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、制御部１０に代えて制御部１０ｂを備える点である。制御部１０ｂは、領域情報１２２に代えて領域情報１２２ｂを、画像処理部１６０に代えて画像処理部１６０ｂをそれぞれ備える。
【０１２５】
図１５は、第３実施形態における領域情報１２２ｂの一例を示す説明図である。第３実施形態の領域情報１２２ｂは、図３に示した第１実施形態と同様に、６つのサムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域）と、アクティブ表示領域ＢＧ（第２の表示領域）と、を含んでいる。各領域の用途は図３で説明した通りである。サムネイル表示領域Ｂ１〜Ｂ３と、サムネイル表示領域Ｂ４〜Ｂ６とは、アクティブ表示領域ＢＧを挟んで、水平方向の左右の外側に配置されている。アクティブ表示領域ＢＧの縦横比は、表示駆動部による画像光の生成可能領域の縦横比、換言すれば、ヘッドマウントディスプレイ１００ｂの表示素子（図２：右ＬＣＤ２４１、左ＬＣＤ２４２）の縦横比と同一である。
【０１２６】
図１５の例では、サムネイル表示領域Ｂ１〜Ｂ３は、領域１２２ｂの左側の外側に、それぞれが鉛直方向に隣接して配置されている。サムネイル表示領域Ｂ４〜Ｂ６は、領域１２２の右側の外側に、それぞれが鉛直方向に隣接して配置されている。サムネイル表示領域Ｂ１〜Ｂ６は、それぞれ同じ大きさの領域である。図１５において、サムネイル表示領域Ｂ１〜Ｂ６にはドットのハッチングを付し、アクティブ表示領域ＢＧには斜線ハッチングを付す。
【０１２７】
なお、図１５に示したサムネイル表示領域Ｂ１〜Ｂ６の配置および大きさは一例であり、任意に定めることができる。サムネイル表示領域Ｂ１〜Ｂ６は、アクティブ表示領域ＢＧ（第２の表示領域）の外側に配置されていれば足りる。このため、例えば、サムネイル表示領域Ｂ１〜Ｂ６は、アクティブ表示領域ＢＧの上側の外側や下側の外側に配置されていてもよい。また、サムネイル表示領域Ｂ１〜Ｂ６は、アクティブ表示領域ＢＧの外側の四方を取り囲むように配置されていてもよい。また、サムネイル表示領域Ｂ１〜Ｂ６は、それぞれの領域が異なる大きさであってもよい。さらに、サムネイル表示領域Ｂ１〜Ｂ６は、それぞれ、領域の少なくとも一部が重なっていてもよい。
【０１２８】
Ｃ−３．統合画像表示処理：
第３実施形態における統合画像表示処理の手順は、以下に挙げる手順ｄ１、ｄ２を除き、図５に示した第１実施形態と同様である。
（ｄ１）ステップＳ１２６において、生成部１４２は、図１５で説明した領域情報１２２ｂを用いて、統合画像を生成する。
（ｄ２）ステップＳ１２８において、画像処理部１６０ｂは、生成部１４２から受信した統合画像のうち、アクティブ表示領域ＢＧ（第２の表示領域、図１５において斜線のハッチングを施した領域）に相当する部分の画像のみを、ヘッドマウントディスプレイ１００ｂに表示させる。そして、画像処理部１６０ｂは、使用者から所定の操作を取得したことをトリガーとして、サムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域、図１５においてドットのハッチングを施した領域）に相当する部分の画像を、ヘッドマウントディスプレイ１００ｂに表示させる。所定のトリガーとは、例えば、ヘッドマウントディスプレイ１００ｂの備える入力デバイス（例えば、タッチパッド、十字キー、フットスイッチ、ジェスチャー検出、視線検出、タッチ検出、マイクロホン等）による使用者の操作等を使用することができる。
【０１２９】
図１６は、画像処理部１６０ｂの動作の一例を説明するための説明図である。例えば、画像処理部１６０ｂは、使用者がヘッドマウントディスプレイ１００ｂの左保持部２３にタッチしたことをトリガーとして、図示のように、ヘッドマウントディスプレイ１００ｂに表示させる統合画像の範囲を、図１６のように左側にスライドさせる。このようにすれば、画像処理部１６０ｂは、第１の表示領域（の一部）と、第２の表示領域（の一部）とを使用者に視認させることができる。同様に、画像処理部１６０ｂは、使用者がヘッドマウントディスプレイ１００ｂの右保持部２１にタッチしたことをトリガーとして、ヘッドマウントディスプレイ１００ｂに表示させる統合画像の範囲を右側にスライドさせる。なお、領域情報１２２ｂにおいてサムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域）がアクティブ表示領域ＢＧ（第２の表示領域）の上下に設けられた場合は、使用者がヘッドマウントディスプレイ１００ｂの筐体の上下にタッチしたことをトリガーとして、同様の処理をすることができる。
【０１３０】
Ｃ−４．統合画像更新処理：
第３実施形態における統合画像更新処理の手順は、ステップＳ２１０における画像処理部１６０ｂの手順（上記ｄ２と同様）を除き、図７に示した第１実施形態と同様である。
【０１３１】
以上のように、第３実施形態の統合画像表示処理（図５）および統合画像更新処理（図７）によれば、第１実施形態と同様の効果を得ることができる。さらに、第３実施形態の統合画像表示処理および統合画像更新処理によれば、画像表示部２０は、使用者による操作がない場合は、統合画像のアクティブ表示領域ＢＧ（第２の表示領域）に相当する部分を使用者に視認させ、使用者による操作がある場合は、統合画像のサムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域）に相当する部分を使用者に視認させることができる。この結果、この形態のヘッドマウントディスプレイ１００ｂ（画像表示装置）によれば、通常画面（アクティブ表示領域ＢＧ、第２の表示領域）の外側に仮想画面（サムネイル表示領域Ｂ１〜Ｂ６、第１の表示領域）を設けて、使用者による操作で、通常画面と仮想画面との表示を切り替えることができる。この結果、使用者における利便性を向上させることができる。
【０１３２】
Ｃ−５．付加的処理：
第３実施形態においても、上述した付加的処理１、２を適用可能である。
【０１３３】
Ｄ．第４実施形態：
本発明の第４実施形態では、ヘッドマウントディスプレイが実施していた処理を他の情報処理装置（以降「サーバー」とも呼ぶ。）に実施させることで処理負荷分散を図る構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。
【０１３４】
Ｄ−１．画像表示システムの構成：
図１７は、第４実施形態の画像表示システム１０００ｃの概略構成を示す説明図である。図１に示した第１実施形態との違いは、ヘッドマウントディスプレイ１００に代えてヘッドマウントディスプレイ１００ｃを備える点と、サーバー９００を備える点である。第４実施形態では、サーバー９００が外部装置における表示を統合した「統合画像」を生成し、ヘッドマウントディスプレイ１００ｃに表示させる。
【０１３５】
ヘッドマウントディスプレイ１００ｃは、サーバー９００と、無線通信または有線通信可能に接続されている。同様に、各外部装置（ＰＣ３００〜ゲーム機器７００）は、サーバー９００と、無線通信または有線通信可能に接続されている。なお、ヘッドマウントディスプレイ１００ｃとサーバー９００との間、または、サーバー９００と各外部装置の間には、例えばルーターやアクセスポイント等のネットワーク装置、種々のアダプター等が設けられていてもよい。
【０１３６】
Ｄ−２．ヘッドマウントディスプレイおよびサーバーの構成：
第４実施形態におけるヘッドマウントディスプレイ１００ｃは、領域情報１２２と、識別画像記憶部１２４と、生成部１４２と、更新部１４４と、を備えない点を除いては、図２に示した第１実施形態と同様である。
【０１３７】
図１８は、サーバー９００の構成を機能的に示すブロック図である。サーバー９００は、ＣＰＵ９１０と、ＲＯＭ９２０と、ＲＡＭ９３０と、通信インターフェイス（Ｉ／Ｆ）９４０と、記憶部９５０と、を備え、各部は図示しないバスにより相互に接続されている。
【０１３８】
ＣＰＵ９１０は、ＲＯＭ９２０や記憶部９５０に格納されているコンピュータープログラムをＲＡＭ９３０に展開して実行することにより、サーバー９００の各部を制御する。そのほか、ＣＰＵ９１０は、代理生成部９１２、代理更新部９１４と、送受信部９１６としても機能する。代理生成部９１２は、後述の統合画像表示処理を実行し、統合画像を生成する。代理生成部は、第１の表示領域と、第２の表示領域と、を含む統合画像を生成する「代理生成部」としての機能を実現する。代理更新部９１４は、後述の統合画像更新処理を実行し、統合画像を更新する。送受信部９１６は、統合画像表示処理および統合画像更新処理において、ヘッドマウントディスプレイ１００ｃとの間で、要求や統合画像を送受信する。送受信部９１６は、統合画像をヘッドマウントディスプレイに送信する「送信部」としての機能を実現する。
【０１３９】
通信インターフェイス９４０は、無線通信インターフェイスと、有線通信インターフェイスとを含んでいる。無線通信インターフェイスは、図示しない送受信回路を含み、アンテナを介して受信した電波の復調とデーターの生成、および、アンテナを介して送信する電波の生成と変調を行う。有線通信インターフェイスは、有線ケーブルを介して他の装置と接続される。
【０１４０】
記憶部９５０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部９５０は、領域情報９５２と、識別画像記憶部９５４とを含んでいる。領域情報９５２の詳細は、図３に示した第１実施形態と同様である。識別画像記憶部９５４は、統合画像表示処理において収集された外部装置の識別画像を記憶しておくための記憶部である。
【０１４１】
Ｄ−３．統合画像表示処理：
第４実施形態における統合画像表示処理の手順は、図５に示した第１実施形態とほぼ同様である。ただし、図５の説明のうち「ヘッドマウントディスプレイ１００」を「サーバー９００」と、「生成部１４２」を「代理生成部９１２」と、「記憶部１２０」を「記憶部９５０」と、「領域情報１２２」を「領域情報９５２」と、「識別画像記憶部１２４」を「識別画像記憶部９５４」と、それぞれ読み替える。そのほか、以下の読み替えを行う。
【０１４２】
・ステップＳ１１８：サーバー９００の代理生成部９１２は、送受信部９１６を介して、ヘッドマウントディスプレイ１００ｃの表示画面の画像を取得する。
・ステップＳ１２８：サーバー９００の代理生成部９１２は、ステップＳ１２６で生成した統合画像を、送受信部９１６を介してヘッドマウントディスプレイ１００ｃへ送信する。統合画像を受信したヘッドマウントディスプレイ１００ｃでは、画像処理部１６０によって図２で説明した表示処理が行われる。
【０１４３】
Ｄ−４．統合画像更新処理：
第４実施形態における統合画像更新処理の手順は、図７に示した第１実施形態とほぼ同様である。ただし、ただし、図５の説明のうち「ヘッドマウントディスプレイ１００」を「サーバー９００」と、「更新部１４４」を「代理更新部９１４」と、「記憶部１２０」を「記憶部９５０」と、「領域情報１２２」を「領域情報９５２」と、「識別画像記憶部１２４」を「識別画像記憶部９５４」と、それぞれ読み替える。そのほか、以下の読み替えを行う。
【０１４４】
・ステップＳ２００：サーバー９００の代理更新部９１４は、送受信部９１６を介して、ヘッドマウントディスプレイ１００ｃの使用者が選択した一の外部装置の情報を取得する。ここで、一の外部装置の情報とは、当該外部装置を特定可能な情報（例えば装置名やネットワークアドレス等）を指す。
・ステップＳ２１０：サーバー９００の代理更新部９１４は、ステップＳ２０８における更新後の統合画像を、送受信部９１６を介してヘッドマウントディスプレイ１００ｃへ送信する。統合画像を受信したヘッドマウントディスプレイ１００ｃでは、画像処理部１６０によって図２で説明した表示処理が行われる。
【０１４５】
以上のように、第４実施形態の統合画像表示処理、および、統合画像更新処理によれば、第１実施形態と同様の効果を得ることができる。さらに第４実施形態によれば、統合画像表示処理と統合画像更新処理とはサーバー９００が実行するため、ヘッドマウントディスプレイ１００ｃにおける処理負荷を低減することができる。なお、第４実施形態は第１実施形態の変形として説明したが、サーバー９００を利用した第４実施形態の態様は、第２、３実施形態にも適用可能である。また、サーバー９００は、さらに、ヘッドマウントディスプレイ１００ｃに送信する統合画像の圧縮や解像度の変換を施してもよい。そうすれば、ヘッドマウントディスプレイ１００ｃにおける処理負荷をより軽減させることができるほか、サーバー９００とヘッドマウントディスプレイ１００ｃとの間における無線通信トラフィックを軽減させることができる。
【０１４６】
Ｄ−５．付加的処理：
第４実施形態においても、上述した付加的処理１、２を適用可能である。
【０１４７】
Ｅ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
【０１４８】
・変形例１：
上記実施形態では、画像表示システムの構成について例示した。しかし、画像表示システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、画像表示システムを構成する各装置の追加・削除・変換等を行うことができる。また、画像表示システムを構成する装置のネットワーク構成の変更を行うことができる。
【０１４９】
例えば、画像表示装置として、ヘッドマウントディスプレイに代えて、プロジェクター、モニター、テレビ、等を採用することができる。
【０１５０】
例えば、上記実施形態における外部装置の１つとして、インターネットＩＮＴを介したクラウドサーバーが使用されてもよい。この場合であっても、生成部および更新部は、上記第１〜３実施形態と同様の処理を行うことにより、上記第１〜３実施形態と同様の効果を得ることができる。
【０１５１】
・変形例２：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
【０１５２】
上記実施形態における制御部と、画像表示部とに対する構成要素の割り振りはあくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。（ｖｉ）制御部からタッチパッドを廃し、画像表示部にタッチパッドを設けた態様。
【０１５３】
上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図５に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続されていてもよい。
【０１５４】
例えば、図２に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部は、上述した各種の入力デバイス（タッチパッド、十字キー、フットスイッチ、ジェスチャー検出、視線検出、マイクロホン）のほか、種々の入力デバイス（例えば、操作用スティック、キーボード、マウス等）を備えることができる。また、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。
【０１５５】
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、例えば、帽子のように装着するタイプの画像表示部等、他の形状の画像表示部を採用したヘッドマウントディスプレイとしてもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。さらに、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。そのほか、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。また、ハンドヘルドディスプレイ（Hand held display）として構成されてもよい。
【０１５６】
図１９は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図１９（Ａ）の例では、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備え、左光学像表示部２８に代えて左光学像表示部２８ｘを備えている。右光学像表示部２６ｘおよび左光学像表示部２８ｘは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼および左眼の斜め上に配置されている。図１９（Ｂ）の例では、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備え、左光学像表示部２８に代えて左光学像表示部２８ｙを備えている。右光学像表示部２６ｙおよび左光学像表示部２８ｙは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼および左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。
【０１５７】
例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、表示駆動部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部と、投写光学系とを備える構成としても良い。また、例えば、表示駆動部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。
【０１５８】
例えば、生成部、通知部、画像処理部、表示制御部、音声処理部等の各機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。
【０１５９】
・変形例３：
上記実施形態では、統合画像表示処理の一例を示した。しかし、統合画像表示処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
【０１６０】
例えば、生成部は、識別画像の取得元である外部装置とヘッドマウントディスプレイとの間の距離に応じて、サムネイル表示領域Ｂ１〜Ｂ６の大きさを動的に変更してもよい。このようにすれば、統合画像を視認した使用者は、サムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域）における各画像の大きさによって、ヘッドマウントディスプレイ（画像表示装置）と複数の外部装置との間の距離を知ることができる。
【０１６１】
上記実施形態において、生成部は、サムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域）については更新しないこととした。しかし、生成部は、所定のトリガーの発生で、サムネイル表示領域Ｂ１〜Ｂ６（第１の表示領域）を更新してもよい。所定のトリガーは任意に定めることができ、例えば、使用者による要求操作の発生や、使用者の所定の動作の発生や、前回の統合画像生成からの所定時間の経過や、ヘッドマウントディスプレイのＯＳや他のアプリケーションからの内部的な要求の発生等とすることができる。このようにすれば、生成部は、所定のトリガーが発生した場合に限って前記第１の表示領域を更新することができる。このため、ヘッドマウントディスプレイ（画像表示装置）と、外部装置との間の通信トラフィックを低減させることができる。
【０１６２】
例えば、上記実施形態で説明した識別画像および統合画像は、２次元的に表現された画像を想定した。しかし、画像処理部は、右眼用画像データーと左眼用画像データーとを異なるデーターとすることで、識別画像および統合画像を３次元的に表現してもよい。この場合において、例えば、使用者と外部装置との間の距離に応じて、識別画像毎に視差を付してもよい。具体的には、使用者と外部装置との間の距離が大きい外部装置の識別画像については、遠くに視認されるような視差を付与し、使用者と外部装置との間の距離が小さい外部装置の識別画像については、近くに視認されるような視差を付与してもよい。
【０１６３】
上記実施形態では、第１の表示領域と第２の表示領域とを含む統合画像を制御部において生成し、画像表示部において表示させる構成とした。しかし、統合画像は画像表示部により表示されれば足り、制御部において必ずしも統合画像を「生成」する必要はない。具体的には、例えば、制御部において第１の表示領域を表す画像と、第２の表示領域を表す画像とを別個に生成する。そして、生成した第１の表示領域を表す画像を、例えば右眼用画像データーとして画像処理部へ送信する。同様に、生成した第２の表示領域を表す画像を例えば左眼用画像データーとして画像処理部へ送信する。そして、これら別個の画像を画像表示部において併せて表示させることで、統合画像を表示させてもよい。
【０１６４】
例えば、生成部は、サムネイル表示領域Ｂ１〜Ｂ６の個数を超える外部装置が存在する場合や、サムネイル表示領域の個数を超える外部装置が指定された場合に、所定の基準で、サムネイル表示領域に表示させる外部装置（識別画像）を選択してもよい。所定の基準とは、例えば、使用者による選択の頻度や、サムネイル表示領域に識別画像が追加された日時等を用いることができる。
【０１６５】
統合画像表示処理に付加的処理１を適用する場合において、生成部は、少なくとも過去に使用者が注意を向けた外部装置の履歴を記憶部に記憶させてもよい。この場合、生成部は、記憶されている履歴を用いて、使用者による外部装置の選択を補助してもよい。また、生成部は、履歴に記憶されている外部装置の識別画像を自動的にサムネイル表示領域Ｂ１〜Ｂ６に配置してもよい。
【０１６６】
第４実施形態の統合画像表示処理において、サーバーは、予め、ヘッドマウントディスプレイの表示画面の画像や、外部装置の表示画面の画像を取得しておいてもよい。そうすれば、サーバーが逐次これらの画像を取得する時間を削減することができるため、迅速に統合画像を表示させることができる。
【０１６７】
・変形例４：
上記実施形態では、統合画像更新処理の一例を示した。しかし、統合画像更新処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
【０１６８】
例えば、ステップＳ２００では、一の外部装置の選択操作の取得に代えて、ヘッドマウントディスプレイの使用者によって選択された一のサムネイル表示領域（第１の表示領域）の先頭座標、または、使用者によって選択された一のサムネイル表示領域（第１の表示領域）の識別子、のいずれかを取得してもよい。このようにしても、上記実施形態と同様の効果を得ることができる。
【０１６９】
例えば、ステップＳ２００において使用者が選択可能な外部装置を、ヘッドマウントディスプレイに接続されている複数の外部装置の中から、所定の条件を満たす一部の外部装置に限ってもよい。所定の条件には、例えば、外部装置の識別画像の情報量を用いることができる。この条件によれば、識別画像の情報量が多いＰＣやＡＶ機器はステップＳ２００の選択対象となり得るが、識別画像の情報量が少ない家電はステップＳ２００の選択対象とならない。
【０１７０】
例えば、統合画像更新処理は、省略してもよい。また、この場合において、サムネイル表示領域（第１の表示領域）に表示されている識別画像に対する使用者の操作（視線や指先を用いた操作）を介して、外部装置の操作を可能としてもよい。
【０１７１】
・変形例５：
上記実施形態では、領域情報の一例を示した。上記領域情報はあくまで一例であり、種々の変更が可能である。例えば、構成要素の追加、削除、変更を行うことができる。
【０１７２】
図２０は、変形例における領域情報１２２ｘの一例を示す説明図である。領域情報１２２ｘは、図３の領域情報１２２と同様に、ヘッドマウントディスプレイの表示素子の縦横比と同じ縦横比を有する長方形状の領域（以降、「領域１２２」とも呼ぶ。）を有している。領域１２２は、８つのサムネイル表示領域Ｂ１〜Ｂ８と、アクティブ表示領域ＢＧと、を含んでいる。アクティブ表示領域ＢＧは、領域１２２を鉛直方向および水平方向に等分し、それらの左上端部に配置されている。８つのサムネイル表示領域Ｂ１〜Ｂ８は、領域１２２を鉛直方向および水平方向に等分した残りの部分に順に配置されている。このような領域情報１２２ｘを用いても、上述した各実施形態と同様の効果を得ることができる。
【０１７３】
例えば、領域情報は、１つのアクティブ表示領域を含むこととしたが、複数（２つ以上）のアクティブ表示領域を含んでいてもよい。例えば、図３に示した領域情報１２２において、領域１２２を水平方向に２等分し、上側を第１のアクティブ表示領域とし、下側を第２のアクティブ表示領域としてもよい。同様に、領域１２２を垂直方向に２等分し、左側を第１のアクティブ表示領域とし、右側を第２のアクティブ表示領域としてもよい。この場合、例えば、統合画像表示処理において、使用者に最初に選択された一の外部装置の表示画像を第１のアクティブ表示領域に配置し、次に選択された一の外部装置の表示画像を第２のアクティブ表示領域に配置してもよい。
【０１７４】
例えば、記憶部には、複数の異なる領域情報が記憶されていてもよい。この場合、ヘッドマウントディスプレイの使用者の好み（設定）、使用者の視線の動き、使用者の頭部の動き、周囲の明るさ等、任意の条件によって、複数の異なる領域情報から統合画像の生成に使用される一の領域情報が選択されてもよい。
【０１７５】
・変形例６：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【０１７６】
１０…制御部
２０…画像表示部
２２…右表示駆動部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３２…右イヤホン
３４…左イヤホン
４０…接続部
５１…送信部
５２…送信部
５３…受信部
１００…ヘッドマウントディスプレイ（頭部装着型表示装置）
１１０…入力情報取得部（操作取得部）
１２０…記憶部
１２２…領域情報
１２４…識別画像記憶部
１３０…電源
１３２…無線通信部（取得部）
１４０…ＣＰＵ
１４２…生成部（取得部、生成部）
１４４…更新部（更新部）
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２２１…右バックライト
２２２…左バックライト
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…コンピューター（外部装置）
４００…家電（外部装置）
５００…機器（外部装置）
６００…携帯端末（外部装置）
７００…ゲーム機器（外部装置）
９００…サーバー（情報処理装置）
９１０…ＣＰＵ
９１２…代理生成部（代理生成部）
９１４…代理更新部
９１６…送受信部（送信部）
９２０…ＲＯＭ
９３０…ＲＡＭ
９４０…通信インターフェイス
９５０…記憶部
９５２…領域情報
９５４…識別画像記憶部
１０００…画像表示システム
Ｄａｔａ…画像データー
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＶＩ…虚像
ＶＲ…視野
Ｊ１〜Ｊ６…識別画像
Ｂ１〜Ｂ６…サムネイル表示領域（第１の表示領域）
Ｇ１〜Ｇ６…識別画像
ＢＧ…アクティブ表示領域（第２の表示領域）
ＧＩ…統合画像
ＩＮＴ…インターネット
【図１】
2015227919.tif 000003
【図２】
2015227919.tif 000004
【図３】
2015227919.tif 000005
【図４】
2015227919.tif 000006
【図５】
2015227919.tif 000007
【図６】
2015227919.tif 000008
【図７】
2015227919.tif 000009
【図８Ａ】
2015227919.tif 000010
【図８Ｂ】
2015227919.tif 000011
【図９】
2015227919.tif 000012
【図１０】
2015227919.tif 000013
【図１１】
2015227919.tif 000014
【図１２】
2015227919.tif 000015
【図１３】
2015227919.tif 000016
【図１４】
2015227919.tif 000017
【図１５】
2015227919.tif 000018
【図１６】
2015227919.tif 000019
【図１７】
2015227919.tif 000020
【図１８】
2015227919.tif 000021
【図１９】
2015227919.tif 000022
【図２０】
2015227919.tif 000023