(57)【特許請求の範囲】
【請求項１】
透過型の頭部装着型表示装置であって、
画像を表示すると共に外景を透過可能な画像表示部と、
前記頭部装着型表示装置の位置を特定する位置特定部と、
特定された前記位置の情報を他の装置へと送信し、送信された前記位置の情報に基づいて、他の装置から送信される表示用情報を受信する情報送受信部と、
前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と、
前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、
を備え、
前記識別対象画像は、看板であり、
前記識別対象対応画像は、前記看板に関連付けられた関連情報の画像である、
頭部装着型表示装置。
【請求項２】
請求項１に記載の頭部装着型表示装置であって、
前記看板は、店舗の看板であり、
前記関連情報は、前記店舗の広告である、
頭部装着型表示装置。
【請求項３】
請求項１又は２に記載の頭部装着型表示装置であって、
前記画像検出部は、前記外景を撮像し、
前記表示画像制御部は、撮像された前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記識別対象対応画像を前記画像表示部に表示させる、頭部装着型表示装置。
【請求項４】
請求項１又は２に記載の頭部装着型表示装置であって、
前記画像検出部は、前記画像表示部の向きを特定し、
前記表示画像制御部は、特定された前記画像表示部の向きに基づいて前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記識別対象対応画像を前記画像表示部に表示させる、頭部装着型表示装置。
【請求項５】
請求項１〜４のいずれか一項に記載の頭部装着型表示装置であって、さらに、
前記頭部装着型表示装置の外部環境の状態を検出する状態検出部を備え、
前記表示画像制御部は、検出された前記外部環境の状態に対応付けられた前記識別対象対応画像を前記画像表示部に表示させる、頭部装着型表示装置。
【請求項６】
請求項１〜５のいずれか一項に記載の頭部装着型表示装置であって、さらに、
特定の画像を前記画像表示部に表示させ、前記外景の中における特定の対象物の画像を検出し、前記特定の画像と前記特定の対象物の画像とに基づいて、前記画像表示部に表示される画像と前記対象物との位置関係を校正する校正部を備え、
前記表示画像制御部は、前記校正部によって校正された後、前記外景の中に検出される前記特定の対象物の画像の位置に基づいて、前記画像表示部に表示させた前記識別対象対応画像を変更する、頭部装着型表示装置。
【請求項７】
請求項１〜６までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
特定された前記位置と、検出された前記識別対象画像の基となる看板の位置と、の距離を測定する距離測定部を備え、
前記表示画像制御部は、測定された前記距離に基づいて、前記画像表示部に表示させる前記識別対象対応画像の表示態様を設定する、頭部装着型表示装置。
【請求項８】
請求項７に記載の頭部装着型表示装置であって、
前記表示画像制御部は、前記画像表示部に表示させる前記識別対象対応画像の表示態様として、画像の大きさと表示位置との少なくとも一方を設定する、頭部装着型表示装置。
【請求項９】
透過型の頭部装着型表示装置であって、
画像を表示すると共に外景を透過可能な画像表示部と、
前記頭部装着型表示装置の位置を特定する位置特定部と、
前記画像表示部に表示される識別対象対応画像を含む表示用情報を記憶する広告情報記憶部と、
前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と、
前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、
を備え、
前記識別対象画像は、看板であり、
前記識別対象対応画像は、前記看板に関連付けられた関連情報の画像である、
頭部装着型表示装置。
【請求項１０】
請求項９に記載の頭部装着型表示装置であって、さらに、
特定された前記位置と、検出された前記識別対象画像の基となる看板の位置と、の距離を測定する距離測定部を備え、
前記表示画像制御部は、測定された前記距離に基づいて、前記画像表示部に表示させる前記識別対象対応画像の表示態様を設定する、頭部装着型表示装置。
【請求項１１】
透過型の頭部装着型表示装置であって、
画像を表示すると共に外景を透過可能な画像表示部と、
他の装置から送信される表示用情報を受信する情報送受信部と、
前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と、
前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、
を備え、
前記識別対象画像は、看板であり、
前記識別対象対応画像は、前記看板に関連付けられた関連情報の画像である、
頭部装着型表示装置。
【請求項１２】
請求項１１に記載の頭部装着型表示装置であって、さらに、
前記頭部装着型表示装置の位置を特定する位置特定部と、
特定された前記位置と、検出された前記識別対象画像の基となる看板の位置と、の距離を測定する距離測定部を備え、
前記表示画像制御部は、測定された前記距離に基づいて、前記画像表示部に表示させる前記識別対象対応画像の表示態様を設定する、頭部装着型表示装置。
【請求項１３】
情報を記憶して送信する情報記憶装置と、前記情報記憶装置と情報を送受信する透過型の頭部装着型表示装置と、を有する、情報システムであって、
前記頭部装着型表示装置は、
前記頭部装着型表示装置の位置を特定する位置特定部と、
特定された前記位置の情報を前記情報記憶装置へと送信する情報送信部と、を備え、
前記情報記憶装置は、
前記情報送信部から送信された前記位置の情報に基づいて、前記情報記憶装置に記憶された情報から表示用情報を選択する情報選択部と、
選択された前記表示用情報を、前記頭部装着型表示装置へと送信する選択情報送信部と、を備え、
前記頭部装着型表示装置は、
画像を表示すると共に外景を透過可能な画像表示部と、
前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と、
前記外景の中に前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、
を備え、
前記識別対象画像は、看板であり、
前記識別対象対応画像は、前記看板に関連付けられた関連情報の画像である、
情報システム。
【請求項１４】
請求項１３に記載の情報システムであって、
前記頭部装着型表示装置は、さらに、
特定された前記位置と、検出された前記識別対象画像の基となる看板の位置と、の距離を測定する距離測定部を備え、
前記表示画像制御部は、測定された前記距離に基づいて、前記画像表示部に表示させる前記識別対象対応画像の表示態様を設定する、情報システム。
【請求項１５】
画像を表示すると共に外景を透過可能な画像表示部と、他の装置との情報の送受信を行なう情報送受信部と、を有する透過型の頭部装着型表示装置の制御方法であって、
コンピューターが、
前記頭部装着型表示装置の位置を特定する工程と、
特定された前記位置の情報を他の装置へと送信する工程と、
送信された前記位置の情報に基づいて、他の装置から送信される表示用情報を受信する工程と、
前記外景の中から前記表示用情報に含まれる識別対象画像を検出する工程と、
前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる工程と、
を備え、
前記識別対象画像は、看板であり、
前記識別対象対応画像は、前記看板に関連付けられた関連情報の画像である、
制御方法。
【請求項１６】
請求項１５に記載の制御方法であって、さらに、
特定された前記位置と、検出された前記識別対象画像の基となる看板の位置と、の距離を測定する距離測定工程と、
測定された前記距離に基づいて、前記画像表示部に表示させる前記識別対象対応画像の表示態様を設定する工程と、
を備える制御方法。
【請求項１７】
画像を表示すると共に外景を透過可能な画像表示部を有する透過型の頭部装着型表示装置のためのコンピュータープログラムであって、
前記頭部装着型表示装置の位置を特定する位置特定機能と、
特定された前記位置の情報を他の装置へと送信し、送信された前記位置の情報に基づいて、他の装置から送信される表示用情報を受信する情報送受信機能と、
前記外景の中から前記表示用情報に含まれる識別対象画像を検出する看板検出機能と、
前記外景に前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御機能と、をコンピューターに実現させ、
前記識別対象画像は、看板であり、
前記識別対象対応画像は、前記看板に関連付けられた関連情報の画像である、
コンピュータープログラム。
【請求項１８】
請求項１７に記載のコンピュータープログラムであって、さらに、
特定された前記位置と、検出された前記識別対象画像の基となる看板の位置と、の距離を測定する距離測定機能と、
測定された前記距離に基づいて、前記画像表示部に表示させる前記識別対象対応画像の表示態様を設定する機能と、
を前記コンピューターに実現させる、コンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置に関する。
【背景技術】
【０００２】
頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head  Mounted  Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。
【０００３】
特許文献１には、ＨＭＤの使用者の位置と関連する特定の物体と対応付けられた広告を拡張現実の画像として表示させるＨＭＤが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１３−５２１５７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載された技術では、使用者に視認されていない特定の物体に対応付けられた広告が表示されない場合や、使用者に視認されていても使用者にとって不要な広告が表示されてしまう場合があり、使用者の利便性を向上させる余地があった。そのほか、従来のＨＭＤにおいては、ＨＭＤの小型化等が望まれていた。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
本発明の一形態は、透過型の頭部装着型表示装置である。この頭部装着型表示装置は、画像を表示すると共に外景を透過可能な画像表示部と；前記頭部装着型表示装置の位置を特定する位置特定部と；特定された前記位置の情報を他の装置へと送信し、送信された前記位置の情報に基づいて、他の装置から送信される表示用情報を受信する情報送受信部と；前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と；前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える。前記識別対象画像は、看板であり、前記識別対象対応画像は、前記看板に関連付けられた関連情報の画像である。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者が識別対象画像を視認できると共に識別対象画像に対応付けられた識別対象対応画像を視認できるため、使用者の利便性が向上する。
【０００７】
（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示すると共に外景を透過可能な画像表示部と；前記頭部装着型表示装置の位置を特定する位置特定部と；特定された前記位置の情報を他の装置へと送信し、送信された前記位置の情報に基づいて、他の装置から送信される表示用情報を受信する情報送受信部と；前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と；前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者が識別対象画像を視認できると共に識別対象画像に対応付けられた識別対象対応画像を視認できるため、使用者の利便性が向上する。
【０００８】
（２）上記形態の頭部装着型表示装置において、前記画像検出部は、前記外景を撮像し；前記表示画像制御部は、撮像された前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記識別対象対応画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、撮像されていない識別対象画像に対応付けられた識別対象対応画像が表示されないため、使用者は、自身が視認する看板のみに対応付けられた識別対象対応画像を視認でき、不要な識別対象対応画像を視認せずに済むため、使用者の利便性を向上させることができる。
【０００９】
（３）上記形態の頭部装着型表示装置において、前記画像検出部は、前記画像表示部の向きを特定し；前記表示画像制御部は、特定された前記画像表示部の向きに基づいて前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記識別対象対応画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者は、自身の視線方向上にある識別対象画像に対応付けられた識別対象対応画像を視認でき、視線方向上に存在しない識別対象画像に対応付けられた不要な識別対象対応画像を視認せずに済み、使用者の利便性がさらに向上する。
【００１０】
（４）上記形態の頭部装着型表示装置において、さらに；前記頭部装着型表示装置の外部環境の状態を検出する状態検出部を備え；前記表示画像制御部は、検出された前記外部環境の状態に対応付けられた前記識別対象対応画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の外部環境も考慮された識別対象対応画像が画像表示部に表示されるため、使用者は、その場の状況に合った情報を認識できるため、使用者の利便性がさらに向上する。
【００１１】
（５）上記形態の頭部装着型表示装置において、さらに；特定の画像を前記画像表示部に表示させ、前記外景の中における特定の対象物の画像を検出し、前記特定の画像と前記特定の対象物の画像とに基づいて、前記画像表示部に表示される画像と前記対象物との位置関係を校正する校正部を備え；前記表示画像制御部は、前記校正部によって校正された後、前記外景の中に検出される前記特定の対象物の画像の位置に基づいて、前記画像表示部に表示させた前記識別対象対応画像を変更してもよい。この形態の頭部装着型表示装置によれば、実際の特定の対象物と画像表示部に表示された特定の画像とを重畳させることで、使用者は、特定の対象物と特定の画像とを同一の空間にある物体として認識でき、使用者の操作における使い勝手が向上する。
【００１２】
（６）上記形態の頭部装着型表示装置において、さらに；個人情報を記憶する個人情報記憶部を備え；前記表示画像制御部は、使用者の個人情報に基づいて設定した前記識別対象対応画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者の個人情報も考慮された識別対象対応画像が画像表示部に表示されるため、使用者は、自分の好みに合った情報を認識できるため、使用者の利便性がさらに向上する。
【００１３】
（７）上記形態の頭部装着型表示装置において、使用者の前記個人情報は、使用者が過去に滞在した場所についての情報であってもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者の過去に滞在した場所も考慮された画像が画像表示部に表示されるため、使用者は、滞在する頻度の高い場所の情報をその他の場所の情報よりも優先的に認識できるため、使用者の利便性がさらに向上する。
【００１４】
（８）上記形態の頭部装着型表示装置において、さらに；特定された前記位置と、検出された前記識別対象画像の基となる看板の位置と、の距離を測定する距離測定部を備え；前記表示画像制御部は、測定された前記距離に基づいて、前記画像表示部に表示させる前記識別対象対応画像の表示態様を設定してもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者は、視認する実際の看板の位置に加え、画像表示部に表示される識別対象対応画像に基づいて、看板の位置を認識できるため、使用者の利便性がさらに向上する。
【００１５】
（９）上記形態の頭部装着型表示装置において、前記表示画像制御部は、前記画像表示部に表示させる前記識別対象対応画像の表示態様として、画像の大きさと表示位置との少なくとも一方を設定してもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者は、識別対象対応画像の大きさまたは表示位置によって看板の位置との距離を認識できるため、より看板の位置との距離を認識しやすい。
【００１６】
（１０）本発明の他の形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示すると共に外景を透過可能な画像表示部と；前記頭部装着型表示装置の位置を特定する位置特定部と；前記画像表示部に表示される識別対象対応画像を含む表示用情報を記憶する広告情報記憶部と；前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と；前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える。この形態の頭部装着型表示装置によれば、他の情報記憶装置と情報の送受信を行なわなくても済むため、使用者の利便性を向上させ、かつ、頭部装着型表示装置を小型化できる。
【００１７】
（１１）本発明の他の形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示すると共に外景を透過可能な画像表示部と；他の装置から送信される表示用情報を受信する情報送受信部と；前記外景の中から前記表示用情報に含まれる識別対象画像を検出する画像検出部と；前記識別対象画像が検出された場合には、前記表示用情報に含まれると共に検出された前記識別対象画像に対応付けられた識別対象対応画像を前記画像表示部に表示させる表示画像制御部と、を備える。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の位置情報がなくても、検出された識別対象画像と受信された表示用情報とに基づいて、識別対象対応画像が表示されるため、使用者の利便性を向上させることができる。
【００１８】
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
【００１９】
例えば、本発明の一形態は、画像表示部と、位置特定部と、情報送受信部と、画像検出部と、表示画像制御部と、の５つの要素の内の一つまたは二つ以上を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、位置特定部を有していてもよく、有していなくてもよい。また、装置は、情報送受信部を有していてもよく、有していなくてもよい。また、装置は、画像検出部を有していてもよく、有していなくてもよい。また、装置は、表示画像制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、画像を表示すると共に外景を透過可能であってもよい。位置特定部は、例えば、前記頭部装着型表示装置の位置を特定してもよい。例えば、情報送受信部は、特定された位置の情報を他の装置へと送信し、送信された位置の情報に基づいて、他の装置から送信される表示用情報を受信してもよい。画像検出部は、例えば、外景の中から表示用情報に含まれる識別対象画像を検出してもよい。表示画像制御部は、例えば、識別対象画像が検出された場合には、表示用情報に含まれると共に検出された識別対象画像に対応付けられた識別対象対応画像を画像表示部に表示させてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
【００２０】
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置を有する情報システム、頭部装着型表示装置の制御方法および情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態における情報システムの概略構成を示す説明図である。
【図２】サーバーの構成を機能的に示すブロック図である。
【図３】サーバーの広告ＤＢに記憶された看板の画像のそれぞれに対応付けられた広告情報の一例を示す一覧表である。
【図４】ＨＭＤの構成を機能的に示すブロック図である。
【図５】ＨＭＤの使用者の滞在情報の一例を示す一覧表である。
【図６】画像光生成部によって画像光が射出される様子を示す説明図である。
【図７】広告表示処理のフローチャートである。
【図８】カメラの撮像画像の一例を示す説明図である。
【図９】検出看板の広告画像が表示された場合に使用者が視認する視野の一例を示す説明図である。
【図１０】ＨＭＤの使用者の視線方向が変化した後に使用者が視認する視野の一例を示す説明図である。
【図１１】第２実施形態のＨＭＤの構成を機能的に示すブロック図である。
【図１２】第２実施形態における広告表示処理のフローチャートである。
【図１３】キャリブレーション設定が実行されている場合に使用者が視認する視野の一例を示す説明図である。
【図１４】検出看板の広告画像が表示された場合に使用者が視認する視野の一例を示す説明図である。
【図１５】キャリブレーション操作が行なわれた後に使用者が視認する視野の一例を示す説明図である。
【図１６】変形例における広告表示処理のフローチャートである。
【図１７】変形例におけるＨＭＤの外観構成を示す説明図である。
【発明を実施するための形態】
【００２２】
Ａ．第１実施形態：
Ａ−１．情報システムの構成：
図１は、本発明の第１実施形態における情報システム５００の概略構成を示す説明図である。情報システム５００は、使用者の頭部に装着され、虚像を使用者に視認させるヘッドマウントディスプレイ１００（Head Mounted Display、ＨＭＤ１００）と、ＨＭＤ１００などの情報端末に、各地に設置されている看板と、看板のそれぞれの位置を特定する位置情報および看板のそれぞれに対応付けられた画像情報と、を含む広告情報を記憶しているサーバー３００と、を備えている。情報システム５００では、ＨＭＤ１００によって検出された種々の情報に応じて、サーバー３００からＨＭＤ１００へとサーバー３００に記憶された広告情報が送信される。なお、情報システム５００において、本実施形態では、ＨＭＤ１００とサーバー３００とが１つずつしか備えられていないが、他の実施形態では、ＨＭＤ１００およびサーバー３００の少なくとも一方が複数備えられていてもよい。
【００２３】
図２は、サーバー３００の構成を機能的に示すブロック図である。サーバー３００は、ＨＭＤ１００に送信する広告情報を記憶している記憶部３２０と、記憶部３２０に記憶されている広告情報の内の少なくとも１部をＨＭＤ１００に送信する通信部３３０と、ＣＰＵ３１０と、を備えている。記憶部３２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部３２０は、看板の画像と、看板の画像のそれぞれに対応付けられた広告情報を記憶している広告データベース３２５（広告ＤＢ３２５）を有している。広告ＤＢ３２５に格納されている広告情報の詳細については、後述する。また、記憶部３２０は、各種コンピュータープログラムを格納している。
【００２４】
通信部３３０は、無線ＬＡＮやブルートゥース（登録商標）といった所定の無線通信方式に則って他の機器との間で無線通信を行なう。通信部３３０は、サーバー３００とＨＭＤ１００との間で各種情報を送受信する。ＣＰＵ３１０は、記憶部３２０に格納されているコンピュータープログラムを読み出して実行する。ＣＰＵ３１０は、通信部３３０を介して受信されたＨＭＤ１００の画像表示部２０の位置情報やＨＭＤ１００に備え付けられている外景を撮像するカメラ６１の撮像画像などの情報に基づいて、広告ＤＢ３２５に記憶された広告情報から少なくとも一部を選択する情報選択部３１２を備える。なお、画像表示部２０の位置などを特定する方法については、後述する。情報選択部３１２は、選択した広告情報の一部である選択情報を、通信部３３０を介して、ＨＭＤ１００に送信する。なお、本実施形態におけるサーバー３００は、請求項における情報記憶装置に相当し、サーバー３００の通信部３３０は、請求項における選択情報送信部に相当する。
【００２５】
図３は、サーバー３００の広告ＤＢ３２５に記憶された看板の画像のそれぞれに対応付けられた広告情報の一例を示す一覧表である。図３には、広告ＤＢ３２５に記憶された広告情報の一部の店舗別広告データＳＤが一覧で示されている。店舗別広告データＳＤでは、店舗の店舗名称ごとに、カテゴリーと、看板の位置と、画像情報とが区別されている。詳細については後述するが、カテゴリーと看板の位置とに基づいて、サーバー３００からＨＭＤ１００へと送信される選択情報が広告情報から選択される。また、サーバー３００から送信された選択情報に対応付けられた画像情報に基づいて、ＨＭＤ１００に表示される画像の表示態様などが設定される。
【００２６】
以下では、店舗別広告データＳＤの情報の詳細について説明する。例えば、図３に示すように、店舗名称が「富士」である店舗のカテゴリーは、飲食であり、店舗名称が「カラオケＪＯ」である店舗のカテゴリーは、娯楽である。店舗別広告データＳＤにおける看板の位置は、看板が設置されている場所の緯度および経度を特定する。例えば、店舗名称が「富士」である店舗の看板の位置の緯度および経度のそれぞれは、「１３０．ｘ・・・ｘｘ１」と「３３．ｙ・・・ｙｙ１」である。
【００２７】
店舗別広告データＳＤにおける画像情報は、画像の種類と、ページ数と、時刻制限と、環境制限とに区別されている。画像の種類は、ＨＭＤ１００に表示される場合の画像の種類である。例えば、店舗名称が「富士」である店舗の画像の種類は、「文字」の画像（単に、「文字画像」とも呼ぶ）である。文字画像は、ＨＭＤ１００に表示された場合に、時間が経過しても変化せず、文字によって表された静止画像である。また、店舗名称が「××肉店」の画像の種類は「動画」であり、動画は、時間の経過に伴ってＨＭＤ１００に表示される画像が変化する画像である。ページ数は、ＨＭＤ１００に表示される画像の階層構造を示している。例えば、店舗名称が「富士」である店舗のページ数は「２」であるため、２階層の画像の構造になっている。そのため、特定の時点では、ＨＭＤ１００に表示される画像は１種類であるが、所定の操作を受け付けることにより、ＨＭＤ１００に表示される画像がもう１種類の画像に変更される。テンポ情報が「カラオケＪＯ」である店舗のページ数は「１」であるため、ＨＭＤ１００に表示される画像は１種類である。
【００２８】
時刻制限は、ＨＭＤ１００に表示される画像の時刻についての設定である。例えば、店舗名称が「富士」である店舗の時刻制限は１１時から２０時であるため、「富士」に対応付けられた画像がＨＭＤ１００に表示される時刻が１１時から２０時までに限られており、これ以外の時刻では、「富士」に対応付けられた画像は表示されない。また、店舗名称が「カラオケＪＯ」の店舗の時刻制限は、１０時から１８時までと、１８時から２４時までの２通りである。そのため、１０時から１８時にＨＭＤ１００に表示される「カラオケＪＯ」に対応付けられた画像と、１８時から２４時までにＨＭＤ１００に表示される「カラオケＪＯ」に対応付けられた画像とは異なる。また、店舗名称が「○○薬局」の店舗の時刻制限はないため、１日の２４時間を通して、ＨＭＤ１００には同じ画像が表示される。
【００２９】
環境制限は、ＨＭＤ１００に表示される画像を変更する条件についてのＨＭＤ１００の外部環境の設定である。例えば、店舗名称が「富士」である店舗の環境制限は、外部の温度が「摂氏３０度（３０℃）」であるため、３０℃を境界としてＨＭＤ１００に表示される画像が異なる。また、店舗名称が「カラオケＪＯ」の店舗の環境制限は、「雨」であるため、天候が雨の場合と雨以外の場合とでＨＭＤ１００に表示される画像が異なる。また、店舗名称が「○○薬局」である店舗の環境制限は、「なし」であるため、外部環境に関わらず、ＨＭＤ１００に表示される画像は同じである。
【００３０】
図１に示すＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。また、コンテンツ等の画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
【００３１】
ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。
【００３２】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６３と、温度計６５とを含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
【００３３】
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。
【００３４】
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
【００３５】
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図４参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図４参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
【００３６】
カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像画像を取得する。本実施形態のカメラ６１は、使用者の視野とほぼ同じとなるような画角に設定されている。カメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。マイク６３は、外部の音声を取得する装置である。マイク６３は、使用者が画像表示部２０を装着した際の右表示駆動部２２における使用者と対向する側の反対側（外側）に配置されている。温度計６５は、外部環境の温度（摂氏）を測定する。なお、温度計６５は、請求項における状態検出部に相当する。
【００３７】
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。
【００３８】
画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。
【００３９】
制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。
【００４０】
図４は、ＨＭＤ１００の構成を機能的に示すブロック図である。図４に示すように、制御部１０は、記憶部１２０と、電源１３０と、ＧＰＳモジュール１３７と、無線通信部１３２と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。
【００４１】
ＧＰＳモジュール１３７は、ＧＰＳ衛星からの信号を受信することにより、画像表示部２０の現在位置を特定して、画像表示部２０の位置を示す位置情報を生成する。言い換えれば、ＧＰＳモジュール１３７は、画像表示部２０を含むＨＭＤ１００の位置を特定する。画像表示部２０の現在位置が特定されることで、ＨＭＤ１００を装着した使用者の現在位置が特定される。なお、ＧＰＳモジュール１３７は、請求項における位置特定部に相当する。
【００４２】
無線通信部１３２は、無線ＬＡＮやブルートゥース（登録商標）といった所定の無線通信方式に則って他の機器との間で無線通信を行なう。無線通信部１３２は、ＧＰＳモジュール１３７によって特定された画像表示部２０の位置情報を、サーバー３００の通信部３３０へと送信する。通信部３３０が画像表示部２０の位置情報を受信すると、サーバー３００の情報選択部３１２は、記憶部３２０の広告ＤＢ３２５に記憶されると共に、特定された画像表示部２０の現在位置から所定の距離にある看板の位置（図３）の看板の画像および広告情報を選択する。通信部３３０は、情報選択部３１２によって選択された看板の位置に対応付けられた看板の画像および画像情報（図３）と看板の位置とを対応付けた情報を選択情報として、ＨＭＤ１００の無線通信部１３２へと送信する。無線通信部１３２は、通信部３３０から送信された選択情報を受信する。また、無線通信部１３２は、サーバー３００とは異なるサーバーから、特定された画像表示部２０の現在位置の天気の状態および現在の時刻についての情報を取得できる。なお、無線通信部１３２は、請求項における情報送受信部および状態検出部に相当する。
【００４３】
電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。
【００４４】
記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部１２０は、選択情報記憶部１２２と、過去履歴記憶部１２４とを有している。選択情報記憶部１２２は、無線通信部１３２を介して、サーバー３００から送信された選択情報を記憶する。選択情報記憶部１２２に記憶された選択情報や後述するカメラ６１によって撮像された撮像画像などに基づいて、画像表示部２０に選択情報に含まれる画像情報に対応付けられた画像が表示される。
【００４５】
過去履歴記憶部１２４は、ＨＭＤ１００の過去における滞在情報を記憶している。滞在情報は、所定の周期でＨＭＤ１００の現在位置がＧＰＳモジュール１３７によって特定されることで生成される。具体的には、周期的に特定される画像表示部２０の現在位置が、一定の期間の後、ある時点で特定された位置から所定の範囲内（例えば、５メートル以内）に含まれる場合には、画像表示部２０の使用者が特定された位置に滞在したと判定される。そのため、過去履歴記憶部１２４に記憶された滞在情報から、特定の位置に存在する店舗に画像表示部２０の使用者が滞在した時間などを判定できる。なお、過去履歴記憶部１２４は、請求項における個人情報記憶部に相当する。
【００４６】
図５は、ＨＭＤ１００の使用者の滞在情報ＶＤの一例を示す一覧表である。滞在情報ＶＤには、滞在場所と、１ヶ月あたりの滞在頻度との項目について、それぞれの値が記憶されている。滞在場所の項目では、滞在場所の仮名称としての滞在ＩＤと、滞在場所の緯度および経度とが区別されている。１ヶ月あたりの滞在頻度は、前日から遡って直近１ヶ月の履歴から情報が作成されている。滞在頻度の項目では、１ヶ月あたりの合計の滞在時間と、１ヶ月あたりに滞在した回数と、１回の滞在した平均滞在時間と、滞在したときの時刻の中央の平均である中央平均時刻と、が区別されている。例えば、図５に示すように、滞在ＩＤが場所Ａの緯度は「１３０．ｘ・・・ｘｘ１」、場所Ａの経度は「３３．ｙ・・・ｙｙ１」である。ＨＭＤ１００の使用者は、場所Ａに１ヶ月あたり合計２４０分間滞在しており、１ヶ月当たり２回滞在している。そのため、１ヶ月あたりの平均滞在時間は、１２０分である。また、使用者が場所Ａに滞在した中央平均時刻は、１９時３０分である。なお、本実施形態では、場所Ａと場所Ｂと場所Ｃと場所Ｄとのそれぞれは、図３における「富士」と「カラオケＪＯ」と「○○薬局」と「××肉店」との店舗と同じ場所であるが、他の実施形態では、異なる場所であってもよい。
【００４７】
ＣＰＵ１４０（図４）は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、環境情報処理部１６９、看板検出部１６８、過去履歴照合部１６６、距離測定部１６１、および、表示設定部１６５として機能する。
【００４８】
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
【００４９】
表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
【００５０】
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
【００５１】
画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。
【００５２】
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部１７０は、マイク６３が取得した外部の音声に対して、音声認識を行なう。音声認識によって認識された外部の音声が予め設定された所定の音声であった場合には、音声処理部１７０は、取得した音声が所定の音声であることを示す信号を操作部１３５へと送信する。操作部１３５は、決定キー１１などが押下されたキー操作に加え、音声処理部１７０から送信された信号に基づいて、ＨＭＤ１００の各種操作を実行する。
【００５３】
看板検出部１６８は、パターンマッチングや統計的識別法によって、カメラ６１によって撮像された撮像画像の中から、選択情報記憶部１２２に記憶された選択情報に対応付けられた看板の画像（以降、単に「検出看板」とも呼ぶ）を検出する。また、看板検出部１６８は、ＧＰＳモジュール１３７によって特定された画像表示部２０の位置と、撮像画像の中から検出看板の位置とに基づいて、カメラ６１の向きを特定する。すなわち、看板検出部１６８は、カメラ６１が配置された画像表示部２０の向きを特定できる。看板検出部１６８が撮像画像の中から、少なくとも１つの選択情報に対応付けられた看板の画像を検出すると、検出看板に対応付けられた店舗の店舗別広告データＳＤを表示設定部１６５および環境情報処理部１６９へと送信する。なお、看板検出部１６８とカメラ６１とＧＰＳモジュール１３７とは、請求項における画像検出部に相当し、検出された看板の画像は、請求項における識別対象画像に相当する。
【００５４】
環境情報処理部１６９は、温度計６５によって測定されたＨＭＤ１００の外部の温度と、看板検出部１６８から送信された店舗別広告データＳＤにおける環境制限とを照合する。環境情報処理部１６９は、温度計６５によって測定されたＨＭＤ１００の外部の温度と、店舗別広告データＳＤにおける環境制限との照合結果と、を表示設定部１６５へと送信する。
【００５５】
距離測定部１６１は、ＧＰＳモジュール１３７によって特定された画像表示部２０の現在位置と、選択情報記憶部１２２に記憶されると共に検出看板に対応付けられた看板の位置とに基づいて、画像表示部２０と検出看板の位置との距離を測定する。
【００５６】
過去履歴照合部１６６は、検出看板に対応付けられた店舗別広告データＳＤと、過去履歴記憶部１２４に記憶されたＨＭＤ１００の使用者の滞在情報ＶＤとを照合する。過去履歴照合部１６６は、検出看板の店舗別広告データＳＤと滞在情報ＶＤとの照合結果を表示設定部１６５へと送信する。
【００５７】
表示設定部１６５は、看板検出部１６８から送信された検出看板に対応付けられた店舗別広告データＳＤと、環境情報処理部１６９から送信された照合結果とに基づいて、画像表示部２０に表示させる画像の表示態様を設定し、画像表示部２０に画像を表示させる。画像表示部２０に表示される画像の具体的な態様については、後述する「Ａ−２．広告表示処理」において説明する。なお、環境情報処理部１６９と、表示設定部１６５と、看板検出部１６８とは、請求項における表示画像制御部に相当する。
【００５８】
操作部１３５は、使用者による物理的な操作を受け付ける、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、および、音声処理部１７０によって音声認識されて送信された信号に基づいて、画像表示部２０の各種操作を実行する。
【００５９】
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
【００６０】
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、マイク６３と、温度計６５とを備えている。
【００６１】
右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。
【００６２】
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００６３】
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。
【００６４】
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。
【００６５】
図６は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図６に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
【００６６】
Ａ−２．情報検出処理：
図７は、広告表示処理のフローチャートである。広告表示処理は、制御部１０が各種処理を実行することによって実行される。広告表示処理では、検出看板に対応付けられた広告情報が、ＨＭＤ１００の外部の温度などに基づいて設定された表示態様で、画像として画像表示部２０に表示される。
【００６７】
広告表示処理では、初めに、操作部１３５が所定の操作を受け付けると、広告表示処理のアプリを起動する（ステップＳ１０）。広告表示処理のアプリが起動すると、制御部１０は、広告表示処理を実行するために必要なカメラ６１などの各種装置を起動する（ステップＳ１２）。次に、起動したＧＰＳモジュール１３７は、画像表示部２０の現在位置を特定する（ステップＳ１４）。画像表示部２０の現在位置が特定されると、無線通信部１３２は、サーバー３００の通信部３３０へと画像表示部２０の位置情報を送信する（ステップＳ１６）。次に、無線通信部１３２は、送信した画像表示部２０の位置情報に基づいてサーバー３００によって選択された選択情報を受信する（ステップＳ１８）。
【００６８】
無線通信部１３２が選択情報を受信すると、カメラ６１は、外景の撮像を開始する（ステップＳ２０）。次に、看板検出部１６８は、カメラ６１の撮像画像の中から、無線通信部１３２によって受信された選択情報に含まれる看板の画像と同一の画像を検出するのを監視する（ステップＳ２２）。言い換えれば、看板検出部１６８は、撮像画像に検出看板が含まれるか否かを判定する。撮像画像に検出看板が含まれなかった場合には（ステップＳ２２：ＮＯ）、看板検出部１６８は、引き続き、撮像画像に検出看板が含まれるかを監視する（ステップＳ２２）。撮像画像に検出看板が含まれた場合には（ステップＳ２２：ＹＥＳ）、距離測定部１６１は、ＧＰＳモジュール１３７によって特定された画像表示部２０の現在位置と、選択情報記憶部１２２に記憶された看板の位置と、に基づいて、画像表示部２０と検出看板の位置との距離を測定する（ステップＳ２４）。
【００６９】
図８は、カメラ６１の撮像画像ＩＭＧの一例を示す説明図である。図８に示す撮像画像ＩＭＧは、使用者が装着したＨＭＤ１００に配置されたカメラ６１が撮像した外景ＳＣの画像である。撮像画像ＩＭＧにおいて、看板検出部１６８は、選択情報記憶部１２２に記憶された選択情報の店舗別広告データＳＤに含まれる看板の画像と同一の看板として、看板ＡＢ１と看板ＡＢ２と看板ＡＢ３との３つの看板を検出する。図８に示すように、「富士」の看板ＡＢ１は、「富士」の店舗の出入口の前に設置され、「カラオケＪＯ」の看板ＡＢ２は、「カラオケＪＯ」の出入口の上側に設置され、「○○薬局」の看板ＡＢ３は、「○○薬局」の店舗の出入口の前に設置されている。なお、「××肉店」の看板自体は、画像表示部２０の現在位置の近くに存在するものの、撮像範囲には写っていない。距離測定部１６１は、画像表示部２０の現在位置と、看板検出部１６８によって検出された看板ＡＢ１，ＡＢ２，ＡＢ３のそれぞれの位置との距離を測定する。
【００７０】
画像表示部２０の現在位置と検出看板のそれぞれの位置との距離が測定されると、無線通信部１３２と、温度計６５および環境情報処理部１６９とは、環境情報を取得する（図７のステップＳ１６）。環境情報には、無線通信部１３２によって取得される画像表示部２０の現在位置の天気の情報および時刻と、温度計６５および環境情報処理部１６９によって測定される画像表示部２０の外部の温度とが含まれる。次に、過去履歴照合部１６６は、過去履歴記憶部１２４に記憶されたＨＭＤ１００の使用者の滞在情報ＶＤと、検出看板である看板ＡＢ１，ＡＢ２，ＡＢ３のそれぞれの店舗と、の関係を照合する（ステップＳ２８）。
【００７１】
次に、表示設定部１６５は、検出看板である看板ＡＢ１，ＡＢ２，ＡＢ３と、看板ＡＢ１，ＡＢ２，ＡＢ３のそれぞれの店舗別広告データＳＤと、看板ＡＢ１，ＡＢ２，ＡＢ３のそれぞれの位置と画像表示部２０との距離と、環境情報と、使用者の滞在情報ＶＤと、に基づいて、店舗別広告データＳＤに含まれる広告の画像を画像表示部２０に表示させるための表示態様を設定する（ステップＳ２８）。設定された表示態様の一例としては、表示設定部１６５は、画像表示部２０との距離が近い位置の検出看板と対応付けられた文字画像のフォントを大きくしたり、現在の時刻と使用者の滞在情報ＶＤにおける中央平均時刻が近い店舗の広告を、画像光生成部が画像光を生成できる範囲の中央部分に表示させたり、滞在情報ＶＤにおける滞在時間が長い店舗の広告を目立つように点滅させた態様である。表示態様が設定されると、表示設定部１６５および画像処理部１６０は、設定された表示態様に基づいて、画像光生成部に画像光を生成して、広告の画像を表示させる（ステップＳ３２）。
【００７２】
図９は、検出看板の広告画像ＴＸ１，ＴＸ２が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図９には、画像光生成部が画像光を生成できる最大の領域である画像表示最大領域ＰＮの中に、「富士」に対応付けられた広告画像ＴＸ１と、「カラオケＪＯ」に対応付けられた広告画像ＴＸ２と、がＨＭＤ１００の使用者に視認された状態が示されている。広告画像ＴＸ１は、「富士」の本日の会員割引とお勧めメニューとを示す文字画像である。広告画像ＴＸ２は、「カラオケＪＯ」の３０分あたりの料金が３００円であることを示す文字画像である。広告画像ＴＸ１，ＴＸ２のそれぞれは、看板ＡＢ１，ＡＢ２のそれぞれに対応付けられた文字画像であり、検出看板である看板ＡＢ１，ＡＢ２のそれぞれの位置の近くに表示されている。また、画像表示部２０の現在位置から、看板ＡＢ２の位置と看板ＡＢ３の位置とまでのそれぞれの距離は、ほぼ同じである。一方で、無線通信部１３２によって取得された天気および現在の時刻のそれぞれは、晴天で１７時である。また、環境情報処理部１６９および温度計６５によって取得された外部の温度は、３１℃である。図３に示すように、店舗別広告データＳＤにおける「富士」の環境制限で、摂氏３０度が設定されているため、画像表示最大領域ＰＮ（図９）には、３０℃以上の場合に対応した「富士」の広告画像ＴＸ１が表示されている。また、現在の時刻が１７時であるため、店舗別広告データＳＤにおいて、「富士」、「カラオケＪＯ」、「○○薬局」のいずれの時刻制限にも該当する。しかし、滞在情報ＶＤ（図５）における「○○薬局」では、平均中央時刻は、８時であり、現在の時刻よりも９時間前である。本実施形態では、表示設定部１６５は、現在の時刻よりも平均中央時刻が５時間以上空いている場合には、当該広告の画像を画像表示最大領域ＰＮに表示しない。また、滞在情報ＶＤの「富士」における使用者の１ヶ月あたりの滞在時間および滞在回数の数値は、「カラオケＪＯ」の滞在時間および滞在回数よりも数値が大きい。そのため、表示設定部１６５は、「富士」の看板ＡＢ１に対応付けられた広告画像ＴＸ１のフォントを、「カラオケＪＯ」に対応付けられた広告画像ＴＸ２のフォントよりも太く、大きく設定する。また、店舗別広告データＳＤ（図３）の「富士」におけるページ数は、「２」に設定されているため、操作部１３５が所定の操作を受け付けることにより、表示設定部１６５は、画像表示最大領域ＰＮ内の広告画像ＴＸ１に表示させる文字画像を変更する。なお、広告画像ＴＸ１，ＴＸ２は、請求項における識別対象対応画像に相当する。
【００７３】
画像表示最大領域ＰＮに広告画像ＴＸ１，ＴＸ２が表示されると（図７のステップＳ３２）、ＧＰＳモジュール１３７が画像表示部２０の現在位置の変化を検出すると共に、看板検出部１６８がカメラ６１の撮像画像の変化に基づくＨＭＤ１００の使用者の視線方向の変化を検出する（ステップＳ３４）。画像表示部２０の現在位置と使用者の視線方向との少なくとも一方に変化が検出された場合には（ステップＳ３４：ＹＥＳ）、制御部１０は、ステップＳ１４以降の処理を繰り返す。
【００７４】
図１０は、ＨＭＤ１００の使用者の視線方向が変化した後に使用者が視認する視野ＶＲの一例を示す説明図である。図１０には、使用者の視線方向が図９に示した状態よりもさらに左を向いた状態が示されている。なお、画像表示部２０の現在位置は、図９の状態から変更されていない。図１０に示すように、「カラオケＪＯ」の看板ＡＢ２が検出看板でなくなったため、表示設定部１６５は、看板ＡＢ２に対応付けられた広告画像ＴＸ２を非表示に設定する。また、本実施形態では、広告の画像を画像表示最大領域ＰＮの中心部分には表示させないように予め設定されているため、表示設定部１６５は、看板ＡＢ１に対応付けられた「富士」の広告画像ＴＸ３として、画像表示最大領域ＰＮに表示させる位置を広告画像ＴＸ１（図９）から変更する。なお、図１０の状態では、図９の状態と比較して、時刻および天気に変更はない。広告画像ＴＸ３は、請求項における識別対象対応画像に相当する。
【００７５】
図７のステップＳ３４の処理において、画像表示部２０の現在位置に変化がなく、かつ、使用者の視線方向に変化がないと判定された場合には（ステップＳ３４：ＮＯ）、制御部１０は、広告表示処理を終了するか否かを判定する（ステップＳ３６）。本実施形態では、操作部１３５が広告表示処理を終了する所定の操作を受け付けると、制御部１０は、広告表示処理を終了する。操作部１３５が広告表示処理を終了する所定の操作を受け付けなかった場合には（ステップＳ３６：ＮＯ）、制御部１０は、ステップＳ３４以降の処理を繰り返す。ステップＳ３６の処理において、操作部１３５が広告表示処理を終了する所定の操作を受け付けると（ステップＳ３６：ＹＥＳ）、制御部１０は、広告表示処理を終了する。
【００７６】
以上説明したように、本実施形態のＨＭＤ１００では、ＧＰＳモジュール１３７がＨＭＤ１００の現在位置を特定し、無線通信部１３２は、特定されたＨＭＤ１００の位置情報をサーバー３００へと送信し、サーバー３００から送信された選択情報を受信する。看板検出部１６８およびＧＰＳモジュール１３７が画像表示部２０の向きを特定し、表示設定部１６５は、検出看板である看板ＡＢ１，ＡＢ２に対応付けられた広告画像ＴＸ１，ＴＸ２を画像表示部２０に表示させる。そのため、本実施形態のＨＭＤ１００では、ＨＭＤ１００の使用者は、視認できる範囲の実物の看板ＡＢ１，ＡＢ２に加え、検出看板に対応付けられた広告画像ＴＸ１，ＴＸ２も視認でき、より多くの情報を入手できるため、使用者の利便性が向上する。また、使用者は、自身の視線方向に存在する看板ＡＢ１、ＡＢ２に対応付けられた広告画像ＴＸ１，ＴＸ２を視認できるが、使用者からの看板の位置が近くても、視線方向から外れた方向に存在する看板に対応付けられた情報を視認しなくて済むため、必要な情報のみを視認できる。
【００７７】
また、本実施形態のＨＭＤ１００では、看板検出部１６８は、カメラ６１の撮像画像の中から看板ＡＢ１，ＡＢ２を検出し、表示設定部１６５は、検出看板の看板ＡＢ１，ＡＢ２に対応付けられた広告画像ＴＸ１，ＴＸ２を画像表示部２０に表示させる。そのため、本実施形態のＨＭＤ１００では、使用者の視線方向上に存在しても、使用者に視認されない看板に対応付けられた広告画像が画像表示部２０に表示されず、使用者は、不要な広告画像を視認せずに済み、使用者の利便性がさらに向上する。
【００７８】
また、本実施形態のＨＭＤ１００では、環境情報として、ＧＰＳモジュール１３７が他のサーバーから現在の時刻および画像表示部２０の現在位置の天気の情報を取得し、温度計６５および環境情報処理部１６９が画像表示部２０の外部の温度を取得し、表示設定部１６５は、取得した環境情報に応じて、画像表示部２０に表示させる広告画像ＴＸ１，ＴＸ２を設定する。そのため、本実施形態のＨＭＤ１００では、画像表示部２０の現在位置および画像表示部２０の向きに加え、画像表示部２０の外部の情報も踏まえた画像が画像表示最大領域ＰＮに表示されるため、使用者は、その場の状況に合った情報を視認できるため、使用者の利便性がさらに向上する。
【００７９】
また、本実施形態のＨＭＤ１００では、記憶部１２０の過去履歴記憶部１２４は、使用者の過去の滞在情報ＶＤを記憶し、表示設定部１６５は、滞在情報ＶＤと撮像画像ＩＭＧの中に検出された看板ＡＢ１、ＡＢ２に対応付けられた店舗別広告データＳＤとに基づいて、広告画像ＴＸ１，ＴＸ２を画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、画像表示部２０の現在位置および画像表示部２０の向きに加え、使用者の滞在情報ＶＤも踏まえた広告画像が画像表示部２０に表示されるため、使用者は、自分の好みに合った情報を視認できるため、使用者の利便性がさらに向上する。
【００８０】
また、本実施形態のＨＭＤ１００では、距離測定部１６１およびＧＰＳモジュール１３７が画像表示部２０の現在位置と検出看板の位置との距離を測定し、表示設定部１６５は、測定された距離に基づいて、検出看板である看板ＡＢ１，ＡＢ２に対応付けられた広告画像ＴＸ１，ＴＸ２の文字画像のフォントの大きさを設定した。そのため、本実施形態のＨＭＤ１００では、より近くに存在する看板に対応付けられた広告情報に含まれる文字画像ほど大きく画像表示部２０に表示されるため、使用者は、画像表示部２０に表示された広告画像ＴＸ１，ＴＸ２によって検出看板の位置との距離を認識でき、使用者の利便性がさらに向上する。
【００８１】
Ｂ．第２実施形態：
Ｂ−１．ＨＭＤの構成：
図１１は、第２実施形態のＨＭＤ１００ａの構成を機能的に示すブロック図である。第２実施形態のＨＭＤ１００ａでは、第１実施形態のＨＭＤ１００と比較して、制御部１０ａの記憶部１２０ａが過去履歴記憶部１２４を有していない点と、制御部１０ａのＣＰＵ１４０ａが過去履歴照合部１６６および環境情報処理部１６９の代わりにキャリブレーション設定部１６７として機能する点と、画像表示部２０ａが温度計６５を備えていない点とが異なり、その他の構成については、第１実施形態のＨＭＤ１００と同じである。
【００８２】
キャリブレーション設定部１６７は、カメラ６１の撮像画像の中に検出された特定の対象物としてのＨＭＤ１００ａの使用者の人差し指と、画像表示部２０ａの画像表示最大領域ＰＮ内に表示される広告画像と、相対的な位置関係を定義する。具体的な定義の方法については、「Ｂ−２．広告表示処理」において説明する。なお、キャリブレーション設定部１６７は、請求項における校正部に相当する。
【００８３】
Ｂ−２．広告表示処理：
図１２は、第２実施形態における広告表示処理のフローチャートである。第２実施形態の広告表示処理では、第１実施形態の広告表示処理（図７）と比較して、ステップＳ４４およびステップＳ６２の処理が追加されている点と、図７のステップＳ２６およびステップＳ２８の処理が削除されている点とが異なり、他の処理については、第１実施形態の広告表示処理と同じである。そのため、第２実施形態では、第１実施形態の広告表示処理と同じ処理については、詳細な説明は省略する。
【００８４】
第２実施形態の広告表示処理では、広告表示処理のアプリが起動すると（図１２ステップＳ４０）、ＣＰＵ１４０ａが各種装置を起動させた後に（ステップＳ４２）、ＣＰＵ１４０ａのキャリブレーション設定部１６７がキャリブレーション設定を実行する（ステップＳ４４）。キャリブレーション設定では、初めに、表示設定部１６５は、キャリブレーション設定を実行するための画像である設定画像を画像表示部２０ａの画像表示最大領域ＰＮに表示させる。その後、カメラ６１が撮像を開始する。キャリブレーション設定部１６７は、カメラ６１の撮像画像の中に検出される特定の対象物として予め設定された使用者の人差し指の位置の変化と、画像表示最大領域ＰＮに表示された設定画像との関係に基づいて、キャリブレーション設定を実行する。
【００８５】
図１３は、キャリブレーション設定が実行されている場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１３には、キャリブレーション設定を実行するための設定画像ＣＧが外景ＳＣに重畳して表示され、カメラ６１の撮像画像に使用者の右手ＨＤが撮像されている状態が示されている。設定画像ＣＧは、矩形状の四角画像ＢＧと、５つの円形画像Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５と、４つの矢印画像ＣＳ１，Ｃｓ２、ＣＳ３，ＣＳ４とによって構成されている。円形画像Ｐ１は、四角画像ＢＧの１つの頂点の近傍の左上に形成され、円形画像Ｐ２は、四角画像ＢＧの右上の頂点の近傍に形成され、円形画像Ｐ３は、四角画像ＢＧの右下の頂点の近傍に形成され、円形画像Ｐ４は、四角画像ＢＧの左下の頂点の近傍に形成され、円形画像Ｐ５は、四角画像ＢＧの中央に形成される。矢印画像ＣＳ１は、円形画像Ｐ１から円形画像Ｐ２へと直線で結んだ矢印であり、矢印画像ＣＳ２は、円形画像Ｐ２から円形画像Ｐ３へと直線で結んだ矢印であり、矢印画像ＣＳ３は、円形画像Ｐ３から円形画像Ｐ４へと直線で結んだ矢印であり、矢印画像ＣＳ４は、円形画像Ｐ４から円形画像Ｐ５へと直線で結んだ矢印である。
【００８６】
キャリブレーション設定部１６７は、設定画像ＣＧが画像表示最大領域ＰＮ内に表示された後に、右手ＨＤの人差し指ＦＦを撮像画像の中に検出する。その後、キャリブレーション設定部１６７は、人差し指ＦＦが円形画像Ｐ１を起点として、矢印画像ＣＳ１、矢印画像ＣＳ２、矢印画像ＣＳ３、矢印画像ＣＳ４に沿って順々に、円形画像Ｐ１、円形画像Ｐ２、円形画像Ｐ３、円形画像Ｐ４、円形画像Ｐ５と重複する動きを検出することで、設定画像ＣＧの位置関係と外景ＳＣに含まれる人差し指ＦＦとの位置関係を定義する。これにより、キャリブレーション設定部１６７は、カメラ６１によって撮像された人差し指ＦＦが画像表示最大領域ＰＮにおけるどの位置の画素に対応しているかを設定する。なお、設定画像ＣＧは、請求項における特定の画像に相当し、右手ＨＤの人差し指ＦＦは、請求項における特定の対象物に相当する。
【００８７】
キャリブレーション設定が実行されると（図１２のステップＳ４４）、制御部１０ａがステップＳ４６からステップＳ５６の処理を行なう。その後、表示設定部１６５は、検出看板と、検出看板のそれぞれの店舗別広告データＳＤと、検出看板のそれぞれの位置と画像表示部２０との現在位置との距離と、に基づいて、画像表示部２０に表示させる広告画像の表示態様を設定する（ステップＳ５８）。次に、表示設定部１６５および画像処理部１６０は、設定された表示態様に基づいて、広告画像を画像表示部２０に表示させる（ステップＳ５８）。
【００８８】
図１４は、検出看板の広告画像ＴＸ２，ＴＸ４が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１４に示すように、第２実施形態では、表示設定部１６５は、検出看板である看板ＡＢ１に対応付けられた広告画像ＴＸ４を画像表示最大領域ＰＮに表示させる。広告画像ＴＸ４は、選択可能な２つのアイコン画像ＩＣ１，ＩＣ２を含んでいる。キャリブレーション設定後に、使用者が人差し指ＦＦをアイコン画像ＩＣ１またはアイコン画像ＩＣ２に重畳させるキャリブレーション操作が実行されることにより、操作部１３５は、重畳されたアイコン画像を選択し、選択されたアイコン画像に対応付けられた広告画像ＴＸ４とは異なる広告画像を画像表示最大領域ＰＮに表示できる。
【００８９】
広告画像が画像表示最大領域ＰＮに表示されると（図１２のステップＳ６０）、操作部１３５は、音声入力または人差し指ＦＦによるキャリブレーション操作を受け付けたか否かを判定する（ステップＳ６２）。なお、他の実施形態では、操作部１３５の決定キー１１等のキー操作を受け付けたかが判定されてもよい。ステップＳ６２の処理において、操作部１３５が音声入力またはキャリブレーション操作を受け付けた場合には（ステップＳ６２：ＹＥＳ）、表示設定部１６５は、受け付けた音声入力またはキャリブレーション操作に基づいて、画像表示最大領域ＰＮに表示させる広告画像の表示態様を設定し（ステップＳ５８）、表示設定部１６５および画像処理部１６０は、画像表示最大領域ＰＮに設定された広告画像を表示させる（ステップＳ６０）。
【００９０】
図１５は、キャリブレーション操作が行なわれた後に使用者が視認する視野ＶＲの一例を示す説明図である。図１５には、図１４に示す広告画像ＴＸ４におけるアイコン画像ＩＣ２がキャリブレーション操作によって選択された場合に表示される広告画像ＴＸ５が示されている。広告画像ＴＸ５は、選択されたアイコン画像ＩＣ２（図１４）に対応付けられた「富士」で提供されるドリンクのメニューの一部を文字画像で示し、かつ、２つのアイコン画像ＩＣ１，ＩＣ３を含んでいる。音声入力またはキャリブレーション操作によってアイコン画像ＩＣ３が選択されると、表示設定部１６５は、広告画像ＴＸ５の代わりに広告画像ＴＸ４を画像表示最大領域ＰＮに表示させる。また、アイコン画像ＩＣ１が選択されると、表示設定部１６５は、広告画像ＴＸ５の代わりに、アイコン画像ＩＣ１に対応付けられた「富士」で提供される料理のメニューの一部を文字画像で画像表示最大領域ＰＮに表示させる。なお、広告画像ＴＸ４，ＴＸ５は、請求項における識別対象対応画像に相当する。
【００９１】
広告画像ＴＸ２，ＴＸ５が画像表示最大領域ＰＮに表示されると（図１２のステップＳ６０）、操作部１３５は、音声入力または人差し指ＦＦによるキャリブレーション操作を受け付けたか否かを判定する（ステップＳ６２）。操作部１３５が音声入力もキャリブレーション操作も受け付けなかった場合には（ステップＳ６２：ＮＯ）、制御部１０ａがステップＳ６４以降の処理を行なう。
【００９２】
以上説明したように、第２実施形態のＨＭＤ１００ａでは、キャリブレーション設定部１６７は、画像表示部２０ａに表示させた四角画像ＢＧと、撮像画像の中に検出された使用者の右手ＨＤの人差し指ＦＦとの位置関係に基づいて、キャリブレーション設定を実行する。キャリブレーション設定後に、表示設定部１６５は、撮像画像の中に検出された人差し指ＦＦの位置に基づいて、画像表示部２０ａに表示される画像を広告画像ＴＸ４から広告画像ＴＸ５へと変更する。そのため、第２実施形態のＨＭＤ１００ａでは、現実での外景ＳＣと画像表示部２０ａに表示される画像とを重畳させることで、使用者は、外景ＳＣと表示画像を同一のものとして認識して操作でき、使用者にとっての使い勝手が向上する。
【００９３】
Ｃ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
【００９４】
Ｃ−１．変形例１：
上記実施形態では、ＧＰＳモジュール１３７によって特定された画像表示部２０の位置と、カメラ６１の撮像画像の中に検出された看板の画像とに基づいて、画像表示部２０の向きが特定されたが、画像表示部２０の向きの特定の方法については、種々変形可能である。例えば、画像表示部２０に方位センサーおよび加速度センサーが搭載され、画像表示部２０の現在位置と方位センサーによって特定された東西南北の向きと加速度センサーとによって特定された重力方向に対する向きとに基づいて、画像表示部２０の向きが特定されてもよい。この変形例のＨＭＤ１００では、使用者の前を一時的に遮った障害物（例えば、自動車など）があっても、障害物がない場合に検出した看板に対応付けられた画像を画像表示部２０に表示できる。また、使用者に視認されない看板に対応付けられた画像のみが画像表示部２０に表示されることで、使用者は、実物として視認する看板と、実物として視認していない看板に対応付けられた画像とを認識でき、広範囲の情報を取得できる。
【００９５】
また、上記実施形態では、店舗別広告データＳＤ（図３）や滞在情報ＶＤ（図５）の一例を示したが、店舗別広告データＳＤおよび滞在情報ＶＤにおける項目については、上記実施形態の項目に限られず、種々変形可能である。例えば、店舗別広告データＳＤの項目の一例として、湿度や年齢に基づく制限があってもよい。また、記憶部１２０の過去履歴記憶部１２４は、使用者の滞在情報ＶＤの変わりに、使用者の過去において画像表示部２０に表示された広告画像の頻度や店舗の利用回数や無線通信部１３２を用いた店舗の検索回数などを記憶してもよい。また、記憶部１２０は、使用者の過去の情報ではなく、性別、趣味、住所、職種などの個人情報を記憶し、表示設定部１６５は、記憶された個人情報に基づいて、画像表示部２０に表示させる広告画像を設定してもよい。
【００９６】
また、上記実施形態では、ＧＰＳモジュール１３７が取得した画像表示部２０の現在位置と検出看板の位置とに基づいて、画像表示部２０からの検出看板の位置までの距離が測定されたが、画像表示部２０の現在位置と検出看板の位置との距離を測定する方法については、種々変形可能である。例えば、距離測定部１６１として、画像表示部２０のカメラ６１の近くに赤外線発光部および赤外線受光部が配置され、赤外線発光部が発した赤外線を赤外線受光部が受光することにより、距離測定部１６１は、赤外線を反射した対象と画像表示部２０との距離を測定してもよい。
【００９７】
また、上記実施形態では、操作部１３５は、音声処理部１７０によって認識された音声の信号に基づいて、ＨＭＤ１００の各種操作を実行したが、認識された音声の信号に基づいて、操作以外の制御が実行されてもよい。例えば、撮像画像の中に検出された看板と認識された音声とに基づいて、表示設定部１６５は、画像表示部２０に表示させる広告画像を設定してもよい。具体的には、「お腹空いた」の音声が認識された場合には、表示設定部１６５は、店舗別広告データＳＤにおけるカテゴリーが「飲食」のみの検出看板に対応付けられた広告情報を、画像表示部２０に表示させたり、画像表示部２０に点滅などさせて強調して表示させたりする。
【００９８】
また、上記第２実施形態では、キャリブレーション設定部１６７は、設定画像ＣＧを画像表示部２０ａに表示させ、撮像画像ＩＭＧの中に検出した右手ＨＤの人差し指ＦＦによってキャリブレーション設定を実行したが、設定画像ＣＧや人差し指ＦＦについては、種々変形可能である。例えば、キャリブレーション設定部１６７は、設定画像ＣＧとして、１つの大きな円の画像を画像表示部２０ａに表示させて、表示された円の軌跡と検出された人差し指ＦＦ軌跡とによってキャリブレーション設定を実行してもよい。また、キャリブレーション設定部１６７が検出する特定の対象物としては、右手ＨＤの人差し指ＦＦではなく、ＨＭＤ１００ａに１対１で対応付けられている制御部１０ａであってもよいし、ボールペンなどであってもよい。
【００９９】
Ｃ−２．変形例２：
上記実施形態では、ＧＰＳモジュール１３７によって画像表示部２０の現在位置が特定された後に、ＨＭＤ１００の無線通信部１３２がサーバー３００から選択情報を受信したが、ＨＭＤ１００とサーバー３００との間での情報の送受信の方法については、種々変形可能である。例えば、画像表示部２０の現在位置が特定され、かつ、撮像画像の中から看板の画像が検出された場合に、無線通信部１３２が画像表示部２０の位置情報と検出看板の画像の情報とをサーバー３００へと送信し、サーバー３００から検出看板に対応付けられた広告情報を受信してもよい。この変形例のＨＭＤ１００では、上記実施形態の記憶部１２０の選択情報記憶部１２２のように、サーバー３００に記憶された広告情報を制御部１０に格納しなくても済むため、制御部１０の記憶容量が少なくて済み、ＨＭＤ１００を小型化できる。
【０１００】
上記実施形態では、ＨＭＤ１００の無線通信部１３２がサーバー３００などのサーバーと情報を送受信することで、制御部１０が看板の画像と看板に対応付けられた広告情報とを取得したが、広告情報等の取得の方法については、種々変形可能である。例えば、制御部１０の記憶部１２０が看板の画像と看板に対応付けられた広告情報とを記憶しており、制御部１０の各部は、記憶された看板の画像と広告情報とを用いて広告表示処理を行なってもよい。また、看板の画像と広告情報とは、ＵＳＢインターフェイスによって接続された外部の記憶装置から取得されてもよい。この変形例のＨＭＤ１００では、無線通信部１３２などの他の情報端末と情報の送受信をしなくても済むため、ＨＭＤ１００を小型化できる。
【０１０１】
Ｃ−３．変形例３：
上記実施形態では、表示設定部１６５が画像表示部２０に表示させる広告画像の表示態様の一例を挙げて説明したが、表示設定部１６５に設定される表示態様については、種々変形可能である。例えば、第２実施形態において、表示設定部１６５は、使用者によってキャリブレーション操作が行なわれた広告画像ＴＸ４に対応付けられた広告画像ＴＸ５などを、画像表示最大領域ＰＮの中心付近に表示させると共に、ＢＬ２２１，２２２の輝度を操作が行なわれる前よりも上昇させてもよい。使用者が画像表示最大領域ＰＮ内に表示された広告画像ＴＸ４を対象にキャリブレーション操作を行なう場合には、外景ＳＣを透過させる必要が少ないため、ＢＬ２２１，２２２の輝度を上昇させることで、使用者の利便性を向上させることができる。
【０１０２】
また、店舗別広告データＳＤにおける同じカテゴリーの複数の検出看板がある場合には、表示設定部１６５は、使用者が比較しやすいように、画像表示最大領域ＰＮ内に並べて表示させてもよい。また、表示設定部１６５は、同じカテゴリーの広告画像について、画像表示最大領域ＰＮ内に表示される文字画像のフォントを同じフォントに設定したり、広告画像の外枠の色を同じ色に設定して表示させてもよい。
【０１０３】
また、表示設定部１６５は、右光学像表示部２６に表示させる画像と左光学像表示部２８とに表示させる画像と変えることで、輻輳角を形成して、使用者が画像表示部２０に表示された広告画像を三次元画像として表示させてもよい。例えば、表示設定部１６５は、距離測定部１６１によって測定された距離と、画像表示部２０に三次元で表示させる広告画像の位置とを同じ距離に設定してもよい。また、表示設定部１６５は、滞在情報ＶＤを参照して、使用者にとって最も使用頻度が高い店舗の検出看板に対応付けられた広告画像のみを三次元で表示させることで、強調して使用者に視認させてもよい。
【０１０４】
また、上記実施形態では、看板検出部１６８がカメラ６１の撮像画像の中から看板の画像を検出したが、看板検出部１６８は、カメラ６１の撮像画像以外の情報からも識別対象画像を検出できる。例えば、看板検出部１６８は、赤外線センサー、超音波センサー、レーダーによって検出された情報に含まれる画像を識別対象画像として検出してもよい。
【０１０５】
Ｃ−４．変形例４：
上記第１実施形態の広告表示処理では、図７のステップＳ２４からステップＳ３２までの処理において、距離などの各種情報が取得され、取得された情報に基づいて、画像表示部２０に広告画像が表示されたが、取得される各種情報について、種々変形可能である。図１６は、変形例における広告表示処理のフローチャートである。図１６に示す広告表示処理は、図７のステップＳ２４からステップＳ２８までの処理が省略された処理である。このように、広告表示処理では、画像表示部２０と検出看板との距離が測定されなくてもよいし、温度等の環境情報が取得されなくてもよいし、滞在情報ＶＤと検出看板との関係が照合されなくてもよい。
【０１０６】
また、上記実施形態では、ＧＰＳモジュール１３７によって特定された画像表示部２０の現在位置と、特定された現在位置に基づいてサーバー３００から送信される選択情報とに基づいて、画像表示部２０に広告画像が表示されたが、広告画像の取得の方法については、種々変形可能である。例えば、サーバー３００ではなく、看板に、当該看板に対応付けられた店舗の店舗別広告データＳＤを光情報として発信する発信部が配置されていてもよい。この場合に、ＨＭＤ１００は、看板から発信される光情報を受信する受信部を備えており、看板検出部１６８は、受信部によって受信された光情報に含まれる看板の画像とカメラ６１によって検出される看板との照合を行なうことで、検出看板を取得してもよい。この変形例では、ＧＰＳモジュール１３７によって画像表示部２０の位置が取得される必要がないため、ＨＭＤ１００の使用者の利便性が向上する。
【０１０７】
上記実施形態では、請求項の識別対象画像に相当する画像として、検出された看板の画像を例に挙げて説明したが、識別対象画像については、種々変形可能である。例えば、識別対象画像は、撮像画像の中から、文字、図形、記号、立体的な形状によって構成される標識のような画像であってもよいし、特定の外観を有する物品の形状、模様、色彩の組み合わせの画像であってもよい。また、上記実施形態では、請求項の識別対象対応画像に相当する画像として、広告画像ＴＸ１，ＴＸ２を例に挙げて説明したが、識別対象対応画像については、種々変形可能である。例えば、駅の看板に対応付けられた時刻表の画像であってもよいし、バスの停留所の看板や目印に対応付けられた路線図、次に到着する停留所、下車する停留所ごとの運賃のような関連情報を示す画像であってもよい。
【０１０８】
Ｃ−５．変形例５：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ６１が画像表示部２０に配置されたが、カメラ６１が画像表示部２０とは別体に構成され、外景ＳＣを撮像できてもよい。
【０１０９】
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。
【０１１０】
また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。
【０１１１】
また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。
【０１１２】
Ｃ−６．変形例６：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
【０１１３】
また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。
【０１１４】
図１７は、変形例におけるＨＭＤの外観構成を示す説明図である。図１７（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の左眼の斜め上に配置されている。図１７（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。
【０１１５】
また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
【０１１６】
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
【０１１７】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【０１１８】
また、上記実施形態では、図２および図３に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。
【０１１９】
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【０１２０】
１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ（画像検出部）
６３…マイク
６５…温度計（状態検出部）
１００…ＨＭＤ
１２０…記憶部
１２２…選択情報記憶部
１２４…過去履歴記憶部（個人情報記憶部）
１３０…電源
１３２…無線通信部（情報送受信部、状態検出部）
１３５…操作部
１３７…ＧＰＳモジュール（位置特定部、画像検出部）
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６１…距離測定部
１６５…表示設定部（表示画像制御部）
１６６…過去履歴照合部
１６７…キャリブレーション設定部（校正部）
１６８…看板検出部（画像検出部、表示画像制御部）
１６９…環境情報処理部（表示画像制御部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…サーバー（情報記憶装置）
３１０…ＣＰＵ
３１２…情報選択部
３２０…記憶部
３２５…広告ＤＢ
３３０…通信部（選択情報送信部）
５００…情報システム
Ａ、Ｂ，Ｃ，Ｄ…場所
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＰＣＬＫ…クロック信号
Ｐ１、Ｐ２，Ｐ３，Ｐ４，Ｐ５…円形画像
ＯＡ…外部機器
ＳＣ…外景
ＳＤ…店舗別広告データ
ＶＤ…滞在情報
ＨＤ…右手
ＲＥ…右眼
ＬＥ…左眼
ＦＦ…人差し指（特定の対象物）
ＣＧ…設定画像（特定の画像）
ＢＧ…四角画像
ＩＬ…照明光
ＰＬ…画像光
ＰＮ…画像表示最大領域
ＶＲ…視野
ＡＢ１、ＡＢ２，ＡＢ３…看板
ＣＳ１、ＣＳ２，ＣＳ３，ＣＳ４…矢印画像
ＴＸ１、ＴＸ２，ＴＸ３，ＴＸ４，ＴＸ５…広告画像（識別対象対応画像）
ＩＭＧ…撮像画像
ＩＣ１，ＩＣ２，ＩＣ３…アイコン画像ＩＣ
【図１】
0006476643.tif 000002
【図２】
0006476643.tif 000003
【図３】
0006476643.tif 000004
【図４】
0006476643.tif 000005
【図５】
0006476643.tif 000006
【図６】
0006476643.tif 000007
【図７】
0006476643.tif 000008
【図８】
0006476643.tif 000009
【図９】
0006476643.tif 000010
【図１０】
0006476643.tif 000011
【図１１】
0006476643.tif 000012
【図１２】
0006476643.tif 000013
【図１３】
0006476643.tif 000014
【図１４】
0006476643.tif 000015
【図１５】
0006476643.tif 000016
【図１６】
0006476643.tif 000017
【図１７】
0006476643.tif 000018