(57)【要約】【課題】簡易な構成で、使用者の移動を支援することができる移動支援装置、及び、移動支援方法を提供する。【解決手段】路面を撮像するカメラ６１と、カメラ６１の撮像画像データをもとに、使用者Ｍの移動可能方向の指標となる指標情報を検出する画像処理部１５３と、画像処理部１５３が検出した指標情報に基づき、使用者Ｍの移動を誘導する誘導情報を出力する誘導制御部１５４とを備えるＨＭＤ１００。【選択図】図６
2017146726.tif 000002
【特許請求の範囲】
【請求項１】
路面を撮像する撮像部と、
前記撮像部の撮像画像をもとに、使用者の移動可能方向の指標となる指標情報を検出する検出部と、
前記検出部が検出した指標情報に基づき、使用者の移動を誘導する誘導情報を出力する制御部と、
を備えることを特徴とする移動支援装置。
【請求項２】
前記検出部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックの画像を検出し、指標情報を検出する、ことを特徴とする請求項１記載の移動支援装置。
【請求項３】
前記撮像部は、使用者の頭部に装着される、ことを特徴とする請求項１又は２記載の移動支援装置。
【請求項４】
使用者の頭部に装着され、前記使用者の左目に対応する第１の発光部と、前記使用者の右目に対応する第２の発光部とを有する発光部を備え、
前記制御部は、前記検出部が検出した指標情報に基づき、前記第１の発光部と、前記第２の発光部との少なくとも一方の表示を制御する誘導情報を出力する、ことを特徴とする請求項１から３のいずれかに記載の移動支援装置。
【請求項５】
前記制御部は、左折可を示す指標情報が検出された場合に、前記第１の発光部を点滅又は点灯させ、右折可を示す指標情報が検出された場合に、前記第２の発光部を点滅又は点灯させ、直進可を示す指標情報が検出された場合に、前記第１の発光部及び前記第２の発光部を点滅又は点灯させる、ことを特徴とする請求項４記載の移動支援装置。
【請求項６】
前記発光部は、画像光を発して使用者に画像を視認させる表示部である、ことを特徴とする請求項４又は５記載の移動支援装置。
【請求項７】
前記制御部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックの画像が検出された場合に、前記撮像部の撮像画像をもとに警告対象の画像を検出し、検出結果を出力する、ことを特徴とする請求項１から６のいずれかに記載の移動支援装置。
【請求項８】
前記制御部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックの画像が検出された場合に、前記撮像画像をもとに視覚障害者誘導用ブロックまでの距離を算出し、算出した距離に対応した出力を行う、ことを特徴とする請求項１から７のいずれかに記載の移動支援装置。
【請求項９】
音声を出力する音声出力部を備え、
前記制御部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックに重なる障害物が検出された場合に、障害物が存在する旨を前記音声出力部により出力する、ことを特徴とする請求項１から８のいずれかに記載の移動支援装置。
【請求項１０】
路面を撮像するステップと、
撮像された撮像画像をもとに、使用者の移動可能方向の指標となる指標情報を検出するステップと、
検出された指標情報に基づき、使用者の移動を誘導する誘導情報を出力するステップと、
を有することを特徴とする移動支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動支援装置、及び、移動支援方法に関する。
【背景技術】
【０００２】
従来、歩行者の移動を支援する装置が知られている（例えば、特許文献１及び２参照）。
特許文献１及び２は、歩行補助具に設けたアンテナにより、路面の視覚障害者誘導用ブロックに設けた無線タグから情報を取得し、歩行補助具を持つ使用者に取得した情報を提供する装置を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３４５９７４号公報
【特許文献２】特開２００３−１０９１７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１及び２に開示の装置は、視覚障害者誘導用ブロックに無線タグを設置する作業が必要となるため、実現までに時間がかかる。
本発明は、上記事情に鑑みてなされたものであり、簡易な構成で、使用者の移動を支援することができる移動支援装置、及び、移動支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の移動支援装置は、路面を撮像する撮像部と、前記撮像部の撮像画像をもとに、使用者の移動可能方向の指標となる指標情報を検出する検出部と、前記検出部が検出した指標情報に基づき、使用者の移動を誘導する誘導情報を出力する制御部とを備えることを特徴とする。
本発明によれば、路面を撮像した撮像画像をもとに使用者の移動可能方向の指標となる指標情報を検出して、検出した指標情報に基づき使用者の移動を誘導する誘導情報が出力される。従って、簡易な構成で、使用者の移動を支援することができる。
【０００６】
また、本発明の移動支援装置は、上記移動支援装置において、前記検出部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックの画像を抽出し、指標情報を検出することを特徴とする。
本発明によれば、指標情報が、撮像画像をもとに抽出される視覚障害者誘導ブロックの画像に基づいて検出される。従って、視覚障害者誘導ブロックの画像に基づき使用者を誘導することができる。
【０００７】
また、本発明の移動支援装置は、上記移動支援装置において、前記撮像部は、使用者の頭部に装着されることを特徴とする。
本発明によれば、使用者の頭部に装着された撮像部により撮像画像が撮像される。従って、使用者の目線から外景方向を撮像するように調整することができる。
【０００８】
また、本発明の移動支援装置は、上記移動支援装置において、使用者の頭部に装着され、前記使用者の左目に対応する第１の発光部と、前記使用者の右目に対応する第２の発光部とを有する発光部を備え、前記制御部は、前記検出部が検出した指標情報に基づき、前記第１の発光部と、前記第２の発光部との少なくとも一方の表示を制御する誘導情報を出力することを特徴とする。
本発明によれば、指標情報に基づき、第１の発光部と第２の発光部の少なくとも一方の表示が制御される。従って、第１の発光部と第２の発光部の少なくとも一方の表示を、撮像画像から検出される指標情報に対応した表示として、使用者を誘導することができる。
【０００９】
また、本発明の移動支援装置は、上記移動支援装置において、前記制御部は、左折可を示す指標情報が検出された場合に、前記第１の発光部を点滅又は点灯させ、右折可を示す指標情報が検出された場合に、前記第２の発光部を点滅又は点灯させ、直進可を示す指標情報が検出された場合に、前記第１の発光部及び前記第２の発光部を点滅又は点灯させることを特徴とする。
本発明によれば、指標情報として左折可が検出された場合に、第１の発光部が点滅又は点灯され、右折可が検出された場合に、第２の発光部が点滅又は点灯され、直進可が検出された場合に、第１の発光部及び第２の発光部が点滅又は点灯される。従って、発光部の点灯又は点滅によって移動可能方向を使用者に示すことができる。
【００１０】
また、本発明の移動支援装置は、上記移動支援装置において、前記発光部は、画像光を発して使用者に画像を視認させる表示部であることを特徴とする。
本発明によれば、表示部を用いて、移動可能な方向を使用者に示すことができる。
【００１１】
また、本発明の移動支援装置は、上記移動支援装置において、前記制御部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックの画像が検出された場合に、前記撮像部の撮像画像をもとに警告対象の画像を検出し、検出結果を出力することを特徴とする。
本発明によれば、視覚障害者誘導用ブロックの画像が検出された場合に、警告対象の画像が検出される。従って、視覚障害者誘導用ブロックの画像が示す警告対象を使用者に通知することができる。
【００１２】
また、本発明の移動支援装置は、上記移動支援装置において、前記制御部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックの画像が検出された場合に、前記撮像画像をもとに視覚障害者誘導用ブロックまでの距離を算出し、算出した距離に対応した出力を行うことを特徴とする。
本発明によれば、撮像画像をもとに視覚障害者誘導用ブロックまでの距離が算出され、算出した距離に対応した出力が行われる。従って、使用者は、視覚障害者誘導用ブロックまでの距離を認識することができる。
【００１３】
また、本発明の移動支援装置は、上記移動支援装置において、音声を出力する音声出力部を備え、前記制御部は、前記撮像部の撮像画像をもとに視覚障害者誘導用ブロックに重なる障害物が検出された場合に、障害物が存在する旨を前記音声出力部により出力することを特徴とする。
本発明によれば、視覚障害者誘導用ブロックに重なる障害物が検出された場合に、障害物が存在する旨を音声出力することができる。
【００１４】
本発明の移動支援方法は、路面を撮像するステップと、撮像された撮像画像をもとに、使用者の移動可能方向の指標となる指標情報を検出するステップと、検出された指標情報に基づき、使用者の移動を誘導する誘導情報を出力するステップと、を有することを特徴とする。
本発明によれば、路面を撮像した撮像画像をもとに使用者の移動可能方向の指標となる指標情報を検出して、検出した指標情報に基づき使用者の移動を誘導する誘導情報が出力される。従って、簡易な構成で、使用者の移動を支援することができる。
【図面の簡単な説明】
【００１５】
【図１】ＨＭＤの適用例を示す図。
【図２】ＨＭＤの外観構成を示す説明図。
【図３】画像表示部の光学系の構成を示す図。
【図４】画像表示部の表示領域を示す説明図。
【図５】画像表示部の撮像範囲を示す説明図。
【図６】ＨＭＤを構成する各部のブロック図。
【図７】制御部及び記憶部のブロック図。
【図８】左表示ユニットを点灯させた状態を示す図。
【図９】右表示ユニットを点灯させた状態を示す図。
【図１０】ＨＭＤの動作を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下、本発明の移動支援装置及び移動支援方法をＨＭＤ（Head Mounted Display：頭部装着型表示装置）に適用した実施形態について説明する。図１は、ＨＭＤ１００の適用例を示す図である。
【００１７】
本実施形態では、ＨＭＤ１００は盲人や弱視者等の視覚障害者や老人（以下、これらの者を総称して使用者Ｍと表記する）により使用される。また、使用者Ｍの移動には、自身が歩行して移動する場合と、車椅子等により移動する場合とが含まれる。ＨＭＤ１００は、使用者の頭部に装着された状態で使用者Ｍに虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０とを備える。画像表示部２０は、本発明の「表示部」に相当する。
ＨＭＤ１００は、路面等を撮像するカメラ６１（図２参照）を備える。カメラ６１は、本発明の「撮像部」に相当する。制御装置１０は、カメラ６１の撮像画像をもとに、使用者Ｍが移動可能な方向の指標となる指標情報を検出し、検出した指標情報に基づき、使用者Ｍの移動を誘導する誘導情報を含む制御信号を画像表示部２０に出力する。画像表示部２０は、制御装置１０から入力される制御信号に基づき、右表示ユニット２２及び左表示ユニット２４の表示を制御する。右表示ユニット２２及び左表示ユニット２４については後述する。右表示ユニット２２は、本発明の「第２の発光部」に相当する。また、左表示ユニット２４は、本発明の「第１の発光部」に相当する。
【００１８】
ＨＭＤ１００は、地面や建物の床面（以下、これらを総称して路面という）に敷設された視覚障害者誘導用ブロック（以下、誘導用ブロックという）５０を撮像し、撮像された誘導用ブロックの撮像画像データをもとに指標情報を検出する。誘導用ブロック５０には、線状ブロック５１と点状ブロック５２とが含まれる。
線状ブロック５１は、ブロックの表面に線状の突起部５５が複数設けられ、線状の突起部５５により移動可能方向が示されるブロックである。ＨＭＤ１００は、カメラ６１の撮像画像をもとに線状ブロック５１の画像を検出した場合、線状ブロック５１の画像から線状の突起部５５の方向を判定して、線状ブロック５１が示す移動可能方向を指標情報として検出する。ここで検出される移動可能方向は、線状ブロック５１が示す方向であり、使用者Ｍが進行歩行として選択できる方向である。ＨＭＤ１００により複数の移動可能方向が検出された場合、使用者Ｍは、ＨＭＤ１００により通知される複数の移動可能方向の中から実際に進む移動方向を選択する。
点状ブロック５２は、ブロックの表面に点状の突起部５６が複数設けられ、歩行者に対し注意喚起・警告を促すブロックである。ＨＭＤ１００は、カメラ６１の撮像画像をもとに点状ブロック５２の画像を検出した場合、ＨＭＤ１００を装着した使用者Ｍの近くに、警告対象物が存在すると判定する。ＨＭＤ１００は、カメラ６１により使用者Ｍの周囲を撮像し、撮像された撮像画像から点状ブロック５２が警告する警告対象物を判定する。警告対象物には、階段や路面の段差、横断歩道、線状ブロック５１が交差する分岐点、案内板等が含まれる。
【００１９】
図２は、ＨＭＤ１００の外観構成を示す説明図である。
制御装置１０は、図２に示すように、平たい箱形のケース１０Ａを備える。ケース１０Ａの表面には、使用者の操作を受け付ける各種のボタン１１、スイッチ、トラックパッド１４等が設けられる。これらを使用者が操作することによって、制御装置１０は、ＨＭＤ１００のコントローラーとして機能する。
【００２０】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体を備える。画像表示部２０の本体には、右表示ユニット２２、左表示ユニット２４、右導光板２６及び左導光板２８等がさらに設けられる。
【００２１】
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
【００２２】
右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。
【００２３】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。
【００２４】
右表示ユニット２２は、右導光板２６による画像を表示するユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像を表示するユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２及び左表示ユニット２４を合わせて単に「表示駆動部」とも呼ぶ。
【００２５】
本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。右導光板２６及び左導光板２８の表面に、調光板（図示略）を設けてもよい。この調光板により、右導光板２６及び左導光板２８を透過して使用者の眼に入射する外光を減衰させたり、特定の波長成分のみを透過又は反射させたり、右導光板２６及び左導光板２８を保護したりすることができる。
【００２６】
カメラ６１は、画像表示部２０の前部フレーム２７に設置される。カメラ６１の位置及び方向は、例えば、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像するように調整されることが好ましい。例えば、カメラ６１は、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図２の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置される。カメラ６１の位置は、端部ＥＬ側であってもよく、右導光板２６と左導光板２８との連結部であってもよい。
【００２７】
カメラ６１は、ＣＣＤ（Charge Coupled Device）イメージセンサー、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等の撮像素子を備えるデジタルカメラである。カメラ６１は単眼カメラであってもよいし、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ６１の撮像範囲の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように、カメラ６１の撮像範囲が設定される。
カメラ６１は、制御部１５０（図７参照）が備える撮像制御部１５２の制御に従って撮像を実行し、撮像画像データを撮像制御部１５２に出力する。
【００２８】
ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置できる。この場合、画像表示部２０の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればカメラ６１の撮像方向と重複する方向である。距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１５０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１５０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。
【００２９】
図３は、画像表示部２０が備える光学系の構成を示す要部平面図である。図３には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図３に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導く光学部材を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。
【００３０】
ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図７参照）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択、及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７（図６参照）が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。
【００３１】
右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
【００３２】
使用者の左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導く光学部品を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。
【００３３】
ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択、及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。
【００３４】
左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
【００３５】
ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
【００３６】
なお、左光学系２５２と左導光板２８とを合わせて「左導光部」とも呼び、右光学系２５１と右導光板２６とを合わせて「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
【００３７】
図２に示す構成についてさらに説明する。制御装置１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図４に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３を有するヘッドセット３０とが、コネクター４６に接続される。右イヤホン３２及び左イヤホン３４は、本発明の「音声出力部」に相当する。
【００３８】
マイク６３は、例えば図２に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声Ｉ／Ｆ１８２（図６参照）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
【００３９】
制御装置１０は、使用者により操作される被操作部として、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８を備える。これらの被操作部はケース１０Ａの表面に配置される。
【００４０】
ボタン１１は、制御装置１０を操作するためのキーやスイッチを備え、これらのキーやスイッチは押圧操作により変位する。例えば、ボタン１１は、制御装置１０が実行するオペレーティングシステム１５１（図７参照）等に関する操作を行うためのメニューキー、ホームキー、「戻る」キーを含む。
ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、或いは点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチである。
【００４１】
トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式或いは他の方式を採用できる。トラックパッド１４への接触（タッチ操作）は、後述するタッチセンサー１３（図６参照）により検出される。トラックパッド１４にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は複数のＬＥＤを備え、それぞれのＬＥＤの光はトラックパッド１４を透過して、操作用のアイコン等を表示する。このアイコン等はソフトウェアボタンとして機能する。制御装置１０の被操作部を、点字及びこれに対応したボタンにより構成してもよい。
【００４２】
図４は、画像表示部２０の表示領域を示す説明図であり、画像表示部２０を使用者の頭部側から見た要部斜視図である。なお、図４では接続ケーブル４０の図示を省略する。
【００４３】
図４は、画像表示部２０の使用者の頭部に接する側、すなわち使用者の右眼ＲＥ及び左眼ＬＥに見える側を示す。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図４では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。ＨＭＤ１００では、右導光板２６及び左導光板２８が使用者に画像を視認させる領域を表示領域と呼ぶことができる。本実施形態では、ＨＭＤ１００の構造上、ハーフミラー２６１、２８１が表示領域を構成する。
【００４４】
図５は、画像表示部２０のカメラ６１の撮像範囲（画角）の説明図である。図５には、カメラ６１の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す。図中、カメラ６１の撮像範囲をＣで示す。なお、図５には水平方向の撮像範囲Ｃ（画角Ｃとも表記する）を示すが、カメラ６１の実際の撮像範囲は一般的なデジタルカメラと同様に上下方向にも拡がる。
【００４５】
カメラ６１は、上記のように画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば図５に示すように、使用者が両眼で判定対象（図５に示すＯＢ）を注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように判定対象ＯＢに向けられる。この場合、使用者から判定対象ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から判定対象ＯＢまでの距離の上限及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸及び撮像範囲は、通常使用時における判定対象ＯＢまでの距離が、設定された上限の目安に相当する場合及び下限の目安に相当する場合に、この判定対象ＯＢが撮像範囲に含まれるように設定されることが好ましい。
【００４６】
一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図５の判定対象ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶことができる。図２〜図５に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
【００４７】
カメラ６１の撮像範囲Ｃは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、撮像範囲Ｃが、少なくとも使用者の有効視野よりも広いことが好ましい。撮像範囲Ｃが、使用者の実視野よりも広いことがより好ましい。さらに好ましくは、撮像範囲Ｃが、使用者の安定注視野よりも広く、最も好ましくは、撮像範囲Ｃが使用者の両眼の視野角よりも広い。
【００４８】
カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い撮像範囲を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。
【００４９】
カメラ６１は画像表示部２０に対し固定的に設けられるため、使用者が画像表示部２０により視認する視野と、カメラ６１の画角Ｃとはほぼ固定される。より具体的には、画像表示部２０が右表示ユニット２２及び左表示ユニット２４により画像を表示する表示領域と、カメラ６１の画角Ｃとは、固定されているといえる。従って、画像表示部２０の表示領域における位置と、カメラ６１の撮像画像における位置とを対応付けることが可能である。画像表示部２０の表示領域における位置は、より具体的には、ＯＬＥＤパネル２２３、２４３の画素の座標と、カメラ６１の撮像画像における座標とを対応付けることができる。ＨＭＤ１００は、これらの対応付けに関するデータを、例えば設定データ１２３として記憶する。
【００５０】
図６は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１４０には、入力装置としてトラックパッド１４及び操作部１１０が接続される。メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５が接続される。メインプロセッサー１４０には、通信部１１７、音声コーデック１８０、外部Ｉ／Ｆ１８４、外部メモリーＩ／Ｆ１８６、ＵＳＢコネクター１８８、センサーハブ１９２及びＦＰＧＡ１９４が接続される。これらは外部とのインターフェースとして機能する。
【００５１】
メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。外部Ｉ／Ｆ１８４、外部メモリーＩ／Ｆ１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４及びＩ／Ｆ１９６をコントローラー基板１２０に実装した構成であってもよい。
【００５２】
メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）等の半導体記憶デバイス、或いはその他の不揮発性記憶デバイスで構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。
【００５３】
メインプロセッサー１４０は、トラックパッド１４から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１、タッチセンサー１３及びＬＥＤ表示部１７を含む。タッチセンサー１３は、トラックパッド１４へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。ボタン１１の操作が行われた場合、及びタッチセンサー１３がタッチ操作を検出した場合、操作部１１０は、メインプロセッサー１４０に対して操作信号を出力する。
ＬＥＤ表示部１７は、ＬＥＤ（図示略）、及びこのＬＥＤを点灯させる駆動回路を含む。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。
【００５４】
６軸センサー１１１は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサーである。６軸センサー１１１は、上記のセンサーをモジュール化したＩＭＵ（Inertial Measurement Unit：慣性計測装置）であってもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。
【００５５】
通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格で無線通信を行う構成を具備してもよい。例えば、ＨＭＤ１００が、通信部１１７により、スマートフォンを含む携帯型電話機、パーソナルコンピューター、タブレット型コンピューター等とデータ通信を実行してもよい。
【００５６】
音声Ｉ／Ｆ１８２は、音声信号を入出力するインターフェースである。本実施形態では、音声Ｉ／Ｆ１８２は、接続ケーブル４０に設けられたコネクター４６（図２参照）を含む。音声コーデック１８０は、音声Ｉ／Ｆ１８２に接続され、音声Ｉ／Ｆ１８２を介して入出力される音声信号のエンコード／デコードを行う。音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声Ｉ／Ｆ１８２を介して出力する。音声コーデック１８０は、音声Ｉ／Ｆ１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。
【００５７】
外部Ｉ／Ｆ１８４は、メインプロセッサー１４０と通信する外部の装置とのインターフェースである。例えば、外部Ｉ／Ｆ１８４には、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う装置を接続してもよい。
外部メモリーＩ／Ｆ１８６は、可搬型のメモリーデバイスを接続可能なインターフェースであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェース回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Universal Serial Bus）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェース回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。
【００５８】
ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター、偏心した回転子（いずれも図示略）を備え、その他の必要な構成を備えてもよい。バイブレーター１９は、メインプロセッサー１４０の制御に従って上記モーターを回転させることにより、振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合、或いはその他の場合に、所定の振動パターンでバイブレーター１９により振動を発生する。
【００５９】
センサーハブ１９２及びＦＰＧＡ１９４は、Ｉ／Ｆ１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及びＩ／Ｆ１９６を介した伝送を実行する。
【００６０】
画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ制御装置１０に接続される。図２に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０につながる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。
【００６１】
右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、Ｉ／Ｆ１９６に接続されるＩ／Ｆ２１１、Ｉ／Ｆ２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及びＥＥＰＲＯＭ２１５が実装される。
Ｉ／Ｆ２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５及びＬＥＤインジケーター６７を、制御装置１０に接続する。
【００６２】
ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータを記憶する。ＥＥＰＲＯＭ２１５は、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータ等を記憶する。これらのデータは、メインプロセッサー１４０がＨＭＤ１００を制御する場合に参照される。これらのデータの具体例として、ＯＬＥＤユニット２２１、２４１のガンマ補正に用いられるパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等が挙げられる。これらのデータは、例えば、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。
【００６３】
カメラ６１は、Ｉ／Ｆ２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図２に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図２に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。
【００６４】
温度センサー２１７は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３参照）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。
【００６５】
受信部２１３は、Ｉ／Ｆ２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５に出力する。
【００６６】
左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、Ｉ／Ｆ１９６に接続されるＩ／Ｆ２３１、Ｉ／Ｆ２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。表示ユニット基板２１０には、６軸センサー２３５及び磁気センサー２３７が実装される。
Ｉ／Ｆ２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９を、制御装置１０に接続する。
【００６７】
６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。
【００６８】
温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。
【００６９】
右表示ユニット２２が備えるカメラ６１、照度センサー６５、温度センサー２１７、及び左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。
【００７０】
制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は、充電可能なバッテリー１３２と、バッテリー１３２の残容量の検出及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。
【００７１】
図７は、制御装置１０の制御系を構成する記憶部１２２及び制御部１５０の機能ブロック図である。図７に示す記憶部１２２は、不揮発性記憶部１２１（図６参照）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。また、制御部１５０は、例えば、メインプロセッサー１４０、メモリー１１８及び不揮発性記憶部１２１により構成される。
制御部１５０が有する各種の機能部は、メインプロセッサー１４０がメモリー１１８にプログラムを展開して実行することにより、ソフトウェアとハードウェアとが協働することで形成される。
【００７２】
制御部１５０は、記憶部１２２が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。
記憶部１２２は、制御部１５０が処理する各種のデータを記憶する。記憶部１２２は、設定データ１２３、パターンマッチングデータ１２４及び撮像画像データベース１２５を記憶する。
【００７３】
設定データ１２３は、ＨＭＤ１００の動作に関わる各種の設定値を含む。例えば、設定データ１２３には、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（LookUp Table）等が含まれる。また、画像表示部２０における表示態様を指定する情報を、設定データ１２３に含めてもよい。表示態様を指定する情報には、例えば、表示制御部１５６の制御によって画像等を表示する表示領域における配置やサイズを定める情報等が含まれる。
【００７４】
パターンマッチングデータ１２４には、後述するパターンマッチング処理に用いられるパターン画像が含まれる。パターンマッチングデータ１２４は、パターン画像として、線状ブロック５１及び点状ブロック５２の画像を記憶する。また、パターンマッチングデータ１２４は、パターン画像として点状ブロック５２が警告する警告対象物の画像（以下、警告対象画像という）を記憶する。警告対象画像には、階段や路面の段差、横断歩道、線状ブロック５１が交差する分岐点、案内板等が含まれる。
さらに、パターンマッチングデータ１２４には、障害物の画像が含まれる。障害物は、線状ブロック５１や点状ブロック５２上に存在する場合に、使用者Ｍの障害となる物体であり、例えば、自転車やオートバイ、車、セーフティーコーン等が含まれる。
【００７５】
撮像画像データベース１２５は、カメラ６１の撮像画像データを記憶する。
後述する撮像制御部１５２は、カメラ６１を制御して撮像画像データを生成し、生成した撮像画像データを撮像画像データベース１２５に記憶させる。撮像制御部１５２は、撮像画像データに、撮像画像データの撮像日時を示す情報や、撮像画像データの撮像順を示す情報を付加して、撮像画像データベース１２５に記憶させてもよい。
【００７６】
制御部１５０は、機能ブロックとして、オペレーティングシステム（以下、ＯＳと表記する）１５１、撮像制御部１５２、画像処理部１５３、誘導制御部１５４、表示制御部１５５及び音声データ生成部１５６を備える。画像処理部１５３は、本発明の「検出部」に相当する。誘導制御部１５４及び表示制御部１５５は、本発明の「制御部」に相当する。
ＯＳ１５１の機能は、記憶部１２２が記憶する制御プログラムの機能であり、その他の各部は、ＯＳ１５１上で実行されるアプリケーションプログラムの機能である。
【００７７】
撮像制御部１５２は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、撮像画像データベース１２５に記憶させる。カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５２は撮像画像データをカメラ６１から取得して、撮像画像データベース１２５に記憶させる。
【００７８】
画像処理部１５３は、画像表示部２０により表示する画像又は映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。例えば、画像処理部１５３が生成する信号には、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等が含まれる。
また、画像処理部１５３は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。さらに、画像処理部１５３は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１５３は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。
【００７９】
また、画像処理部１５３は、撮像画像データベース１２５に記憶された撮像画像データを取得し、取得した撮像画像データに対しパターンマッチングデータ１２４を用いてパターンマッチング処理を行う。画像処理部１５３は、パターンマッチング処理により、撮像画像データに、線状ブロック５１の画像、又は点状ブロック５２の画像が含まれるか否かを判定する。
画像処理部１５３は、撮像画像データに線状ブロック５１の画像が含まれると判定した場合、線状の突起部５５の方向を判定して、線状ブロック５１が示す移動可能方向を指標情報として検出する。移動可能方向とは、使用者Ｍが進行歩行として選択できる方向である。画像処理部１５３は、判定した移動可能方向を誘導制御部１５４に通知する。
また、画像処理部１５３は、撮像画像データに点状ブロック５２の画像が含まれると判定した場合、点状ブロック５２を検出した旨を誘導制御部１５４に通知する。
【００８０】
また、画像処理部１５３は、誘導制御部１５４から警告対象画像の検出を要求された場合に、記憶部１２２から警告対象画像を取得し、パターンマッチング処理により、入力される撮像画像データから警告対象物の画像を検出する。画像処理部１５３は、検出した警告対象物を誘導制御部１５４に通知する。
【００８１】
また、画像処理部１５３は、撮像画像データから、線状ブロック５１や点状ブロック５２の上、又はその近くに障害物等が置かれ、使用者Ｍが移動した場合の障害となる障害物が存在するか否かを判定する。障害物が存在すると判定した場合、画像処理部１５３は、パターンマッチング処理により障害物を特定する。画像処理部１５３は、特定した障害物の名称を誘導制御部１５４に出力する。
【００８２】
また、画像処理部１５３は、パターンマッチング処理により点状ブロック５２の画像を検出した場合、検出した点状ブロック５２の画像に含まれる点状の突起部５６の大きさに基づきに基づき、点状ブロック５２までの距離を推定する。画像処理部１５３は、推定した距離を示す距離情報を誘導制御部１５４に出力する。
【００８３】
誘導制御部１５４は、制御部１５０の統括制御を行う。
誘導制御部１５４は、撮像制御部１５２を制御して、撮像画像データを生成させる。
また、誘導制御部１５４は、画像処理部１５３を制御して、撮像画像データをパターンマッチング処理させる。誘導制御部１５４は、画像処理部１５３によるパターンマッチング処理の処理結果を入力する。誘導制御部１５４は、画像処理部１５３から処理結果として、移動可能方向を示す情報が入力された場合に、音声データ生成部１５６に移動可能方向を表す音声データの生成を指示する。また、誘導制御部１５４は、画像処理部１５３から入力される移動可能方向を示す情報に対応した表示の指示を表示制御部１５５に指示する。
【００８４】
図８は、左表示ユニット２４を点灯又は点滅させた状態を示す図であり、図９は、右表示ユニット２２を点灯又は点滅させた状態を示す図である。
移動可能方向を示す情報として左折可が検出された場合、誘導制御部１５４は、表示制御部１５５に、左折可の表示を指示する。表示制御部１５５は、ＯＬＥＤ駆動回路２４５を制御する制御信号を生成して、ＯＬＥＤ駆動回路２４５に出力する。ＯＬＥＤ駆動回路２４５は、表示制御部１５５から入力される制御信号に従って、ＯＬＥＤパネル２４３を点灯又は点滅させる。
また、移動可能方向を示す情報として右折可が検出された場合、誘導制御部１５４は、表示制御部１５５に、右折可の表示を指示する。表示制御部１５５は、ＯＬＥＤ駆動回路２２５を制御する制御信号を生成して、ＯＬＥＤ駆動回路２２５に出力する。ＯＬＥＤ駆動回路２２５は、表示制御部１５５から入力される制御信号に従って、ＯＬＥＤパネル２２３を点灯又は点滅させる。
また、移動可能方向を示す情報として直進可が検出された場合、誘導制御部１５４は、表示制御部１５５に、直進可能の表示を指示する。表示制御部１５５は、ＯＬＥＤ駆動回路２２５、２４５を制御する制御信号を生成して、ＯＬＥＤ駆動回路２２５、２４５に出力する。ＯＬＥＤ駆動回路２２５、２４５は、表示制御部１５５から入力される制御信号に従って、ＯＬＥＤパネル２２３、２４３を点灯又は点滅させる。
【００８５】
また、誘導制御部１５４は、画像処理部１５３から点状ブロック５２の画像を検出した旨の通知を入力した場合に、この点状ブロック５２が警告する警告対象物をカメラ６１で撮像するため、使用者Ｍに頭部を上下左右に移動させるように指示する音声データの生成を音声データ生成部１５６に指示する。
【００８６】
表示制御部１５５は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１５５は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１５５は、画像処理部１５３が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御やその他の処理を行う。
【００８７】
また、表示制御部１５５は、誘導制御部１５４の指示に従って、右表示ユニット２２及び左表示ユニット２４を制御する誘導情報を生成する。表示制御部１５５は、生成した誘導情報を含む制御信号を画像表示部２０に出力する。ＯＬＥＤ駆動回路２２５、２４５は、表示制御部１５４から入力される制御信号に従って、ＯＬＥＤパネル２２３、２４３を点灯又は消灯させる。
【００８８】
音声データ生成部１５６は、デジタル音声データを生成し、音声コーデック１８０に出力する。デジタル音声データは、音声コーデック１８０によりアナログ音声データに変換され、音声Ｉ／Ｆ１８２を介して右イヤホン３２及び左イヤホン３４により出力される。
音声データ生成部１５６が生成するデジタル音声データには、画像処理部１５３が検出する警告対象物の名称を表す音声データや、点状ブロック５２が検出された際に、警告対象物を検出するため、使用者Ｍに頭部を上や下に動かすように指示する音声データが含まれる。
【００８９】
図１０は、ＨＭＤ１００の動作を示すフローチャートである。
誘導制御部１５４は、操作部１１０から処理開始を指示する操作信号が入力されたか否かを判定する（ステップＳ１）。否定判定の場合（ステップＳ１／ＮＯ）、誘導制御部１５４は、処理の開始を指示する操作信号が入力されるまで待機する。また、肯定判定の場合（ステップＳ１／ＹＥＳ）、誘導制御部１５４は、撮像制御部１５２に撮像画像データを生成させる。撮像制御部１５２は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成する。撮像制御部１５２は、生成した撮像画像データを撮像画像データベース１２５に記憶させる。
【００９０】
次に、誘導制御部１５４は、撮像制御部１５２により生成される撮像画像データを、撮像画像データベース１２５から取得して（ステップＳ２）画像処理部１５３に出力し、画像処理部１５３にパターンマッチング処理を実行させる。画像処理部１５３は、記憶部１２２からパターン画像を読み出し、撮像画像データに対するパターンマッチング処理を行う（ステップＳ３）。画像処理部１５３は、撮像画像データから線状ブロック５１の画像を検出した場合（ステップＳ４／ＹＥＳ）、線状の突起部５５の方向を判定して、線状ブロック５１が示す移動可能方向を検出する（ステップＳ５）。画像処理部１５３は、判定した移動可能方向を示す情報を誘導制御部１５４に出力する。誘導制御部１５４は、画像処理部１５３から移動可能方向を示す情報が入力されると、入力された移動可能方向に対応した表示の指示を表示制御部１５５に出力する。表示制御部１５５は、誘導制御部１５４の指示に従って、右表示ユニット２２及び左表示ユニット２４の少なくとも一方を制御する誘導情報を生成する。表示制御部１５５は、生成した誘導情報を含む制御信号を画像表示部２０に出力し、画像表示部２０に移動可能方向を表示させる（ステップＳ６）
画像表示部２０は、表示制御部１５５から右折可を示す制御信号が入力された場合、ＯＬＥＤ駆動回路２２５が制御信号に従って、ＯＬＥＤパネル２２３を点灯又は点滅させる。また、画像表示部２０は、表示制御部１５５から左折可を示す制御信号が入力された場合、ＯＬＥＤ駆動回路２４５が制御信号に従って、ＯＬＥＤパネル２４３を点灯又は点滅させる。また、画像表示部２０は、表示制御部１５５から直進可を示す制御信号が入力された場合、ＯＬＥＤ駆動回路２４５が制御信号に従って、ＯＬＥＤパネル２２３、２４３を所定間隔で点灯又は点滅させる。
【００９１】
また、画像処理部１５３は、線状ブロック５１の画像を検出できなかった場合（ステップＳ４／ＮＯ）、パターンマッチング処理により、撮像画像データに点状ブロック５２の画像が含まれるか否かを判定する（ステップＳ７）。否定判定の場合（ステップＳ７／ＮＯ）、画像処理部１５３は、いずれの誘導用ブロック５０の画像も検出されない旨を誘導制御部１５４に通知する。誘導制御部１５４は、いずれの誘導用ブロック５０の画像も検出されなかった場合（ステップＳ７／ＮＯ）、ステップＳ２の処理に戻り、撮像制御部１５２により新たに生成される撮像画像データを取得する。
また、画像処理部１５３は、使用者Ｍが移動する誘導用ブロック５０の上、又は誘導用ブロック５０の近くに障害物が存在するか否かを判定してもよい。画像処理部１５３は、障害物が検出された場合には、検出された障害物の名称を示す情報を誘導制御部１５４に出力する。誘導制御部１５４は、障害物の名称を示す音声データを音声データ生成部１５６に生成させ、右イヤホン３２及び左イヤホン３４から出力させる。
【００９２】
画像処理部１５３は、撮像画像データから点状ブロック５２の画像を検出した場合（ステップＳ７／ＹＥＳ）、検出した点状ブロック５２の画像に含まれる点状の突起部５６の大きさに基づきに基づき、点状ブロック５２までの距離を推定する（ステップＳ８）。画像処理部１５３は、推定した距離情報を誘導制御部１５４に出力する。
【００９３】
誘導制御部１５４は、画像処理部１５３から入力される距離情報に基づき、使用者Ｍが点状ブロック５２に到着したか否かを判定する（ステップＳ９）。使用者Ｍが点状ブロック５２に到着していないと判定すると（ステップＳ９／ＮＯ）、誘導制御部１５４は、入力される距離情報を表示制御部１５５に出力する。表示制御部１５５は、誘導制御部１５４から入力される距離情報に基づき、距離に対応した表示を行う（ステップＳ１０）。表示制御部１５５は、例えば、使用者Ｍと点状ブロック５２との距離が近くなるほど、ＯＬＥＤパネル２２３、２４３の点滅間隔が短くなるように画像表示部２０を制御する制御する制御信号を生成し、画像表示部２０に出力する。
例えば、表示制御部１５５は、使用者Ｍと点状ブロック５２との距離が５メートルである場合、５秒間隔でＯＬＥＤパネル２２３及びＯＬＥＤパネル２４３を点滅させる。また、表示制御部１５５は、使用者Ｍと点状ブロック５２との距離が３メートルである場合、３秒間隔でＯＬＥＤパネル２２３及びＯＬＥＤパネル２４３を点滅させる。使用者Ｍは、ＯＬＥＤパネル２２３、２４３の点滅間隔の変化に基づいて、点状ブロック５２までの距離を認識することができる。
【００９４】
また、誘導制御部１５４は、画像処理部１５３から入力される距離情報に基づき、使用者Ｍが点状ブロック５２に到着したと判定すると（ステップＳ９／ＹＥＳ）、表示制御部１５５に、画像表示部２０の表示を消灯させるように指示する（ステップＳ１１）。表示制御部１５５は、画像表示部２０への制御信号の出力を停止して、ＯＬＥＤパネル２２３、２４３を消灯させる。
【００９５】
次に、誘導制御部１５４は、音声データ生成部１５６に、デジタル音声データの生成を指示する。音声データ生成部１５６が生成するデジタル音声データは、点状ブロック５２が検出された旨、警告対象物を検出するため、使用者Ｍに頭部を上下左右に動かすように指示する旨を示すデータが含まれる。音声データ生成部１５６は、生成したデジタル音声データを音声コーデック１８０に出力する。音声コーデック１８０は、入力されるデジタル音声データをアナログ音声データに変換し、音声Ｉ／Ｆ１８２を介して右イヤホン３２及び左イヤホン３４から出力する（ステップＳ１２）。
【００９６】
次に、誘導制御部１５４は、撮像制御部１５２により生成される撮像画像データを、撮像画像データベース１２５から取得して（ステップＳ１３）画像処理部１５３に出力し、画像処理部１５３にパターンマッチング処理を実行させる。画像処理部１５３は、記憶部１２２から警告対象画像を取得し、パターンマッチング処理により、入力される撮像画像データから警告対象物を特定する（ステップＳ１４）。画像処理部１５３は、特定した警告対象物の名称を誘導制御部１５４に出力する。
【００９７】
誘導制御部１５４は、画像処理部１５３より入力される警告対象物の名称を音声データ生成部１５６に出力する。音声データ生成部１５６は、警告対象物の名称を示すデジタル音声データを生成し、音声コーデック１８０、音声Ｉ／Ｆ１８２を介して右イヤホン３２及び左イヤホン３４から出力する（ステップＳ１５）。従って、使用者Ｍが移動可能な方向に存在する警告対象物の名称が右イヤホン３２及び左イヤホン３４から音声で通知される。このため、使用者Ｍは、階段、横断歩道等の警告対象物が進行方向に存在することを認識することができ、使用者Ｍの移動の安全性を高めることができる。次に、誘導制御部１５４は、操作部１１０が操作され、処理終了を指示する操作信号が入力されたか否かを判定する（ステップＳ１６）。否定判定の場合（ステップＳ１６／ＮＯ）、誘導制御部１５４は、ステップＳ２の処理に移行し、撮像制御部１５２に撮像画像データを生成させる。また、肯定判定の場合（ステップＳ１６／ＹＥＳ）、誘導制御部１５４は、この処理フローを終了させる。
【００９８】
以上説明したように本発明の移動支援装置及び移動支援方法を適用した実施形態は、カメラ６１と、画像処理部１５３と、誘導制御部１５４とを備える。
カメラ６１は、路面を撮像する。画像処理部１５３は、カメラ６１の撮像画像データをもとに、使用者Ｍの移動可能方向の指標となる指標情報を検出する。誘導制御部１５４は、画像処理部１５３が検出した指標情報に基づき、使用者Ｍの移動を誘導する誘導情報を出力する。従って、簡易な構成で、使用者Ｍの移動を支援することができる。
【００９９】
また、画像処理部１５３は、カメラ６１の撮像画像データをもとに誘導用ブロック５０の画像を抽出し、指標情報を検出する。従って、視覚障害者誘導ブロックの画像から検出した指標情報に基づき、使用者Ｍを誘導することができる。
【０１００】
また、カメラ６１は、使用者Ｍの頭部に装着される画像表示部２０に設けられる。従って、使用者Ｍの頭部に装着された画像表示部２０のカメラ６１により撮像画像が撮像される。従って、使用者Ｍの目線から外景方向を撮像するように調整することができる。
【０１０１】
また、ＨＭＤ１００は、使用者Ｍの頭部に装着され、使用者Ｍの左目に対応する左表示ユニット２４と、使用者Ｍの右目に対応する右表示ユニット２２とを備える。誘導制御部１５４は、画像処理部１５３が検出した指標情報に基づき、左表示ユニット２４と、右表示ユニット２２との少なくとも一方の表示を制御する。従って、左表示ユニット２４と右表示ユニット２２との少なくとも一方の表示を、撮像画像データから検出される指標情報に対応した表示として、使用者を誘導することができる。
【０１０２】
また、表示制御部１５５は、左折可を示す指標情報が検出された場合に、左表示ユニット２４を点滅又は点灯させ、右折可を示す指標情報が検出された場合に、右表示ユニット２２を点滅又は点灯させる。さらに、表示制御部１５５は、直進可を示す指標情報が検出された場合に、左表示ユニット２４と右表示ユニット２２とを点滅又は点灯させる。従って、左表示ユニット２４及び右表示ユニット２２の点灯又は点滅によって移動可能方向を使用者Ｍに示すことができる。
【０１０３】
また、左表示ユニット２４及び右表示ユニット２２が、画像光を発して使用者Ｍに画像を視認させる表示部であることにより、表示部の表示により移動可能方向を使用者Ｍに示すことができる。
【０１０４】
また、誘導制御部１５４は、カメラ６１の撮像画像をもとに誘導用ブロック５０の画像が検出された場合に、カメラ６１の撮像画像データをもとに警告対象物の画像を検出し、検出結果を出力する。従って、誘導用ブロック５０の画像が示す警告対象物を使用者Ｍに認識させることができる。
【０１０５】
また、誘導制御部１５４は、カメラ６１の撮像画像データをもとに誘導用ブロックの画像が検出された場合に、撮像画像データをもとに誘導用ブロック５０までの距離を算出し、算出した距離に対応した出力を行う。従って、使用者Ｍに、誘導用ブロック５０までの距離を認識させることができる。
【０１０６】
また、ＨＭＤ１００は、音声を出力する右イヤホン３２及び左イヤホン３４を備える。誘導制御部１５４は、カメラ６１の撮像画像データをもとに誘導用ブロック５０に重なる障害物が検出された場合に、障害物が存在する旨を右イヤホン３２及び左イヤホン３４から音声出力する。従って、使用者Ｍに、移動可能な方向に存在する障害物を認識させることができる。
【０１０７】
上記実施形態は、本発明の好適な実施の形態である。ただし、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した実施形態では、右表示ユニット２２及び左表示ユニット２４を点灯又は点滅させ、使用者Ｍに、移動可能方向を通知する例を示したが、前部フレーム２７の右導光板２６及び左導光板２８上に、それぞれ、ＬＥＤ等を備える発光部を設けてもよい。表示制御部１５５は、誘導用ブロック５０の画像から右折可が検出された場合、右導光板２６上に設けた発光部を点灯又は点滅させる。また、表示制御部１５５は、誘導用ブロック５０の画像から左折可が検出された場合、左導光板２８上に設けた発光部を点灯又は点滅させる。また、表示制御部１５５は、誘導用ブロック５０の画像から直進可が検出された場合、右導光板２６及び左導光板２８上に設けた発光部を点灯又は点滅させる。
前部フレーム２７上に設けた発光部を点灯又は点滅させることで、ＨＭＤ１００の使用者Ｍだけでなく、使用者Ｍの周囲の者にも使用者Ｍの移動可能方向を通知することができる。従って、使用者Ｍの周囲の者に、使用者Ｍの移動可能方向を認識させることができ、場合によっては、使用者Ｍの移動を支援させることもできる。
【０１０８】
また、移動可能方向に対応した色を右表示ユニット２２及び左表示ユニット２４に表示させて、使用者Ｍに、移動可能方向を通知してもよい。例えば、移動可能方向として右折可を通知する場合には、右表示ユニット２２及び左表示ユニット２４を赤色で点灯又は点滅させ、左折可を通知する場合は、右表示ユニット２２及び左表示ユニット２４を青色で点灯又は点滅させる。また、移動可能方向として直進可を通知する場合には、右表示ユニット２２及び左表示ユニット２４を黄色で点灯又は点滅させる。
【０１０９】
また、移動可能な方向を使用者Ｍに通知する方法として、右折可、左折可、直進可の各場合に対応したバイブレーター１９の振動パターンを用意し、バイブレーター１９の振動パターンにより移動可能方向を使用者Ｍに通知してもよい。
【０１１０】
また、上記実施形態において、ＨＭＤ１００は、画像表示部２０の前部フレーム２７に固定されるカメラ６１を備える構成とした。本発明はこれに限定されず、例えば、画像表示部２０に立設されたカメラ６１を用いてもよいし、カメラ６１を画像表示部２０とは別体で構成してもよい。この場合、画像表示部２０の表示領域Ｖとカメラ６１の画角Ｃとを対応付けることが可能であればよい。
【０１１１】
また、例えば、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮像した実空間の画像と仮想画像とを組み合わせるＭＲ（Mixed Reality）表示、或いは仮想画像を表示するＶＲ（Virtual Reality）表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データ又はアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
【０１１２】
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。
【０１１３】
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０と分離して構成され、制御装置１０と画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。
【０１１４】
また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
【０１１５】
また、図６等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１又は制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置や記録媒体に記憶されたプログラムを通信部１１７、外部Ｉ／Ｆ１８４、外部メモリーＩ／Ｆ１８６等により取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者Ｉ／Ｆ（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１４０と同様のプロセッサーが画像表示部２０に配置されてもよいし、制御装置１０が備えるメインプロセッサー１４０と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
【符号の説明】
【０１１６】
１０…制御装置、１４…トラックパッド、２０…画像表示部（表示部）、２２…右表示ユニット（第２の発光部）、２４…左表示ユニット（第１の発光部）、２６…右導光板、２８…左導光板、３２…右イヤホン（音声出力部）、３４…左イヤホン（音声出力部）、５０…視覚障害者誘導用ブロック、５１…線状ブロック、５２…点状ブロック、５５…突起部、５６…突起部、６１…カメラ（撮像部）、６３…マイク、１００…ＨＭＤ、１１０…操作部、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部、１２３…設定データ、１２４…パターンマッチングデータ、１２５…撮像画像データベース、１４０…メインプロセッサー、１５０…制御部、１５１…ＯＳ、１５２…撮像制御部、１５３…画像処理部（検出部）、１５４…誘導制御部（制御部）、１５５…表示制御部（制御部）、１５６…音声データ生成部、１８４…外部Ｉ／Ｆ、１８６…外部メモリーＩ／Ｆ、１８８…ＵＳＢコネクター。
【図１】
2017146726.tif 000003
【図２】
2017146726.tif 000004
【図３】
2017146726.tif 000005
【図４】
2017146726.tif 000006
【図５】
2017146726.tif 000007
【図６】
2017146726.tif 000008
【図７】
2017146726.tif 000009
【図８】
2017146726.tif 000010
【図９】
2017146726.tif 000011
【図１０】
2017146726.tif 000012