(57)【要約】【課題】不正スタートを検出して、競技のスタートを適切に管理する。【解決手段】不正スタート検出システム１としてのＨＭＤ１００は、審判員Ｊｕの頭部に装着される頭部装着型の画像表示部２０と、競技者ＯＢが静止した状態にあるか否かを判定する制御装置１０とを備える。制御装置１０は、判定結果を示す表示画像を画像表示部２０に表示させる。【選択図】図２
2017140134.tif 000002
【特許請求の範囲】
【請求項１】
使用者の頭部に装着される頭部装着型の表示部を有する表示装置と、
判定対象が静止した状態にあるか否かを判定する判定装置と、を備え、
前記表示装置は、前記判定装置の判定結果を示す表示画像を前記表示部に表示させる制御部を備えること、
を特徴とする不正スタート検出システム。
【請求項２】
前記判定対象を撮像する撮像装置を備え、
前記判定装置は、前記撮像装置の撮像画像に基づいて、前記判定対象が静止した状態にあるか否かを判定する、ことを特徴とする請求項１記載の不正スタート検出システム。
【請求項３】
前記表示部は、外光を透過させることにより実空間の外景を前記使用者に視認させ、前記外景とともに視認可能に前記表示画像を表示するシースルー型の表示部であり、
前記制御部は、前記判定装置の判定結果を、前記判定対象のそれぞれの判定結果に対応する表示形態で前記表示部に表示させること、を特徴とする請求項１又は２記載の不正スタート検出システム。
【請求項４】
前記制御部は、前記判定装置により静止した状態にはないと判定される前記判定対象に対応する前記表示画像と、前記判定装置により静止した状態にあると判定される前記判定対象に対応する前記表示画像とを、異なる色で前記表示部に表示させること、を特徴とする請求項３記載の不正スタート検出システム。
【請求項５】
前記判定装置は、第１の撮像時点で前記撮像装置が撮像する第１撮像画像と、前記第１の撮像時点よりも後の第２の撮像時点で前記撮像装置が撮像する第２撮像画像との差分を抽出することにより、前記判定対象が静止した状態にあるか否かを判定すること、を特徴とする請求項１から４のいずれかに記載の不正スタート検出システム。
【請求項６】
前記判定装置は、前記撮像装置が撮像する撮像画像から前記判定対象が有するマーカーを検出し、前記第１撮像画像における前記マーカーの位置と前記第２撮像画像における前記マーカーの位置との差に基づいて、前記判定対象が静止した状態にあるか否かを判定すること、を特徴とする請求項５記載の不正スタート検出システム。
【請求項７】
前記判定装置には、合図音出力装置がスタートの合図音を出力する合図音出力時点を基準としてフライング判定期間が設定され、
前記判定装置は、前記フライング判定期間内に、静止した状態でないと判定した前記判定対象について、フライングを判定すること、を特徴とする請求項１から４のいずれかに記載の不正スタート検出システム。
【請求項８】
前記撮像装置は予め設定された周期で撮像を実行し、
前記判定装置は、前記合図音出力時点を基準として定められる第１の時点から、前記第１の時点よりも所定時間後の第２の時点までの間に前記撮像装置が撮像する複数の撮像画像に基づき、前記判定対象が静止した状態にあるか否かを判定すること、を特徴とする請求項７記載の不正スタート検出システム。
【請求項９】
前記撮像装置は予め設定された周期で撮像を実行し、
前記判定装置は、前記合図音出力時点を基準として定められる第１の時点で前記撮像装置が撮像する第１合図後撮像画像と、前記第１の時点よりも所定時間後の第２の時点で前記撮像装置が撮像する第２合図後撮像画像とに基づき、前記判定対象が静止した状態にあるか否かを判定すること、を特徴とする請求項７記載の不正スタート検出システム。
【請求項１０】
前記判定装置は、前記合図音出力装置が出力する前記合図音を検出する検出部を備え、前記検出部が前記合図音を検出するタイミングを前記合図音出力時点として、前記判定対象のフライングを判定すること、を特徴とする請求項７から９のいずれかに記載の不正スタート検出システム。
【請求項１１】
前記判定装置は、前記合図音出力装置に接続され、前記合図音出力装置が出力する前記合図音の出力信号が入力される入力部を備え、前記入力部に前記出力信号が入力されるタイミングを前記合図音出力時点として、前記判定対象のフライングを判定すること、を特徴とする請求項７から９のいずれかに記載の不正スタート検出システム。
【請求項１２】
複数の前記判定対象に対応して設置される複数の前記撮像装置を備え、
それぞれの前記撮像装置は、複数の前記判定対象のそれぞれを撮像する、ことを特徴とする請求項１から８のいずれかに記載の不正スタート検出システム。
【請求項１３】
前記判定対象により装着され、前記判定対象の動きを検出する動き検出装置を備え、
前記判定装置は、前記動き検出装置の検出結果に基づいて、前記判定対象が静止した状態にあるか否かを判定すること、を特徴とする請求項１記載の不正スタート検出システム。
【請求項１４】
前記表示装置は、前記表示部と前記判定装置とを備えて構成されること、を特徴とする請求項１から１３のいずれかに記載の不正スタート検出システム。
【請求項１５】
前記判定装置と、前記表示装置とは、別体として構成されること、を特徴とする請求項１から１３のいずれかに記載の不正スタート検出システム。
【請求項１６】
判定対象が静止した状態にあるか否かを判定装置により判定するステップと、
前記判定装置の判定結果を示す表示画像を、使用者の頭部に装着される頭部装着型の表示装置に表示させるステップと、
を有することを特徴とする不正スタート検出システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、不正スタート検出システム、及び、不正スタート検出システムの制御方法に関する。
【背景技術】
【０００２】
従来、競技者の不正スタートを検出する装置が知られている（例えば、特許文献１参照）。
特許文献１記載のフライング検出装置は、選手の手の位置の変化を動作信号として検出し、号砲の鳴動を号砲信号に変換し、号砲信号と動作信号との受信時刻の差が設定許容時間以下の場合に不正スタートとして警告を出力する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２０４８７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１は、競技者の手の位置の変化を検出して、不正スタートを検出する。このため、不正スタートを検出可能な競技が限られてしまう。
本発明は、上記事情に鑑みてなされたものであり、不正スタートを検出して、競技のスタートを適切に管理する不正スタート検出システム、及び、不正スタート検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明は、使用者の頭部に装着される頭部装着型の表示部を有する表示装置と、判定対象が静止した状態にあるか否かを判定する判定装置と、を備え、前記表示装置は、前記判定装置の判定結果を示す表示画像を前記表示部に表示させる制御部を備えることを特徴とする。
この構成によれば、判定装置により判定対象が静止した状態にあるか否かが判定され、判定結果を示す表示画像が頭部装着型の表示装置に表示される。従って、競技のスタートを適切に管理することができる。
【０００６】
また、本発明は、上記不正スタート検出システムにおいて、前記判定対象を撮像する撮像装置を備え、前記判定装置は、前記撮像装置の撮像画像に基づいて、前記判定対象が静止した状態にあるか否かを判定することを特徴とする。
本発明によれば、撮像装置の撮像する撮像画像に基づいて、判定対象が静止した状態にあるか否かを判定することができる。このため、簡易な構成により判定対象が静止した状態にあるか否かを判定することができる。
【０００７】
また、本発明は、上記不正スタート検出システムにおいて、前記表示部は、外光を透過させることにより実空間の外景を前記使用者に視認させ、前記外景とともに視認可能に前記表示画像を表示するシースルー型の表示部であり、前記制御部は、前記判定装置の判定結果を、前記判定対象のそれぞれの判定結果に対応する表示形態で前記表示部に表示させることを特徴とする。
本発明によれば、判定装置の判定結果が、各判定対象に対する判定結果に対応する表示形態で表示部に表示される。従って、各々の判定対象に対する判定の結果を容易に認識することができる。
【０００８】
また、本発明は、上記不正スタート検出システムにおいて、前記制御部は、前記判定装置により静止した状態にはないと判定される前記判定対象に対応する前記表示画像と、前記判定装置により静止した状態にあると判定される前記判定対象に対応する前記表示画像とを、異なる色で前記表示部に表示させることを特徴とする。
本発明によれば、判定装置により静止した状態にはないと判定される判定対象に対応する表示画像と、判定装置により静止した状態にあると判定される判定対象に対応する表示画像とが異なる色で表示される。従って、各々の判定対象に対する判定の結果を容易に認識することができる。
【０００９】
また、本発明は、上記不正スタート検出システムにおいて、前記判定装置は、第１の撮像時点で前記撮像装置が撮像する第１撮像画像と、前記第１の撮像時点よりも後の第２の撮像時点で前記撮像装置が撮像する第２撮像画像との差分を抽出することにより、前記判定対象が静止した状態にあるか否かを判定することを特徴とする。
本発明によれば、第１の撮像時点で撮像された第１撮像画像と、第２の撮像時点で撮像された第２撮像画像との差分に基づき、判定対象が静止した状態にあるか否かが判定される。従って、判定対象が静止した状態にあるか否かを、容易にかつ精度よく判定することができる。
【００１０】
また、本発明は、上記不正スタート検出システムにおいて、前記判定装置は、前記撮像装置が撮像する撮像画像から前記判定対象が有するマーカーを検出し、前記第１撮像画像における前記マーカーの位置と前記第２撮像画像における前記マーカーの位置との差に基づいて、前記判定対象が静止した状態にあるか否かを判定することを特徴とする。
本発明によれば、第１撮像画像におけるマーカーの位置と第２撮像画像におけるマーカーの位置との差に基づいて、判定対象が静止した状態にあるか否かが判定される。従って、判定対象が静止した状態にあるか否かをより精度よく、かつ迅速に判定することができる。
【００１１】
また、本発明は、前記判定装置には、合図音出力装置がスタートの合図音を出力する合図音出力時点を基準としてフライング判定期間が設定され、前記判定装置は、前記フライング判定期間内に、静止した状態でないと判定した前記判定対象について、フライングを判定することを特徴とする。
本発明によれば、スタートの合図を基準としてフライング期間が設定され、フライング判定期間内に、静止した状態にないと判定した判定対象がフライングと判定される。従って、判定対象のフライングを精度よく判定することができる。
【００１２】
また、本発明は、上記不正スタート検出システムにおいて、前記撮像装置は予め設定された周期で撮像を実行し、前記判定装置は、前記合図音出力時点を基準として定められる第１の時点から、前記第１の時点よりも所定時間後の第２の時点までの間に前記撮像装置が撮像する複数の撮像画像に基づき、前記判定対象が静止した状態にあるか否かを判定することを特徴とする。
本発明によれば、合図音出力時点を基準として定められる第１の時点から第２の時点までに撮像された複数の撮像画像に基づき、判定対象が静止した状態にあるか否かが判定される。従って、複数の撮像画像に基づいて、判定対象が静止した状態にあるか否かを判定することができ、判定対象が静止した状態にあるか否かを精度よく判定することができる。
【００１３】
また、本発明は、上記不正スタート検出システムにおいて、前記撮像装置は予め設定された周期で撮像を実行し、前記判定装置は、前記合図音出力時点を基準として定められる第１の時点で前記撮像装置が撮像する第１合図後撮像画像と、前記第１の時点よりも所定時間後の第２の時点で前記撮像装置が撮像する第２合図後撮像画像とに基づき、前記判定対象が静止した状態にあるか否かを判定することを特徴とする。
本発明によれば、合図音出力時点を基準として定められる第１の時点で撮像された第１合図後撮像画像と、第２の時点で撮像された第２合図後撮像画像とに基づき、判定対象が静止した状態にあるか否かが判定される。従って、判定対象が静止した状態にあるか否かを２つの撮像画像から判定することができ、判定の処理負荷を軽減することができる。
【００１４】
また、本発明は、上記不正スタート検出システムにおいて、前記判定装置は、前記合図音出力装置が出力する前記合図音を検出する検出部を備え、前記検出部が前記合図音を検出するタイミングを前記合図音出力時点として、前記判定対象のフライングを判定することを特徴とする。
本発明によれば、合図音出力装置と判定装置とが接続されていなくても、合図音出力装置が出力する合図音を検出し、判定対象のフライングを判定することができる。
【００１５】
また、本発明は、上記不正スタート検出システムにおいて、前記判定装置は、前記合図音出力装置に接続され、前記合図音出力装置が出力する前記合図音の出力信号が入力される入力部を備え、前記入力部に前記出力信号が入力されるタイミングを前記合図音出力時点として、前記判定対象のフライングを判定することを特徴とする。
本発明によれば、合図音出力装置が出力する合図音の出力信号が入力されるタイミングを合図音出力時点として、判定対象のフライングが判定される。従って、フライングの判定精度を高めることができる。
【００１６】
また、本発明は、上記不正スタート検出システムにおいて、複数の前記判定対象に対応して設置される複数の前記撮像装置を備え、それぞれの前記撮像装置は、複数の前記判定対象のそれぞれを撮像することを特徴とする。
本発明によれば、複数の判定対象が、複数の撮像装置のそれぞれにより撮像される。従って、判定対象が複数であっても、判定対象のそれぞれが静止した状態にあるか否かを精度よく判定することができる。
【００１７】
また、本発明は、上記不正スタート検出システムにおいて、前記判定対象により装着され、前記判定対象の動きを検出する動き検出装置を備え、前記判定装置は、前記動き検出装置の検出結果に基づいて、前記判定対象が静止した状態にあるか否かを判定することを特徴とする。
本発明によれば、判定対象に装着される動き検出装置の検出結果に基づき、判定対象が静止した状態にあるか否かが判定される。従って、判定対象が静止した状態にあるか否かの判定精度を高めることができる。
【００１８】
また、本発明は、上記不正スタート検出システムにおいて、前記表示装置は、前記表示部と前記判定装置とを備えて構成されることを特徴とする。
本発明によれば、表示装置を、表示部と判定装置とを備える構成とすることができる。従って、判定対象が静止した状態にあるか否かを表示装置が判定して、判定結果を表示装置に表示させることができる。
【００１９】
また、本発明は、上記不正スタート検出システムにおいて、前記判定装置と、前記表示装置とは、別体として構成されることを特徴とする。
本発明によれば、判定対象が静止した状態にあるか否かの判定と、判定結果の表示とを別々の装置で行うことができる。
【００２０】
本発明は、判定対象が静止した状態にあるか否かを判定装置により判定するステップと、前記判定装置の判定結果を示す表示画像を、使用者の頭部に装着される頭部装着型の表示装置に表示させるステップとを有することを特徴とする。
この構成によれば、判定装置により判定対象が静止した状態にあるか否かが判定され、判定結果を示す表示画像が頭部装着型の表示装置に表示される。従って、競技のスタートを適切に管理することができる。
【図面の簡単な説明】
【００２１】
【図１】不正スタート検出システムのシステム構成を示す図。
【図２】不正スタート検出システムの適用例を示す図。
【図３】通信端末及び撮像装置の構成を示すブロック図。
【図４】ＨＭＤの外観構成を示す説明図。
【図５】画像表示部の光学系の構成を示す図。
【図６】画像表示部の表示領域を示す説明図。
【図７】画像表示部の撮像範囲を示す説明図。
【図８】ＨＭＤを構成する各部のブロック図。
【図９】制御部及び記憶部のブロック図。
【図１０】スタートラインについた競技者ＯＢを示す図。
【図１１】判定部のフライングの判定方法を説明するための図。
【図１２】判定部のフライングの判定方法を説明するための図。
【図１３】フライング判定結果の表示例。
【図１４】ＨＭＤの動作を示すフローチャート。
【図１５】サーバーを備える不正スタート検出システムの構成図。
【発明を実施するための形態】
【００２２】
図１は、本発明を適用した実施形態の不正スタート検出システム１の構成を示す図である。
不正スタート検出システム１は、複数の通信端末３００−１、３００−２、…、３００−ｎ（ｎは任意の自然数）と、複数の撮像装置４００−１、４００−２、…、４００ｎ（ｎは任意の自然数）とを備える。また、不正スタート検出システム１は、ＨＭＤ（Head Mounted Display：頭部装着型表示装置）１００と、合図音出力装置５０とを備える。
以下では、通信端末３００−１、３００−２、・・・３００−ｎを区別する必要がなく、通信端末３００−１、３００−２、・・・３００−ｎを総称する場合に、通信端末３００と表記する。同様に、撮像装置４００−１、４００−２、・・・、４００−ｎを総称する場合に、撮像装置４００と表記する。
【００２３】
撮像装置４００は、通信端末３００に接続され、予め設定された周期で撮像を実行する。
図１には、１台の通信端末３００に、１台の撮像装置４００が接続される場合を示すが、１台の通信端末３００に、複数の撮像装置４００が接続される構成であってもよい。
また、図１には、通信端末３００と撮像装置４００とを有線で接続した場合を示すが、通信端末３００と撮像装置４００とを無線接続してもよい。
【００２４】
ＨＭＤ１００は、使用者（ユーザー）が頭部に装着して使用する。ＨＭＤ１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。画像表示部２０は、本発明の「表示部」として機能する。
ＨＭＤ１００には、合図音出力装置５０が有線接続される。
合図音出力装置５０は、競技者にスタートを報知するための装置であり、競技のスタート合図である合図音を出力する。また、合図音出力装置５０は、合図音の出力と同時に、合図音が出力されたことを通知するスタート信号をＨＭＤ１００に出力する。
本実施形態では、ＨＭＤ１００と通信端末３００とを無線で接続した構成を示すが、ＨＭＤ１００と通信端末３００とを有線接続することもできる。また、ＨＭＤ１００と合図音出力装置５０とを無線で接続してもよいし、ＨＭＤ１００が、合図音出力装置５０が出力する合図音を検出して、後述する処理を開始する構成を備えていれば、ＨＭＤ１００と合図音出力装置５０とは接続していなくてもよい。
【００２５】
図２は、不正スタート検出システム１の適用例を示す図である。
撮像装置４００は、スタートラインについた競技者ＯＢを撮像する。
本実施形態では、撮像装置４００は、各競技者の競技レーンに対応して１台ずつ配置され、１台の撮像装置４００により１人の競技者ＯＢを撮像する。
図２に示す構成以外に、１台の撮像装置４００によりすべての競技者ＯＢを撮像する構成であってもよいし、１台の撮像装置４００が競技者ＯＢ２人ずつを撮像する構成であってもよい。
【００２６】
撮像装置４００は、ＣＣＤ（Charge Coupled Device）イメージセンサー、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等の撮像素子を備えるデジタルカメラである。カメラ６１は単眼カメラであってもよいし、ステレオカメラで構成してもよい。
各撮像装置４００は、スタートラインについた競技者ＯＢを前方から撮像し、競技者ＯＢの全体像を撮像するように調整される。撮像装置４００の撮像方向及び撮像範囲は、これに限定されるものではなく、撮像画像に基づき不正なスタート（以下、フライングという）を判定可能な位置であればよい。
【００２７】
ＨＭＤ１００は、競技のスタートを指示する審判員Ｊｕの頭部に装着される。ＨＭＤ１００は、撮像装置４００の撮像画像に基づき、競技者ＯＢがスタート合図の直前に静止した状態にあるか否かを判定する。ＨＭＤ１００は、判定結果をＨＭＤ１００の備える画像表示部２０に表示させる。また、ＨＭＤ１００は、合図音出力装置５０からスタート合図の出力と共に入力されるスタート信号に基づきフライング期間を設定し、設定したフライング期間における競技者ＯＢのフライングを判定する。フライング期間については後述する。
【００２８】
図３は、通信端末３００と、撮像装置４００との構成を示すブロック図である。参考のため、図３にはＨＭＤ１００の要部を図示する。
複数の通信端末３００は、同一の構成を有し、複数の撮像装置４００は、同一の構成を有する。このため、図３には、１台の通信端末３００及び１台の撮像装置４００を図示する。
【００２９】
通信端末３００は、通信端末制御部３０１を備える。通信端末制御部３０１には、メモリー３１１及び不揮発性記憶部３１２が接続される。また、通信端末３００は、ＨＭＤ通信部３１５及び外部インターフェース（以下、インターフェースをＩ／Ｆと略記する）３１７を備える。
【００３０】
通信端末制御部３０１は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭを備え、これらを統合したマイコンで構成してもよい。通信端末制御部３０１は、不揮発性記憶部３１２が記憶するプログラムを不揮発性記憶部３１２に展開して、展開したプログラムを実行することにより、ＨＭＤ通信部３１５及び外部Ｉ／Ｆ部３１７を制御する。
【００３１】
メモリー３１１は、通信端末制御部３０１のＣＰＵが実行するプログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。
不揮発性記憶部３１２は、通信端末制御部３０１が実行するプログラムや、通信端末制御部３０１が処理するデータを記憶する。また、不揮発性記憶部３１２は、通信端末３００が撮像画像データを送信する処理に関する設定情報を記憶する。この設定情報には、撮像画像データを送信する送信先、撮像画像データのフォーマット、送信タイミング等を指定する情報等が含まれる。また、設定情報には、通信端末３００に付与された固有の識別情報や、通信端末３００のネットワークアドレス等の情報が含まれる。
【００３２】
ＨＭＤ通信部３１５は、ＨＭＤ１００の通信部１１７との間で、無線通信を実行する。
ＨＭＤ通信部３１５は、アンテナ３１５ａを備える。また、ＨＭＤ通信部３１５は、図示しないＲＦ回路、ベースバンド回路、通信制御回路を備える。ＨＭＤ通信部３１５はデジタル無線通信を行う構成であってもよいし、通信部１１７の一部をアナログ無線回路として構成してもよい。
【００３３】
ＨＭＤ通信部３１５が送受信する無線信号の周波数及び変調方式は、ＨＭＤ１００が備える通信部１１７に対応する。すなわち、ＨＭＤ通信部３１５のアンテナ３１５ａ、及び図示しないＲＦ回路、ベースバンド回路は、通信部１１７が送受信する無線信号の周波数及び変調方式に対応する構成であればよい。
【００３４】
外部Ｉ／Ｆ３１７は、デジタル画像データ、或いはアナログ画像信号が入力されるインターフェースである。外部Ｉ／Ｆ部３１７は、伝送ケーブル１ａにより撮像装置４００に接続される。
【００３５】
通信端末制御部３０１は、撮像装置４００が出力する撮像画像データを、外部Ｉ／Ｆ部３１７を介して取得し、取得した撮像画像データをメモリー３１１に一時的に記憶する。通信端末制御部３０１は、メモリー３１１に一時記憶した撮像画像データを、不揮発性記憶部３１２に記憶した設定データに従って、ＨＭＤ通信部３１５より送信する。
【００３６】
撮像装置４００は、撮像部４１５と、撮像部４１５を含む撮像装置４００の各部を制御する撮像制御部４０１と、撮像部４１５が撮像した撮像画像を出力する外部Ｉ／Ｆ４１７とを備える。撮像装置４００は、例えば、一般的な監視カメラ、ネットワークカメラ（Ｗｅｂカメラ等）を使用できる。
撮像制御部４０１には、メモリー４１１及び不揮発性記憶部４１２が接続される。また、撮像装置４００には、撮像部４１５及び外部Ｉ／Ｆ４１７が接続される。
【００３７】
撮像部４１５は、ＣＣＤイメージセンサー、ＣＭＯＳイメージセンサー、又はその他の撮像素子を備える。撮像部４１５は、撮像制御部４０１の制御に従って、イメージセンサーの検出値を撮像制御部４０１に出力する。
【００３８】
撮像制御部４０１は、撮像部４１５を制御して撮像を実行させ、撮像部４１５の検出値に基づき撮像画像データを生成し、メモリー４１１に記憶する。撮像制御部４０１は、撮像装置４００の動作中に、撮像部４１５の撮像画像を取得して撮像画像データを記憶する処理を継続して実行でき、ビデオカメラとしても機能する。
【００３９】
外部Ｉ／Ｆ４１７は、デジタル画像データ、又はアナログ画像信号を出力するインターフェースである。外部Ｉ／Ｆ４１７は、例えば、外部の装置に有線接続され、ケーブルを介して画像を出力する。本実施形態では、外部Ｉ／Ｆ４１７は、伝送ケーブル１ａにより通信端末３００に接続され、撮像制御部４０１の制御に従って、撮像部４１５の撮像画像データを通信端末３００に出力する。
【００４０】
図４は、ＨＭＤ１００の外観構成を示す説明図である。
制御装置１０は、図４に示すように、平たい箱形のケース１０Ａを備え、ケース１０Ａに後述する各部を備える。ケース１０Ａの表面には、使用者の操作を受け付ける各種のボタン１１、スイッチ、トラックパッド１４等が設けられる。これらを使用者が操作することによって、制御装置１０は、ＨＭＤ１００のコントローラーとして機能する。
【００４１】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６及び左導光板２８を備える。
【００４２】
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
【００４３】
右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。
【００４４】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。
【００４５】
右表示ユニット２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２及び左表示ユニット２４を合わせて単に「表示駆動部」とも呼ぶ。
【００４６】
本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。右導光板２６及び左導光板２８の表面に、調光板（図示略）を設けてもよい。この調光板により、右導光板２６及び左導光板２８を透過して使用者の眼に入射する外光を減衰させたり、特定の波長成分のみを透過又は反射させたり、右導光板２６及び左導光板２８を保護したりすることができる。
【００４７】
カメラ６１は、画像表示部２０の前部フレーム２７に設置される。カメラ６１の位置及び方向は、例えば、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像するように調整されることが好ましい。例えば、カメラ６１は、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図４の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置される。カメラ６１の位置は、端部ＥＬ側であってもよく、右導光板２６と左導光板２８との連結部であってもよい。
【００４８】
カメラ６１は、ＣＣＤ（Charge Coupled Device）イメージセンサー、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等の撮像素子を備えるデジタルカメラである。カメラ６１は単眼カメラであってもよいし、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ６１の撮像範囲の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように、カメラ６１の撮像範囲が設定される。
カメラ６１は、制御部１５０（図９参照）が備える撮像制御部１５３の制御に従って撮像を実行し、撮像画像データを撮像制御部１５３に出力する。
【００４９】
ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置できる。この場合、画像表示部２０の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればカメラ６１の撮像方向と重複する方向である。距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１５０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１５０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。
【００５０】
図５は、画像表示部２０が備える光学系の構成を示す要部平面図である。図５には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図５に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導く光学部材を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。
【００５１】
ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図９参照）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択、及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７（図８参照）が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。
【００５２】
右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
【００５３】
使用者の左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導く光学部品を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。
【００５４】
ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択、及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。
【００５５】
左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
【００５６】
ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
【００５７】
なお、左光学系２５２と左導光板２８とを合わせて「左導光部」とも呼び、右光学系２５１と右導光板２６とを合わせて「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
【００５８】
図４に戻り、制御装置１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図４に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３を有するヘッドセット３０とが、コネクター４６に接続される。
【００５９】
マイク６３は、例えば図４に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声Ｉ／Ｆ１８２（図８参照）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
マイク６３は、合図音出力装置５０がＨＭＤ１００に接続されていない構成である場合、合図音出力装置５０が出力する合図音を検出する検出部として動作する。
【００６０】
制御装置１０は、使用者により操作される被操作部として、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。これらの被操作部はケース１０Ａの表面に配置される。
【００６１】
ボタン１１は、制御装置１０を操作するためのキーやスイッチを備え、これらのキーやスイッチは押圧操作により変位する。例えば、ボタン１１は、制御装置１０が実行するオペレーティングシステム１５１（図９参照）等に関する操作を行うためのメニューキー、ホームキー、「戻る」キーを含む。
ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、或いは点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチである。
【００６２】
トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式或いは他の方式を採用できる。トラックパッド１４への接触（タッチ操作）は、後述するタッチセンサー１３（図８参照）により検出される。トラックパッド１４にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は複数のＬＥＤを備え、それぞれのＬＥＤの光はトラックパッド１４を透過して、操作用のアイコン等を表示する。このアイコン等はソフトウェアボタンとして機能する。
【００６３】
図６は、画像表示部２０の表示領域を示す説明図であり、画像表示部２０を使用者の頭部側から見た要部斜視図である。なお、図６では接続ケーブル４０の図示を省略する。
【００６４】
図６は、画像表示部２０の使用者の頭部に接する側、すなわち使用者の右眼ＲＥ及び左眼ＬＥに見える側を示す。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図６では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。ＨＭＤ１００では、右導光板２６及び左導光板２８が使用者に画像を視認させる領域を表示領域と呼ぶことができる。本実施形態では、ＨＭＤ１００の構造上、ハーフミラー２６１、２８１が表示領域を構成する。
【００６５】
図７は、画像表示部２０のカメラ６１の撮像範囲（画角）の説明図である。図７には、カメラ６１の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す。図中、カメラ６１の撮像範囲をＣで示す。なお、図７には水平方向の撮像範囲Ｃ（画角Ｃとも表記する）を示すが、カメラ６１の実際の撮像範囲は一般的なデジタルカメラと同様に上下方向にも拡がる。
【００６６】
カメラ６１は、上記のように画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。
カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば図７に示すように、使用者が両眼で判定対象（図７に示すＴ）を注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように判定対象Ｔに向けられる。この場合、使用者から判定対象Ｔまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から判定対象Ｔまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸、及び撮像範囲は、通常使用時における判定対象Ｔまでの距離が、設定された上限の目安に相当する場合、及び下限の目安に相当する場合に、この判定対象Ｔが撮像範囲に含まれるように、設定されることが好ましい。
【００６７】
一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図７の判定対象Ｔであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶことができる。図４〜図７に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
【００６８】
カメラ６１の撮像範囲Ｃは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、撮像範囲Ｃが、少なくとも使用者の有効視野よりも広いことが好ましい。撮像範囲Ｃが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、撮像範囲Ｃが、使用者の安定注視野よりも広く、最も好ましくは、撮像範囲Ｃが使用者の両眼の視野角よりも広い。
【００６９】
カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い撮像範囲を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。
【００７０】
カメラ６１は画像表示部２０に対し固定的に設けられるため、使用者が画像表示部２０により視認する視野と、カメラ６１の画角Ｃとはほぼ固定される。より具体的には、画像表示部２０が右表示ユニット２２及び左表示ユニット２４により画像を表示する表示領域Ｖと、カメラ６１の画角Ｃとは、固定されているといえる。従って、画像表示部２０の表示領域Ｖにおける位置と、カメラ６１の撮像画像における位置とを対応付けることが可能である。画像表示部２０の表示領域Ｖにおける位置は、より具体的には、ＯＬＥＤパネル２２３、２４３の画素の座標と、カメラ６１の撮像画像における座標とを対応付けることができる。ＨＭＤ１００は、これらの対応付けに関するデータを、例えば設定データ１２３として記憶する。
【００７１】
図８は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１４０には、入力装置としてトラックパッド１４及び操作部１１０が接続される。メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３、及びＧＰＳ１１５が接続される。メインプロセッサー１４０には、通信部１１７、音声コーデック１８０、外部Ｉ／Ｆ１８４、外部メモリーＩ／Ｆ１８６、ＵＳＢコネクター１８８、センサーハブ１９２、及びＦＰＧＡ１９４が接続される。これらは外部とのインターフェースとして機能する。
【００７２】
メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。外部Ｉ／Ｆ１８４、外部メモリーＩ／Ｆ１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びＩ／Ｆ１９６をコントローラー基板１２０に実装した構成であってもよい。
【００７３】
メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）等の半導体記憶デバイス、或いはその他の不揮発性記憶デバイスで構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。
【００７４】
メインプロセッサー１４０は、トラックパッド１４から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１、タッチセンサー１３及びＬＥＤ表示部１７を含む。タッチセンサー１３は、トラックパッド１４へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。ボタン１１の操作が行われた場合、及びタッチセンサー１３がタッチ操作を検出した場合、操作部１１０は、メインプロセッサー１４０に対して操作信号を出力する。
ＬＥＤ表示部１７は、ＬＥＤ（図示略）、及びこのＬＥＤを点灯させる駆動回路を含む。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。
【００７５】
６軸センサー１１１は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサーである。６軸センサー１１１は、上記のセンサーをモジュール化したＩＭＵ（Inertial Measurement Unit：慣性計測装置）であってもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。
【００７６】
通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格で無線通信を行う構成を具備してもよい。例えば、ＨＭＤ１００が、通信部１１７により、スマートフォンを含む携帯型電話機、パーソナルコンピューター、タブレット型コンピューター等とデータ通信を実行してもよい。
【００７７】
音声Ｉ／Ｆ１８２は、音声信号を入出力するインターフェースである。本実施形態では、音声Ｉ／Ｆ１８２は、接続ケーブル４０に設けられたコネクター４６（図４参照）を含む。音声コーデック１８０は、音声Ｉ／Ｆ１８２に接続され、音声Ｉ／Ｆ１８２を介して入出力される音声信号のエンコード／デコードを行う。音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声Ｉ／Ｆ１８２を介して出力する。音声コーデック１８０は、音声Ｉ／Ｆ１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。
【００７８】
外部Ｉ／Ｆ１８４は、メインプロセッサー１４０と通信する外部の装置とのインターフェースである。本実施形態では、外部Ｉ／Ｆ１８４に、合図音出力装置５０が接続される。また、外部Ｉ／Ｆ１８４には、例えば、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う装置を接続してもよい。
外部メモリーＩ／Ｆ１８６は、可搬型のメモリーデバイスを接続可能なインターフェースであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェース回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Universal Serial Bus）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェース回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。
【００７９】
ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター、偏心した回転子（いずれも図示略）を備え、その他の必要な構成を備えてもよい。バイブレーター１９は、メインプロセッサー１４０の制御に従って上記モーターを回転させることにより、振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合、或いはその他の場合に、所定の振動パターンでバイブレーター１９により振動を発生する。
【００８０】
センサーハブ１９２及びＦＰＧＡ１９４は、Ｉ／Ｆ１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及びＩ／Ｆ１９６を介した伝送を実行する。
【００８１】
画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図４に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。
【００８２】
右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、Ｉ／Ｆ１９６に接続されるＩ／Ｆ２１１、Ｉ／Ｆ２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及びＥＥＰＲＯＭ２１５（記憶部）が実装される。
Ｉ／Ｆ２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。
【００８３】
ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータを記憶する。ＥＥＰＲＯＭ２１５は、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータ等を記憶する。これらのデータは、メインプロセッサー１４０がＨＭＤ１００を制御する場合に参照される。これらのデータの具体例として、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等が挙げられる。これらのデータは、例えば、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。
【００８４】
カメラ６１は、Ｉ／Ｆ２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図４に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図４に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。
【００８５】
温度センサー２１７は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図５参照）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。
【００８６】
受信部２１３は、Ｉ／Ｆ２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５に出力する。
【００８７】
左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、Ｉ／Ｆ１９６に接続されるＩ／Ｆ２３１、Ｉ／Ｆ２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。表示ユニット基板２１０には、６軸センサー２３５及び磁気センサー２３７が実装される。
Ｉ／Ｆ２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９を、制御装置１０に接続する。
【００８８】
６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。
【００８９】
温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。
【００９０】
右表示ユニット２２が備えるカメラ６１、照度センサー６５、温度センサー２１７、及び左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。
【００９１】
制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は、充電可能なバッテリー１３２と、バッテリー１３２の残容量の検出及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。
【００９２】
図９は、制御装置１０の制御系を構成する記憶部１２２及び制御部１５０の機能ブロック図である。図９に示す記憶部１２２は、不揮発性記憶部１２１（図８参照）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。また、制御部１５０は、例えば、メインプロセッサー１４０、メモリー１１８及び不揮発性記憶部１２１により構成される。
制御部１５０が有する各種の機能部は、メインプロセッサー１４０がメモリー１１８にプログラムを展開して実行することにより、ソフトウェアとハードウェアとが協働することで形成される。
【００９３】
制御部１５０は、記憶部１２２が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。
記憶部１２２は、制御部１５０が処理する各種のデータを記憶する。記憶部１２２は、設定データ１２３、静止状態判定基準データ１２４及び撮像画像データベース１２５を記憶する。
【００９４】
設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データ１２３には、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（LookUp Table）等が含まれる。また、画像表示部２０における表示態様を指定する情報を、設定データ１２３に含めてもよい。表示態様を指定する情報には、例えば、表示制御部１５６の制御によって画像等を表示する表示領域Ｖにおける配置やサイズを定める情報等が含まれる。また、設定データ１２３には、各撮像装置４００が撮像する競技レーンの設定情報と、各撮像装置４００に付された識別情報とが含まれる。
【００９５】
静止状態判定基準データ１２４は、競技者ＯＢが静止状態にあるか否かを判定する条件を設定したデータである。例えば、後述する差分検出部１５４は、複数の撮像画像データの差分を検出し、判定部１５５は、検出した差分に基づき競技者ＯＢが静止状態にあるか否かを判定する。この場合、静止状態判定基準データ１２４は、撮像画像データの差分に基づいて、競技者ＯＢが静止状態にはない、すなわち動いたと判定できる判定基準のデータを含む。また、静止状態判定基準データ１２４は、撮像画像データから差分を抽出する処理に関するパラメーター、演算式、関数、行列等を含んでもよい。
【００９６】
撮像画像データベース１２５は、撮像装置４００が撮像した撮像画像データを格納する。撮像画像データベース１２５は、撮像画像データを、レースごと、撮像装置４００ごとに区分けして格納する。
後述するデータ保存部１５８（図９参照）は、各撮像装置４００の撮像画像データを、撮像装置４００ごとに分類して撮像画像データベース１２５に格納する。
また、データ保存部１５８は、操作部１１０の予め設定されたボタン１１が押下されると、識別情報を生成する。この識別情報は、競技者ＯＢが参加する各レースの識別に使用される情報であり、例えば、識別情報を生成した時刻を示す時刻情報が含まれてもよい。
データ保存部１５８は、識別情報を生成すると、生成した識別情報に対応付けて、撮像画像データを、撮像装置４００ごとに格納する。
また、データ保存部１５８は、撮像画像データベース１２５に撮像画像データを格納する際に、各撮像画像データの撮像日時を示す情報や、それぞれの撮像画像データの撮像順を示す情報を、撮像画像データに対応付けて格納してもよい。
また、撮像画像データベース１２５には、カメラ６１の撮像画像データを格納してもよい。
【００９７】
制御部１５０は、機能ブロックとして、オペレーティングシステム（ＯＳ）１５１、画像処理部１５２、撮像制御部１５３、差分検出部１５４、判定部１５５、表示制御部１５６、通信制御部１５７及びデータ保存部１５８を備える。判定部１５５は、本発明の「判定装置」として機能する。すなわち、本実施形態のＨＭＤ１００は、表示装置として画像表示部２０と、判定装置としての判定部１５５とを備える。
オペレーティングシステム１５１の機能は、記憶部１２２が記憶する制御プログラムの機能であり、その他の各部は、オペレーティングシステム１５１上で実行されるアプリケーションプログラムの機能である。
【００９８】
画像処理部１５２は、画像表示部２０により表示する画像又は映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。例えば、画像処理部１５２が生成する信号には、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等が含まれる。
また、画像処理部１５２は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。さらに、画像処理部１５２は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１５２は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。
【００９９】
画像処理部１５２は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。
【０１００】
撮像制御部１５３は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１２２に一時的に記憶させる。カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５３は撮像画像データをカメラ６１から取得して、記憶部１２２に一時的に記憶させる。
【０１０１】
差分検出部１５４は、撮像画像データベース１２５から撮像画像データを取得し、差分データを撮像装置４００ごとに生成する。差分検出部１５４は、記憶部１２２の静止状態判定基準データ１２４から読み出したパラメーター、演算式、関数、行列等を用いて、差分データを生成する。
【０１０２】
差分検出部１５４は、撮像装置４００により撮像された撮像画像データ（以下、撮像画像データ（ｔ）と表記する）を撮像画像データベース１２５から取得する。
差分検出部１５４は、撮像画像データ（ｔ）と、同一の撮像装置４００が撮像画像データ（ｔ）の１つ前に撮像した撮像画像データ（以下、撮像画像データ（ｔ−１）と表記する）とを比較して差分を示す差分データを生成する。差分検出部１５４は、例えば、競技者ＯＢの顔や、手、足の位置の変換を検出して、差分を示す差分データを生成する。差分検出部１５４は、撮像装置４００ごと、すなわち競技者ＯＢごとに差分を検出して差分データを生成する。差分検出部１５４は、生成した差分データを判定部１５５に出力する。
【０１０３】
図１０は、スタートラインについた競技者ＯＢを示す図である。
競技者ＯＢが着用する競技服に、図１０に示すように複数のマークＭが付されている場合、差分検出部１５４は、撮像画像データ（ｔ）及び撮像画像データ（ｔ−１）から各マークＭの画像、又は各マークＭを含む矩形の領域の画像をそれぞれに抽出する。そして、差分検出部１５４は、競技服の同一個所に付されたマークＭの画像同士を比較して差分を検出し、差分データを生成してもよい。
【０１０４】
また、差分検出部１５４は、１台の撮像装置４００により撮像された撮像画像データから、競技者ＯＢ全員の差分データを生成する場合、まず、撮像画像データ（ｔ）及び撮像画像データ（ｔ−１）から人物が写った領域である人物領域を抽出する。例えば、差分検出部１５４は、撮像画像データを二値化して、エッジ検出により撮像画像データに含まれる物体の輪郭を検出する。そして、差分検出部１５４は、検出された物体の輪郭のうち、当該輪郭で囲まれた領域の面積がしきい値以上の輪郭を人物領域として特定してもよい。また、競技者ＯＢのスタート時の体勢を示す形状データを事前に記憶部１２２に記憶し、検出した輪郭が、形状データが示す形状に近い輪郭を競技者ＯＢとして判定してもよい。
各競技者ＯＢが写った領域が検出されると、差分検出部１５４は、撮像画像データ（ｔ）と撮像画像データ（ｔ−１）との同一の競技者ＯＢが写った人物領域同士を比較して、差分データを生成する。
【０１０５】
判定部１５５は、差分検出部１５４から入力される差分データと、記憶部１２２から読み出した静止状態判定基準データ１２４とに基づき、各競技者ＯＢが静止状態にあるか否かを判定する。判定部１５５は、静止状態にはないと判定される競技者ＯＢが存在する場合、この競技者ＯＢのレーン番号を表示制御部１５６に出力する。
【０１０６】
また、判定部１５５は、合図音出力装置５０からスタート信号が入力されると、各競技者ＯＢのスタートがフライングであるか否かを判定する。
判定部１５５は、合図音出力装置５０から入力されるスタート信号の入力時点を基準として、フライング判定期間を設定する。判定部１５５は、設定したフライング期間内において静止状態にはない競技者ＯＢのスタートをフライングと判定する。
【０１０７】
フライング期間は、スタート信号の入力時点（合図音出力時点）を基準として設定される。フライング判定期間は、期間の始まりを示す第１の時点と、期間の終わりを示す第２の時点とにより規定される。
第１の時点は、スタート信号が入力されたタイミング、又はスタート信号が入力されたタイミングよりも予め設定された第１設定時間だけ前のタイミングである。第１設定時間は、例えば、スタート信号が制御装置１０に入力されるまでの遅延時間を考慮して設定された時間である。
また、第２の時点は、第１の時点に、予め設定された第２設定時間を加算して算出される。この第２設定時間には、例えば、合図音出力装置５０が合図音を出力してから、競技者ＯＢが反応（リアクション）するまでの時間の限界値（以下、反応限界値という）を用いることができる。
【０１０８】
判定部１５５は、フライング判定期間を設定すると、設定したフライング判定期間の間に撮像装置４００に撮像された複数の撮像画像データに基づき、競技者ＯＢが静止状態にあるか否かを判定する。
【０１０９】
図１１は、判定部１５５のフライングの判定方法を説明するための図である。
判定部１５５は、第１の時点のときに撮像された撮像画像データを、撮像画像データ（ｔ）として差分を生成した差分データからフライングの判定を開始する。また、第１の時点のときに撮像された撮像画像データが存在しない場合、第１の時点の直前に撮像された撮像画像データ（図１１に示す撮像画像データ（Ｂ））を撮像画像データ（ｔ）として差分を生成した差分データからフライングの判定を行う。
また、判定部１５５は、第２の時点のときまでに撮像された撮像画像データ（図１１に示す撮像画像データ（Ｆ））を、撮像画像データ（ｔ）として差分が生成された差分データまでフライングの判定を行う。判定部１５５は、フライング判定期間の差分データのいずれか１つでも、静止状態にはないと判定すると、対象の競技者ＯＢは静止状態にはなく、フライングであると判定する。
【０１１０】
図１２は、判定部１５５の他のフライングの判定方法を説明するための図である。
差分検出部１５４は、第１の時点のとき又はその直前に撮像された撮像画像データと、第２の時点のときまでに撮像された撮像画像データとの差分を検出して差分データを生成する。第１の時点のとき又はその直前に撮像された撮像画像データを、第１合図後撮像画像データという。また、第２の時点のときまでに撮像された撮像画像データを、第２合図後撮像画像データという。図１２に示す例では、差分検出部１５４は、撮像画像データ（Ａ）と、撮像画像データ（Ｂ）との差分を示す差分データを生成する。判定部１５５は、撮像画像データ（Ａ）と、撮像画像データ（Ｂ）との差分データから、競技者ＯＢがフライングしているか否かを判定する。
【０１１１】
判定部１５５は、静止状態にないと判定される競技者ＯＢが存在する場合、フライング判定を行い、フライングを行った競技者ＯＢの競技レーンのレーン番号を表示制御部１５６に出力する。
【０１１２】
表示制御部１５６は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１５６は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１５６は、画像処理部１５２が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御やその他の処理を行う。
【０１１３】
表示制御部１５６は、判定部１５５の判定結果に基づく画像やテキストを画像表示部２０に表示させる。
例えば、表示制御部１５６は、判定部１５５により静止状態にはないと判定された競技レーンを示すレーン番号を、他の競技レーンを示すレーン番号の色とは異なる色で画像表示部２０に表示させる。また、表示制御部１５６は、判定部１５５により静止状態にはないと判定された競技レーンを示すレーン番号を点滅表示させてもよい。さらに、表示制御部１５６は、静止状態にはないと判定された競技レーンのレーン番号だけを画像表示部２０に表示させてもよいし、このレーン番号を点滅表示させてもよい。
【０１１４】
また、表示制御部１５６は、判定部１５５によりフライングと判定された場合、画像表示部２０に、フライングが検出されたことを示す表示と、フライングと判定された競技レーンのレーン番号とを表示させる。
図１３は、フライング判定結果の表示例を示す図である。右表示ユニット２２及び左表示ユニット２４により画像を表示する表示領域Ｖに、１レーンの競技者ＯＢがフライングを行った場合の表示例を示す。図１３に示す表示例では、フライングした競技者ＯＢのレーン番号に対応させて「フライング」の文字を表示させた場合を示す。
【０１１５】
通信制御部１５７は、通信部１１７を制御して、撮像装置４００との間で無線通信を実行する。通信制御部１５７は、通信可能な撮像装置４００を探索する無線信号を通信部１１７により送信させてもよい。また、通信制御部１５７は、撮像装置４００が送信する無線信号を通信部１１７によって検出してもよい。
撮像装置４００が送信する無線信号を通信部１１７により受信した場合、通信制御部１５７は撮像装置４００と通信を確立し、撮像装置４００から撮像画像データを受信する。
【０１１６】
データ保存部１５８は、前述したように、各撮像装置４００が撮像した撮像画像データを、撮像画像データベース１２５に格納する。
【０１１７】
ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するＩ／Ｆ（図示略）を備えてもよい。例えば、ＵＳＢＩ／Ｆ、マイクロＵＳＢＩ／Ｆ、メモリーカード用Ｉ／Ｆ等の有線接続に対応したインターフェースであってもよく、無線通信Ｉ／Ｆで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。
【０１１８】
図１４は、ＨＭＤ１００の動作を示すフローチャートである。
制御装置１０は、操作部１１０から判定開始を指示する操作信号が入力されたか否かを判定する（ステップＳ１）。
競技の審判員Ｊｕ（図２参照）は、競技者ＯＢがスタート位置につくと、例えば、操作部１１０の対応するボタン１１を押下して、制御装置１０に、フライング判定を開始させる。操作部１１０は、フライング判定を開始させるボタン１１が押下されると、押下されたボタン１１に対応した操作信号を制御装置１０に出力する。
制御装置１０は、操作信号の入力がない場合（ステップＳ１／ＮＯ）、操作信号が入力されるまで待機する。また、制御装置１０は、操作信号が入力されると（ステップＳ１／ＹＥＳ）、画像表示部２０に、競技レーンのレーン番号を表示させる（ステップＳ２）。また、データ保存部１５８は、操作信号が入力されると、レースを識別する識別番号を生成する。
【０１１９】
次に、制御装置１０は、撮像装置４００のそれぞれが予め設定された周期で撮像する撮像画像データを順次入力する（ステップＳ３）。入力される撮像画像データは、データ保存部１５８により、レースを識別する識別番号に対応付けられ、さらに、撮像画像データを撮像した撮像装置４００の識別情報に対応付けられて、撮像画像データベース１２５に順次格納される。
【０１２０】
次に、差分検出部１５４は、撮像画像データベース１２５に撮像画像データが格納されると、今回、撮像画像データベース１２５に格納された撮像画像データ（ｔ）と、１つ前に撮像画像データベース１２５に格納された撮像画像データ（ｔ−１）とを比較して、差分データを生成する（ステップＳ４）。差分検出部１５４は、生成した差分データを判定部１５５に出力する。
【０１２１】
判定部１５５は、差分検出部１５４から差分データが入力されると、静止状態判定基準データ１２４から取得した判定基準と、差分データとを比較して、各競技者ＯＢが静止状態にあるか否かを判定する（ステップＳ５）。判定部１５５は、静止状態にはないと判定した競技者ＯＢを検出した場合、検出した競技者ＯＢのレーン番号を表示制御部１５６に通知する。表示制御部１５６は、判定部１５５により通知されたレーン番号の競技者ＯＢを特定可能な情報を画像表示部２０に表示させる。
例えば、表示制御部１５６は、静止状態にはないと判定された競技レーンのレーン番号を、静止状態にあると判定された他の競技レーンのレーン番号とは異なる色で画像表示部２０に表示させる（ステップＳ６）。表示制御部１５６は、静止状態にはないと判定されたレーンのレーン番号の色の変更を、予め設定された時間の間、継続するとよい。レーン番号の色の変更が頻繁に行われると、審判員Ｊｕには紛らわしい表示となるためである。
【０１２２】
次に、判定部１５５は、合図音出力装置５０からスタート信号が入力されたか否かを判定する（ステップＳ７）。競技の審判員Ｊｕは、各競技者ＯＢが、静止状態にあると判定すると、スタート合図である合図音を合図音出力装置５０により出力させる。合図音出力装置５０は、合図音の出力と共にスタート信号をＨＭＤ１００に出力する。判定部１５５は、合図音出力装置５０からスタート信号が入力されていないと判定すると（ステップＳ７／ＮＯ）、ステップＳ３の処理に戻り、撮像画像データベース１２５から撮像画像データを入力し、各競技者ＯＢが静止状態にあるか否かを判定する。
【０１２３】
また、ステップＳ７の判定が肯定判定の場合（ステップＳ７／ＹＥＳ）、判定部１５５は、入力されたスタート信号に基づきフライング期間を設定する（ステップＳ８）。
また、判定部１５５は、スタート信号が入力されたと判定した場合、スタート信号の入力タイミングに基づきフライング期間を設定する（ステップＳ８）。
次に、判定部１５５は、スタート信号と同時に撮像された撮像画像データに基づき生成された差分画像データからフライング判定を開始する（ステップＳ９）。
差分検出部１５４は、撮像画像データベース１２５に撮像画像データが格納されると、撮像画像データ（ｔ）と、１つ前の撮像画像データ（ｔ−１）とを比較して、差分データを生成する（ステップＳ１０）。判定部１５５は、差分検出部１５４から入力される差分データに基づき、各競技者ＯＢのフライングを判定する（ステップＳ１１）。判定部１５５は、フライングが検出されると（ステップＳ１１／ＹＥＳ）、検出した競技者ＯＢのレーン番号を表示制御部１５６に通知する。表示制御部１５６は、フライングを検出した旨と、フライングした競技者ＯＢのレーン番号とを画像表示部２０に表示させて、フライング表示を行う（ステップＳ１２）。また、判定部１５５は、フライングが検出されなかった場合（ステップＳ１０／ＮＯ）、フライング期間に撮像されたすべての撮像画像データについて、フライングの判定が完了したか否かを判定する（ステップＳ１３）。否定判定の場合（ステップＳ１３／ＮＯ）、判定部１５５は、ステップＳ１１の処理に戻り、フライングの判定を再度行う（ステップＳ１１）。また、肯定判定の場合（ステップＳ１３／ＹＥＳ）、判定部１５５は、この処理を終了させる。
【０１２４】
なお、判定部１５５が、静止状態の判定、及びフライング判定を行う周期は、撮像装置４００が撮像画像を生成する周期よりも長く設定されているとよい。判定部１５５は、撮像装置４００により撮像され、撮像画像データベース１２５に格納された撮像画像データから、予め設定された間隔で撮像画像データを取得し、取得した撮像画像データに基づき、静止状態の判定、及びフライング判定を行うとよい。上述した実施形態では、差分検出部１５４は、撮像画像データ（ｔ）と、１つ前の撮像画像データ（ｔ−１）とを比較して、差分データを生成したが、撮像画像データ（ｔ−１）は、撮像画像データ（ｔ）の直前に撮像された撮像画像データである必要はない。
【０１２５】
以上説明したように、本発明の不正スタート検出システム、及び不正スタート検出システムの制御方法を適用した実施形態は、ＨＭＤ１００を備える。ＨＭＤ１００は、画像表示部２０と、制御装置１０とを備える。制御装置１０は、競技者ＯＢが静止した状態にあるか否かを判定する判定部１５５を備える。制御装置１０は、判定部１５５の判定結果を示す表示画像を画像表示部２０に表示させる表示制御部１５６を備える。従って、判定部１５５により競技者ＯＢが静止した状態にあるか否かが判定され、判定結果を示す表示画像が画像表示部２０に表示される。このため、氷上で行われるスケート競技等のセンサーの取り付けが難しい競技であっても、競技者ＯＢが静止した状態にあるか否かを精度よく判定し、競技のスタートを適切に管理することができる。
【０１２６】
また、不正スタート検出システム１は、競技者ＯＢを撮像する撮像装置４００を備える。判定部１５５は、撮像装置４００の撮像画像に基づいて、競技者ＯＢが静止した状態にあるか否かを判定する。従って、簡易な構成により競技者ＯＢが静止した状態にあるか否かを判定することができる。
【０１２７】
また、画像表示部２０は、外光を透過させることにより実空間の外景を使用者に視認させ、外景とともに視認可能に表示画像を表示するシースルー型の表示部である。
制御装置１０の表示制御部１５６は、判定部１５５の判定結果を、競技者ＯＢのそれぞれの判定結果に対応する表示形態で画像表示部２０に表示させる。従って、各々の競技者ＯＢに対する判定の結果を容易に認識することができる。
【０１２８】
また、制御装置１０の表示制御部１５６は、判定部１５５により静止した状態にはないと判定される競技者ＯＢに対応する表示画像と、判定部１５５により静止した状態にあると判定される競技者ＯＢに対応する表示画像とを、異なる色で画像表示部２０に表示させる。従って、各々の競技者ＯＢに対する判定の結果を容易に認識することができる。
【０１２９】
また、判定部１５５は、第１の撮像時点で撮像装置４００が撮像する第１撮像画像と、第１の撮像時点よりも後の第２の撮像時点で撮像装置４００が撮像する第２撮像画像との差分を抽出することにより、競技者ＯＢが静止した状態にあるか否かを判定する。従って、競技者ＯＢが静止した状態にあるか否かを、容易にかつ精度よく判定することができる。
【０１３０】
また、判定部１５５は、撮像装置４００が撮像する撮像画像から競技者ＯＢが有するマーカーＭを検出し、第１撮像画像におけるマーカーＭの位置と第２撮像画像におけるマーカーＭの位置との差に基づいて、競技者ＯＢが静止した状態にあるか否かを判定する。従って、競技者ＯＢが静止した状態にあるか否かをより精度よく、かつ迅速に判定することができる。
【０１３１】
また、判定部１５５は、合図音出力装置５０がスタートの合図音を出力する合図音出力時点を基準としてフライング判定期間を設定する。判定部１５５は、フライング判定期間内に、静止した状態でないと判定した競技者ＯＢについて、フライングを判定する。
従って、競技者ＯＢのフライングを精度よく判定することができる。
【０１３２】
また、撮像装置４００は、予め設定された周期で撮像を実行する。判定部１５５は、合図音出力時点を基準として定められる第１の時点から、第１の時点よりも所定時間後の第２の時点までの間に撮像装置４００が撮像する複数の撮像画像データに基づき、競技者ＯＢが静止した状態にあるか否かを判定する。従って、複数の撮像画像データに基づいて、競技者ＯＢが静止した状態にあるか否かを判定することができ、競技者ＯＢが静止した状態にあるか否かを精度よく判定することができる。
【０１３３】
また、撮像装置４００は、予め設定された周期で撮像を実行する。判定部１５５は、合図音出力時点を基準として定められる第１の時点で撮像装置４００が撮像する第１合図後撮像画像データと、第１の時点よりも所定時間後の第２の時点で撮像装置４００が撮像する第２合図後撮像画像データとに基づき、競技者ＯＢが静止した状態にあるか否かを判定する。従って、競技者ＯＢが静止した状態にあるか否かを２つの撮像画像データから判定することができ、判定の処理負荷を軽減することができる。
【０１３４】
また、ＨＭＤ１００は、合図音出力装置５０が出力する合図音を検出する検出部を備え、検出部が合図音を検出するタイミングを合図音出力時点として、競技者ＯＢのフライングを判定する。従って、合図音出力装置５０と判定装置とが接続されていなくても、合図音出力装置が出力する合図音を検出し、競技者ＯＢのフライングを判定することができる。
【０１３５】
また、ＨＭＤ１００は、合図音出力装置５０に接続され、合図音出力装置が出力する合図音の出力信号であるスタート信号が入力される外部Ｉ／Ｆ１８４を備える。ＨＭＤ１００は、外部Ｉ／Ｆ１８４にスタート信号が入力されるタイミングを合図音出力時点として、競技者ＯＢのフライングを判定する。従って、フライングの判定精度を高めることができる。
【０１３６】
また、複数の撮像装置４００は、複数の競技者ＯＢに対応して設置される。それぞれの撮像装置４００は、複数の競技者ＯＢのそれぞれを撮像することを特徴とする。従って、判定対象の競技者ＯＢが複数であっても、競技者ＯＢのそれぞれが静止した状態にあるか否かを精度よく判定することができる。
【０１３７】
上記実施形態は、本発明の好適な実施の形態である。ただし、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した実施形態では、ＨＭＤ１００が、競技者ＯＢの静止状態の判定と、判定結果の表示とを行った。これ以外の構成として、判定装置としての機能を備えるサーバー装置を別途設ける構成とすることもできる。
図１５は、判定装置として動作するサーバー５００を有する不正スタート検出システム２の構成図である。サーバー５００は、各通信端末３００に接続される。
通信端末３００は、撮像装置４００が出力する撮像画像データを取得して、取得した撮像画像データをサーバー５００に送信する。サーバー５００は、各通信端末３００が送信する撮像画像データを受信し、受信した撮像画像データに基づき、競技者ＯＢが静止状態にあるか否か、フライングをしている否かを判定する。サーバー５００は、静止状態の判定結果や、フライングの判定結果を無線接続されたＨＭＤ１００に送信する。
また、サーバー５００が撮像画像データベース１２５を有する構成としてもよい。この場合、ＨＭＤ１００における処理の負荷を、より軽減することができ、高精度の判定を行える。また、撮像装置４００の撮像画像データを大量に処理するために、複数のＨＭＤ１００と１又は複数のサーバー５００とを備える構成としてもよい。
【０１３８】
また、上述した実施形態では、競技者ＯＢが静止状態にあるか否かを、撮像装置４００の撮像画像データに基づいて判定した。これ以外の方法として、競技者ＯＢが着用する競技服に、例えばモーションセンサーを装着し、このモーションセンサーの検出値に基づき、競技者ＯＢが静止した状態にあるか否かを判定してもよい。モーションセンサーの検出値に基づく競技者ＯＢが静止しているか否かの判定は、ＨＭＤ１００が行ってもよいし、サーバー５００で行ってもよい。モーションセンサーを用いて競技者ＯＢが静止状態にあるか否かを判定することで、判定精度を高めることができる。
【０１３９】
また、上述した実施形態では、合図音出力装置５０を、ＨＭＤ１００に接続した構成を示したが、ＨＭＤ１００と合図音出力装置５０とは接続していなくてもよい。
制御装置１０の判定部１５５は、マイク６３入力される音声に基づき合図音を検出し、検出した合図音に基づきフライング期間を設定して、フライングの判定を行うこともできる。例えば、判定部１５５は、マイク６３から入力される音声のパターンマッチングにより、合図音出力装置５０の出力する合図音を検出してもよい。
【０１４０】
また、マーカーＭは、赤外光を発する発光部で構成してもよい。また、再帰性反射材によりマーカーＭを構成してもよい。
【０１４１】
また、上記実施形態において、ＨＭＤ１００は、画像表示部２０の前部フレーム２７に固定されるカメラ６１を備える構成とした。本発明はこれに限定されず、例えば、画像表示部２０に立設されたカメラ６１を用いてもよいし、カメラ６１を画像表示部２０とは別体で構成してもよい。この場合、画像表示部２０の表示領域Ｖとカメラ６１の画角Ｃとを対応付けることが可能であればよい。
【０１４２】
また、例えば、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮像した実空間の画像と仮想画像とを組み合わせるＭＲ（Mixed Reality）表示、或いは仮想画像を表示するＶＲ（Virtual Reality）表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データ又はアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
【０１４３】
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。
【０１４４】
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０と分離して構成され、制御装置１０と画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。
【０１４５】
また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
【０１４６】
また、図３、図８等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１又は制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置や記録媒体に記憶されたプログラムを通信部１１７、外部Ｉ／Ｆ１８４、外部メモリーＩ／Ｆ１８６等により取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者Ｉ／Ｆ（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１４０と同様のプロセッサーが画像表示部２０に配置されてもよいし、制御装置１０が備えるメインプロセッサー１４０と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
【符号の説明】
【０１４７】
１、２…不正スタート検出システム、１０…制御装置、１４…トラックパッド、２０…画像表示部（表示部）、２２…右表示ユニット、２４…左表示ユニット、２６…右導光板、２８…左導光板、５０…合図音出力装置、６１…カメラ、６３…マイク（検出部）、１００…ＨＭＤ（表示装置）、１１０…操作部、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部、１２３…設定データ、１２４…静止状態判定基準データ、１２５…撮像画像データベース、１４０…メインプロセッサー、１５０…制御部、１５１…ＯＳ、１５２…画像処理部、１５３…撮像制御部、１５４…差分検出部、１５５…判定部（判定装置）、１５６…表示制御部、１５７…通信制御部、１５８…データ保存部、１８４…外部Ｉ／Ｆ、１８６…外部メモリーＩ／Ｆ、１８８…ＵＳＢコネクター、Ｍ…マーカー、ＯＢ…競技者、３００…通信端末、４００…撮像装置、５００…サーバー。
【図１】
2017140134.tif 000003
【図２】
2017140134.tif 000004
【図３】
2017140134.tif 000005
【図４】
2017140134.tif 000006
【図５】
2017140134.tif 000007
【図６】
2017140134.tif 000008
【図７】
2017140134.tif 000009
【図８】
2017140134.tif 000010
【図９】
2017140134.tif 000011
【図１０】
2017140134.tif 000012
【図１１】
2017140134.tif 000013
【図１２】
2017140134.tif 000014
【図１３】
2017140134.tif 000015
【図１４】
2017140134.tif 000016
【図１５】
2017140134.tif 000017