(57)【要約】【課題】ハンズフリーで音声認識処理を実行可能な音声認識装置及び音声認識プログラムを提供する。【解決手段】マイクに入力された音声の音声データの取得が開始される。ヘッドマウントディスプレイに設けられたカメラによって撮像された画像の画像データが取得される（Ｓ３２）。取得された画像データに基づいて、光量関連値が取得される（Ｓ３５）。取得された光量関連値が第一閾値より大きいか否かが判断される（Ｓ３６）。光量関連値が第一閾値より大きい場合（Ｓ３６：ＹＥＳ）、実行フラグが「１」に設定される。実行フラグが「１」に設定されると、取得された音声データに基づく音声に対して音声認識処理が実行され、音声に対応するテキストデータが生成される。生成されたテキストデータに、操作ワードに対応する指示データが含まれる場合、対応する動作が実行される。【選択図】図８
2014191238.tif 000002
【特許請求の範囲】
【請求項１】
音声入力部に入力された音声の音声データを取得する音声データ取得手段と、
頭部に装着可能な頭部装着部に設けられた取得部であって、外界の光に関する情報である光情報を取得する取得部によって取得された前記光情報に基づいて、前記外界の光の光量に関する値である光量関連値を取得する光量取得手段と、
前記光量取得手段によって取得された前記光量関連値が第一閾値より大きいか否かを判断する第一判断手段と、
前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声データ取得手段によって取得された前記音声データに基づく前記音声に対して音声認識処理を実行することで、前記音声に対応するテキストデータを生成する音声認識手段と、
前記頭部装着部の制御を指示する操作ワードに対応する指示データと、前記頭部装着部に実行させる動作についてのデータである動作データが対応付けられた対応データを記憶する記憶部を参照し、前記対応データと前記テキストデータとの比較に基づいて、前記音声認識手段によって生成された前記テキストデータに、前記指示データが含まれるか否かを判断する指示判断手段と、
前記指示判断手段によって前記テキストデータに前記指示データが含まれると判断された場合に、前記対応データにおいて前記指示判断手段によって含まれると判断された前記指示データに対応付けられた前記動作データに基づく動作を前記頭部装着部に実行させる実行手段と
を備えたことを特徴とする音声認識装置。
【請求項２】
前記光量取得手段によって取得された前記光量関連値が、前記第一閾値より小さい第二閾値よりも小さいか否かを判断する第二判断手段を備え、
前記音声認識手段は、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合、又は、前記第二判断手段によって前記光量関連値が前記第二閾値より小さいと判断された場合に、前記音声認識処理を実行することを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記指示判断手段は、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記記憶部に記憶された第一対応データを参照し、前記第一対応データと前記テキストデータとの比較に基づいて、前記テキストデータに、前記指示データが含まれるか否かを判断し、前記第二判断手段によって前記光量関連値が前記第二閾値より小さいと判断された場合に、前記記憶部に記憶された前記第一対応データと異なる第二対応データを参照し、前記第二対応データと前記テキストデータとの比較に基づいて、前記テキストデータに、前記指示データが含まれるか否かを判断し、
前記実行手段は、前記指示判断手段によって前記指示データが含まれると判断された場合に、前記第一対応データ又は前記第二対応データいずれかにおいて前記指示判断手段によって含まれると判断された前記指示データに対応付けられた前記動作データに基づく動作を前記頭部装着部に実行させることを特徴とする請求項２に記載の音声認識装置。
【請求項４】
第一所定時間以上継続して、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声認識手段による前記音声認識処理を停止する第一停止手段を備えたことを特徴とする請求項１から３のいずれかに記載の音声認識装置。
【請求項５】
第二所定時間以上継続して、前記第二判断手段によって前記光量関連値が第二閾値より小さいと判断された場合に、前記音声認識手段による前記音声認識処理を停止する第二停止手段を備えたことを特徴とする請求項２又は３に記載の音声認識装置。
【請求項６】
前記取得部は、画像を撮像する撮像手段であり、
前記光情報は、前記撮像手段によって撮像された前記画像の画像データであり、
前記光量取得手段は、前記撮像手段によって撮像された前記画像の前記画像データに基づいて、前記光量関連値を取得し、
前記第一判断手段は、前記光量取得手段によって取得された前記光量関連値に基づいて、前記画像データに基づく前記画像の少なくとも一部における前記光量関連値が前記第一閾値より大きいか否かを判断し、
前記音声認識手段は、前記第一判断手段によって前記画像の少なくとも一部における前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声認識処理を実行することを特徴とする請求項１から５のいずれかに記載の音声認識装置。
【請求項７】
前記光量取得手段は、前記画像データに基づく前記画像を前記複数の分割領域に分割し、分割した前記複数の分割領域の夫々についての前記光量関連値を取得し、
前記第一判断手段は、前記光量取得手段によって取得された前記複数の分割領域の夫々の前記光量関連値が前記第一閾値よりも大きい前記分割領域の数が、所定数より多いか否かを判断することで、前記画像データに基づく前記画像の少なくとも一部における前記光量関連値が前記第一閾値より大きいか否かを判断することを特徴とする請求項６に記載の音声認識装置。
【請求項８】
前記光量取得手段が取得する前記光量関連値は、前記画像データに基づく前記画像におけるＲＧＢの夫々の輝度であり、
前記第一閾値は前記ＲＧＢの夫々の輝度についての閾値であることを特徴とする請求項６又は７のいずれかに記載の音声認識装置。
【請求項９】
前記取得部は、画像を撮像する撮像手段であり、
前記光情報は、前記撮像手段によって撮像された前記画像の画像データであり、
前記光量関連値は、前記画像データに基づく前記画像におけるＲＧＢの夫々の輝度であり、
前記光量取得手段は、前記撮像手段によって撮像された前記画像の前記画像データに基づいて、前記画像の前記ＲＧＢの夫々の前記輝度を取得し、
前記第二判断手段は、前記光量取得手段によって取得された前記ＲＧＢの夫々の前記輝度のうち、前記画像データに基づく画像の少なくとも一部における前記輝度が前記第二閾値より小さいか否かを判断し、
前記音声認識手段は、前記第二判断手段によって前記画像の少なくとも一部における前記輝度が前記第二閾値より小さいと判断された場合に、前記音声認識処理を実行し、
前記ＲＧＢのうち、Ｒ成分の輝度についての前記第二閾値は、Ｇ成分及びＢ成分についての前記第二閾値よりも大きいことを特徴とする請求項２、３、５のいずれかに記載の音声認識装置。
【請求項１０】
前記頭部装着部の向きを検出する方向検出部による検出結果が、所定の向きであるか否かを判断する向き判断手段を備え、
前記音声認識手段は、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合、且つ、前記向き判断手段によって前記方向検出部による検出結果が、所定の向きであると判断された場合に、前記音声認識処理を実行することを特徴とする請求項１から９のいずれかに記載の音声認識装置。
【請求項１１】
前記音声認識手段によって前記音声認識処理が実行可能な状態を示す情報を、前記頭部装着部に設けられた出力部に出力する出力制御手段を備えたことを特徴とする請求項１から１０のいずれかに記載の音声認識装置。
【請求項１２】
音声認識処理を実行する音声認識装置において実行される音声認識プログラムであって、
前記音声認識装置のコントローラに、
音声入力部に入力された音声の音声データを取得する音声データ取得ステップと、
頭部に装着可能な頭部装着部に設けられた取得部であって、外界の光に関する情報である光情報を取得する取得部によって取得された前記光情報に基づいて、前記外界の光の光量に関する値である光量関連値を取得する光量取得ステップと、
前記光量取得ステップによって取得された前記光量関連値が第一閾値より大きいか否かを判断する第一判断ステップと、
前記第一判断ステップによって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声データ取得ステップによって取得された前記音声データに基づく前記音声に対して音声認識処理を実行することで、前記音声に対応するテキストデータを生成する音声認識ステップと、
前記頭部装着部の制御を指示する操作ワードに対応する指示データと、前記頭部装着部に実行させる動作についてのデータである動作データが対応付けられた対応データを記憶する記憶部を参照し、前記対応データと前記テキストデータとの比較に基づいて、前記音声認識ステップによって生成された前記テキストデータに、前記指示データが含まれるか否かを判断する指示判断ステップと、
前記指示判断ステップによって前記テキストデータに前記指示データが含まれると判断された場合に、前記対応データにおいて前記指示判断ステップによって含まれると判断された前記指示データに対応付けられた前記動作データに基づく動作を前記頭部装着部に実行させる実行ステップと
を実行させることを特徴とする音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識が可能な音声認識装置及び音声認識プログラムに関する。
【背景技術】
【０００２】
従来、ユーザの頭部に装着可能な、ユーザが発する音声を認識し、認識した音声に基づいて種々の制御を行う音声認識装置が知られている。例えば、特許文献１に記載のヘッドマウントディスプレイは、ヘッドセットを備えている。ヘッドセットには、マイクロフォンと音声制御切り換えスイッチとが設けられている。頭部に装着されたヘッドマウントディスプレイにおいて、マイクロフォンはユーザの口近くに位置し、音声制御切り換えスイッチは、マイクロフォンの近傍に位置する。ヘッドマウントディスプレイ本体には、音声信号処理回路が設けられている。音声信号処理回路は、マイクロフォンによって取得されたユーザの音声を検出し、所定の音声認識処理を行う。音声信号処理回路は、音声認識処理の結果が、事前に保存されたキーワードに一致するときに、外部コンピュータに対して供給画像の切り換え及びその他の動作を行わせるための指示信号を送信する。ヘッドマウントディスプレイは、音声制御切り換えスイッチのオン・オフが切り換えられた場合に、音声認識処理のオン・オフを切り換える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１６５１５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来のヘッドマウントディスプレイに音声認識処理を実行させる場合、ユーザは音声切り換えスイッチを手で操作する必要がある。よって、ハンズフリーで音声認識処理を実行できず、ユーザの作業を妨げる場合がある。
【０００５】
本発明の目的は、ハンズフリーで音声認識処理を実行可能な音声認識装置及び音声認識プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の第一の態様に係る音声認識装置は、音声入力部に入力された音声の音声データを取得する音声データ取得手段と、頭部に装着可能な頭部装着部に設けられた取得部であって、外界の光に関する情報である光情報を取得する取得部によって取得された前記光情報に基づいて、前記外界の光の光量に関する値である光量関連値を取得する光量取得手段と、前記光量取得手段によって取得された前記光量関連値が第一閾値より大きいか否かを判断する第一判断手段と、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声データ取得手段によって取得された前記音声データに基づく前記音声に対して音声認識処理を実行することで、前記音声に対応するテキストデータを生成する音声認識手段と、前記頭部装着部の制御を指示する操作ワードに対応する指示データと、前記頭部装着部に実行させる動作についてのデータである動作データが対応付けられた対応データを記憶する記憶部を参照し、前記対応データと前記テキストデータとの比較に基づいて、前記音声認識手段によって生成された前記テキストデータに、前記指示データが含まれるか否かを判断する指示判断手段と、前記指示判断手段によって前記テキストデータに前記指示データが含まれると判断された場合に、前記対応データにおいて前記指示判断手段によって含まれると判断された前記指示データに対応付けられた前記動作データに基づく動作を前記頭部装着部に実行させる実行手段とを備えている。
【０００７】
この場合、第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、音声認識処理が実行される。このため、頭部装着部のユーザは、例えば、取得部を照明等の光源に向けるだけで、音声認識装置に音声認識処理を実行させることができる。よって、例えば、ユーザは手で頭部装着部のスイッチ等を操作する必要がなく、ハンズフリーで音声認識装置に音声認識処理を実行させることができる。
【０００８】
前記音声認識装置は、前記光量取得手段によって取得された前記光量関連値が、前記第一閾値より小さい第二閾値よりも小さいか否かを判断する第二判断手段を備え、前記音声認識手段は、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合、又は、前記第二判断手段によって前記光量関連値が前記第二閾値より小さいと判断された場合に、前記音声認識処理を実行してもよい。この場合、ユーザは、例えば、取得部を照明等の光源に向けたり、取得部を覆ったりするだけで、音声認識装置に音声認識処理を実行させることができる。よって、例えば、手で頭部装着部のスイッチを探して操作する必要がなく、ユーザは音声認識処理をハンズフリーで実行させ易くなる。
【０００９】
前記音声認識装置において、前記指示判断手段は、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記記憶部に記憶された第一対応データを参照し、前記第一対応データと前記テキストデータとの比較に基づいて、前記テキストデータに、前記指示データが含まれるか否かを判断し、前記第二判断手段によって前記光量関連値が前記第二閾値より小さいと判断された場合に、前記記憶部に記憶された前記第一対応データと異なる第二対応データを参照し、前記第二対応データと前記テキストデータとの比較に基づいて、前記テキストデータに、前記指示データが含まれるか否かを判断し、前記実行手段は、前記指示判断手段によって前記指示データが含まれると判断された場合に、前記第一対応データ又は前記第二対応データいずれかにおいて前記指示判断手段によって含まれると判断された前記指示データに対応付けられた前記動作データに基づく動作を前記頭部装着部に実行させてもよい。
【００１０】
この場合、記憶部には第一対応データと第二対応データとの２つの対応データが記憶されている。このため、全ての指示データが、１つの対応データに登録されている場合に比べて、１つの対応データ当たりの指示データの数が少なくなる。よって、指示判断手段におけるテキストデータに指示データが含まれているか否かの判断の精度が向上する。よって、より確実に、実行手段によって指示データに対応付けられた動作データに基づく動作を頭部装着部に実行させることができる。また、外界の光が明るい場合と暗い場合とで、参照する対応データを切り替えることができる。よって、ユーザの利便性が向上する。
【００１１】
前記音声認識装置は、第一所定時間以上継続して、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声認識手段による前記音声認識処理を停止する第一停止手段を備えてもよい。第一所定時間以上継続して、第一判断手段によって光量関連値が第一閾値より大きいと判断される場合、ユーザが音声認識装置に音声認識処理を実行させる意思を持って取得部を光源に向けている可能性が低い。この場合に、自動で音声認識処理が停止されるので、ユーザの利便性が向上する。
【００１２】
前記音声認識装置は、第二所定時間以上継続して、前記第二判断手段によって前記光量関連値が第二閾値より小さいと判断された場合に、前記音声認識手段による前記音声認識処理を停止する第二停止手段を備えてもよい。第二所定時間以上継続して、第二判断手段によって光量関連値が第二閾値より小さいと判断される場合、ユーザが音声認識処理を実行させる意思を持って、カメラ２０に撮像される外界の光を暗くしている可能性が低い。この場合に、自動で音声認識処理が停止されるので、ユーザの利便性が向上する。
【００１３】
前記音声認識装置において、前記取得部は、画像を撮像する撮像手段であり、前記光情報は、前記撮像手段によって撮像された前記画像の画像データであり、前記光量取得手段は、前記撮像手段によって撮像された前記画像の前記画像データに基づいて、前記光量関連値を取得し、前記第一判断手段は、前記光量取得手段によって取得された前記光量関連値に基づいて、前記画像データに基づく前記画像の少なくとも一部における前記光量関連値が前記第一閾値より大きいか否かを判断し、前記音声認識手段は、前記第一判断手段によって前記画像の少なくとも一部における前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声認識処理を実行してもよい。この場合、画像の一部にのみ光源が含まれている場合にも、音声認識処理が実行される。よって、頭部装着部のユーザは、画像の一部に光源が含まれるように撮像手段を光源に向けるだけで、音声認識装置に音声認識処理を実行させることができる。
【００１４】
前記音声認識装置において、前記光量取得手段は、前記画像データに基づく前記画像を前記複数の分割領域に分割し、分割した前記複数の分割領域の夫々についての前記光量関連値を取得し、前記第一判断手段は、前記光量取得手段によって取得された前記複数の分割領域の夫々の前記光量関連値が前記第一閾値よりも大きい前記分割領域の数が、所定数より多いか否かを判断することで、前記画像データに基づく前記画像の少なくとも一部における前記光量関連値が前記第一閾値より大きいか否かを判断してもよい。この場合、光量関連値が第一閾値よりも大きい分割領域の数が所定数より多い場合に音声認識処理が実行され、所定数以下の場合には音声認識処理が実行されない。撮像手段の近くにある光源は、遠くにある光源より画像中の範囲が大きくなる。このため、例えば、ユーザは、近くにある光源が画像に含まれるように撮像手段を光源に向けた場合に、音声認識装置に音声認識処理を実行させることができる。また、遠くにある光源が所定数以下の分割領域の範囲に含まれた場合に、ユーザの意思に反して音声認識処理が実行されることを防止できる。
【００１５】
前記音声認識装置において、前記光量取得手段が取得する前記光量関連値は、前記画像データに基づく前記画像におけるＲＧＢの夫々の輝度であり、前記第一閾値は前記ＲＧＢの夫々の輝度についての閾値であってもよい。この場合、輝度に基づいて、音声認識処理が実行される。
【００１６】
前記音声認識装置において、前記取得部は、画像を撮像する撮像手段であり、前記光情報は、前記撮像手段によって撮像された前記画像の画像データであり、前記光量関連値は、前記画像データに基づく前記画像におけるＲＧＢの夫々の輝度であり、前記光量取得手段は、前記撮像手段によって撮像された前記画像の前記画像データに基づいて、前記画像の前記ＲＧＢの夫々の前記輝度を取得し、前記第二判断手段は、前記光量取得手段によって取得された前記ＲＧＢの夫々の前記輝度のうち、前記画像データに基づく画像の少なくとも一部における前記輝度が前記第二閾値より小さいか否かを判断し、前記音声認識手段は、前記第二判断手段によって前記画像の少なくとも一部における前記輝度が前記第二閾値より小さいと判断された場合に、前記音声認識処理を実行し、前記ＲＧＢのうち、Ｒ成分の輝度についての前記第二閾値は、Ｇ成分及びＢ成分についての前記第二閾値よりも大きくてもよい。
【００１７】
例えば、ユーザが手などの身体の一部を用いて撮像手段を覆う場合、人間の血液に外界の光が透過して、画像データ中のＲ成分が、Ｇ成分及びＢ成分より大きくなる可能性がある。この場合、ユーザが撮像手段を覆い隠しているにも関わらず、第二判断手段によって光量関連値が第二閾値より小さいと判断され、音声認識処理が実行されない可能性がある。本発明では、ＲＧＢのうち、Ｒ成分の輝度についての第二閾値は、Ｇ成分及びＢ成分についての第二閾値よりも大きくされている。このため、ユーザが撮像手段を覆う場合において、画像データ中のＲ成分が、Ｇ成分及びＢ成分より大きくなった場合でも、第二判断手段は、光量関連値が第二閾値より小さいと判断できる。よって、より確実に、音声認識手段による音声認識処理を実行させることができる。
【００１８】
前記音声認識装置は、前記頭部装着部の向きを検出する方向検出部による検出結果が、所定の向きであるか否かを判断する向き判断手段を備え、前記音声認識手段は、前記第一判断手段によって前記光量関連値が前記第一閾値より大きいと判断された場合、且つ、前記向き判断手段によって前記方向検出部による検出結果が、所定の向きであると判断された場合に、前記音声認識処理を実行してもよい。所定の向きにある光源に取得部が向けられた場合に、音声認識処理が実行される。このため、ユーザが音声認識処理を実行させる意思がなく、所定の向き以外の向きにある光源に取得部を向けた場合に音声認識処理が実行されることを防止できる。
【００１９】
前記音声認識装置は、前記音声認識手段によって前記音声認識処理が実行可能な状態を示す情報を前記頭部装着部に設けられた出力部に出力する出力制御手段を備えてもよい。音声認識処理が実行される場合に、出力部に出力されるので、ユーザは、音声認識処理が実行可能な状態であることを認識することができる。
【００２０】
本発明の第二の態様に係る音声認識プログラムは、音声認識処理を実行する音声認識装置において実行される音声認識プログラムであって、前記音声認識装置のコントローラに、音声入力部に入力された音声の音声データを取得する音声データ取得ステップと、頭部に装着可能な頭部装着部に設けられた取得部であって、外界の光に関する情報である光情報を取得する取得部によって取得された前記光情報に基づいて、前記外界の光の光量に関する値である光量関連値を取得する光量取得ステップと、前記光量取得ステップによって取得された前記光量関連値が第一閾値より大きいか否かを判断する第一判断ステップと、前記第一判断ステップによって前記光量関連値が前記第一閾値より大きいと判断された場合に、前記音声データ取得ステップによって取得された前記音声データに基づく前記音声に対して音声認識処理を実行することで、前記音声に対応するテキストデータを生成する音声認識ステップと、前記頭部装着部の制御を指示する操作ワードに対応する指示データと、前記頭部装着部に実行させる動作についてのデータである動作データが対応付けられた対応データを記憶する記憶部を参照し、前記対応データと前記テキストデータとの比較に基づいて、前記音声認識ステップによって生成された前記テキストデータに、前記指示データが含まれるか否かを判断する指示判断ステップと、前記指示判断ステップによって前記テキストデータに前記指示データが含まれると判断された場合に、前記対応データにおいて前記指示判断ステップによって含まれると判断された前記指示データに対応付けられた前記動作データに基づく動作を前記頭部装着部に実行させる実行ステップと
を実行させる。この場合、例えば、ユーザは手で頭部装着部のスイッチ等を操作する必要がなく、ハンズフリーで音声認識装置に音声認識処理を実行させることができる。
【図面の簡単な説明】
【００２１】
【図１】ＨＭＤ１の斜視図である。
【図２】ＨＭＤ１及びサーバ８０の電気的構成を示すブロック図である。
【図３】閾値データテーブル９５のデータ構成図である。
【図４】第一辞書データテーブル９６のデータ構成図である。
【図５】第二辞書データテーブル９７のデータ構成図である。
【図６】画像表示部１４に表示される画像の一例を示す図である。
【図７】メイン処理のフローチャートである。
【図８】フラグ設定処理のフローチャートである。
【図９】フラグ設定処理のフローチャートである。
【図１０】カメラ２０によって光源１４６が撮像された状態における、画像表示部１４に表示される画像の一例を示す図である。
【図１１】カメラ２０がユーザの手１４９に覆われた状態における、画像表示部１４に表示される画像の一例を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明を具体化した実施の形態について、図面を参照して説明する。図１に示すように、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）１は、投影装置（以下、「ヘッドディスプレイ」又は「ＨＤ」という。）１０と制御装置（以下、「コントロールボックス」又は「ＣＢ」という。）５０を備える。ＨＤ１０は、例えばユーザの頭部に装着される。ＣＢ５０は、例えばユーザの腰ベルトや腕等に装着される。ＨＭＤ１は、図２に示すサーバ８０と、無線通信又は有線通信を介して接続し、システムを構成することも可能である。以下の説明において、図１の上方、下方、右斜め下方、左斜め上方、右斜め上方、及び左斜め下方がそれぞれ、ＨＭＤ１の上方、下方、前方、後方、右方、及び左方である。
【００２３】
ＨＤ１０は専用の装着具である眼鏡５に装着して使用される。ＨＤ１０は、ユーザが日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けられてもよい。ＨＤ１０は、ユーザの眼に画像光を照射する。ＨＤ１０はハーネス７を介してＣＢ５０と着脱可能に接続する。ＣＢ５０は、ＨＤ１０を制御する。
【００２４】
ＨＤ１０の構成について説明する。ＨＤ１０は筐体２を備える。筐体２は、ＨＭＤ１のユーザ側から見て右端側（図１における左側）にハーフミラー３を備える。ハーフミラー３は、ユーザがＨＤ１０を頭部に装着したとき、ユーザの眼（例えば左眼）の前方に配置される。ＨＤ１０は、筐体２の内部に、画像表示部１４（図２参照）と接眼光学系（図示略）を備える。画像表示部１４は、ＣＢ５０からハーネス７を介して送信される映像信号に基づいて画像を表示する。画像表示部１４は、例えば、液晶素子等の空間変調素子及び光源である。画像表示部１４は、画像信号に応じた強度のレーザ光を２次元走査して画像表示を行う網膜走査型表示部、液晶ディスプレイ、及び有機ＥＬ（Organic Electro-luminescence）ディスプレイ等であってもよい。ＨＤ１０は、カメラ２０を備える。カメラ２０は、ＨＤ１０の正面方向の外界の風景を撮像する。
【００２５】
接眼光学系は、画像表示部１４に表示された画像を示す画像光を集光し、ハーフミラー３に対して射出する。接眼光学系から射出された画像光は、筐体２の左側に設けられたハーフミラー３によって少なくとも一部（例えば半分）が反射される。ＨＭＤ１がユーザに装着されている場合、ハーフミラー３によって反射された画像光は、ユーザの一方（例えば左）の眼球（図示略）に入射する。ハーフミラー３は外界の実像からの光の少なくとも一部を透過するので、ユーザは、自己の視野において実像（外界の風景）に重畳して画像を見ることができる。
【００２６】
眼鏡５は、ＨＤ１０をユーザの頭部に保持するための構成である。眼鏡５は、フレーム６において、左眼用レンズを支えるリム部の上面右端（ユーザから見て上面左端）に、支持部４を備える。支持部４は、ＨＤ１０の筐体２を保持し、筐体２を眼鏡５に取り付ける。支持部４は、筐体２の保持位置を上下方向及び左右方向に調整することができる。ユーザは、眼球の位置に合わせた位置にハーフミラー３を配置することができる。
【００２７】
眼鏡５は、フレーム６において、右耳に掛けるテンプル部に、マイク１７及びイヤホン１８を内蔵するヘッドセット１６を備える。ヘッドセット１６には骨伝導型のものを用いてもよい。なお、眼鏡５自体の形状は通常の眼鏡に類似のため、詳細な説明は省略する。
【００２８】
ＣＢ５０の構成について説明する。ＣＢ５０は、略直方体状で縁部を丸めた箱型の筐体を有する。ＣＢ５０は電源ランプ６３を内蔵する電源スイッチ６２を含む操作部６１を備える。ユーザは、電源スイッチ６２を操作し、ＨＭＤ１の電源をオン又はオフにすることができる。ユーザは、ＨＤ１０における各種設定や、使用時における各種操作等を、操作部６１を介して行うことが可能である。
【００２９】
ＣＢ５０は、公知の無線通信を介して図２に示すサーバ８０と接続し、サーバ８０との間で音声データや画像データを含む各種データの送受信を行うことが可能である。ＣＢ５０は有線通信のインターフェイスを備え、通信ケーブルを用いてネットワーク９（図２参照）に接続し、サーバ８０と接続してもよい。あるいはＣＢ５０は、ＵＳＢインターフェイスを備え、ＵＳＢケーブルを用い、サーバ８０に接続してもよい。なお、サーバ８０は、パーソナルコンピュータ、スマートフォン、及びタブレット型携帯端末など、その他の機器であってもよい。
【００３０】
図２を参照し、ＨＭＤ１の電気的構成について説明する。ＨＤ１０は、ＨＤ１０全体の制御を行うＣＰＵ１１を備える。ＣＰＵ１１は、ＲＡＭ１２、プログラムＲＯＭ１３、画像表示部１４、インターフェイス１５、及び接続コントローラ１９に電気的に接続される。ＣＰＵ１１は、インターフェイス１５を介してカメラ２０及びヘッドセット１６に電気的に接続される。ＲＡＭ１２は、各種データを一時的に記憶する。プログラムＲＯＭ１３は、ＣＰＵ１１が実行する各種プログラム等を記憶する。各種プログラムは、ＨＤ１０の出荷時にプログラムＲＯＭ１３に記憶される。なお、ＣＰＵ１１は、後述するＣＢ５０のフラッシュＲＯＭ５４に記憶されたプログラムも実行することができる。
【００３１】
画像表示部１４は前述の通り、映像信号に基づいて画像を表示する。インターフェイス１５は、カメラ２０、ヘッドセット１６、及び向き検出センサ２１に接続し、信号の入出力を制御する。接続コントローラ１９は、ハーネス７を介してＣＢ５０の接続コントローラ５８に接続し、有線通信を行う。カメラ２０は画像を撮像する。ヘッドセット１６はマイク１７及びイヤホン１８を備える。ヘッドセット１６はマイク１７に入力するアナログの音をデジタルに変換し、インターフェイス１５を介して音声データをＣＰＵ１１に送信する。ヘッドセット１６はインターフェイス１５を介してＣＰＵ１１から受信する音声データをデジタルからアナログに変換し、イヤホン１８から出力する。なお、ＨＤ１０は、ヘッドセット１６の代わりに、筐体２にマイクとスピーカを内蔵してもよい。向き検出センサ２１はＨＤ１０の向きを検出する。ＨＤ１０の向きはユーザの顔の向きと対応している。向き検出センサ２１には、例えば６軸センサ及びジャイロセンサ等、種々のセンサを使用することができる。
【００３２】
ＣＢ５０の電気的構成について説明する。ＣＢ５０は、ＣＢ５０全体の制御を行うＣＰＵ５１を備える。ＣＰＵ５１は、ＲＡＭ５２、プログラムＲＯＭ５３、フラッシュＲＯＭ５４、インターフェイス５５、ビデオＲＡＭ５６、画像処理部５７、接続コントローラ５８、及び無線通信部５９に電気的に接続される。ＲＡＭ５２は、各種データを一時的に記憶する。
【００３３】
プログラムＲＯＭ５３は、ＣＰＵ５１が実行する各種プログラム等を記憶する。プログラムＲＯＭ５３は、メインプログラム記憶エリア５３１を少なくとも備える。メインプログラム記憶エリア５３１は、ＣＰＵ５１がＨＭＤ１の各種動作を制御するために実行するメインプログラムを記憶する。メインプログラムは、例えば、後述するメイン処理及びフラグ設定処理を実行するためのプログラム等を含む。また、プログラムＲＯＭ５３は、ＯＳを記憶する。メインプログラムは、ＯＳ上で実行される。メインプログラム及びＯＳは、ＨＭＤ１の出荷時にプログラムＲＯＭ５３に記憶される。また、ＨＭＤ１は、プログラムダウンロード用のサーバからメインプログラム及びＯＳを無線通信部５９を介してダウンロードし、インストールしてもよい。例えば、メインプログラム及びＯＳは、コンピュータで読み取り可能な一時的な記憶媒体（例えば、伝送信号）として、サーバからＨＭＤ１に送信される。メインプログラムは、ＨＭＤ１が備えるコンピュータで読み取り可能な記憶装置、例えば、プログラムＲＯＭ５３に保存される。但し、記憶装置は、例えばＲＯＭ、フラッシュＲＯＭ、ＨＤＤ、ＲＡＭなどの、一時的な記憶媒体を除く記憶媒体であってよい。また、記憶装置は、非一時的な記憶媒体であってよい。非一時的な記憶媒体は、データを記憶する時間の長さに関わらず、データを留めておくことが可能なものである。なお、ＣＰＵ５１は、フラッシュＲＯＭ５４に記憶されたプログラムも実行可能である。
【００３４】
フラッシュＲＯＭ５４は、インストールされる各種プログラム等を記憶する。インターフェイス５５は電源スイッチ６２及び電源ランプ６３を含む操作部６１に接続し、ユーザによる操作の入力信号やランプの点灯信号等の入出力を行う。画像処理部５７は、ＨＤ１０の画像表示部１４に表示する画像を形成する処理を行う。なお、画像処理部５７は、ＣＰＵ４１がプログラムに従って実行するデータ処理で実現されてもよいし、電気回路で実現されてもよい。ビデオＲＡＭ５６は、画像処理部５７が形成した画像を画像表示部１４に表示するための映像信号を生成するため、画像を仮想的に表示した仮想画面を記憶領域内に形成する。接続コントローラ５８は、ハーネス７を介してＨＤ１０の接続コントローラ１９に接続し、有線通信を行う。無線通信部５９は、ネットワーク９のアクセスポイント（図示略）へ無線で接続し、例えば、サーバ８０など、ネットワーク９に接続する他の機器と通信を行う。
【００３５】
サーバ８０は、サーバ８０全体の制御を行うＣＰＵ８１を備える。ＣＰＵ８１は、データバスを介してＲＯＭ８２、ＲＡＭ８３、及び入出力バス（以下、「Ｉ／Ｏバス」という。）８５と電気的に接続する。ＲＯＭ８２は、ＣＰＵ８１が実行するＢＩＯＳ等のプログラムを記憶する読出し専用の記憶装置である。ＲＡＭ８３は、データを一時的に記憶する読み書き可能な記憶装置である。
【００３６】
Ｉ／Ｏバス８５には、ハードディスクドライブ（以下、「ＨＤＤ」という。）８４及び通信部８６が接続されている。ＨＤＤ８４は、ＯＳやプログラム等がインストールされる記憶装置である。通信部８６は、ネットワーク９のアクセスポイント（図示略）へ有線通信又は無線通信で接続し、サーバ８０をネットワーク９に接続する。また、図示しないが、Ｉ／Ｏバス８５にはマウスやキーボード等の入力デバイスも接続されている。
【００３７】
図３を参照して、閾値データテーブル９５について説明する。閾値データテーブル９５は、例えば、フラッシュＲＯＭ５４に記憶されている。閾値データテーブル９５には、色、第一閾値、及び第二閾値が対応付けられている。色は、画像データ中の画素におけるＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の各成分を表す。第一閾値及び第二閾値は、ＲＧＢの夫々についての輝度についての閾値である。第二閾値は第一閾値より小さい。なお、画像データ中のＲＧＢの夫々の輝度は、０〜２５５の間で変動する。Ｒ成分、Ｇ成分、及びＢ成分共に、第一閾値は「２２０」に設定されている。また、Ｒ成分の第二閾値は、「８０」に設定され、Ｇ成分及びＢ成分は共に「３０」に設定されている。
【００３８】
図４及び図５を参照して、第一辞書データテーブル９６及び第二辞書データテーブル９７について説明する。第一辞書データテーブル９６及び第二辞書データテーブル９７は、例えば、フラッシュＲＯＭ５４に記憶されている。第一辞書データテーブル９６及び第二辞書データテーブル９７には、指示データと動作データとが対応付けられている。より詳細には、第一辞書データテーブル９６には、指示データ「送る」、「戻る」、「Ｎ枚目」、及び「終了」が夫々、動作データ「画像の次ページを表示」、「画像の前ページを表示」、「画像のＮページ目を表示」、及び「画像の表示を終了する」に対応付けられている。第二辞書データテーブル９７には、指示データ「明るく」、「暗く」、「オン」、及び「オフ」が夫々、動作データ「表示輝度を明るくする」、「表示輝度を暗くする」、「画像の表示を開始する」、及び「画像の表示を停止する」に対応付けられている。指示データは、ＨＭＤ１の制御を指示する操作ワードに対応する指示のデータである。操作ワードは、ユーザが発する言葉である。動作データは、ＨＭＤ１に実行させる動作についてのデータである。例えば、ユーザが操作ワード「ページを送る」を発声すると、後述するＳ２１で生成されたテキストデータ「ページを送る」に「送る」の指示データが含まれると判断され（後述する図７のＳ２２：ＹＥＳ）、動作データ「画像の次ページを表示する」に基づく動作が実行される（後述する図７のＳ２３）。なお、Ｎ枚目等の「Ｎ」は任意の自然数であり、ユーザは、Ｎを自然数に置き換えて発声する。
【００３９】
図６を参照して、画像表示部１４に表示される画像の一例について説明する。図６の上側、下側、左側、及び右側を夫々、画像表示部１４の上側、下側、左側、及び右側とする。図６に示すように、画像表示部１４の左下部には、撮像画像表示領域１４１が設けられている。撮像画像表示領域１４１には、カメラ２０によって撮像された自動車１４２が表示されている。撮像画像表示領域１４１の右上には、表示領域１４３が設けられている。表示領域１４３には、動画及び作業マニュアル等、種々の画像が表示される。本実施形態では、自動車１４２についての修理マニュアルの画像が表示されるとする。なお、図６に示す表示領域１４３に表示された画像は、修理マニュアルの１ページ目の画像であるとする。このため、表示領域１４３の右下部に１ページ目であることを示す「Ｐ１」が表示されている。
【００４０】
図７〜図９を参照して、メイン処理及びフラグ設定処理について説明する。操作部５０を介してメインプログラムの起動指示が受け付けられると、ＣＰＵ５１は、プログラムＲＯＭ５３に記憶されたメイン処理及びフラグ設定処理のプログラムを含むメインプログラムをＲＡＭ５２に展開し、処理を実行する。ＣＰＵ５１は、ＨＭＤ１の電源がオフされると、メイン処理及びフラグ設定処理を終了する。なお、以下の説明では、ＨＭＤ１は、ネットワーク９及びサーバ８０に接続されていないとする。また、図６に示す自動車１４２が作業対象物であり、作業場においてユーザが自動車１４２の修理をする場合を具体例として例示しながら説明する。図６に示す表示領域１４３には、自動車１４２の修理マニュアルの画像の１ページ目が表示されている。この修理マニュアルは、フラッシュＲＯＭ５４に記憶されており、ユーザの操作に応じてＣＰＵ５１が選択し、表示領域１４３に表示しているとする。
【００４１】
メイン処理では、ＣＰＵ５１は、マイク１７から入力される音声の音声データの取得を開始する（Ｓ１１）。ＣＰＵ５１は、Ｓ１１を実行した後、音声データの取得を継続する。ＣＰＵ５１は、実行フラグが「１」であるか否かを判断する（Ｓ１２）。ＣＰＵ５１は、後述する図８のＳ３１、Ｓ４３、Ｓ５４、及び図９のＳ６４において実行フラグを設定する。詳細は後述するが、具体例において、図１０に示すようにカメラ２０によって撮像される画像に光源１４６が含まれて明るくなった場合、ＣＰＵ５１は実行フラグを「１」に設定する。図１１に示すように、カメラ２０が物体、例えばユーザの手１４９によって覆われて暗くなる場合、ＣＰＵ５１は実行フラグを「−１」に設定する。図６に示すように、カメラ２０によって撮像される画像に光源１４６が含まれず、ユーザの手１４９によってカメラ２０が覆われていない場合、ＣＰＵ５１は実行フラグを「０」に設定する。
【００４２】
実行フラグが「１」でない場合（Ｓ１２：ＮＯ）、ＣＰＵ５１は実行フラグが「−１」であるか否かを判断する（Ｓ１３）。実行フラグが「−１」でない場合（Ｓ１３：ＮＯ）、ＣＰＵ５１は処理をＳ１２に戻す。実行フラグが「１」である場合（Ｓ１２：ＹＥＳ）、ＣＰＵ５１は、ＨＤ１０の向きを検出するか否かを判断する（Ｓ１４）。例えば、向き検出センサ２１が設けられていない場合、向き検出センサ２１がオン状態でない場合、又は、後述する図９のＳ６２及びＳ６３が実行されている場合、ＣＰＵ５１は向きを検出しないと判断し（Ｓ１４：ＮＯ）、後述するＳ１７及びＳ２０〜Ｓ２３を実行する。
【００４３】
ＣＰＵ５１は、向きを検出すると判断した場合（Ｓ１４：ＹＥＳ）、向き検出センサ２１によって検出される向きを取得する（Ｓ１５）。ＣＰＵ５１は、Ｓ１５において取得した向き検出センサ２１の検出結果が、所定の向きであるか否かを判断する（Ｓ１６）。本実施形態では、所定の向きは、水平により上側（重力方向の逆方向側）であるとする。フラッシュＲＯＭ５４には、所定の向きに対応する向き検出センサ２１の出力値が予め記憶されている。ＣＰＵ５１は、Ｓ１５において、ＨＤ１０の向きに応じた向き検出センサの出力値を取得する。ＣＰＵ５１は、Ｓ１６において、フラッシュＲＯＭ５４に記憶された所定の向きに対応する向き検出センサ２１の出力値と、Ｓ１５において取得した向き検出センサ２１の出力値とを比較することで、所定の向きであるか否かを判断する。ＣＰＵ５１は、所定の向きではないと判断した場合（Ｓ１６：ＮＯ）、処理をＳ１２に戻す。すなわち、ＣＰＵ５１は、後述する音声認識処理（Ｓ２１）を実行しない。
【００４４】
ＣＰＵ５１は、所定の向きであると判断した場合（Ｓ１６：ＹＥＳ）、図４に示す第一辞書データテーブル９６を取得する（Ｓ１７）。ＣＰＵ５１は、取得した第一辞書データテーブル９６をＲＡＭ５２に記憶する。ＣＰＵ５１は、マイク１７を介して取得した音声データに基づく音声のレベルが所定レベル以上であるか否かを判断する（Ｓ２０）。所定レベルは、周囲の雑音より大きいレベルに設定される。例えば、ユーザが発声した場合には、音声データに基づく音声のレベルが所定レベル以上となる。なお、所定レベルは、予めフラッシュＲＯＭ５４に記憶されていてもよいし、ユーザが発声していない定常状態の時の音声データに基づく音声より大きいレベルにＣＰＵ５１が設定してもよい。
【００４５】
音声のレベルが所定レベル以上でない場合（Ｓ２０：ＮＯ）、ＣＰＵ５１は処理をＳ１２に戻す。音声のレベルが所定レベル以上である場合（Ｓ２０：ＹＥＳ）、ＣＰＵ５１は、マイク１７を介して取得した音声データに基づく音声に対して音声認識処理を実行し、音声に対応するテキストデータを生成する（Ｓ２１）。ＣＰＵ５１は、生成したテキストデータをＲＡＭ５２に記憶する。具体例においては、ユーザが「ページを送る」と言葉を発声したとする。この場合、ＣＰＵ５１は、音声のレベルが所定レベル以上であると判断し（Ｓ２０：ＹＥＳ）、音声認識処理によって「ページを送る」のテキストデータを作成する（Ｓ２１）。
【００４６】
ＣＰＵ５１は、指示データと、Ｓ２０において生成したテキストデータとの比較に基づいて、Ｓ２１において生成したテキストデータに指示データが含まれるか否かを判断する（Ｓ２２）。Ｓ２２において、ＣＰＵ５１は、Ｓ１７において図４に示す第一辞書データテーブル９６を取得した場合、第一辞書データテーブル９６に登録された指示データを比較の対象とする。また、ＣＰＵ５１は、Ｓ１９において図５に示す第二辞書データテーブル９７を取得した場合、第二辞書データテーブル９７に登録された指示データを比較の対象とする。
【００４７】
具体例において、ＣＰＵ５１は、Ｓ２１の音声認識処理において「ページを送る」のテキストデータを作成している。図４に示す第一辞書データテーブル９６には、指示データ「送る」が登録されている。よって、ＣＰＵ５１は、テキストデータに指示データが含まれると判断し（Ｓ２２：ＹＥＳ）、Ｓ２３を実行する。
【００４８】
Ｓ２３において、ＣＰＵ５１は、Ｓ２２において含まれると判断した指示データに対応付けられた動作データに基づく動作をＨＭＤ１が備えるＨＤ１０に実行させる。具体例の場合、図４に示す第一辞書データテーブル９６において、指示データ「送る」には、動作データ「画像の次ページを表示」が登録されている。よって、ＣＰＵ５１は、表示領域１４３に表示した修理マニュアルの画像の２ページ目を表示する指示をＨＤ１０に送信する。これによって、表示領域１４３に修理マニュアルが表示され、ユーザは２ページ目を確認しながら、自動車１４２の修理を行うことができる。ＣＰＵ５１は処理をＳ１２に戻す。なお、Ｓ２２において、ＣＰＵ５１は、テキストデータに指示データが含まれないと判断した場合（Ｓ２２：ＮＯ）、処理をＳ１２に戻す。すなわち、ユーザが会話等を行い、指示データに含まれない言葉を発声しても、Ｓ２３は実行されない。
【００４９】
実行フラグが「−１」である場合（Ｓ１３：ＹＥＳ）、ＣＰＵ５１は、ＲＡＭ５２を参照して、単一辞書モードであるか否かを判断する（Ｓ１８）単一辞書モードは、カメラ２０によって撮像される画像に光源１４６含まれて画像が明るくなった場合、及び、カメラ２０がユーザの手１４９によって覆われて画像が暗くなった場合の両方で、Ｓ２２において第一辞書データテーブル９６が使用されるモードである。複数辞書モードは、画像に光源１４６が含まれて画像が明るくなった場合にＳ２２において第一辞書データテーブル９６が使用され、カメラ２０がユーザの手１４９によって覆われて画像が暗くなった場合にＳ２２において第二辞書データテーブル９７が使用されるモードである。ＣＰＵ５１は、例えば、メイン処理が実行される前に、ユーザの操作に応じて単一辞書モード又は複数辞書モードを設定し、ＲＡＭ５２に記憶する。
【００５０】
単一辞書モードである場合（Ｓ１８：ＹＥＳ）、ＣＰＵ５１は処理をＳ１７に進める。この場合、Ｓ２２において、ＣＰＵ５１はＳ１７において取得した第一辞書データテーブル９６の指示データを、比較の対象とする。単一辞書モードでない場合（Ｓ１８：ＮＯ）、ＣＰＵ５１は図５に示す第二辞書データテーブル９７を取得する（Ｓ１９）。ＣＰＵ５１は、取得した第二辞書データテーブル９７をＲＡＭ５２に記憶する。次いで、ＣＰＵ５１は、処理をＳ２０に進める。この場合、Ｓ２２において、ＣＰＵ５１はＳ１９において取得した第二辞書データテーブル９７の指示データを比較の対象とする。例えば、ユーザが「画面を明るく」と発声すると、ＣＰＵ５１はテキストデータ「画面を明るく」を生成し（Ｓ２１）、テキストデータに第二辞書データテーブル９７の指示データ「明るく」が含まれると判断する（Ｓ２２：ＹＥＳ）。そして、ＣＰＵ５１は、動作データ「表示輝度を明るくする」に基づいて、画像表示部１４の表示輝度を増加させる指示をＨＤ１０に対して送信する（Ｓ２３）。以上のようにメイン処理が実行される。
【００５１】
図８及び図９を参照してフラグ設定処理について説明する。フラグ設定処理は、図７に示すメイン処理が実行されている間に実行される。ＣＰＵ５１は、実行フラグを「０」に設定する（Ｓ３１）。実行フラグは、音声認識処理を実行するか否か等を判断するためのフラグである。ＣＰＵ５１は、設定した実行フラグをＲＡＭ５２に記憶する。ＣＰＵ５１は、外界の光に関する情報である光情報を取得する（Ｓ３２）。本実施形態では、光情報は、画像データであり、ＣＰＵ５１は、カメラ２０に対して制御信号を送信することにより画像データを取得するとする。ＣＰＵ５１は、Ｓ３３において取得した画像データに基づく画像を画像表示部１４の撮像画像表示領域１４１に表示させる指示を、ＨＤ１０に対して送信する（Ｓ３３）。ＣＰＵ５１は、Ｓ３２において取得した画像データに基づく画像をｍ分割する（Ｓ３４）。ｍは自然数であり、本実施形態では、一例として「９」であるとする。この場合、図６における撮像画像表示領域１４１に点線で示すように、ＣＰＵ５１は、画像を９つに分割し、９つの分割領域１４５を形成する。なお、撮像画像表示領域１４１における点線は、説明のために記載しているものであり、撮像画像表示領域１４１には表示されない。後述する図１０及び図１１においても同様である。
【００５２】
ＣＰＵ５１は、Ｓ３２において取得した光情報に基づいて、外界の光に関する値である光量関連値を取得する（Ｓ３５）。本実施形態の光量関連値は、画像データに基づく画像におけるＲＧＢの夫々の輝度であるとする。ＣＰＵ５１は、Ｓ３５において複数の分割領域１４５の夫々についての輝度を取得する。取得される輝度は、例えば、複数の分割領域１４５の夫々における最大の輝度でもよいし、複数の分割領域１４５の夫々における画素の平均（例えば、算術平均値、中央値、最頻値など）の輝度でもよい。
【００５３】
ＣＰＵ５１は、Ｓ３５において取得した前記光量関連値に基づいて、画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より大きいか否かを判断する（Ｓ３６）。本実施形態では、ＣＰＵ５１は、Ｓ３５において取得した複数の分割領域１４５の夫々の光量関連値が第一閾値よりも大きい分割領域１４５の数が、第一所定数Ｊより多いか否かを判断することで、画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より小さいか否かを判断する。本実施形態では、第一所定数Ｊは「２」であるとする。判断の基準となる第一閾値は、図３に示す閾値データテーブル９５に登録されている。
【００５４】
例えば、図６に示すように、撮像画像表示領域１４１に、例えば後述する光源１４６（図１０参照）等が表示されていない場合、Ｓ３５において取得された複数の分割領域１４５におけるＲＧＢの夫々の輝度全てが第一閾値「２２０」より大きくなる分割領域１４５が第一所定数Ｊ「２」以下となる。このため、ＣＰＵ５１は、画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より大きくないと判断する（Ｓ３６：ＮＯ）。
【００５５】
ＣＰＵ５１は時間Ｔａを０に設定する（Ｓ３７）。なお、ＣＰＵ５１は、Ｓ４１において時間Ｔａの計測を開始している場合には、時間Ｔａを０に設定すると共に、時間Ｔａの計測を停止する。ＣＰＵ５１は、Ｓ３５において取得した光量関連値に基づいて、画像データに基づく画像の少なくとも一部における光量関連値が、第二閾値より小さいか否かを判断する（Ｓ３８）。本実施形態では、ＣＰＵ５１は、Ｓ３５において取得した複数の分割領域１４５の夫々の光量関連値が第二閾値よりも小さい分割領域１４５の数が、第二所定数Ｋより多いか否かを判断することで、画像データに基づく画像の少なくとも一部における光量関連値が第二閾値より小さいか否かを判断する。本実施形態では、第二所定数Ｋは、「４」であるとする。判断の基準となる第二閾値は、図３に示す閾値データテーブル９５に登録されている。
【００５６】
例えば、図６に示すように、カメラ２０が手で覆われることなく、撮像画像表示領域１４１が暗くなっていない場合、Ｓ３５において取得された複数の分割領域１４５におけるＲＧＢの夫々の輝度全てが第二閾値より小さくなる分割領域１４５が第二所定数Ｋ「４」以下となる。このため、ＣＰＵ５１は、画像データに基づく画像の少なくとも一部における光量関連値が第二閾値より小さくないと判断する（Ｓ３８：ＮＯ）。ＣＰＵ５１は、時間Ｔｂを０に設定する（Ｓ３９）。なお、ＣＰＵ５１は、Ｓ５２において時間Ｔｂの計測を開始している場合には、時間Ｔｂを０に設定すると共に、時間Ｔｂの計測を停止する。ＣＰＵ５１は処理をＳ３２に戻す。
【００５７】
カメラ２０が光源に向けられるか、カメラ２０が手などで覆われた場合に、ＣＰＵ５１は、音声認識処理を実行する。例えば、図１０に示すように、カメラ２０が光源１４６に向けられたとする。光源１４６は、作業場の天井にある２本の蛍光灯である。光源１４６は、上下方向中央の３つの分割領域１４５に位置しており、第一所定数Ｊ「２」より多い３つの分割領域１４５のＲＧＢの夫々の輝度全てが、第一閾値「２２０」より大きくなる。この場合、ＣＰＵ５１は、画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より大きいと判断する（Ｓ３６：ＹＥＳ）。
【００５８】
ＣＰＵ５１は、時間Ｔａが計測中であるか否かを判断する（Ｓ４０）。時間Ｔａが計測中である場合（Ｓ４０：ＹＥＳ）、ＣＰＵ５１は、後述するＳ４２を実行する。時間Ｔａが計測中でない場合（Ｓ４０：ＮＯ）、ＣＰＵ５１は、ＯＳのタイマ機能を利用して時間Ｔａの計測を０から開始する（Ｓ４１）。ＣＰＵ５１は、時間Ｔａが時間Ｔ１以上か否かを判断する。時間Ｔ１は、例えば１秒である。時間Ｔａが時間Ｔ１以上でない場合（Ｓ４２：ＮＯ）、ＣＰＵ５１は処理をＳ３２に戻す。例えば、光源１４６がカメラ２０に継続して撮像されている時間が時間Ｔ１より短い場合には、後述するＳ４３が実行されない（Ｓ３６：ＮＯ）。このため、ユーザが意図せずに光源１４６がカメラ２０に撮像されても、時間Ｔ１より短い場合には、音声認識処理が実行されない。
【００５９】
時間Ｔａが時間Ｔ１以上である場合（Ｓ４２：ＹＥＳ）、ＣＰＵ５１は、実行フラグを「１」に設定する（Ｓ４３）。ＣＰＵ５１は、設定された実行フラグをＲＡＭ５２に記憶する。ＣＰＵ５１は、実行フラグが「１」に設定されたと判断し（図７のＳ１２：ＹＥＳ）、ＨＤ１０の向きが所定の向きであると判断すると（図７のＳ１６：ＹＥＳ）、音声認識処理を実行する（Ｓ２１）。
【００６０】
ＣＰＵ５１は、音声認識処理が実行可能な状態を示す情報である実行表示１４４を画像表示部１４に出力する指示を、ＨＤ１０に送信する（Ｓ４４）。図１０に示す実行表示１４４は、「音声認識処理を実行中です」のメッセージである。実行表示１４４は、他のメッセージであってもよい。また、実行表示１４４は、指示データに対応する操作ワードを示すテキストであってもよい。この場合、ＨＭＤ１のユーザは、使用可能な操作ワードを確認できる。実行表示１４４が画像表示部１４に出力されるので、ユーザは音声認識処理が実行可能な状態であることを認識することができる。後述するＳ５５も同様である。
【００６１】
ＣＰＵ５１は、Ｓ４５〜Ｓ４９を実行する。Ｓ４５〜Ｓ４９は、夫々、Ｓ３２〜Ｓ３６と同様の処理である。ＣＰＵ５１は、画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より大きい場合（Ｓ４９：ＹＥＳ）、時間Ｔａが時間Ｔ２以上であるか否かを判断する（Ｓ５０）。時間Ｔ２は、例えば５秒である。時間Ｔａが時間Ｔ２以上でない場合（Ｓ５０：ＮＯ）、ＣＰＵ５１は処理をＳ４５に戻す。すなわち、Ｓ５０では、時間Ｔ２以上継続して、Ｓ３６及びＳ４９において光量関連値が第一閾値より大きいと判断されたか否かが判断されている。
【００６２】
時間Ｔａが時間Ｔ２以上である場合（Ｓ５０：ＹＥＳ）、ＣＰＵ５１は、実行フラグを「０」に設定する（Ｓ６４）。ＣＰＵ５１は、実行フラグを「０」に設定した場合、音声認識処理（図７のＳ２１）を実行しない（図７のＳ１２：ＮＯ、Ｓ１３：ＮＯ）。すなわち、ＣＰＵ５１は、時間Ｔ２以上継続して、Ｓ３６及びＳ４９において光量関連値が第一閾値より大きいと判断した場合に、Ｓ２１における音声認識処理を停止する。時間Ｔ２以上継続して、Ｓ３６及びＳ４９において光量関連値が第一閾値より大きいと判断される場合、ユーザが音声認識処理を実行させる意思を持って、カメラ２０を光源１４６に向けている可能性が低い。この場合に、ＣＰＵ５１が自動で音声認識処理を停止するので、ユーザの利便性が向上する。
【００６３】
ＣＰＵ５１は、実行表示１４４の画像表示部１４への出力を停止する指示を、ＨＤ１０に対して送信する（Ｓ６５）。これによって、ＣＰＵ５１は、音声認識処理が停止されたことをユーザに報知する。ＣＰＵ５１は、時間Ｔａ、後述する時間Ｔｂ、後述する時間Ｔｃの計測を停止する（Ｓ６６）。ＣＰＵ５１は処理をＳ３２に戻す。
【００６４】
図１１に示すように、ユーザがカメラ２０の一部を手１４９で覆ったとする。図１１では、左側の６つの分割領域１４５が、手１４９で覆われ、暗くなっている。この場合、手１４９で覆われた６つの分割領域１４５の輝度は、Ｒ「６０」、Ｇ「２０」、Ｂ「２０」であるとする。この例では、手１４９に流れる血液に外界の光が透過し、画像データに基づく画像のＲ成分が、Ｇ成分及びＢ成分よりも大きくなっている。図３に示す閾値データテーブルでは、Ｒ成分の輝度についての第二閾値「８０」が、Ｇ成分及びＢ成分についての第二閾値「３０」よりも大きく設定されている。このため、第二所定数Ｋ「４」よりも多い６つの分割領域１４５のＲＧＢの夫々の輝度全てが、第二閾値より小さくなる。この場合、図８に示すように、ＣＰＵ５１は、画像データに基づく画像の少なくとも一部における光量関連値が第二閾値より小さいと判断し（Ｓ３８：ＹＥＳ）、Ｓ５１を実行する。この場合、ＣＰＵ５１は、後述するＳ５４において実行フラグを「−１」に設定し、音声認識処理を実行する（図７のＳ１３：ＹＥＳ、及びＳ２１）。
【００６５】
このように、ユーザが手１４９などの身体の一部を用いてカメラ２０を覆う場合において、画像データ中のＲ成分が、Ｇ成分及びＢ成分より大きくなった場合でも、Ｓ３８では、光量関連値が第二閾値より小さいと判断される。よって、ユーザは、より確実にＨＭＤ１に音声認識処理を実行させることができる。
【００６６】
Ｓ５１において、ＣＰＵ５１は、時間Ｔｂが計測中であるか否かを判断する。時間Ｔｂが計測中である場合（Ｓ５１：ＹＥＳ）、ＣＰＵ５１は、後述するＳ５３を実行する。時間Ｔｂが計測中でない場合（Ｓ５１：ＮＯ）、ＣＰＵ５１は、ＯＳのタイマ機能を利用して時間Ｔｂの計測を０から開始する（Ｓ５２）。ＣＰＵ５１は、時間Ｔｂが時間Ｔ３以上であるか否かを判断する（Ｓ５３）。時間Ｔ３は、例えば１秒である。時間Ｔｂが、時間Ｔ３以上でない場合（Ｓ５３：ＮＯ）、ＣＰＵ５１は処理をＳ３２に戻す。例えば、カメラ２０が手１４９に継続して覆われている時間が時間Ｔ３より短い場合には、ＣＰＵ５１は後述するＳ５４を実行しない（Ｓ３８：ＮＯ）。このため、ユーザが意図せずにカメラ２０に撮像される画像が暗くなっても、時間Ｔ３より短い場合には、ＣＰＵ５１は音声認識処理を実行しない。
【００６７】
時間Ｔｂが時間Ｔ３以上である場合（Ｓ５３：ＹＥＳ）、ＣＰＵ５１は実行フラグを「−１」に設定する（Ｓ５４）。ＣＰＵ５１は、設定した実行フラグをＲＡＭ５２に記憶する。前述したように、ＣＰＵ５１は、実行フラグを「−１」に設定したと判断した場合（図７のＳ１３：ＹＥＳ）、音声認識処理を実行する（Ｓ２１）。
【００６８】
図１１に示すように、ＣＰＵ５１は、実行表示１４４を画像表示部１４に出力する指示を、ＨＤ１０に送信する（Ｓ５５）。次いで、ＣＰＵ５１は、Ｓ５６〜Ｓ６０を実行する。Ｓ５６〜Ｓ６０は、夫々、Ｓ３２〜Ｓ３５及びＳ３８と同様の処理である。ＣＰＵ５１は、画像データに基づく画像の少なくとも一部における光量関連値が第二閾値より小さい場合（Ｓ６０：ＹＥＳ）、時間Ｔｂが時間Ｔ４以上であるか否かを判断する（Ｓ６１）。時間Ｔ４は、例えば５秒である。時間Ｔｂが時間Ｔ４以上でない場合（Ｓ６１：ＮＯ）、ＣＰＵ５１は処理をＳ５６に戻す。すなわち、ＣＰＵ５１がＳ６１において、時間Ｔ４以上継続して、Ｓ３８及びＳ６０において光量関連値が第二閾値より小さいと判断したか否かを判断している。
【００６９】
時間Ｔｂが時間Ｔ４以上である場合（Ｓ６１：ＹＥＳ）、ＣＰＵ５１は処理をＳ６４に進め、実行フラグを「０」に設定する（Ｓ６４）。ＣＰＵ５１は、実行フラグを「０」に設定した場合、音声認識処理（図７のＳ２１）を実行しない（図７のＳ１２：ＮＯ、Ｓ１３：ＮＯ）。すなわち、ＣＰＵ５１は、時間Ｔ４以上継続して、Ｓ３８及びＳ６０において光量関連値が第二閾値より小さいと判断した場合に、Ｓ２１における音声認識処理を停止する。時間Ｔ４以上継続して、Ｓ３８及びＳ６０において光量関連値が第二閾値より小さいと判断される場合、ユーザが音声認識処理を実行させる意思を持って、カメラ２０に撮像される外界の光を暗くしている可能性が低い。この場合に、ＣＰＵ５１が自動で音声認識処理を停止するので、ユーザの利便性が向上する。
【００７０】
ＣＰＵ５１は、Ｓ４９において、画像データに基づく画像の一部における光量関連値が第一閾値より大きくないと判断した場合（Ｓ４９：ＮＯ）、Ｓ６２を実行する。また、ＣＰＵ５１は、Ｓ６０において、画像データに基づく画像の一部における光量関連値が第二閾値より小さくないと判断した場合にも（Ｓ６０：ＮＯ）、Ｓ６２を実行する。ＣＰＵ５１は、Ｓ６２において、ＯＳのタイマ機能を利用して時間Ｔｃの計測を０から開始する。
【００７１】
ＣＰＵ５１は、時間Ｔｃが時間Ｔ５以上であるか否かを判断する（Ｓ６３）。時間Ｔ５は、例えば５秒である。時間Ｔｃが時間Ｔ５以上でない場合、ＣＰＵ５１はＳ６３を繰り返す。時間Ｔｃが時間Ｔ５以上である場合（Ｓ６３：ＹＥＳ）、ＣＰＵ５１は実行フラグを「０」に設定する（Ｓ６４）。このため、ＣＰＵ５１は、音声認識処理を停止する（図７のＳ１２：ＮＯ、及びＳ１３：ＮＯ）。すなわち、カメラ２０に光源１４６が撮像されて音声認識処理が実行される状態になった後（図８のＳ４３及び図７のＳ２１）、カメラ２０に光源１４６が撮像されなくなっても、ＣＰＵ５１は、時間Ｔ５の間、音声認識処理を実行する。同様に、カメラ２０が手１４９で覆われて音声認識処理が実行される状態になった後（図８のＳ５４及び図７のＳ２１）、カメラ２０が手１４９で覆われない状態になっても、ＣＰＵ５１は、時間Ｔ５の間、音声認識処理を実行する。このように、ＣＰＵ５１は、一旦音声認識処理を開始すれば、ユーザがカメラ２０を光源１４６に向けなくても、又は、カメラ２０が手１４９で覆わなくても、時間Ｔ５の間は音声認識処理を継続する。よって、ユーザは操作ワードを発声することでＨＭＤ１を操作しながら作業を行うことができる。故に、ユーザの作業効率が向上する。
【００７２】
以上のように本実施形態における処理が実行される。本実施形態では、ＣＰＵ５１は、図８のＳ３５において取得した光量関連値に基づいて、画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より大きいと判断した場合に（図８のＳ３６：ＹＥＳ）、実行フラグを「１」に設定する（図８のＳ４３）。そして、ＣＰＵ５１は、音声認識処理を実行する（図７のＳ１２：ＹＥＳ、及びＳ２１）。このため、例えば、カメラ２０が光源１４６に向けられるだけで、ＣＰＵ５１は、音声認識処理を実行する。よって、例えば、ユーザは手でＨＭＤ１のスイッチ等を操作する必要がなく、ハンズフリーでＨＭＤ１に音声認識処理を実行させることができる。また、ＣＰＵ５１は、操作ワードが発声されるだけで、ＨＭＤ１が備えるＨＤ１０に動作データに基づく動作を実行させることができる（Ｓ２３）。また、ＣＰＵ５１は、画像の一部に光源１４６が含まれる場合に、音声認識処理を実行するので、ユーザは画像の一部に光源１４６が含まれるようにカメラ２０を光源１４６に向けるだけで、ＨＭＤ１に音声認識処理を実行させることができる。
【００７３】
また、ＣＰＵ５１は、光量関連値が第一閾値よりも大きい分割領域１４５の数が第一所定数Ｊより多い場合に（Ｓ３６：ＹＥＳ）、音声認識処理を実行し（Ｓ２１）、第一所定数Ｊ以下の場合（Ｓ３６：ＮＯ）、音声認識処理を実行しない。カメラ２０の近くにある光源は、遠くにある光源より画像中の範囲が大きくなる。このため、例えば、ユーザは、近くにある光源１４６が画像に含まれるように撮像手段を光源に向けた場合に、ＨＭＤ１に音声認識処理を実行させることができる。また、遠くにある光源が第一所定数Ｊ以下の分割領域１４５の範囲に含まれた場合に、ユーザの意思に反して音声認識処理が実行されることを防止できる。
【００７４】
また、ＣＰＵ５１は、光量関連値が第二閾値よりも小さい分割領域１４５の数が第二所定数Ｋより多い場合に（Ｓ３８：ＹＥＳ）、音声認識処理を実行し（Ｓ２１）、第二所定数Ｋ以下の場合（Ｓ３８：ＮＯ）、音声認識処理を実行しない。このため、例えば、黒色の物体が撮像された場合など、第二所定数Ｋ以下の分割領域１４５の範囲の光量関連値が第二閾値より小さくなった場合に、ユーザの意思に反して音声認識処理が実行されることを防止できる。
【００７５】
また、ＣＰＵ５１は、光量関連値が第一閾値より大きいと判断した場合（Ｓ３６：ＹＥＳ）、又は、光量関連値が第二閾値より小さいと判断した場合に（Ｓ３８：ＹＥＳ）、実行フラグを「１」又は「−１」に設定し（Ｓ４３及びＳ５４）、音声認識処理を実行する（Ｓ２１）。このため、ユーザは、例えば、カメラ２０を光源１４６に向けるか、カメラ２０を手１４９で覆うなどするだけで、ＨＭＤ１に音声認識処理を実行させることができる。よって、例えば、ＨＭＤ１のスイッチ等を探して操作する必要がなく、ユーザは音声認識処理をハンズフリーで実行させ易くなる。
【００７６】
また、フラッシュＲＯＭ５４には、第一辞書データテーブル９６と第二辞書データテーブル９７との２つの辞書データテーブルが記憶されている。このため、全ての指示データが、１つの辞書データテーブルに記憶されている場合に比べて、１つの辞書データテーブル当たりの指示データの数が少なくなる。よって、ＣＰＵ５１がテキストデータに指示データが含まれているか否かの判断を行うＳ２２の判断精度が向上する。よって、ＣＰＵ５１は、指示データに対応付けられた動作データに基づく動作をＳ２３においてＨＭＤ１により確実に実行させることができる。また、外界の光が明るい場合と暗い場合とで、参照する辞書データテーブルを切り替えることができる（Ｓ１７及びＳ１８）。よって、ユーザの利便性が向上する。
【００７７】
また、ＣＰＵ５１は、Ｓ３６において光量関連値が第一閾値より大きいと判断した場合、且つ、Ｓ１６において向き検出センサ２１の検出結果が、所定の向きであると判断した場合に、Ｓ２１において音声認識処理を実行する。具体例の場合、水平より上側（所定の向き）にある光源１４６にカメラ２０が向けられた場合に、ＣＰＵ５１は音声認識処理を実行する。このため、ユーザが音声認識処理を実行させる意思がなく、所定の向き以外にある光源にカメラ２０を向けた場合に音声認識処理が実行されることを防止できる。例えば、作業中のユーザの手元など、水平より下側（重力方向側）に光源が配置され、カメラ２０が向けられても、ＣＰＵ５１は音声認識処理を実行しない。
【００７８】
本実施形態において、ＨＭＤ１は本発明の「音声認識装置」の一例である。マイク１７は本発明の「音声入力部」の一例である。ＨＭＤ１及びＨＤ１０は本発明の「頭部装着部」の一例である。カメラ２０は本発明の「取得部」及び「撮像手段」の一例である。フラッシュＲＯＭ５４は本発明の「記憶部」の一例である。Ｓ１１において、音声データの取得が開始された後、音声データの取得を継続する処理を行うＣＰＵ５１は本発明の「音声データ取得手段」の一例である。Ｓ３５の処理を行うＣＰＵ５１は本発明の「光量取得手段」の一例である。Ｓ３６及びＳ４９の処理を行うＣＰＵ５１は本発明の「第一判断手段」の一例である。Ｓ２１の処理を行うＣＰＵ５１は本発明の「音声認識手段」の一例である。第一辞書データテーブル９６は本発明の「対応データ」及び「第一対応データ」の一例である。第二辞書データテーブル９７は本発明の「対応データ」及び「第二対応データ」の一例である。Ｓ２２の処理を行うＣＰＵ５１は本発明の「指示判断手段」の一例である。Ｓ２３の処理を行うＣＰＵ５１は本発明の「実行手段」の一例である。
【００７９】
Ｓ３８及びＳ６０の処理を行うＣＰＵ５１は本発明の「第二判断手段」の一例である。Ｓ５０：ＹＥＳ、及びＳ６４の処理を行うＣＰＵ５１は本発明の「第一停止手段」の一例である。時間Ｔ２は本発明の「第一所定時間」の一例である。Ｓ６１：ＹＥＳ、及びＳ６４の処理を行うＣＰＵ５１は本発明の「第二停止手段」の一例である。時間Ｔ４は本発明の「第二所定時間」の一例である。画像表示部１４は本発明の「出力部」の一例である。Ｓ４４及びＳ５５の処理を行うＣＰＵ５１は本発明の「出力制御手段」の一例である。Ｓ１１において、音声データの取得が開始された後、音声データの取得を継続する処理は本発明の「音声データ取得ステップ」の一例である。Ｓ３５の処理は本発明の「光量取得ステップ」の一例である。Ｓ３６及びＳ４９の処理は本発明の「第一判断ステップ」の一例である。Ｓ２１の処理は本発明の「音声認識ステップ」の一例である。Ｓ２２の処理は本発明の「指示判断ステップ」の一例である。Ｓ２３の処理は本発明の「実行ステップ」の一例である。
【００８０】
なお、本発明は上記の実施形態に限定されるものではなく、種々の変更が可能である。例えば、ＣＰＵ５１は、Ｓ３３、Ｓ４６、及びＳ５７において、画像データに基づく画像を表示していたが、表示しなくてもよい。また、図３に示す閾値データテーブル９５において、第一閾値はＲＧＢの夫々が「２２０」であったが、これに限定されない。例えば、ＲＧＢの夫々の第一閾値が、互いに異なる値であってもよい。同様に、ＲＧＢの夫々の第二閾値が、互いに異なる値であってもよいし、互いに同じ値であってもよい。また、第一閾値及び第二閾値は予め定められていたが、ユーザの操作に応じてＣＰＵ５１が設定してもよい。この場合、ユーザが作業を行う環境の明るさに合わせた閾値を設定することができる。また、Ｓ４４及びＳ５５において、実行表示１４４が画像表示部１４に出力されていたが、これに限定されない。音声認識処理が実行される場合に、ＨＭＤ１に設けられた出力部に出力されれば良く、例えば、ＣＰＵ５１は、イヤホン１８から所定の音を出力してもよい。この場合、イヤホン１８から出力される所定の音は、音声認識処理が実行可能な状態を示す情報である。また、ＣＰＵ５１は、Ｓ４４及びＳ５５を実行しなくてもよい。
【００８１】
また、所定の向きは、水平より上側であったが、これに限定されない。例えば、所定の向きは、ユーザの操作に応じてＣＰＵ５１が設定してもよい。この場合、ユーザが作業を行う環境における光源の位置、及び、ユーザが設置をする光源の位置などに応じて、所定の向きを設定することができる。また、ＣＰＵ５１は、Ｓ１４〜Ｓ１６の処理を実行しなくてもよい。この場合、ＣＰＵ５１は、実行フラグを「１」に設定した場合に（Ｓ１２：ＹＥＳ）、処理をＳ１７に進める。すなわち、ＣＰＵ５１は、ＨＤ１０の向きを判断しなくてもよい。また、光量関連値が第一閾値より大きい場合、又は、光量関連値が第二閾値より小さい場合に、ＣＰＵ５１は音声認識処理を実行したが、これに限定されない。例えば、ＣＰＵ５１は、光量関連値が第一閾値より大きい場合にのみ、音声認識処理を実行してもよい。
【００８２】
また、ＣＰＵ５１は、Ｓ３６及びＳ４９において画像データに基づく画像の少なくとも一部における光量関連値が第一閾値より大きいか否かを判断する場合に、Ｓ３４及びＳ４７において画像を分割していたが、これに限定されない。例えば、ＣＰＵ５１は、画像を分割することなく、画像データに基づく画像の少なくとも一部の輝度が第一閾値より大きいか否かを判断してもよい。同様に、ＣＰＵ５１は、Ｓ３８及びＳ６０において画像データに基づく画像の少なくとも一部における光量関連値が第二閾値より小さいか否かを判断する場合に、画像を分割していたが、これに限定されない。例えば、ＣＰＵ５１は、画像を分割することなく、画像データに基づく画像の少なくとも一部の輝度が第二閾値より小さいか否かを判断してもよい。
【００８３】
また、ＣＰＵ５１は、Ｓ３４、Ｓ４７、及びＳ５８において、画像を分割せず、例えば、画像全体の輝度の平均値、又は、画像中で最も大きい輝度の値などを、Ｓ３５で取得し、Ｓ３６、Ｓ３８、Ｓ４９、及びＳ６０における判断で使用してもよい。この場合、ＣＰＵ５１は、Ｓ３４、Ｓ４７、及びＳ５８の処理を実行しなくてもよい。
【００８４】
また、光情報は画像データであり、光量関連値が画像のＲＧＢの輝度であったが、これに限定されない。例えば、光情報及び光量関連値は、照度であってもよい。この場合、カメラ２０の代わりに照度センサを用いてもよい。この場合、ＣＰＵ５１は、Ｓ３２、Ｓ４５、及びＳ５６において、照度センサの出力を取得する。ＣＰＵ５１は、Ｓ３５、Ｓ４８、Ｓ５９の処理において、取得された照度センサの出力の値を光量関連値に設定する。ＣＰＵ５１は、Ｓ３６及びＳ４９において、光量関連値である照度センサの出力の値が第一閾値より大きいか否かを判断する。ＣＰＵ５１は、Ｓ３８及びＳ６０において、光量関連値である照度センサの出力の値が、第一閾値より小さい値に設定された第二閾値より小さいか否かを判断する。なお、この場合、第一閾値と第二閾値とは、輝度の場合とは異なる値であり、照度に合わせて設定されていればよい。また、ＣＰＵ５１は、Ｓ３３、Ｓ３４、Ｓ４６、Ｓ４７、Ｓ５７、及びＳ５８の処理を実行しなくてもよい。
【００８５】
また、メイン処理及びフラグ設定処理はＨＭＤ１のＣＰＵ５１によって実行されていたが、これに限定されない。例えば、メイン処理及びフラグ設定処理はサーバ８０のＣＰＵ８１によって実行される処理であってもよい。すなわち、サーバ８０が音声認識処理を実行してもよい。以下、サーバ８０のＣＰＵ８１によって処理が実行される場合の変形例について説明する。
【００８６】
以下の説明では、ＨＭＤ１のＣＰＵ５１とサーバ８０のＣＰＵ８１は、それぞれ、無線通信部５９、通信部８６を介してネットワーク９に接続され、相互にデータを送受信可能であるとする。また、メイン処理及びフラグ設定処理を実行するプログラム、閾値データテーブル９５、第一辞書データテーブル９６、及び第二辞書データテーブル９７等は、ＨＤＤ８４に記憶されているとする。以下の説明では、ＨＭＤ１のＣＰＵ５１がメイン処理及びフラグ設定処理を実行する場合と異なる処理について説明し、他の処理の説明は省略する。
【００８７】
Ｓ１１で音声データの取得が開始されると、ＣＰＵ８１は音声データを取得する。ＣＰＵ８１が取得する音声データは、ＨＭＤ１のＣＰＵ５１がマイク１７を介して取得し、サーバ８０に送信した音声データである。また、Ｓ３２、Ｓ４５、及びＳ５６においてＣＰＵ８１が取得する画像データは、ＨＭＤ１のＣＰＵ５１がカメラ２０を介して取得し、サーバ８０に送信した画像データである。また、ＣＰＵ８１は、Ｓ３３、Ｓ４６、及びＳ５７において画像表示部１４に画像を表示させる場合、夫々、Ｓ３２、Ｓ４５、及びＳ５６において取得した画像データをＨＭＤ１に送信する。ＨＭＤ１のＣＰＵ５１は画像データを受信し、画像表示部１４に表示する。また、ＣＰＵ８１は、Ｓ４４及びＳ５５において実行表示１４４を画像表示部１４に表示させる場合、実行表示１４４を表示するためのデータをＨＭＤ１に送信する。ＨＭＤ１のＣＰＵ５１は実行表示１４４を表示するためのデータを受信し、画像表示部１４が実行表示１４４を表示する。
【００８８】
ＣＰＵ８１は、Ｓ６５において実行表示１４４の停止をする場合、実行表示１４４の停止を指示するデータをＨＭＤ１に送信する。ＨＭＤ１のＣＰＵ５１は、実行表示１４４の停止を指示するデータを受信し、実行表示１４４の表示を停止する。Ｓ１５においてＣＰＵ８１が取得するＨＤ１０の向きは、ＨＭＤ１が向き検出センサ２１を介して取得し、サーバ８０に送信した向きのデータである。ＣＰＵ８１は、Ｓ２２において含まれると判断された指示データに対応付けられた動作データに基づく動作をＨＭＤ１に実行させる（Ｓ２３）。この場合、ＣＰＵ８１は、動作データに基づく動作を実行する指示のデータをＨＭＤ１に送信する。ＨＭＤ１のＣＰＵ５１は、動作データに基づく動作を実行する指示のデータを受信し、動作データに基づく動作を実行する。以上の処理以外の処理は、ＨＭＤ１のＣＰＵ５１が実行する場合と同様である。
【００８９】
本変形例において、サーバ８０は本発明の「音声認識装置」の一例である。ＨＭＤ１及びＨＤ１０は本発明の「頭部装着部」の一例である。ＨＤＤ８４は本発明の「記憶部」の一例である。Ｓ１１において、音声データの取得が開始された後、音声データの取得を継続する処理を行うＣＰＵ８１は本発明の「音声データ取得手段」の一例である。Ｓ３５の処理を行うＣＰＵ８１は本発明の「光量取得手段」の一例である。Ｓ３６及びＳ４９の処理を行うＣＰＵ８１は本発明の「第一判断手段」の一例である。Ｓ２１の処理を行うＣＰＵ８１は本発明の「音声認識手段」の一例である。Ｓ２２の処理を行うＣＰＵ８１は本発明の「指示判断手段」の一例である。Ｓ２３の処理を行うＣＰＵ８１は本発明の「実行手段」の一例である。
【００９０】
Ｓ３８及びＳ６０の処理を行うＣＰＵ８１は本発明の「第二判断手段」の一例である。Ｓ５０：ＹＥＳ、及びＳ６４の処理を行うＣＰＵ８１は本発明の「停止手段」の一例である。Ｓ４４及びＳ５５の処理を行うＣＰＵ８１は本発明の「出力制御手段」の一例である。Ｓ１１において、音声データの取得が開始された後、音声データの取得を継続する処理は本発明の「音声データ取得ステップ」の一例である。Ｓ３５の処理は本発明の「光量取得ステップ」の一例である。Ｓ３６及びＳ４９の処理は本発明の「第一判断ステップ」の一例である。Ｓ２１の処理は本発明の「音声認識ステップ」の一例である。Ｓ２２の処理は本発明の「指示判断ステップ」の一例である。Ｓ２３の処理は本発明の「実行ステップ」の一例である。
【００９１】
なお、メイン処理及びフラグ設定処理における全ての処理ステップをＣＰＵ５１及びＣＰＵ８１の一方のみが実行する必要は無く、ＣＰＵ５１が実行する処理ステップとＣＰＵ８１が実行する処理ステップとを分けてもよい。
【符号の説明】
【００９２】
１    ヘッドマウントディスプレイ
１４    画像表示部
１７    マイク
１８    イヤホン
２０    カメラ
２１    向き検出センサ
５１，８１    ＣＰＵ
５４    フラッシュＲＯＭ
８０    サーバ
８４    ＨＤＤ
９５    閾値データテーブル
９６    第一辞書データテーブル
９７    第二辞書データテーブル
１４５    分割領域
【図１】
2014191238.tif 000003
【図２】
2014191238.tif 000004
【図３】
2014191238.tif 000005
【図４】
2014191238.tif 000006
【図５】
2014191238.tif 000007
【図６】
2014191238.tif 000008
【図７】
2014191238.tif 000009
【図８】
2014191238.tif 000010
【図９】
2014191238.tif 000011
【図１０】
2014191238.tif 000012
【図１１】
2014191238.tif 000013