(57)【要約】【課題】ハンズフリーで音声認識処理を実行可能な音声認識装置および音声認識プログラムを提供する。【解決手段】ＣＰＵは、ユーザの発声する音声に基づく第一音声データを取得する（Ｓ１１）。第一音声データに基づく第一音量値を決定し（Ｓ１３）、第一音量値が第一基準値より大きい場合（Ｓ１３：ＹＥＳ）、第二音声データの取得を開始する（Ｓ１５）。取得した第二音声データに基づく第二音量値が、第二基準値より大きいか否かを判断し（Ｓ１８）、第二音量値が第二基準値より大きい場合（Ｓ１８：ＹＥＳ）、第二監視時間内に第二音量値が第三基準値よりも小さくなるか否かを判断する（Ｓ２３）。第二監視時間内に第二音量値が第三基準値よりも小さくなった場合（Ｓ２３：ＹＥＳ）、ユーザによって第二音声データに対応する音声が発声されたとみなして、以降の所定の処理を実行する。【選択図】図５
2015069086.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声に応じて音声データを出力するマイクから出力された第一音声データを取得する第一音声取得手段と、
前記第一音声取得手段によって取得された前記第一音声データに対応する第一音量値を決定する第一音量決定手段と、
前記第一音量値が第一基準値より大きいか否かを判断する第一音量判断手段と、
前記第一音量判断手段によって前記第一音量値が前記第一基準値より大きいと判断された場合、前記第一音声データの後に前記マイクから出力された第二音声データを取得する第二音声取得手段と、
前記第二音声取得手段によって取得された前記第二音声データに基づいて、前記第二音声データに対応する第一結果データを生成する第一生成手段と、
前記第一生成手段によって生成された前記第一結果データに特定の単語に対応する基準データが含まれるか否かを判断する第一結果判断手段と、
前記第一結果判断手段によって前記第一結果データに前記基準データが含まれると判断された場合、前記第二音声データの後に前記マイクから出力された第三音声データを取得する第三音声取得手段と、
前記第三音声取得手段によって取得された前記第三音声データに対して音声認識処理を実行することで、対応するテキストデータを示す第二結果データを生成する第二生成手段と、
所定のテキストデータで示される操作データと、処理についてのデータである処理データとが対応付けられた対応データを参照し、前記第二生成手段によって生成された前記第二結果データによって示されるテキストデータに前記操作データと同一のデータが含まれるか否かを判断する第二結果判断手段と、
前記第二結果判断手段によって、前記第二結果データによって示されるテキストデータに前記操作データと同一のデータが含まれると判断された場合、前記第二結果データによって示されるテキストデータに同一のデータが含まれると判断された前記操作データに対応付けられた前記処理データに基づく処理を実行する実行手段と
を備えたことを特徴とする音声認識装置。
【請求項２】
前記第一音量判断手段によって前記第一音量値が前記第一基準値より大きいと判断された場合、前記第一音量値が前記第一基準値よりも大きくなる期間である第一期間が所定の範囲内であるか否かを判断する第一期間判断手段を備え、
前記第一生成手段は、前記第一期間判断手段によって前記第一期間が前記所定の範囲内であると判断された場合、前記第一結果データの生成を行い、前記第一期間が前記所定の範囲内でないと判断された場合、前記第一結果データの生成を行わないことを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記第一音量判断手段によって前記第一音量値が前記第一基準値より大きいと判断された場合、前記第二音声取得手段によって取得された前記第二音声データに対応する第二音量値を決定する第二音量決定手段と、
前記第二音量値が第二基準値より大きいか否かを判断する第二音量判断手段と、
前記第二音量判断手段によって前記第二音量値が前記第二基準値より大きいと判断された場合、前記第二音量値が前記第二基準値より大きいと判断された時点から経過する一定時間を計測可能な計測手段と、
前記第二音量値が第三基準値より小さいか否かを判断する第二音声終了判断手段とを備え、
前記第一生成手段は、前記計測手段によって計測される前記一定時間内に、前記第二音声終了判断手段によって前記第二音量値が前記第三基準値より小さいと判断されない場合、前記第一結果データの生成を行わないことを特徴とする請求項１または２に記載の音声認識装置。
【請求項４】
前記第一生成手段は、前記第一音量判断手段によって前記第一音量値が前記第一基準値よりも大きいと判断された後の所定期間内に、前記第二音量判断手段によって前記第二音量値が前記第二基準値より大きいと判断されない場合、前記第一結果データの生成を行わないことを特徴とする請求項３に記載の音声認識装置。
【請求項５】
前記基準データが前記操作データであり、前記基準データと前記処理データとが対応付けられた第一対応データおよび前記第一対応データとは異なる第二対応データを記憶する記憶手段を備え、
前記第一生成手段は、前記第二音声データに対して音声認識処理を実行することで、対応するテキストデータを示す前記第一結果データを生成し、
前記第一結果判断手段は、前記第一対応データを参照し、前記第一生成手段によって生成された前記第一結果データによって示されるテキストデータに前記基準データと同一のデータが含まれるか否かを判断し、
前記第二結果判断手段は、前記第二対応データを参照し、前記第二生成手段によって生成された前記第二結果データによって示されるテキストデータに前記操作データと同一のデータが含まれるか否かを判断することを特徴とする請求項１から４のいずれかに記載の音声認識装置。
【請求項６】
前記第一対応データに含まれる前記基準データと前記処理データとの組の数は、前記第二対応データに含まれる前記操作データと前記処理データとの組の数よりも少ないことを特徴とする請求項５に記載の音声認識装置。
【請求項７】
前記第一基準値は前記第二基準値よりも大きいことを特徴とする請求項３または４に記載の音声認識装置。
【請求項８】
入力された音声に応じて音声データを出力するマイクから出力された第一音声データを取得する第一音声取得ステップと、
前記第一音声取得ステップにおいて取得された前記第一音声データに対応する第一音量値を決定する第一音量決定ステップと、
前記第一音量値が第一基準値より大きいか否かを判断する第一音量判断ステップと、
前記第一音量判断ステップにおいて前記第一音量値が前記第一基準値より大きいと判断された場合、前記第一音声データの後に前記マイクから出力された第二音声データを取得する第二音声取得ステップと、
前記第二音声取得ステップにおいて取得された前記第二音声データに基づいて、前記第二音声データに対応する第一結果データを生成する第一生成ステップと、
前記第一生成ステップにおいて生成された前記第一結果データに特定の単語に対応する基準データが含まれるか否かを判断する第一結果判断ステップと、
前記第一結果判断ステップにおいて前記第一結果データに前記基準データが含まれると判断された場合、前記第二音声データの後に前記マイクから出力された第三音声データを取得する第三音声取得ステップと、
前記第三音声取得ステップにおいて取得された前記第三音声データに対して音声認識処理を実行することで、対応するテキストデータを示す第二結果データを生成する第二生成ステップと、
所定のテキストデータで示される操作データと、処理についてのデータである処理データとが対応付けられた対応データを参照し、前記第二生成ステップにおいて生成された前記第二結果データによって示されるテキストデータに前記操作データと同一のデータが含まれるか否かを判断する第二結果判断ステップと、
前記第二結果判断ステップにおいて、前記第二結果データによって示されるテキストデータに前記操作データと同一のデータが含まれると判断された場合、前記第二結果データによって示されるテキストデータに同一のデータが含まれると判断された前記操作データに対応付けられた前記処理データに基づく処理を実行する実行ステップと
をコンピュータに実行させるための音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識が可能な音声認識装置および音声認識プログラムに関する。
【背景技術】
【０００２】
従来、ユーザの頭部に装着され、ユーザが視認可能に画像を表示できる画像表示装置において、ユーザが発する音声に基づいて、装置を制御できる技術が知られている（例えば、特許文献１参照）。特許文献１に記載のヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）は、音声信号処理回路を備える。音声信号処理回路は、ユーザの口近くに位置するマイクロフォン（以下、「マイク」と略す。）を通じて入力されたユーザの音声を取得し、所定の音声認識処理を行う。音声認識処理の結果が、事前に登録された登録キーワードに一致するとき、ＨＭＤは、画像表示部に表示する画像を切り替える。音声信号処理回路は、音声制御切り換えスイッチがオン操作されたときに音声認識処理を行い、音声制御切り換えスイッチがオフ操作されたときは音声認識処理を行わない。音声制御切り換えスイッチはマイクの近傍に位置し、ユーザにより操作される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１６５１５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の記載のＨＭＤでは、ユーザは音声制御切り換えスイッチを手動で操作することによって、音声認識処理のオン・オフの切り換えをする必要があった。このため、ハンズフリーで音声認識処理を実行させることができず、ＨＭＤの特長の一つであるハンズフリーでの操作性が損なわれるという問題点があった。
【０００５】
本発明は、ハンズフリーで音声認識処理を実行可能な音声認識装置および音声認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一態様に係る音声認識装置は、入力された音声に応じて音声データを出力するマイクから出力された第一音声データを取得する第一音声取得手段と、前記第一音声取得手段によって取得された前記第一音声データに対応する第一音量値を決定する第一音量決定手段と、前記第一音量値が第一基準値より大きいか否かを判断する第一音量判断手段と、前記第一音量判断手段によって前記第一音量値が前記第一基準値より大きいと判断された場合、前記第一音声データの後に前記マイクから出力された第二音声データを取得する第二音声取得手段と、前記第二音声取得手段によって取得された前記第二音声データに基づいて、前記第二音声データに対応する第一結果データを生成する第一生成手段と、前記第一生成手段によって生成された前記第一結果データに特定の単語に対応する基準データが含まれるか否かを判断する第一結果判断手段と、前記第一結果判断手段によって前記第一結果データに前記基準データが含まれると判断された場合、前記第二音声データの後に前記マイクから出力された第三音声データを取得する第三音声取得手段と、前記第三音声取得手段によって取得された前記第三音声データに対して音声認識処理を実行することで、対応するテキストデータを示す第二結果データを生成する第二生成手段と、所定のテキストデータで示される操作データと、処理についてのデータである処理データとが対応付けられた対応データを参照し、前記第二生成手段によって生成された前記第二結果データによって示されるテキストデータに前記操作データと同一のデータが含まれるか否かを判断する第二結果判断手段と、前記第二結果判断手段によって、前記第二結果データによって示されるテキストデータに前記操作データと同一のデータが含まれると判断された場合、前記第二結果データによって示されるテキストデータに同一のデータが含まれると判断された前記操作データに対応付けられた前記処理データに基づく処理を実行する実行手段とを備える。
【０００７】
本発明の第一態様に係る音声認識装置は、第一音量判断手段によって第一音量値が第一基準値より大きいか否かをまず判断する。次いで、第一基準値よりも大きいと判断された場合に、第二音声データに基づいて生成された第一結果データに、特定の単語に対応する基準データが含まれるか判断する。第一結果データに、特定の単語に対応する基準データが含まれる場合、第三音声データに対して音声認識処理が実行されて第二結果データが生成され、生成された第二結果データに基づいて音声認識装置の制御が実行される。このため、ユーザは第一音声データに対応する音声および第二音声データに対応する音声の発声によって、第三音声データに基づく音声認識処理をハンズフリーで音声認識装置に実行させることができる。
【０００８】
前記音声認識装置は、前記第一音量判断手段によって前記第一音量値が前記第一基準値より大きいと判断された場合、前記第一音量値が前記第一基準値よりも大きくなる期間である第一期間が所定の範囲内であるか否かを判断する第一期間判断手段を備えてもよい。前記第一生成手段は、前記第一期間判断手段によって前記第一期間が前記所定の範囲内であると判断された場合、前記第一結果データの生成を行ってもよい。前記第一期間が前記所定の範囲内でないと判断された場合、前記第一結果データの生成を行わなくてもよい。
【０００９】
音声認識装置の誤作動を防ぎ、また、音声による音声認識装置の操作性を向上する観点から、第一音声データに対応する音声は、任意の音声とするのではなく、所定の音声とすることが考えられる。第一音声データに対応する音声が所定の音声である場合、その所定の音声が発声されるために必要な時間の範囲は予測できる。音声認識装置は、第一期間が所定の範囲内でない場合には、第一音声データに対応する音声が所定の音声でないとみなして、第一生成手段による第一結果データの生成を回避できる。従って音声認識装置は、処理の単純化および所定の音声以外の音声によって第一生成手段以降における処理が誤って実行されて音声認識装置が誤作動することを防止できる。
【００１０】
第一態様は、前記第一音量判断手段によって前記第一音量値が前記第一基準値より大きいと判断された場合、前記第二音声取得手段によって取得された前記第二音声データに対応する第二音量値を決定する第二音量決定手段と、前記第二音量値が第二基準値より大きいか否かを判断する第二音量判断手段と、前記第二音量判断手段によって前記第二音量値が前記第二基準値より大きいと判断された場合、前記第二音量値が前記第二基準値より大きいと判断された時点から経過する一定時間を計測可能な計測手段と、前記第二音量値が第三基準値より小さいか否かを判断する第二音声終了判断手段とを備えてもよい。前記第一生成手段は、前記計測手段によって計測される前記一定時間内に、前記第二音声終了判断手段によって前記第二音量値が前記第三基準値より小さいと判断されない場合、前記第一結果データの生成を行わなくてもよい。
【００１１】
第一音声データに対応する音声と同様に、第二音声データに対応する音声もまた、任意の音声とするのではなく、特定の単語を示す音声とすることが考えられる。第二音声データに対応する音声として特定の単語を示す音声が発声されるために必要な時間の範囲は予測できる。音声認識装置は、第二音量値が第二基準値より大きい場合、第二音声データに対応する音声として特定の単語を示す音声が発声されたとみなし、その時点からの経過時間を計測する。経過時間内に第二音量値が第三基準値を下回らない場合には、第二音声データに対応する音声が所定の音声でないとみなして、第一生成手段による第一結果データの生成を回避できる。即ち、第一結果判断手段による判断を行うよりも前に、特定の結果以外の第一結果データが生成されると見込まれる第二音声データに係る以降の処理を排除することができる。従って音声認識装置は、処理の単純化および処理の効率化を図ることができる。
【００１２】
前記第一生成手段は、前記第一音量判断手段によって前記第一音量値が前記第一基準値よりも大きいと判断された後の所定期間内に、前記第二音量判断手段によって前記第二音量値が前記第二基準値より大きいと判断されない場合、前記第一結果データの生成を行わなくてもよい。
【００１３】
第三音声データに基づく音声認識処理を音声認識装置に実行させるため、ユーザは第一音声データに対応する所定の音声と、第二音声データに対応する特定の単語を示す音声を発声する。ユーザが第一音声データに対応する所定の音声を発声した後、一定時間経過しても第二音声データに対応する音声を発声しない場合、ユーザには第三音声データに基づく音声認識処理を音声認識装置に実行させる意思がないと考えられる。音声認識装置は、第一音量値が第一基準値より大きいと判断された後の一定期間内に第二音量値が第二基準値よりも大きいと判断されない場合、ユーザに第二音声データに対応する音声が発声されないとみなして、第一生成手段による第一結果データの生成を回避できる。従って音声認識装置は、処理の単純化および第二音声データの取得待機を継続することによる処理遅延を防止できる。
【００１４】
前記音声認識装置は、前記基準データが前記操作データであり、前記基準データと前記処理データとが対応付けられた第一対応データおよび前記第一対応データとは異なる第二対応データを記憶する記憶手段を備えてもよい。前記第一生成手段は、前記第二音声データに対して音声認識処理を実行することで、対応するテキストデータを示す前記第一結果データを生成してもよい。前記第一結果判断手段は、前記第一対応データを参照し、前記第一生成手段によって生成された前記第一結果データによって示されるテキストデータに前記基準データと同一のデータが含まれるか否かを判断してもよい。前記第二結果判断手段は、前記第二対応データを参照し、前記第二生成手段によって生成された前記第二結果データによって示されるテキストデータに前記操作データと同一のデータが含まれるか否かを判断してもよい。
【００１５】
この場合、第一結果判断手段は第一対応データを参照し、第一結果データによって示されるテキストデータに基準データと同一のデータが含まれるか否かを判断する。また、第二結果判断手段は、第二対応データを参照し、第二結果データによって示されるテキストデータに操作データと同一のデータが含まれるか否かを判断する。第一結果判断手段における判断と、第二結果判断手段における判断とで、参照する対応データを切り替えることで、第一結果判断手段および第二結果判断手段における判断の精度をそれぞれ向上させることができる。よって、より確実に、音声認識装置の制御を行うことができる。
【００１６】
前記第一対応データに含まれる前記基準データと前記処理データとの組の数は、前記第二対応データに含まれる前記操作データと前記処理データとの組の数よりも少なくてもよい。この場合、第一対応データに含まれる基準データと処理データとの組の数は、第二対応データに含まれる操作データと処理データとの組の数よりも少ないため、特に第一結果判断手段における判断の精度と判断処理の迅速性を向上できる。
【００１７】
前記第一基準値は前記第二基準値よりも大きくてもよい。この場合、第一基準値は第二基準値よりも大きいため、音声認識装置に第三音声に基づく種々の処理を実行させるためには、ユーザは第二音声データに対応する音声よりも第一音声データに対応する音声を大きく発声する必要がある。これにより、第一音声データに基づいて種々の処理が誤って実行されることを防止できる。
【００１８】
本発明の第二態様に係る音声認識プログラムは、入力された音声に応じて音声データを出力するマイクから出力された第一音声データを取得する第一音声取得ステップと、前記第一音声取得ステップにおいて取得された前記第一音声データに対応する第一音量値を決定する第一音量決定ステップと、前記第一音量値が第一基準値より大きいか否かを判断する第一音量判断ステップと、前記第一音量判断ステップにおいて前記第一音量値が前記第一基準値より大きいと判断された場合、前記第一音声データの後に前記マイクから出力された第二音声データを取得する第二音声取得ステップと、前記第二音声取得ステップにおいて取得された前記第二音声データに基づいて、前記第二音声データに対応する第一結果データを生成する第一生成ステップと、前記第一生成ステップにおいて生成された前記第一結果データに特定の単語に対応する基準データが含まれるか否かを判断する第一結果判断ステップと、前記第一結果判断ステップにおいて前記第一結果データに前記基準データが含まれると判断された場合、前記第二音声データの後に前記マイクから出力された第三音声データを取得する第三音声取得ステップと、前記第三音声取得ステップにおいて取得された前記第三音声データに対して音声認識処理を実行することで、対応するテキストデータを示す第二結果データを生成する第二生成ステップと、所定のテキストデータで示される操作データと、処理についてのデータである処理データとが対応付けられた対応データを参照し、前記第二生成ステップにおいて生成された前記第二結果データによって示されるテキストデータに前記操作データと同一のデータが含まれるか否かを判断する第二結果判断ステップと、前記第二結果判断ステップにおいて、前記第二結果データによって示されるテキストデータに前記操作データと同一のデータが含まれると判断された場合、前記第二結果データによって示されるテキストデータに同一のデータが含まれると判断された前記操作データに対応付けられた前記処理データに基づく処理を実行する実行ステップとをコンピュータに実行させる。この場合、音声認識装置のコンピュータが第二態様の音声認識プログラムを実行することで、第一態様と同様の効果を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】ＨＭＤ１の外観を示す斜視図である。
【図２】ＨＭＤ１およびサーバ８０の電気的構成を示すブロック図である。
【図３】第一対応データ９５のデータ構成図である。
【図４】第二対応データ９６のデータ構成図である。
【図５】音声認識プログラムの音声判断処理を示すフローチャートである。
【図６】音声認識プログラムの音声判断処理を示すフローチャートである。
【図７】音声判断処理の中において実行される音声操作処理を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明を具体化した実施の形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものである。図示された装置の構成等は、その形態のみに限定する趣旨ではなく、単なる説明例である。
【００２１】
図１に示すように、ＨＭＤ１は、本発明に係る音声認識装置の一例である。ＨＭＤ１は、投影装置（以下、「ヘッドディスプレイ」または「ＨＤ」という。）１０と制御装置（以下、「コントロールボックス」または「ＣＢ」という。）５０を備える。ＨＭＤ１が使用される場合、ＨＤ１０は、例えばユーザの頭部に装着される。ＣＢ５０は、ＨＤ１０とは異なる位置（例えば、ユーザの腰ベルトや腕等）に装着される。ＨＭＤ１は、図２に示すサーバ８０と、無線または有線通信を介して接続することもできる。以下の説明において、図１の上方、下方、右斜め下方、左斜め上方、右斜め上方および左斜め下方が、ＨＭＤ１の上方、下方、前方、後方、右方および左方である。実施形態において、種々の構成における位置関係および方向関係の理解を助けるため、図１において、ＨＭＤ１の上方、下方、前方、後方、右方および左方は、３次元デカルト座標系の軸を参照して説明される。
【００２２】
ＨＤ１０は専用の装着具である眼鏡５に装着される。ＨＤ１０は、ユーザが日常的に使用する眼鏡、ヘルメット、ヘッドホン等、他の装着具に取り付けられてもよい。ＨＤ１０は、画像光を後方に向けて照射する。画像光は、受光対象物（例えば、ＨＤ１０を装着したユーザの眼）に入射する。ＨＤ１０はハーネス７を介してＣＢ５０と着脱可能に接続する。ＣＢ５０は、ＨＤ１０を制御する。
【００２３】
ＨＤ１０の構成について説明する。ＨＤ１０は筐体２を備える。筐体２は、左側にハーフミラー３を備える。ハーフミラー３は、ＨＭＤ１がユーザの頭部に装着されたとき、ユーザの眼（例えば左眼）の前方に配置される。ＨＤ１０は、筐体２の内部に、画像表示部１４（図２参照）と接眼光学系（図示略）を備える。画像表示部１４は、ＣＢ５０からハーネス７を介して送信される映像信号に基づいて画像を表示する。画像表示部１４は、例えば、液晶素子等の空間変調素子および光源である。画像表示部１４は、画像信号に応じた強度のレーザ光を２次元走査して画像表示を行う網膜走査型表示部、液晶ディスプレイ、および有機ＥＬ（Organic Electro-luminescence）ディスプレイ等であってもよい。ＨＤ１０は、カメラ２０を備える。カメラ２０は、ＨＤ１０の前面方向の外界の風景を撮像する。
【００２４】
接眼光学系は、画像表示部１４に表示された画像を示す画像光を集光し、筐体２の左端からハーフミラー３に向けて照射する。接眼光学系から照射された画像光は、筐体２の左側に設けられたハーフミラー３によって少なくとも一部（例えば半分）後方に向けて反射される。ＨＭＤ１がユーザの頭部に装着されたとき、ハーフミラー３によって反射された画像光が、ユーザの一方（例えば左）の眼球（図示略）に入射する。ハーフミラー３は外界の実像からの光の少なくとも一部を透過するので、ユーザの視野において実像（外界の風景）に重畳させた画像をユーザに見せることができる。
【００２５】
眼鏡５は、ＨＤ１０をユーザの頭部に保持するための構成である。眼鏡５は、フレーム６において、左眼用レンズを支えるリム部の上面右端に、支持部４を備える。支持部４は、ＨＤ１０の筐体２を保持し、筐体２を眼鏡５に取り付ける。支持部４は、筐体２の保持位置を上下方向および左右方向に調整することができる。筐体２の保持位置を調整することで、ハーフミラー３は、ユーザの眼球の位置に合わせた位置に配置される。
【００２６】
眼鏡５は、フレーム６において、右耳に掛けるテンプル部に、マイク１７およびイヤホン１８を有するヘッドセット１６を備える。詳細は後述するが、ＨＭＤ１は、ＨＭＤ１が実行する動作についてのデータである処理データに対応付けられた操作データを含む音声をヘッドセット１６のマイク１７から取得することによって、使用時における各種操作等を受け付けることが可能である。ヘッドセット１６は、通常の気道式のマイクおよびスピーカに限定されず、骨伝導型のものであってもよい。なお、眼鏡５自体の形状は通常の眼鏡に類似のため、詳細な説明は省略する。
【００２７】
ＣＢ５０の構成について説明する。ＣＢ５０は、略直方体状の筐体を有する。ＣＢ５０は電源ランプ６３を内蔵する電源スイッチ６２を含む操作部６１を備える。電源スイッチ６２が操作されることで、ＨＭＤ１の電源はオンまたはオフされる。ＨＤ１０における各種設定や、使用時における各種操作等は、操作部６１に対して入力される。
【００２８】
ＣＢ５０は、公知の無線通信（例えば、所定のアクセスポイントを介した無線ＬＡＮでの通信）を介して図２に示すサーバ８０と接続し、サーバ８０との間で音声データや画像データを含む各種データの送受信を行うことが可能である。ＣＢ５０は有線通信のインターフェイスを備え、通信ケーブルを用いてネットワーク９（図２参照）に接続し、サーバ８０と接続してもよい。あるいはＣＢ５０は、ＵＳＢインターフェイスを備え、ＵＳＢケーブルを用い、サーバ８０に接続してもよい。なお、ＣＢ５０は、サーバ８０の代わりに、同一ＬＡＮに接続されたパーソナルコンピュータ、スマートフォン、およびタブレット型携帯端末等、その他の機器と接続してもよい。
【００２９】
図２を参照し、ＨＭＤ１の電気的構成について説明する。ＨＤ１０は、ＨＤ１０全体の制御を行うＣＰＵ１１を備える。ＣＰＵ１１は、ＲＡＭ１２、フラッシュＲＯＭ１３、画像表示部１４、インターフェイス１５、および接続コントローラ１９に電気的に接続される。ＣＰＵ１１は、インターフェイス１５を介してカメラ２０およびヘッドセット１６に電気的に接続される。ＲＡＭ１２は、各種データを一時的に記憶する。フラッシュＲＯＭ１３は、ＣＰＵ１１が実行する各種プログラム等を記憶する。各種プログラムは、ＨＤ１０の出荷時にフラッシュＲＯＭ１３に記憶される。
【００３０】
画像表示部１４は前述の通り、映像信号に基づいて画像を表示する。インターフェイス１５はカメラ２０およびヘッドセット１６と電気的に接続し、信号の入出力を制御する。接続コントローラ１９は、ハーネス７を介してＣＢ５０の接続コントローラ５８と電気的に接続し、有線通信を行う。カメラ２０は画像を撮像する。ヘッドセット１６はマイク１７およびイヤホン１８を備える。なお、ＨＤ１０は、ヘッドセット１６の代わりに、筐体２にマイクとスピーカを内蔵してもよい。
【００３１】
ＣＢ５０の電気的構成について説明する。ＣＢ５０は、ＣＢ５０全体の制御を行うＣＰＵ５１を備える。ＣＰＵ５１は、ＲＡＭ５２、フラッシュＲＯＭ５３、インターフェイス５５、ビデオＲＡＭ５６、画像処理部５７、接続コントローラ５８、および無線通信部５９に電気的に接続される。ＲＡＭ５２は、各種データを一時的に記憶する。
【００３２】
フラッシュＲＯＭ５３は、ＯＳを記憶する。また、フラッシュＲＯＭ５３は、ＣＰＵ５１が実行する各種プログラム、各種プログラムが使用するフラグやデータの初期値等を記憶する。各種プログラムは、ＯＳ上で実行される。フラッシュＲＯＭ５３は、少なくとも、メインプログラム記憶エリア６７と、音声認識プログラム記憶エリア６８の記憶領域を確保している。メインプログラム記憶エリア６７は、ＣＰＵ５１がＨＭＤ１の各種動作を制御するために実行するメインプログラムを記憶する。なお、メインプログラムは、音声認識プログラムを含む各種プログラムを並列処理によって実行するマルチタスク型のプログラムである音声認識プログラム記憶エリア６８は、ＣＰＵ５１が、ユーザの発声する音声に基づいてＨＭＤ１の各種操作等を行うための音声認識プログラム（後述）を記憶する。音声認識プログラムは、メインプログラムに従ってＣＰＵ５１が実行する各種プログラムのうちの一つである。メインプログラム、音声認識プログラムを含む各種プログラムおよびＯＳは、ＨＭＤ１の出荷時にフラッシュＲＯＭ５３に記憶される。
【００３３】
なお、フラッシュＲＯＭ５３には、ＨＤ１０のＣＰＵ１１が実行するプログラムが記憶されてもよい。ＣＰＵ５１は、ＨＤ１０のＣＰＵ１１が実行する処理と同じ処理を、ＣＰＵ１１の代わりに実行してもよい。また、ＨＭＤ１は、各種プログラムおよびＯＳを、無線通信部５９を介してプログラムダウンロード用のサーバからダウンロードし、インストールしてもよい。例えば、各種プログラムおよびＯＳは、コンピュータで読み取り可能な一時的な記憶媒体（例えば、伝送信号）として、サーバからＨＭＤ１に送信されてもよい。但し、記憶装置は、例えばＲＯＭ、フラッシュＲＯＭ、ＨＤＤ、ＲＡＭなどの、一時的な記憶媒体を除く記憶媒体であってもよい。また、記憶装置は、非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、データを記憶する時間の長さに関わらず、データを留めておくことが可能なものであってもよい。
【００３４】
インターフェイス５５は電源スイッチ６２および電源ランプ６３を含む操作部６１と電気的に接続し、ユーザによる操作に対応した入力信号やランプの点灯信号等の入出力を行う。画像処理部５７は、ＨＤ１０の画像表示部１４に表示する画像を形成する処理を行う。ビデオＲＡＭ５６は、画像処理部５７が形成した画像を示す映像信号を生成するため、映像を構成するフレームを記憶領域内に形成する。接続コントローラ５８は、ハーネス７を介してＨＤ１０の接続コントローラ１９と電気的に接続し、有線通信を行う。無線通信部５９は、ネットワーク９のアクセスポイント（図示略）へ無線通信によって接続し、例えばサーバ８０等、ネットワーク９に接続する他の機器と通信を行う。
【００３５】
サーバ８０は、サーバ８０全体の制御を行うＣＰＵ８１を備える。ＣＰＵ８１は、データバスを介してＲＯＭ８２、ＲＡＭ８３、および入出力バス（以下、「Ｉ／Ｏバス」という。）８５と電気的に接続する。ＲＯＭ８２は、ＣＰＵ８１が実行するＢＩＯＳ等のプログラムを記憶する読出し専用の記憶装置である。ＲＡＭ８３は、データを一時的に記憶する読み書き可能な記憶装置である。
【００３６】
Ｉ／Ｏバス８５には、ハードディスクドライブ（以下、「ＨＤＤ」という。）８４および通信部８６が電気的に接続されている。ＨＤＤ８４は、ＯＳやプログラム等がインストールされる記憶装置である。通信部８６は、ネットワーク９のアクセスポイント（図示略）へ有線通信または無線通信で接続し、サーバ８０をネットワーク９に接続する。また、図示しないが、Ｉ／Ｏバス８５にはマウスやキーボード等の入力デバイスも接続されている。
【００３７】
ＨＭＤ１の構成は上記実施形態に限定されず、例えば、ＨＤ１０とＣＢ５０とが一体となった構成であってもよい。ＨＤ１０のＣＰＵ１１とＣＢ５０のＣＰＵ５１とは、ハーネス７の代わりに無線通信によって通信を行ってもよい。
【００３８】
図３および図４を参照して、第一対応データ９５および第二対応データ９６について説明する。第一対応データ９５および第二対応データ９６は、例えば、フラッシュＲＯＭ５３に記憶されている。第一対応データ９５および第二対応データ９６には、操作データと処理データとが対応付けられている。操作データは、ＨＭＤ１の実行する動作をユーザがＣＰＵ５１に指示し、ＨＭＤ１を操作する際に発声する単語を示すテキストデータである。処理データは、ＣＰＵ５１がＨＭＤ１に動作を実行させるための処理についてのデータである。処理データは、例えば、ＣＰＵ５１によって実行される特定のルーチンを示す。より詳細には、第一対応データ９５には、操作データ「起動」が処理データ「音声操作処理を開始する」に対応付けられている。即ち、ＣＰＵ５１が操作データ「起動」を受け付けた場合、対応付けられている処理データ「音声操作処理を開始する」によって示される特定のルーチン（ここでは、図７で示される処理）が実行される。詳しくは後述するが、第一対応データ９５の操作データ「起動」は、Ｓ３４（図６参照）の音声操作処理を行うか否かの判断基準となる単語である。このため、本実施形態において、第一対応データ９５の操作データ「起動」を基準データとも呼ぶこととする。
【００３９】
第二対応データ９６には、操作データ「送る」、「戻る」、「Ｘ枚目」、「閉じる」等がそれぞれ、処理データ「表示中の図面等を次頁に送る」、「表示中の図面等を前頁に戻す」、「表示中の図面のＸ頁を表示する」、「表示中の図面等を閉じる」等に対応付けられている。例えば、ユーザが音声「ページを送る」を発声すると、ＣＰＵ５１は、後述する図７のＳ４９で生成するテキストデータ「ページを送る」に「送る」の操作データが含まれると判断して（後述する図７のＳ５１：ＹＥＳ）、処理データ「画像の次ページを表示する」に基づくＨＭＤ１の動作を実行させるための処理を行う（後述する図７のＳ５３参照）。なお、Ｘ枚目等の「Ｘ」は任意の自然数であり、ユーザは、Ｘを自然数に置き換えて発声する。
【００４０】
図５から図７を参照し、音声認識プログラムを構成する音声判断処理について説明する。ＨＭＤ１は、前述したように、あらかじめフラッシュＲＯＭ５３に音声認識プログラムを記憶した状態で出荷される。音声認識プログラムは、ＨＭＤ１のＣＢ５０のＣＰＵ５１が実行するプログラムである。音声認識プログラムを実行したＣＰＵ５１は、ユーザが発声した音声を判断する音声判断処理の実行、および音声判断処理の中において行われる音声操作処理の開始・終了を行う。ＣＰＵ５１は、ユーザがＨＭＤ１の各種操作等の操作データに対応する音声を発声した場合、操作データに対応付けられた処理データに応じたＨＭＤ１の各種操作等を実行する。
【００４１】
音声判断処理で使用する各種タイマカウンタについて説明する。ここで、音声判断処理が開始されて最初にＣＰＵ５１が取得する音声データを、第一音声データとする。第一タイマカウンタは、第一音声データに基づいて決定される音量値である第一音量値が第一基準値（後述）よりも大きいと判断された後の所定期間である第一監視時間を計測するため、ＲＡＭ５２に記憶されるタイマカウンタである。第一監視時間に対応するカウンタ値がＲＡＭ５２の第一タイマカウンタにセットされると、セットされた第一タイマカウンタの値が、０を下限値として順次減算される。詳細は後述するが、第一監視時間が経過する前に第二音量値が第二基準値（後述）より大きいと判断された場合、ユーザによって第二音声データに対応する音声が発声されたとみなして、ＣＰＵ５１は、以降の所定の処理を実行する。ここで、音声判断処理において、第一音声データの後にＣＰＵ５１が取得する音声データを、第二音声データとする。また、第二音量値は、第二音声データに基づいて決定される音量値である。第一タイマカウンタにおける第一監視時間の計測は、第一監視時間が経過する前に第二音量値が第二基準値より大きいと判断されない場合、ユーザに第二音声データに対応する音声の発声意思がないとみなして、音声操作処理（図６および図７参照）を実行させないために行われる。なお、第一タイマカウンタの値の減算は、ＯＳのタイマ機能に基づいて行われる。
【００４２】
第二タイマカウンタは、第二音声データに基づく第二音量値が第二基準値よりも大きいと判断された後の所定期間である第二監視時間を計測するため、ＲＡＭ５２に記憶されるタイマカウンタである。第二監視時間に対応するカウンタ値がＲＡＭ５２の第二タイマカウンタにセットされると、セットされた第二タイマカウンタの値が、０を下限値として順次減算される。詳細は後述するが、第二監視時間が経過する前に第二音量値が第三基準値（後述）を下回った場合、ユーザによって第二音声データに対応する音声の発声が適切に終了されたとみなして、以降の所定の処理を実行する。また、第二監視時間が経過する前に第二音声データに対応する音声が終了しない場合、第二音声データに対応する音声が所定の音声でないとみなして、ＣＰＵ５１は以降の処理、特に、音声操作処理（図６および図７参照）を実行しない。なお、第二タイマカウンタの値の減算は、ＯＳのタイマ機能に基づいて行われる。
【００４３】
第三タイマカウンタは、音声判断処理の中において実行される音声操作処理（図７参照）において取得される第三音声データに基づく第三音量値が第二基準値よりも大きいと判断された後の所定期間である第三監視時間を計測するため、ＲＡＭ５２に記憶されるタイマカウンタである。ここで、第二音声データの後にＣＰＵ５１が取得する音声データを、第三音声データとする。また、第三音量値は、第三音声データに基づく音量値である。第三監視時間に対応するカウンタ値がＲＡＭ５２の第三タイマカウンタにセットされると、セットされた第三タイマカウンタの値が、０を下限値として順次減算される。詳細は後述するが、第三監視時間が経過する前に第三音量値が第二基準値より大きいと判断された場合、ユーザによって第三音声データに対応する音声が発声されたとみなして、以降の所定の処理を実行する。また、第三監視時間が経過する前に第三音量値が第二基準値より大きいと判断されない場合、ユーザに第三音声データに対応する音声の発声意思がないとみなして、ＣＰＵ５１は第三音声データについての音声認識処理（Ｓ４８、図７参照）を実行しない。なお、第三タイマカウンタの値の減算は、ＯＳのタイマ機能に基づいて行われる。
【００４４】
ＨＤ１のＣＰＵ１１によって実行される処理の概要について説明する。ＨＭＤ１のＣＢ５０に設けられた電源スイッチ６２が操作されると、ＣＰＵ１１は、マイク１７およびインターフェイス１５を制御することで、音声データの取得を開始する。例えば、マイク１７は、入力される音声に対応するアナログの音声信号を、インターフェイス１５に対して出力する。インターフェイス１５は、アナログの音声をデジタルの音声データに変換する。ＣＰＵ１１は、接続コントローラ１９を制御して、変換した音声データを、ハーネス７を介してＣＢ５０に継続的に送信する。
【００４５】
次に、音声認識プログラムの実行に伴いＣＰＵ５１が行う処理について説明する。ユーザがＨＭＤ１のＣＢ５０に設けられた電源スイッチ６２を操作すると、ＣＰＵ５１は起動時における所定の動作をメインプログラムの実行に従って行う。ＣＰＵ５１は、音声認識プログラムを含む各種プログラムを実行する。
【００４６】
音声認識プログラムにおいて、ＣＰＵ５１は、起動時に行う初期設定処理（図示略）を行う。ＣＰＵ５１は、ＲＡＭ５２に記憶するフラグやデータを初期化し、フラッシュＲＯＭ５３に記憶されているフラグやデータの初期値をＲＡＭ５２に書き込む。ＣＰＵ５１は音声データを保存するための記憶領域を、ＲＡＭ５２に確保する。ＣＰＵ５１は音声認識プログラムの初回実行時にＲＡＭ５２に第一対応データ９５および第二対応データ９６を展開する。なお、以下の説明では、ＨＭＤ１は、ネットワーク９およびサーバ８０に接続されていないとする。
【００４７】
上記の初期設定処理が終了すると、ＣＰＵ５１は、音声判断処理を開始する。図５に示すように、ＣＰＵ５１は、音声判断処理を開始すると、ＨＤ１０からＣＢ５０に送信された最初の音声データである第一音声データを取得する（Ｓ１１）。次いで、ＣＰＵ５１は、取得した第一音声データに基づく音量値である第一音量値を決定する（Ｓ１２）。第一音量値は、例えば、Ｓ１１で受信した第一音声データにおいて、サンプリングされた波形のレベルを検出することで決定される。なお、第一音声データは、例えば、複数のサンプリング点を含む。サンプリング点の間隔は、予め定められたサンプリングレート（例えば、１１．０２５ｋＨｚ）に対応する。即ち、第一音量値は、個々のサンプリング点に対して決定される。次いで、ＣＰＵ５１は、決定した第一音量値の最大値を抽出し、第一音量値の最大値が第一基準値より大きいか否かを判断する（Ｓ１３）。なお、Ｓ１３の判断において、最大値の代わりに、平均値、中央値、最頻値などが用いられてもよい。第一音量値の最大値が第一基準値よりも大きい場合（Ｓ１３：ＹＥＳ）、第一基準値よりも第一音量値が大きくなる期間である第一期間の時間情報を算出する。例えば、ＣＰＵ５１は、第一音声データにおいて、第一基準値を超える第一音量値のサンプリング点が連続する回数を検出することで、第一期間の時間情報を算出する。ＣＰＵ５１は、算出した第一期間の時間情報が所定の範囲内であるか否かを判断する（Ｓ１４）。第一期間の時間情報が所定範囲内である場合（Ｓ１４：ＹＥＳ）、ＣＰＵ５１は、処理をＳ１５に移行する。なお、第一音量値が第一基準値より大きくない場合（Ｓ１３：ＮＯ）、または、第一音量値が第一基準値より大きい場合でも、第一期間の時間情報が所定範囲内でない場合（Ｓ１４：ＮＯ）、ＣＰＵ５１は、Ｓ１１に処理を戻す。
【００４８】
ここで、本実施形態では、第一音声データに対応するユーザの音声として、例えば「ハイ」と発声されることを想定している。マイク１７に入力する「ハイ」の音声に対応する第一音声データについて、第一音量値の最大値が第一基準値を上回るか否かをまず判断する。第一音量値の最大値が第一基準値を上回る場合には、さらに第一期間が所定範囲内であるか否かを監視することによって、ＣＰＵ５１は、後述する音声操作処理（Ｓ３４、図６参照）を行うか否かの一段階目の判断を行う。即ち、ＣＰＵ５１は、第一音声データについては、第一音量値と、第一音量値が第一基準値よりも大きくなる期間を監視するものの、第一音声データについての音声認識処理を行わない。音量値の監視のみの実行に比べて、複雑な信号からなる音声データを解析する音声認識処理の実行には、ＣＰＵ５１は非常に多くの電力を必要とする。ＨＭＤ１は、ユーザに装着されて使用される性質上、外部からの電源供給を受けず、バッテリー等の内部に搭載した電源によって動作を行うことが想定される。このため、ＨＭＤ１に音声認識処理を組み込む場合、消費電力の低減は欠かせない。本実施形態では、ＨＭＤ１がユーザの発する音声によって操作されるのに先だって、第一音声データに対して音声認識処理を実行するのではなく、以降の音声操作処理を行うためのトリガとするために第一音量値のみを判断することとしている。これにより、複雑な制御を必要とせずに、ＨＭＤ１の消費電力を低減し、内部電源の寿命を延ばすことができる。
【００４９】
なお、第一基準値は、ＨＭＤ１の使用環境等に応じて、任意の値を設定することができる。前述したように、第一音量値は後述する音声操作処理（Ｓ３４、図６参照）を行うか否かの一段階目の判断材料である。このため、音声操作処理が誤って実行されて、ＨＭＤ１が誤作動することを防ぐため、第一基準値は、ＨＭＤ１の使用環境における周囲の雑音よりも大きい値に設定することが好ましい。
【００５０】
また、Ｓ１４の判断において、第一期間の時間情報が所定範囲内であるか否かが判断される。この所定範囲について、本実施形態では、第一音声データに対応する音声として想定する「ハイ」が発声される時間に対応して、ＣＰＵ５１は、第一期間が約１秒以内であるか否かを判断する。Ｓ１３の判断のみを行い、Ｓ１４の判断を行わない場合には、例えば、ＨＭＤ１を装着したユーザの通常の会話による音声に基づく音量値が第一基準値を超える場合等にも、ＣＰＵ５１は、以降の処理を実行してしまう。即ち、所定範囲を超えて第一期間が継続する場合には、ＣＰＵ５１は、ユーザが発声する音声を、音声操作処理（Ｓ３４、図６参照）を行うため以外の音声であるとみなす。Ｓ１３の判断に加えてＳ１４の判断を行うことによって、音声判断処理の単純化および所定の音声以外の音声によるＨＭＤ１の誤作動を防止できる。
【００５１】
図５の説明に戻る。Ｓ１５では、ＣＰＵ５１は、第一音声データの後にＨＤ１０からＣＢ５０に送信された第二音声データを取得し、取得した第二音声データをＲＡＭ５２に保存する処理を開始する。本実施形態では、第二音声データに対応するユーザの音声として、特定の単語（例えば「起動（キドウ）」）が発声されることを想定している。次いで、ＣＰＵ５１は、ＲＡＭ５２の第一タイマカウンタに第一監視時間に対応する値をセットする（Ｓ１６）。次いで、ＣＰＵ５１は、Ｓ１５において取得および保存を開始した第二音声データに基づく音量値である第二音量値を逐次決定する（Ｓ１７）。音量値を決定する方法は、Ｓ１２と同様である。次いで、ＣＰＵ５１は、決定した第二音量値の最大値を抽出し、第二音量値の最大値が第二基準値よりも大きいか否かを判断する（Ｓ１８）。決定した第二音量値の最大値が第二基準値より大きい場合（Ｓ１８：ＹＥＳ）、ＣＰＵ５１は、第二音声データに対応する音声の発声が開始されたとみなして、ＲＡＭ５２の第一タイマカウンタの値を「０」にクリアし（Ｓ１９）、処理をＳ２０へ移行する。
【００５２】
一方、第二音量値の最大値が第二基準値より大きくない場合（Ｓ１８：ＮＯ）、ＣＰＵ５１は、ＲＡＭ５２に記憶される第一タイマカウンタの値を参照して、第一監視時間が経過したか否かを判断する（Ｓ２１）。参照した第一タイマカウンタの値が「０」でない場合（Ｓ２１：ＮＯ）、第一監視時間が経過していないため、ＣＰＵ５１は、処理をＳ１８へ戻し、第一監視時間が経過するまで、第二音量値の最大値が第二基準値より大きくなるか否かの判断を繰り返す。第一監視時間が経過して第一タイマカウンタの値が「０」となった場合（Ｓ２１：ＹＥＳ）、ＣＰＵ５１は、処理をＳ２８へ移行する。このようにして、ＣＰＵ５１は、第一監視時間が経過する前に、第二音量値の最大値が第二基準値を上回るか否かを判断する。そして、第二音量値の最大値が第二基準値を上回ることなく第一監視時間が経過した場合には、第二音声データの取得を中止する（Ｓ２８）。前述したように、第一タイマカウンタによる第一監視時間の計測は、第一音声データに対応する音声を発声したユーザに第二音声データに対応する音声の発声意思があるか否か判断するために行われる。第一監視時間は、第一音声データに対応する音声として想定する「ハイ」と第二音声データに対応する音声として想定する特定の単語である「起動（キドウ）」との、それぞれの発声の間隔として想定される任意の時間に相当する値を設定することができる。
【００５３】
ここで、本実施形態では、第一基準値が、第二基準値よりも大きな値となるように設定している。これは、ユーザが第一音声データに対応する音声として想定する「ハイ」を、「ハイ」以降に発声する音声より大きく発声しなければ、音声操作処理（Ｓ３４、図６参照）が行われないようにするためである。即ち、第一基準値は第二基準値より大きいため、ＣＰＵ５１が音声操作処理を行うことによってＨＭＤ１に種々の動作を実行させるためには、ユーザは第二音声データに対応する音声「起動」よりも、第一音声データに対応する音声「ハイ」を大きく発声する必要がある。これにより、ＣＰＵ５１は、ＨＭＤ１に動作を実行させる意思がユーザにあるか否かを、第一音声データに基づく第一音量値と、第二基準値より大きい第一基準値との比較によって判断できる。従って、ＨＭＤ１に動作を実行させる意思のないユーザが発声した第一基準値よりも音量の小さな音声に基づいて、ＣＰＵ５１が種々の処理を誤って実行することを防止できる。
【００５４】
図５の説明に戻る。次いで、ＣＰＵ５１は、ＲＡＭ５２の第二タイマカウンタに第二監視時間に対応する値をセットする（Ｓ２０）。次いで、ＣＰＵ５１は、第二音量値が第三基準値よりも小さいか否かを判断する（Ｓ２３）。第二音量値が第三基準値より小さい場合（Ｓ２３：ＹＥＳ）、ＣＰＵ５１は、第二音声データに対応する音声の発声が終了されたとみなして、ＲＡＭ５２の第二タイマカウンタの値を「０」にクリアする（Ｓ２４）。次いで、ＣＰＵ５１は、Ｓ１５において開始した第二音声データをＲＡＭ５２に保存する処理を終了する（Ｓ２５）。ＣＰＵ５１は、処理をＳ３０（図６参照）へ移行する。
【００５５】
一方、第二音量値が第三基準値より小さくない場合（Ｓ２３：ＮＯ）、ＣＰＵ５１は、ＲＡＭ５２に記憶される第二タイマカウンタの値を参照して、第二監視時間が経過したか否かを判断する（Ｓ２６）。参照した第二タイマカウンタの値が「０」でない場合（Ｓ２６：ＮＯ）、ＣＰＵ５１は、処理をＳ２３へ戻し、第二監視時間が経過するまで、第二音量値が第三基準値より小さくなるか否かの判断を繰り返す。第二監視時間が経過して第二タイマカウンタの値が「０」となった場合（Ｓ２６：ＹＥＳ）、Ｓ２１の判断において「ＮＯ」と判断した場合と同様に、ＣＰＵ５１は、処理をＳ２８へ移行する。
【００５６】
Ｓ２８では、ＣＰＵ５１は、Ｓ１５で開始した第二音声データをＲＡＭ５２に保存する処理を中止し、処理をＳ１１へ戻す。ＣＰＵ５１は、Ｓ１５において取得が開始されてからＳ２８で取得が中止されるまでの間にＲＡＭ５２へ保存された第二音声データについて、ＲＡＭ５２から消去した後にＳ１１へ処理を戻してもよいし、次回に実行する音声判断処理において取得する第二音声データをＲＡＭ５２へ上書きしてもよい。
【００５７】
このように、ＣＰＵ５１は、第二音量値が第二基準値よりも大きいと判断してから第二監視時間が経過するまでの間に、第二音量値が第三基準値を下回るか否かによって、ユーザの第二音声データに対応する音声の発声終了を判断する。第二音声データに対応する音声の発声終了の判断を、全くの無音状態の検出を条件に判断すると、ＨＭＤ１の使用環境等によっては、周囲の雑音等が存在することによって、ユーザの第二音声データに対応する音声の発声終了の判断が難しくなる。従って、本実施形態では、第三基準値を、周囲の雑音よりも大きく、且つ、第二基準値よりも小さく設定している。ＣＰＵ５１は、第二音声データに対応する音声の発声が開始されたとみなした時点から、第二音声データに対応する音声の発声が終了されたとみなした時点までの間に取得した音声データを、ひとまとまりの第二音声データとしてＲＡＭ５２に保存する。
【００５８】
第二監視時間は、第二音声データに対応する音声として想定する特定の単語「起動（キドウ）」が発声される時間に相当する任意の値を設定することができる。本実施形態では、第二監視時間を約１．５秒としている。第二監視時間を経過してもなお、第三基準値を超える音量値の第二音声データに対応する音声がマイク１７に入力する場合、ユーザは、通常の会話等、「起動（キドウ）」以外の音声を発声していることが想定される。このような場合には、第二音声データに対応する音声が「起動（キドウ）」を含む音声でないとみなして、ＣＰＵ５１は、音声判断処理におけるＳ２４以降の処理の実行を回避できる。即ち、音声判断処理の単純化および効率化を図ることができる。
【００５９】
Ｓ３０（図６参照）では、ＣＰＵ５１は、音響特徴量（例えば、音素）を抽出する公知の音声認識処理（例えば、隠れマルコフモデル）を実行し、ＲＡＭ５２に保存した第二音声データに対する音声認識を行う。ＣＰＵ５１は、音声認識処理の結果、第二音声データに対応する音素データを生成する。この音素データは、ＲＡＭ５２に保存される。ＣＰＵ５１は、音声認識処理を行って認識した第二音声データに対応する音素データに基づいて、第二音声データに対応するテキストデータを取得する（Ｓ３１）。例えば、ＣＰＵ５１は、音素データを予め設けられた複数の単語モデルと比較することで、個々の単語モデルから第二音声データに対応する音声が出力される確率を計算する。そして、ＣＰＵ５１は、確率の最も高い単語モデルのテキストデータを取得する。ＣＰＵ５１は、取得したテキストデータを、ＲＡＭ５２に記憶する。次いで、ＣＰＵ５１は、音声認識プログラムの初回実行時にＲＡＭ５２に展開した第一対応データ９５（図３参照）を参照する（Ｓ３２）。ＣＰＵ５１は、参照した第一対応データ９５における操作データと、Ｓ３１において生成したテキストデータとを比較し、Ｓ３１において生成したテキストデータに、第一対応データ９５における操作データが含まれるか否かを判断する（Ｓ３３）。本実施形態では、第一対応データ９５は、基準データ「起動」と処理データ「音声操作処理を開始する」とが対応付けられた１組のデータのみを含む（図３参照）。即ち、ＣＰＵ５１は、Ｓ３３では、Ｓ３１において生成したテキストデータに、基準データである「起動（キドウ）」が含まれるか否かのみを判断すればよいため、判断の精度と判断処理の迅速性を向上できる。
【００６０】
上記の第二音声データに基づくテキストデータに基準データ「起動（キドウ）」が含まれるか否かの判断は、Ｓ３４の音声操作処理を行うか否かの二段階目の判断である。Ｓ３４の音声操作処理を行うか否かの判断については、Ｓ１３およびＳ１４（図５参照）において行われる第一音量値に基づく一段階目の判断、および、Ｓ３３において行われる第二音声データに基づくテキストデータに対する二段階目の判断の二つの判断に基づいて行われる。即ち、ＨＭＤ１をユーザの音声によって操作する場合、第一音声データに対応する音声「ハイ」と第二音声データに対応する音声「起動（キドウ）」との二つの音声の発声がユーザに求められる。これによって、ＣＰＵ５１は、ユーザに音声操作処理の開始をハンズフリーで行わせるとともに、Ｓ３４の音声操作処理が誤って実行されて、ＨＭＤ１が誤作動することを防いでいる。Ｓ３１において生成したテキストデータに操作データと同一のデータが含まれる場合（Ｓ３３：ＹＥＳ）、ＣＰＵ５１は、Ｓ３４の音声操作処理を実行した後、音声判断処理を終了する。Ｓ３１において生成したテキストデータに操作データと同一のデータが含まれない場合（Ｓ３３：ＮＯ）、ＣＰＵ５１は、処理をＳ１１へ戻す（図５参照）。
【００６１】
本実施形態では、Ｓ３３において、Ｓ３１において生成したテキストデータに含まれるか否かを判断する操作データを「起動（キドウ）」の１つ基準データのみとしている。即ち、Ｓ３３の判断では、第二音声データが基準データ「起動（キドウ）」に対応する音声データであるか否かのみを判断できればよい。このため、例えば、Ｓ３１における第二音声データのテキストデータ変換を行わないこととしてもよい。そのかわりに、Ｓ３０の第二音声データについての音声認識処理において、例えば第二音声データに基づく音波の波形データを生成する。そして、第一対応データ９５における基準データとして、特定の単語「起動（キドウ）」に対応する特定の波形データを記憶する。生成した波形データが「起動（キドウ）」に対応する特定の波形データである基準データに対応するか否かによって、Ｓ３３の判断を行ってもよい。音声データは複雑な信号からなり、その音声データに基づく波形データもまた、複雑な波形パターンを有する。この場合、ＣＰＵ５１は、生成した複雑な波形データをテキストデータに変換する工程を経ることなく、波形データ同士のマッチングによって、第二音声データが基準データ「起動（キドウ）」に対応する音声データを含むか否かを判断できるため、音声判断処理を単純化することができ、消費電力の低減にも資する。
【００６２】
図７を参照して、音声操作処理（Ｓ３４、図６参照）の詳細について説明する。音声操作処理では、ユーザの音声によってＨＭＤ１に種々の動作を実行させるための処理が行われる。音声操作処理が開始すると、ＣＰＵ５１は、第二音声データの後にＨＤ１０からＣＢ５０に送信された第三音声データを取得し、取得した第三音声データをＲＡＭ５２に保存する処理を開始する（Ｓ４１）。本実施形態では、第三音声データに対応するユーザの音声として、例えば「送る（オクル）」、「戻る（モドル）」等、第二対応データ９６の操作データを含む様々な音声が、ＨＭＤ１に種々の動作を実行させるため発声されることを想定している。
【００６３】
次いで、ＣＰＵ５１は、ＲＡＭ５２の第三タイマカウンタに第三監視時間に対応する値をセットする（Ｓ４２）。次いで、ＣＰＵ５１は、Ｓ４１において取得および保存を開始した第三音声データに基づく音量値である第三音量値を逐次決定する（Ｓ４３）。次いで、ＣＰＵ５１は、決定した第三音量値の最大値を抽出し、第三音量値の最大値が第二基準値よりも大きいか否かを判断する（Ｓ４４）。第三音量値の最大値が第二基準値より大きい場合（Ｓ４４：ＹＥＳ）、ＣＰＵ５１は、第三音声データに対応する音声の発声が開始されたとみなして、ＲＡＭ５２の第三タイマカウンタの値を「０」にクリアし（Ｓ４５）、処理をＳ４６の判断へ移行する。
【００６４】
一方、第三音量値の最大値が第二基準値より大きくない場合（Ｓ４４：ＮＯ）、ＣＰＵ５１は、ＲＡＭ５２に記憶される第三タイマカウンタの値を参照して、第三監視時間が経過したか否かを判断する（Ｓ５４）。参照した第三タイマカウンタの値が「０」でない場合（Ｓ５４：ＮＯ）、第三監視時間が経過していないため、ＣＰＵ５１は、処理をＳ４４へ戻し、第三監視時間が経過するまで、第三音量値の最大値が第二基準値より大きくなるか否かの判断を繰り返す。次いでＳ４６の判断において、ＣＰＵ５１は、第三音量値が第三基準値よりも小さいか否かを判断する。第三音量値が第三基準値よりも小さくない場合には（Ｓ４６：ＮＯ）、ＣＰＵ５１は、第三音量値が第三基準値よりも小さくなるまで、繰り返しＳ４６の判断を行う。第三音量値が第三基準値より小さい場合（Ｓ４６：ＹＥＳ）、ＣＰＵ５１は、第三音声データに対応する音声の発声が終了したとみなして、Ｓ４１において開始した第三音声データをＲＡＭ５２に保存する処理を終了する（Ｓ４７）。ＣＰＵ５１は、第三音声データに対応する音声の発声が開始したとみなした時点から、第三音声データに対応する音声の発声が終了したとみなした時点までの間に取得した音声データを、ひとまとまりの第三音声データとしてＲＡＭ５２に保存する。
【００６５】
ここで、第三音声データのＲＡＭ５２への保存については、第二音声データのＲＡＭ５２への保存の場合における第二監視時間に対応する監視時間が特に設けられていない。これは、ユーザがＨＭＤ１を使用する際に、ユーザは操作データに対応する音声のみを発声する場合だけでなく、操作データを含む音声を発声した場合にも、音声によってＨＭＤ１の操作をできるようにするためである。即ち、ひとまとまりの第三音声データを保存できる時間を特に短い時間に限定するのではなく、第三音声データを保存できる時間に幅を持たせるためである。ただし、ＨＭＤ１の使用環境によっては、周囲の雑音等が大きいことによって、第三音量値が第三基準値を下回らない時間が長時間継続してしまい、Ｓ４６の判断処理が必要以上に繰り返されてしまうことも考えられる。このため、ＣＰＵ５１は、ＨＭＤ１の使用環境に応じて、第二監視時間が経過するまでの間に第二音量値が第三基準値を下回るか否かによって第二音声データの取得を中止するＳ２６およびＳ２８（図５参照）と同様の処理を、Ｓ４６の後に設けてもよい。
【００６６】
次いで、ＣＰＵ５１は、Ｓ３０と同様に公知の音声認識処理を実行し、ＲＡＭ５２に保存した第三音声データに対する音声認識処理を行い、第三音声データに対応する音素データを、ＲＡＭ５２に保存する（Ｓ４８）。ＣＰＵ５１は、音声認識処理を行って認識した第三音声データに対応する音素データに基づいて、第三音声に対応するテキストデータを取得する（Ｓ４９）。ＣＰＵ５１は、取得したテキストデータを、ＲＡＭ５２に記憶する。次いで、ＣＰＵ５１は、音声認識プログラムの初回実行時にＲＡＭ５２に展開した第二対応データ９６（図４参照）を参照する（Ｓ５０）。ＣＰＵ５１は、参照した第二対応データ９６における操作データと、Ｓ４９において生成したテキストデータとを比較する。ＣＰＵ５１は、Ｓ４９において生成したテキストデータに、第二対応データ９６における操作データが含まれるか否かを判断する（Ｓ５１）。
【００６７】
本実施形態では、第二対応データ９６は、操作データ「送る」、「戻る」、「○枚目」、「閉じる」、「明るく」、「暗く」、「オン」、「オフ」および「終了」と、各操作データのそれぞれに対応する処理データとが対応付けられた複数組のデータを含む（図４参照）。第二対応データ９６に様々な操作データと処理データとが対応付けられた複数のデータが含まれることによって、ＣＰＵ５１は、ユーザの発声する音声によってＨＭＤ１に、様々な動作を実行させることができる。
【００６８】
なお、前述したように、本実施形態では、第一対応データ９５に含まれる操作データと処理データとの組の数は、基準データ「起動」と処理データ「音声操作処理を開始する」とが対応付けられた１組のデータのみである。この数は、第二対応データ９６に含まれる操作データと処理データとの組の数よりも少ない。これは、Ｓ３３（図６参照）は、ユーザの発声する第二音声データに対応する音声によって、ユーザの音声によってＨＭＤ１に種々の動作を実行させるための音声操作処理の実行開始をするか否かの判断のみを行う処理であるからである。即ち、第一対応データ９５には、基準データ「起動」と処理データ「音声操作処理を開始する」とが対応付けられた１組のデータが含まれてさえいればよい。これに対し、第二対応データ９６は、音声操作処理において、ユーザの音声によってＨＭＤ１に種々の動作を実行させるために設けられるデータである。このため、第二対応データ９６には、ＨＭＤ１に実行可能な種々の動作に対応するためのデータ構成が要求される。本実施形態では、第一対応データ９５と第二対応データ９６との２つの対応データを備えることで、全ての操作データと処理データとが１つの対応データに含まれる場合に比べて、第一対応データ９５に含まれる操作データと処理データとの組の数を減らすことができる。これにより、音声操作処理の実行開始の判断を行うＳ３２における判断の精度と判断処理の迅速性を向上するとともに、音声操作処理においてＨＭＤ１に種々の動作を実行させることができる。
【００６９】
図７の説明に戻る。Ｓ５１の判断において、Ｓ４９において生成したテキストデータに操作データと同一のデータが含まれる場合（Ｓ５１：ＹＥＳ）、ＣＰＵ５１は、処理をＳ５２の判断に移行する。Ｓ５２では、Ｓ４９において生成したテキストデータに、第二対応データ９６における操作データのうち「終了」（図４参照）の操作データが含まれるか否かが判断される。Ｓ４９において生成したテキストデータに「終了」以外の操作データが含まれる場合（Ｓ５２：ＮＯ）、ＣＰＵ５１は、処理をＳ５３へ移行する。
【００７０】
ＣＰＵ５１は、Ｓ５２において含まれると判断した「終了」以外の操作データに対応付けられた処理データに基づく動作をＨＭＤ１に実行させる（Ｓ５３）。具体的には、Ｓ４９において生成したテキストデータに同一のデータが含まれると判断した操作データが「送る」である場合、対応する処理データ「表示中の図面等を次頁に送る」に基づいて、ＣＰＵ５１は、図面の次頁を示す画像データをフラッシュＲＯＭ５３から取得する。ＣＰＵ５１は、取得した図面の次頁を示す画像データを画像処理部５７で処理することによって、ＨＤ１０の画像表示部１４に表示する図面の次頁を示す映像信号を生成する。画像表示部１４は、生成された映像信号に基づいて、図面の次頁を示す画像を表示する。これによって、ユーザは、ユーザの発声する第三音声データに対応する音声によって、ハンズフリーでＨＭＤ１を操作することができる。
【００７１】
この他、本実施形態では、Ｓ４９において生成したテキストデータに、第二対応データ９６におけるいずれの操作データと同一のデータも含まれない場合（Ｓ５１：ＮＯ）、ＣＰＵ５１は、ユーザが発声した音声がＨＭＤ１に種々の動作を実行させるための音声ではないとみなして、音声操作処理を終了する。また、Ｓ５４の判断において、第三監視時間が経過して第三タイマカウンタの値が０となった場合（Ｓ５４：ＹＥＳ）、ＣＰＵ５１は、Ｓ４１で開始した第三音声データをＲＡＭ５２に保存する処理を中止し（Ｓ５５）、音声操作処理を終了する。これにより、音声操作処理が徒に実行されて、ＨＭＤ１が誤作動することを防ぐことができる。ＣＰＵ５１は、Ｓ４１において取得が開始されてからＳ５５で取得が中止されるまでの間にＲＡＭ５２へ保存された第三音声データについて、ＲＡＭ５２から消去した後に音声操作処理を終了することとしてもよいし、次回に実行する音声操作処理において取得する第三音声データをＲＡＭ５２へ上書きしてもよい。
【００７２】
この他、本実施形態では、音声操作処理の終了を、ユーザの終了意思に基づく発声によって行うことができる。第二対応データ９６の最下欄に、操作データ「終了」に処理データ「音声操作処理を終了する」が対応付けられたデータが設けられている。Ｓ５２の判断において、Ｓ４９において生成したテキストデータに「終了」の操作データが含まれる場合（Ｓ５２：ＹＥＳ）、ＣＰＵ５１は、音声操作処理を終了する。これにより、ユーザは、音声操作処理の終了をハンズフリーで行うことができる。
【００７３】
以上説明したように、ＣＰＵ５１は、Ｓ１３の判断において第一音量値が第一基準値より大きいか否かをまず判断する。第一音量値が第一基準値よりも大きいと判断された場合、Ｓ３１において第二音声データに対して音声認識処理を行って第二音声データに基づくテキストデータを生成し、生成したテキストデータに、第一対応データ９５における基準データ「起動（キドウ）」が含まれるか否かをＳ３３において判断する。Ｓ３１において生成したテキストデータに基準データ「起動（キドウ）」と同一のデータが含まれる場合、Ｓ４９において第三音声データに対して音声認識処理を行って第三音声データに基づくテキストデータを生成し、生成したテキストデータに基づくＨＭＤ１の制御がＳ５３において実行される。このため、ユーザは第一音声および第二音声の発声によって、第三音声に基づく音声認識処理をハンズフリーでＨＭＤ１に実行させることができる。
【００７４】
ＣＰＵ５１は、Ｓ１４の判断において第一期間が所定の範囲内でない場合には、第一音声が所定の音声でないとみなして処理をＳ１１へ戻し、第二音声データに対して音声認識処理を行って第二音声データに基づくテキストデータを生成するＳ３１の処理を回避する。従ってＣＰＵ５１は、音声判断処理の単純化および所定の音声以外の音声によって第二音声データに対する音声認識処理が誤って実行されてＨＭＤ１が誤作動することを防止できる。
【００７５】
ＣＰＵ５１は、Ｓ１８の判断において第二音量値が第二基準値より大きい場合、第二音声に対応する音声の発声が開始されたとみなし、ＲＡＭ５２の第二タイマカウンタに第二監視時間に対応する値をセットする。Ｓ２６の判断において第二監視時間内に第二音量値が第三基準値を下回らない場合には、第二音声データに対応する音声の発声が終了されないとみなして、ＣＰＵ５１は、Ｓ３１の処理を回避できる。第二監視時間は、第二音声データに対応する音声として想定する特定の単語「起動（キドウ）」が発声される時間に相当する任意の値を設定する。即ち、第二監視時間内に音声の発声が終了されるか否かをＳ２６において判断し、発声が終了されない場合には、第二音声データの取得を中止する。従ってＣＰＵ５１は、音声判断処理の単純化および効率化を図ることができる。
【００７６】
ＣＰＵ５１は、第二音声データの取得を開始すると、Ｓ１６においてＲＡＭ５２の第一タイマカウンタに第一監視時間に対応する値をセットする。第一監視時間は、第一音声データに対応する音声として想定する「ハイ」と第二音声データに対応する音声として想定する特定の単語「起動（キドウ）」との、それぞれの発声の間隔として想定される任意の時間に相当する値を設定する。Ｓ２１の判断において第一監視時間内に第二音量値が第二基準値を上回らない場合には、第二音声データに対応する音声の発声が開始されないとみなして、第二音声データの取得を中止する。従ってＣＰＵ５１は、音声判断処理の単純化および第二音声データの取得待機を継続することによる処理遅延を防止できる。
【００７７】
ＣＰＵ５１は、Ｓ３３の判断において第一対応データ９５を参照し、第二音声データに対して音声認識処理を行うことによって生成される第二音声データに基づくテキストデータに、基準データと同一のデータが含まれるか否かを判断する。また、Ｓ５１の判断において第二対応データ９６を参照し、第三音声データに対して音声認識処理を行うことによって生成される第三音声データに基づくテキストデータに、操作データと同一のデータが含まれるか否かを判断する。第二音声データに基づくテキストデータに対する判断と、第三音声データに基づくテキストデータに対する判断において、参照する対応データを第一対応データ９５と第二対応データ９６とに切り替えることで、Ｓ３３およびＳ５１の判断の精度をそれぞれ向上させることができる。よってＣＰＵ５１は、より確実に、ＨＭＤ１の制御を行うことができる。
【００７８】
第一対応データ９５に含まれる基準データと処理データとの組の数は、第二対応データ９６に含まれる操作データと処理データとの組の数よりも少ないため、特に第一音声データに基づくテキストデータに対するＳ３３の判断の精度と判断処理の迅速性を向上できる。
【００７９】
第一基準値は第二基準値よりも大きいため、ＨＭＤ１に第三音声に基づく動作を実行させるためには、ユーザは第二音声データに対応する音声よりも第一音声データに対応する音声を大きく発声する必要がある。これにより、第一音声データに基づいて種々の処理が誤って実行されることを防止できる。
【００８０】
本実施形態において、図５のＳ１１において第一音声データを取得するＣＰＵ５１が、本発明の「第一音声取得手段」として機能する。図５のＳ１２において第一音量値を取得するＣＰＵ５１が、本発明の「第一音量取得手段」として機能する。図５のＳ１３において第一音量値が第一基準値よりも大きいか否かを判断するＣＰＵ５１が、本発明の「第一音量判断手段」として機能する。図５のＳ１５において第二音声データの取得を開始するとともに第二音声データの取得を継続するＣＰＵ５１が、本発明の「第二音声取得手段」として機能する。図６のＳ３０およびＳ３１において第二音声データに対する音声認識処理を行い第二音声データに基づくテキストデータを生成するＣＰＵ５１が、本発明の「第一生成手段」として機能する。図６のＳ３３においてＳ３１で生成したテキストデータに、第一対応データ９５における基準データが含まれるか否かを判断するＣＰＵ５１が、本発明の「第一結果判断手段」として機能する。図７のＳ４１において第三音声データの取得を開始するとともに第三音声データの取得を継続するＣＰＵ５１が、「第三音声取得手段」として機能する。図７のＳ４８およびＳ４９において第三音声データに対する音声認識処理を行い第三音声データに基づくテキストデータを生成するＣＰＵ５１が、本発明の「第二生成手段」として機能する。フラッシュＲＯＭ５３に記憶される第一対応データ９５が、本発明の「対応データ」および「第一対応データ」に相当する。フラッシュＲＯＭ５３に記憶される第二対応データ９６が、本発明の「対応データ」および「第二対応データ」に相当する。図７のＳ５１においてＳ４９で生成したテキストデータに第二対応データ９６における操作データが含まれるか否かを判断するＣＰＵ５１が、本発明の「第二結果判断手段」として機能する。図７のＳ５３において操作データに対応付けられた処理データに基づく動作をＨＭＤ１に実行させるＣＰＵ５１が、本発明の「実行手段」として機能する。
【００８１】
図５のＳ１４において第一期間の時間情報が所定の範囲内であるか否かを判断するＣＰＵ５１が、本発明の「第一期間判断手段」として機能する。図５のＳ１７において第二音声データに基づいて第二音量値を決定するＣＰＵ５１が、本発明の「第二音量決定手段」として機能する。図５のＳ１８において第二音量値が第二基準値より大きいか否かを判断するＣＰＵ５１が、本発明の「第二音量判断手段」として機能する。ＲＡＭ５２に記憶され第二監視時間を計測する第二タイマカウンタが本発明の「計測手段」に相当する。図５のＳ２３において第二音量値が第三基準値よりも小さいか否かを判断するＣＰＵ５１が、本発明の「第二音声終了判断手段」として機能する。第一対応データ９５および第二対応データ９６を記憶するフラッシュＲＯＭ５３が、本発明の「記憶手段」に相当する。
【００８２】
Ｓ１１における第一音声データを取得する処理が、本発明の「第一音声取得手段ステップ」に相当する。Ｓ１２における第一音量値を決定する処理が、本発明の「第一音量決定ステップ」に相当する。Ｓ１３における第一音量値が第一基準値よりも大きいか否かを判断する処理が、本発明の「第一音量判断ステップ」に相当する。Ｓ１５において第二音声データを取得する処理が、本発明の「第二音声取得ステップ」に相当する。Ｓ３０およびＳ３１において第二音声データに対する音声認識処理を行い第二音声データに基づくテキストデータを生成する処理が、本発明の「第一生成ステップ」に相当する。Ｓ３３においてＳ３１で生成したテキストデータに、第一対応データ９５における操作データが含まれるか否かを判断する処理が、本発明の「第一結果判断ステップ」に相当する。Ｓ４１において第三音声データを取得する処理が、本発明の「第三音声取得ステップ」に相当する。Ｓ４８およびＳ４９において第三音声データに対する音声認識処理を行い第三音声データに基づくテキストデータを生成する処理が、本発明の「第二生成ステップ」に相当する。Ｓ５１においてＳ４９で生成したテキストデータに第二対応データ９６における操作データが含まれるか否かを判断する処理が、本発明の「第二結果判断ステップ」に相当する。Ｓ５３において操作データに対応付けられた処理データに基づく動作をＨＭＤ１に実行させる処理が、本発明の「実行ステップ」に相当する。
【００８３】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。上記実施形態では、Ｓ１３の判断において用いられる第一基準値が、Ｓ１８の判断において用いられる第二基準値よりも大きな値となるように設定している。しかし、ＨＭＤ１の使用環境等によっては、第一音声データに対応する音声を第二音声データに対応する音声よりも大きく発声することが難しいことも考えられる。このため、必ずしも第一基準値が第二基準値よりも大きな値である必要はない。
【００８４】
上記実施形態では、第二音声データおよび第三音声データに対応する音声の発声終了の判断を、第二音量値および第三音量値が第三基準値を下回るか否かによって行っている。しかし、ユーザによる音声の発声終了の判断手法はこれに限られない。例えば、ＣＰＵ５１は、第二音声データが示す音の周波数に特有の周波数帯（例えば、人間の声域に対応する数百Ｈｚ）が含まれるか否かを判断し、特有の周波数帯が含まれなくなった場合にユーザによる音声の発声が終了されたとみなすこと等によって判断してもよい。
【００８５】
上記実施形態において、Ｓ４２からＳ４７（図７参照）の一連の処理は、第三監視時間が経過する前に、第三音量値が第三基準値を下回るか否かによって、ユーザの第三音声データに対応する音声の発声の開始から終了までを判断するための処理である。この一連の処理は、Ｓ１６からＳ２５（図５参照）のにおけるユーザの第二音声データに対応する音声の発声の開始から終了までを判断する一連の処理と同様である。このため、本実施形態では、Ｓ１８およびＳ２３（図５参照）の判断基準である第二基準値および第三基準値を、Ｓ４４およびＳ４６（図７参照）においても同様に第二基準値および第三基準値を判断基準とすることで、データの共通化を図っている。ただし、必ずしも第二基準値および第三基準値を共通して使用する必要はない。ＨＭＤ１の使用環境、用途等に応じて、任意の基準値を設定してよい。
【００８６】
上記実施形態では、第一タイマカウンタ、第二タイマカウンタ、第三タイマカウンタの３つのタイマカウンタをＲＡＭ５２に設けて、それぞれ経過時間を監視している。タイマカウンタは必ずしも３つ設ける必要はなく、同一のタイマカウンタをそれぞれの経過時間を監視する処理において使用することとして、監視する時間に対応する値をタイマカウンタに都度セットしてもよい。
【００８７】
上記実施形態では、音声判断処理は、ＨＭＤ１のＣＰＵ５１によって実行されていたが、これに限定されない。例えば、音声判断処理の中において実行される音声操作処理は、サーバ８０のＣＰＵ８１が実行する処理であってもよい。即ち、サーバ８０が第三音声データの音声認識処理を実行してもよい。以下、サーバ８０のＣＰＵ８１によって音声操作処理が実行される場合の変形例について説明する。
【００８８】
以下の説明では、ＨＭＤ１のＣＰＵ５１とサーバ８０のＣＰＵ８１は、それぞれ、無線通信部５９、通信部８６を介してネットワーク９に接続され、相互にデータを送受信可能であるとする。また、音声操作処理を実行するプログラム、第二対応データ９６等は、ＨＤＤ８４に記憶されているとする。以下の説明では、ＨＭＤ１のＣＰＵ５１が音声操作処理を実行する場合と異なる処理について説明し、他の処理の説明は省略する。
【００８９】
Ｓ４１で第三音声データの取得が開始されると、ＣＰＵ８１は第三音声データを取得し、取得した第三音声データをＲＡＭ８３に記憶する処理を開始する。ＣＰＵ８１が取得する第三音声データは、ＨＭＤ１のＣＰＵ５１がマイク１７を介して取得し、サーバ８０に送信した音声データである。また、Ｓ４２およびＳ４５において第三監視時間に対応する値がセットさおよびクリアされる第三タイマカウンタは、ＲＡＭ８３に記憶される。Ｓ４３で逐次取得される第三音量値は、ＲＡＭ８３に記憶された第三音声データに基づいて決定される。Ｓ４８において、ＣＰＵ８１は、公知の音声認識処理（図示略）を実行し、ＲＡＭ８３に保存した第二音声データに対する音声認識処理を行う。ＣＰＵ５１は、音声認識処理を行って認識した第三音声データをテキストデータに変換し（Ｓ４９）、ＲＡＭ８３に記憶する。次いで、ＣＰＵ８１は、音声認識プログラムの初回実行時にＲＡＭ８３に展開した第二対応データ９６（図４参照）を参照する（Ｓ５０）。ＣＰＵ８１は、Ｓ５１において含まれると判断された操作データが「終了」以外の操作データであれば（Ｓ５２：ＮＯ）、操作データに対応付けられた処理データに基づく動作をＨＭＤ１に実行させる（Ｓ５３）。ＣＰＵ８１は、Ｓ５１において含まれると判断された操作データが「終了」である場合には（Ｓ５２：ＹＥＳ）、音声操作処理を終了する。この場合、ＣＰＵ８１は、処理データに基づく動作を実行する指示のデータまたは音声操作処理の終了の指示のデータをＨＭＤ１に送信する。ＨＭＤ１のＣＰＵ５１は、処理データに基づく動作を実行する指示または音声操作処理の終了の指示のデータを受信し、処理データに基づく動作または音声操作処理を終了する処理を実行する。
【００９０】
以上の処理以外の処理は、ＨＭＤ１のＣＰＵ５１が実行する場合と同様である。音声操作処理を、サーバ８０のＣＰＵ８１が実行する場合、サーバ８０において最新の状態に更新された音声認識処理および第二対応データ９６等によって、第三音声データの音声認識処理および第三音声データのテキストデータ化を行える利点がある。
【００９１】
本変形例において、Ｓ４８およびＳ４９において第三音声データに対する音声認識処理を行い第三音声データに基づくテキストデータを生成するＣＰＵ８１が、本発明の「第二生成手段」として機能する。ＨＤＤ８４に記憶される第二対応データ９６が、本発明の「対応データ」および「第二対応データ」に相当する。Ｓ５１においてＳ４９で生成したテキストデータに第二対応データ９６における操作データが含まれるか否かを判断するＣＰＵ８１が、本発明の「第二結果判断手段」として機能する。Ｓ５３において操作データに対応付けられた処理データに基づく動作をＨＭＤ１に実行させるＣＰＵ８１が、本発明の「実行手段」として機能する。第二対応データ９６を記憶するＨＤＤ８４が、本発明の「記憶手段」に相当する。
【００９２】
なお、音声操作処理におけるすべての処理をＣＰＵ５１およびＣＰＵ８１の一方のみがすべて実行する必要はなく、ＣＰＵ５１が実行する処理とＣＰＵ８１が実行する処理とを分けてもよい。
【符号の説明】
【００９３】
１    ヘッドマウントディスプレイ（ＨＭＤ）
１７    マイク
５０    コントロールボックス（ＣＢ）
５１    ＣＰＵ
５２    ＲＡＭ
５３    フラッシュＲＯＭ
９５    第一対応データ
９６    第二対応データ
【図１】
2015069086.tif 000003
【図２】
2015069086.tif 000004
【図３】
2015069086.tif 000005
【図４】
2015069086.tif 000006
【図５】
2015069086.tif 000007
【図６】
2015069086.tif 000008
【図７】
2015069086.tif 000009