(57)【要約】  情報処理装置（２０００）は、ヘッドマウントディスプレイ（１００）に対応づけられた表示画面（５０）に、操作画像（２０）を表示させる。まず情報処理装置（２０００）は、作業情報を取得する。作業情報は、ヘッドマウントディスプレイ（１００）のユーザが行う作業の対象となる作業対象を特定する情報を含む。さらに情報処理装置（２０００）は、作業情報を用いて、提示条件を満たす作業対象を特定する。そして情報処理装置（２０００）は、特定された作業対象を選択するための操作画像（２０）を、操作可能な態様で表示画面（５０）に表示させる。情報処理装置（２０００）は、操作画像（２０）に対する入力操作を検出する。
2019059044.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが行う作業の対象となる作業対象を示す作業情報を取得し、前記取得した作業情報に示される作業対象の中から、提示条件を満たす作業対象を特定し、前記特定された作業対象を選択するための操作画像を、操作可能な態様で、ヘッドマウントディスプレイに対応づけられた表示画面に表示させる提示制御手段と、
前記表示された操作画像に対する入力操作を検出する入力検出手段と、を有する情報処理装置。
【請求項２】
対応する前記操作画像が前記表示画面に表示されていない作業対象についての前記提示条件は、その操作画像の表示を開始する条件である提示開始条件を満たすことを含み、
前記提示制御手段は、対応する前記操作画像が前記表示画面に表示されていない作業対象について、前記提示開始条件が満たされるか否かを判定し、前記提示開始条件を満たす前記作業対象に対応する前記操作画像を、操作可能な態様で前記表示画面に表示させる、請求項１に記載の情報処理装置。
【請求項３】
対応する前記操作画像が前記表示画面に表示されている作業対象についての前記提示条件は、その操作画像の表示を終了する条件である提示終了条件を満たさないことを含み、
前記提示制御手段は、対応する前記操作画像が前記表示画面に表示されている作業対象について、前記提示終了条件を満たすか否かを判定し、前記作業対象について前記提示終了条件が満たされる場合、前記作業対象に対応する前記操作画像を、前記表示画面に表示させないか又は操作不可能な態様で前記表示画面に表示させる、請求項２に記載の情報処理装置。
【請求項４】
前記作業対象の提示終了条件は、その作業対象について前記提示開始条件が満たされなくなった後、所定の時間が経過することを含む、請求項３に記載の情報処理装置。
【請求項５】
前記作業対象の提示終了条件は、その作業対象について前記提示開始条件が満たされなくなった後、その作業対象以外のいずれか１つ以上の作業対象について前記提示開始条件が満たされることを含む、請求項３に記載の情報処理装置。
【請求項６】
前記提示制御手段は、前記ヘッドマウントディスプレイに対応づけられたカメラによって生成される撮像画像に人の所定部位が含まれるか否かを判定し、前記所定部位が前記撮像画像に含まれると判定した場合に、前記提示条件を満たす前記操作画像を、前記表示画面に表示させる、請求項１乃至５いずれか一項に記載の情報処理装置。
【請求項７】
前記作業対象の前記提示開始条件は、その作業対象がセンサによって定まる所定範囲に存在することを含む、請求項２乃至６いずれか一項に記載の情報処理装置。
【請求項８】
前記所定範囲は、前記ヘッドマウントディスプレイを装着するユーザの周囲を撮像するカメラの撮像範囲である、請求項７に記載の情報処理装置。
【請求項９】
前記提示制御手段は、前記ヘッドマウントディスプレイのユーザに身につけられたセンサから得られる計測値に基づいて、前記ユーザの健康状態を推定し、
前記作業対象の前記提示開始条件は、前記ユーザの健康状態が所定の条件を満たすことを含む、請求項２乃至６いずれか一項に記載の情報処理装置。
【請求項１０】
前記入力検出手段は、前記ヘッドマウントディスプレイのユーザに身につけられているデバイスの傾きに基づいて、前記操作画像の内のいずれか１つを選択する操作を検出する、請求項１乃至９いずれか一項に記載の情報処理装置。
【請求項１１】
前記入力検出手段は、前記操作画像を選択する入力操作、及びその選択を確定させる入力操作を検出し、
前記提示制御手段は、
センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記所定範囲の所定位置に最も近い位置に存在する作業対象に対応する操作画像が選択された状態にする、請求項１乃至１０いずれか一項に記載の情報処理装置。
【請求項１２】
前記表示画面上の所定の範囲を複数の部分範囲に分割し、各前記部分範囲に前記操作画像を対応付けることで、前記表示画面に表示させる前記操作画像のレイアウトを決定するレイアウト決定手段を有し、
前記提示制御手段は、前記レイアウト決定手段によって決定されるレイアウトに従って、前記操作画像を、前記表示画面に表示させる、請求項１乃至１１いずれか一項に記載の情報処理装置。
【請求項１３】
前記レイアウト決定手段は、前記部分範囲の数を、前記提示条件を満たす前記操作画像の数と等しい数にする、請求項１２に記載の情報処理装置。
【請求項１４】
各前記部分範囲には、所定の規則に応じた順位が割り当てられ、
前記提示制御手段は、センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記レイアウト決定手段は、
前記ヘッドマウントディスプレイに対応づけられたカメラの撮像範囲の所定位置に近い作業対象ほど高い順位となるように、前記提示条件を満たす各前記作業対象に順位を割り当て、
前記割り当てられた順位が高い作業対象に対応する前記操作画像ほど、前記割り当てられた順位が高い前記部分範囲に対応づけられるように、前記部分範囲と前記操作画像との対応付けを行う、請求項１２又は１３に記載の情報処理装置。
【請求項１５】
前記レイアウト決定手段は、前記割り当てられた順位が最も高い前記部分範囲の大きさを、他の前記部分範囲の大きさよりも大きくする、請求項１４に記載の情報処理装置。
【請求項１６】
前記デバイスの傾きの範囲を分割して複数の部分範囲を生成し、各前記部分範囲に対して前記操作画像を割り当てる操作範囲決定手段を有し、
前記入力検出手段は、前記デバイスの傾きを検出し、前記検出された傾きが含まれる前記部分範囲に対応する前記操作画像が選択されたことを検出する、請求項１０に記載の情報処理装置。
【請求項１７】
各前記部分範囲には、所定の規則に応じた順位が割り当てられ、
前記提示制御手段は、センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記操作範囲決定手段は、
前記ヘッドマウントディスプレイに対応づけられたカメラの撮像範囲の所定位置に近い作業対象ほど高い順位となるように、前記提示条件を満たす各前記作業対象に順位を割り当て、
前記割り当てられた順位が高い作業対象に対応する前記操作画像ほど、前記割り当てられた順位が高い前記部分範囲に対応づけられるように、前記部分範囲と前記操作画像との対応付けを行う、請求項１６に記載の情報処理装置。
【請求項１８】
前記操作範囲決定手段は、前記割り当てられた順位が最も高い前記部分範囲の大きさを、他の前記部分範囲の大きさよりも大きくする、請求項１７に記載の情報処理装置。
【請求項１９】
ユーザが行う作業の対象となる作業対象を示す作業情報を用いて、提示条件を満たす作業対象を特定し、前記特定された作業対象を表す音声を、ヘッドマウントディスプレイに対応づけられたスピーカに出力させる提示制御手段と、
前記提示条件を満たす作業対象についての入力操作を検出する入力検出手段と、を有する情報処理装置。
【請求項２０】
コンピュータによって実行させる制御方法であって、
ユーザが行う作業の対象となる作業対象を示す作業情報を用いて、提示条件を満たす作業対象を特定し、前記特定された作業対象を選択するための操作画像を、操作可能な態様で、ヘッドマウントディスプレイに対応づけられた表示画面に表示させる提示制御ステップと、
前記表示された操作画像に対する入力操作を検出する入力検出ステップと、を有する制御方法。
【請求項２１】
対応する前記操作画像が前記表示画面に表示されていない作業対象についての前記提示条件は、その操作画像の表示を開始する条件である提示開始条件を満たすことを含み、
前記提示制御ステップにおいて、対応する前記操作画像が前記表示画面に表示されていない作業対象について、前記提示開始条件が満たされるか否かを判定し、前記提示開始条件を満たす前記作業対象に対応する前記操作画像を、操作可能な態様で前記表示画面に表示させる、請求項２０に記載の制御方法。
【請求項２２】
対応する前記操作画像が前記表示画面に表示されている作業対象についての前記提示条件は、その操作画像の表示を終了する条件である提示終了条件を満たさないことを含み、
前記提示制御ステップにおいて、対応する前記操作画像が前記表示画面に表示されている作業対象について、前記提示終了条件を満たすか否かを判定し、前記作業対象について前記提示終了条件が満たされる場合、前記作業対象に対応する前記操作画像を、前記表示画面に表示させないか又は操作不可能な態様で前記表示画面に表示させる、請求項２１に記載の制御方法。
【請求項２３】
前記作業対象の提示終了条件は、その作業対象について前記提示開始条件が満たされなくなった後、所定の時間が経過することを含む、請求項２２に記載の制御方法。
【請求項２４】
前記作業対象の提示終了条件は、その作業対象について前記提示開始条件が満たされなくなった後、その作業対象以外のいずれか１つ以上の作業対象について前記提示開始条件が満たされることを含む、請求項２２に記載の制御方法。
【請求項２５】
前記提示制御ステップにおいて、前記ヘッドマウントディスプレイに対応づけられたカメラによって生成される撮像画像に人の所定部位が含まれるか否かを判定し、前記所定部位が前記撮像画像に含まれると判定した場合に、前記提示条件を満たす前記操作画像を、前記表示画面に表示させる、請求項２０乃至２４いずれか一項に記載の制御方法。
【請求項２６】
前記作業対象の前記提示開始条件は、その作業対象がセンサによって定まる所定範囲に存在することを含む、請求項２１乃至２５いずれか一項に記載の制御方法。
【請求項２７】
前記所定範囲は、前記ヘッドマウントディスプレイを装着するユーザの周囲を撮像するカメラの撮像範囲である、請求項２６に記載の制御方法。
【請求項２８】
前記提示制御ステップにおいて、前記ヘッドマウントディスプレイのユーザに身につけられたセンサから得られる計測値に基づいて、前記ユーザの健康状態を推定し、
前記作業対象の前記提示開始条件は、前記ユーザの健康状態が所定の条件を満たすことを含む、請求項２１乃至２５いずれか一項に記載の制御方法。
【請求項２９】
前記入力検出ステップにおいて、前記ヘッドマウントディスプレイのユーザに身につけられているデバイスの傾きに基づいて、前記操作画像の内のいずれか１つを選択する操作を検出する、請求項２０乃至２８いずれか一項に記載の制御方法。
【請求項３０】
前記入力検出ステップにおいて、前記操作画像を選択する入力操作、及びその選択を確定させる入力操作を検出し、
前記提示制御ステップにおいて、
センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記所定範囲の所定位置に最も近い位置に存在する作業対象に対応する操作画像が選択された状態にする、請求項２０乃至２９いずれか一項に記載の制御方法。
【請求項３１】
前記表示画面上の所定の範囲を複数の部分範囲に分割し、各前記部分範囲に前記操作画像を対応付けることで、前記表示画面に表示させる前記操作画像のレイアウトを決定するレイアウト決定ステップを有し、
前記提示制御ステップにおいて、前記レイアウト決定ステップによって決定されるレイアウトに従って、前記操作画像を、前記表示画面に表示させる、請求項２０乃至３０いずれか一項に記載の制御方法。
【請求項３２】
前記レイアウト決定ステップにおいて、前記部分範囲の数を、前記提示条件を満たす前記操作画像の数と等しい数にする、請求項３１に記載の制御方法。
【請求項３３】
各前記部分範囲には、所定の規則に応じた順位が割り当てられ、
前記提示制御ステップにおいて、センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記レイアウト決定ステップにおいて、
前記ヘッドマウントディスプレイに対応づけられたカメラの撮像範囲の所定位置に近い作業対象ほど高い順位となるように、前記提示条件を満たす各前記作業対象に順位を割り当て、
前記割り当てられた順位が高い作業対象に対応する前記操作画像ほど、前記割り当てられた順位が高い前記部分範囲に対応づけられるように、前記部分範囲と前記操作画像との対応付けを行う、請求項３１又は３２に記載の制御方法。
【請求項３４】
前記レイアウト決定ステップにおいて、前記割り当てられた順位が最も高い前記部分範囲の大きさを、他の前記部分範囲の大きさよりも大きくする、請求項３３に記載の制御方法。
【請求項３５】
前記デバイスの傾きの範囲を分割して複数の部分範囲を生成し、各前記部分範囲に対して前記操作画像を割り当てる操作範囲決定ステップを有し、
前記入力検出ステップにおいて、前記デバイスの傾きを検出し、前記検出された傾きが含まれる前記部分範囲に対応する前記操作画像が選択されたことを検出する、請求項２９に記載の制御方法。
【請求項３６】
各前記部分範囲には、所定の規則に応じた順位が割り当てられ、
前記提示制御ステップにおいて、センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記操作範囲決定ステップにおいて、
前記ヘッドマウントディスプレイに対応づけられたカメラの撮像範囲の所定位置に近い作業対象ほど高い順位となるように、前記提示条件を満たす各前記作業対象に順位を割り当て、
前記割り当てられた順位が高い作業対象に対応する前記操作画像ほど、前記割り当てられた順位が高い前記部分範囲に対応づけられるように、前記部分範囲と前記操作画像との対応付けを行う、請求項３５に記載の制御方法。
【請求項３７】
前記操作範囲決定ステップにおいて、前記割り当てられた順位が最も高い前記部分範囲の大きさを、他の前記部分範囲の大きさよりも大きくする、請求項３６に記載の制御方法。
【請求項３８】
ユーザが行う作業の対象となる作業対象を示す作業情報を用いて、提示条件を満たす作業対象を特定し、前記特定された作業対象を表す音声を、ヘッドマウントディスプレイに対応づけられたスピーカに出力させる提示制御ステップと、
前記提示条件を満たす作業対象についての入力操作を検出する入力検出ステップと、を有する制御方法。
【請求項３９】
請求項２０乃至３８いずれか一項に記載の方法の各ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はユーザインタフェースに関する。
【背景技術】
【０００２】
様々なユーザインタフェースが開発されている。例えば、ヘッドマウントディスプレイなどを用いて、コンピュータによって表示される画像があたかも実空間上に存在するようにユーザへ見せるインタフェースが開発されている。【０００３】
例えば特許文献１は、ヘッドマウントディスプレイに仮想キーボードを表示する技術を開示している。特許文献２は、ヘッドマウントディスプレイと連携するタブレット端末を用いて、ヘッドマウントディスプレイを通して見える実空間上の物体に対し、仮想的にアノテーションを付す技術を開示している。特許文献３は、ユーザの手のひらのジェスチャ（例えば手のひらを開くジェスチャ）に応じて、その手のひらにメニュー画面を表示したり、そのメニュー画面を切り替えたりする技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１５−５０４６１６号公報
【特許文献２】国際公開第２０１４／１６２８２５号
【特許文献３】米国特許出願公開第２０１５／００１６７７７号明細書
【特許文献４】国際公開第２０１６／１８５８４５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ヘッドマウントディスプレイを用いた作業をより効率的に行えるようにすることを検討した。本発明は、ヘッドマウントディスプレイを用いた作業の効率を高める技術を提供することをその目的の一つする。
【課題を解決するための手段】
【０００６】
本発明の第１の情報処理装置は、１）ユーザが行う作業の対象となる作業対象を示す作業情報を用いて、提示条件を満たす作業対象を特定し、特定された作業対象を選択するための操作画像を、操作可能な態様で、ヘッドマウントディスプレイに対応づけられた表示画面に表示させる提示制御手段と、２）表示された操作画像に対する入力操作を検出する入力検出手段と、を有する。【０００７】
本発明の第２の情報処理装置は、１）ユーザが行う作業の対象となる作業対象を示す作業情報を用いて、提示条件を満たす作業対象を特定し、特定された作業対象を表す音声を、ヘッドマウントディスプレイに対応づけられたスピーカに出力させる提示制御手段と、２）提示条件を満たす作業対象についての入力操作を検出する入力検出手段と、を有する。【０００８】
本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）ユーザが行う作業の対象となる作業対象を示す作業情報を用いて、提示条件を満たす作業対象を特定し、特定された作業対象を選択するための操作画像を、操作可能な態様で、ヘッドマウントディスプレイに対応づけられた表示画面に表示させる提示制御ステップと、２）表示された操作画像に対する入力操作を検出する入力検出ステップと、を有する。【０００９】
本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、ヘッドマウントディスプレイを用いた作業の効率を高める技術が提供される。
【図面の簡単な説明】
【００１１】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。【００１２】
【図１】実施形態１に係る情報処理装置の動作を概念的に例示する図である。
【図２】情報処理装置の機能構成を例示する図である。
【図３】情報処理装置を実現する計算機の構成を例示する図である。
【図４】カメラが設けられたヘッドマウントディスプレイを例示する図である。
【図５】実施形態１の提示制御部によって実行される処理の流れを例示するフローチャートである。
【図６】提示開始条件と提示終了条件を利用して、提示条件を満たす作業対象を特定する処理の流れを例示するフローチャートである。
【図７】カメラの撮像範囲に含まれる作業対象に対応する操作画像が表示画面に表示される様子を例示する図である。
【図８】マーカを例示する図である。
【図９】表示画面における表示の変化を例示する第１の図である。
【図１０】表示画面における表示の変化を例示する第２の図である。
【図１１】表示画面における表示の変化を例示する第３の図である。
【図１２】時計型デバイスに表示される操作画像に対して行われる入力操作を例示する図である。
【図１３】ヘッドマウントディスプレイの表示画面に表示される操作画像に対し、時計型デバイスを利用して行う入力操作を例示する図である。
【図１４】操作体を利用して行われるユーザ操作を例示する図である。
【図１５】時計型デバイスを傾けることで行われる入力操作を例示する図である。
【図１６】実施形態２の情報処理装置の機能構成を例示するブロック図である。
【図１７】操作画像の数に応じて操作画像のレイアウトが決定される図である。
【図１８】エリアを横一列に分割することで生成される部分エリアに順位を割り当てる規則を例示する図である。
【図１９】予め固定で分割されているエリアを例示する図である。
【図２０】サイズが異なる部分エリアを例示する第１の図である。
【図２１】サイズが異なる部分エリアを例示する第２の図である。
【図２２】実施形態３の情報処理装置の機能構成を例示するブロック図である。
【図２３】操作範囲決定部によって決定される操作範囲を例示する図である。
【図２４】操作画像の数に応じて範囲の大きさが決定されるケースを例示する図である。
【図２５】操作画像のレイアウトが、操作画像と範囲との対応付けに基づいて決められるケースを例示する図である。
【図２６】実施形態４の情報処理装置の機能構成を例示するブロック図である。
【図２７】表示画面に表示されるガイドを例示する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
【００１４】
［実施形態１］
＜概要＞
図１は、実施形態１に係る情報処理装置（図２でその構成を例示する情報処理装置２０００）の動作を概念的に例示する図である。ここで、図１を用いて説明する情報処理装置２０００の動作は、情報処理装置２０００の理解を容易にするための例示であり、情報処理装置２０００の動作を限定するものではない。情報処理装置２０００の動作の詳細やバリエーションについては後述する。
【００１５】
情報処理装置２０００は、ヘッドマウントディスプレイ１００に対応づけられた表示画面５０に、操作画像２０を表示させる。また、情報処理装置２０００は、その操作画像に対する入力操作を検出する。図１において、情報処理装置２０００によって制御される表示画面５０は、ヘッドマウントディスプレイ１００に設けられている。ただし、表示画面５０は、必ずしもヘッドマウントディスプレイ１００に設けられている表示画面である必要はない。
【００１６】
表示画面５０に操作画像２０が表示されると、ヘッドマウントディスプレイ１００を装着するユーザは、その操作画像２０を見ることができる。そしてユーザは、操作画像２０に対して入力操作を行う。操作画像２０に対して入力操作を行う具体的な方法については後述する。
【００１７】
情報処理装置２０００は、表示画面５０に表示させる操作画像２０を、次のようにして決定する。まず情報処理装置２０００は、作業情報を取得する。作業情報は、ヘッドマウントディスプレイ１００のユーザが行う作業の対象となる作業対象を特定する情報を含む。さらに情報処理装置２０００は、作業情報を用いて、提示条件を満たす作業対象を特定する。そして情報処理装置２０００は、特定された作業対象を選択するための操作画像２０を、表示画面５０に操作可能な態様で表示させる。以下、或る作業対象を選択するための操作画像２０を、「作業対象に対応する操作画像２０」とも表記する。同様に、或る操作画像２０を利用して選択できる作業対象を、「操作画像２０に対応する作業対象」とも表記する。
【００１８】
ここで、「作業対象」としては、様々なものを扱うことができる。例えば、ユーザが行う作業が、保管場所に保管されている物（例えば薬品棚に陳列されている薬品など）を取り出す作業であるとする。この場合、作業対象は、作業で取り出されるべき物である。作業対象の他の例については後述する。
【００１９】
ここで、提示条件を満たさない作業対象に対応する操作画像２０は、表示画面５０に表示されなくてもよいし、操作不可能な態様で表示画面５０に表示されてもよい。操作可能な操作画像２０と操作不可能な操作画像２０とは、視覚的に識別可能な態様で表示されることが好ましい。操作可能な操作画像２０と操作不可能な操作画像２０を視覚的に識別可能な態様で表示させる技術には、例えば、押下可能なボタンと押下不可能なボタンとを識別可能な態様で表示させる技術など、既存の技術を利用することができる。
【００２０】
本実施形態の情報処理装置２０００によれば、提示条件を満たす作業対象についてのみ、対応する操作画像２０が操作可能な態様で表示される。そのため、ユーザの作業の対象となる全ての作業対象について、対応する操作画像２０が操作可能な態様で表示させる場合と比較し、ユーザが操作可能な操作画像２０が適切に絞り込まれた表示がなされる。そのため、ユーザにとって、ヘッドマウントディスプレイ１００を用いた作業の効率が高くなる。
【００２１】
特に、提示条件を満たさない操作画像２０については表示画面５０に表示しないようにすれば、表示画面５０に表示される操作画像２０を適切に絞り込むことができる。よって、ユーザにとって、操作画像２０の視認性が向上するため、ヘッドマウントディスプレイ１００を用いた作業の効率が高くなる。
【００２２】
また、ヘッドマウントディスプレイ１００に設けられている表示画面に操作画像２０を表示させる場合、表示画面に表示される操作画像２０の数が多すぎると、周囲の様子が見にくくなってしまう。本実施形態の情報処理装置２０００によれば、表示画面５０に表示される操作画像２０を適切に絞り込むため、ユーザにとって周囲の様子が見やすくなるため、この点でも作業効率が向上する。
【００２３】
以下、本実施形態の情報処理装置２０００について、さらに詳細に説明する。なお、特に断らない限り、以降の説明では、提示条件を満たさない作業対象に対応する操作画像２０が表示画面５０に表示されないケースについて例示する。しかしながら、提示条件を満たさない作業対象に対応する操作画像２０が表示画面５０に操作不可能な態様で表示されるケースについても、以降に説明する技術と同様の技術で実現することができる。
【００２４】
＜機能構成の例＞
図２は、情報処理装置２０００の機能構成を例示する図である。情報処理装置２０００は、提示制御部２０２０及び入力検出部２０４０を有する。提示制御部２０２０は、ヘッドマウントディスプレイ１００に対応づけられている表示画面５０に操作画像２０を表示させる。具体的には、提示制御部２０２０は、作業情報を用いて、提示条件を満たす作業対象を特定し、特定した作業対象を選択するための操作画像２０を表示画面５０に表示させる。入力検出部２０４０は、表示画面５０に表示された操作画像２０に対する操作を検出する。
【００２５】
＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【００２６】
計算機１０００は種々の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。その他にも例えば、計算機１０００は、ヘッドマウントディスプレイ１００であってもよい。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
【００２７】
図３は、情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、及びストレージデバイス１０８０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などで実現されるプロセッサである。メモリ１０６０は、RAM (Random Access Memory) などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD (Solid State Drive)、メモリカード、又は ROM (Read Only Memory) などで実現される補助記憶装置である。
【００２８】
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。図３において、入出力インタフェース１１００には、表示画面５０が接続されている。
【００２９】
ストレージデバイス１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。
【００３０】
＜＜ヘッドマウントディスプレイ１００について＞＞
ヘッドマウントディスプレイ１００は、ユーザの視界に入る表示画面を有する任意のヘッドマウントディスプレイである。ヘッドマウントディスプレイ１００の表示画面は、透過型の表示画面であってもよいし、非透過型の表示画面であってもよい。前者の場合、ユーザは、表示画面の先にある実物体及び表示画面に表示される画像（操作画像など）の両方を見ることができる。後者の場合、ヘッドマウントディスプレイ１００は、ユーザの周囲（例えばユーザの顔方向）を撮像するカメラによって撮像された画像と、その他の物を表す画像（例えば操作画像）とを重畳させて表示画面に表示させる。ユーザは、この表示画面を見ることで、周囲の景色にその他の物が重畳された様子を見ることができる。
【００３１】
ユーザの周囲を撮像するカメラは、例えば、ヘッドマウントディスプレイ１００に設けられる。図４は、カメラが設けられたヘッドマウントディスプレイ１００を例示する図である。図４において、カメラは符号１３０で表されている。カメラ１３０は、繰り返し撮像を行って複数の撮像画像を生成する任意のカメラである。複数の撮像画像は、動画データを構成する時系列の動画フレームである。なお、カメラ１３０は、２次元（2D: two-dimensional）カメラであってもよいし、３次元（3D: three-dimensional）カメラであってもよい。
【００３２】
カメラ１３０は、ヘッドマウントディスプレイ１００以外の場所に設けられてもよい。例えばカメラ１３０は、ユーザが身につけている物（例えばユーザの衣服や、ユーザが首から提げている社員証など）に取り付けられてもよい。その他にも例えば、カメラ１３０は、ユーザが情報処理装置２０００を利用する部屋の壁等に設けられていてもよい。この場合、カメラ１３０の撮影範囲（撮影方向やズーム率など）は、リモコンなどによる遠隔操作によって変更できることが好ましい。
【００３３】
＜＜表示画面５０について＞＞
提示制御部２０２０によって制御される表示画面５０の実現態様は様々である。例えば表示画面５０は、前述したように、ヘッドマウントディスプレイ１００に設けられる表示画面である。その他にも例えば、表示画面５０は、ヘッドマウントディスプレイ１００と共に使用される他のウェアラブルデバイスに設けられている表示画面であってもよい。例えばヘッドマウントディスプレイ１００のユーザが、ヘッドマウントディスプレイ１００と共に時計型のウェアラブルデバイス（以下、時計型デバイス）を使用するとする。この場合、その時計型デバイスの表示画面を、表示画面５０として扱うことができる。すなわち、提示制御部２０２０は、時計型デバイスの表示画面に操作画像２０を表示させる。
【００３４】
その他にも例えば、表示画面５０は、プロジェクタによって画像が投影される投影面（壁など）であってもよい。この場合、提示制御部２０２０は、プロジェクタを制御して、投影面に操作画像２０を投影させる。その他にも例えば、表示画面５０は、液晶ディスプレイなどのディスプレイ装置の表示画面であってもよい。
【００３５】
＜処理の流れ＞
図５は、実施形態１の提示制御部２０２０によって実行される処理の流れを例示するフローチャートである。提示制御部２０２０は、作業情報を取得する（Ｓ１０２）。提示制御部２０２０は、作業情報を用いて、提示条件を満たす作業対象を特定する（Ｓ１０４）。提示制御部２０２０は、特定された作業対象に対応する操作画像２０を表示画面５０に表示させる（Ｓ１０８）。入力検出部２０４０は、表示画面５０に表示された操作画像２０に対する入力操作を検出する（Ｓ１１０）。
【００３６】
＜作業情報について＞
提示制御部２０２０は、作業情報を取得する。前述したように、作業情報は、ヘッドマウントディスプレイ１００のユーザの作業の対象となる作業対象を特定する情報である。少なくとも作業情報は、作業対象の識別情報を示す。ユーザが行う作業としては、任意の作業を扱うことができる。例えばユーザが行う作業は、機器や設備を点検する作業や、棚などの保管場所に置かれている物を取り出す作業などである。
【００３７】
作業情報は、情報処理装置２０００の内部又は外部に設けられている記憶部に予め記憶させておく。提示制御部２０２０は、この記憶部から作業情報を取得して利用する。
【００３８】
作業情報は、ユーザごとに用意されているものであってもよいし、複数のユーザで共有されるものであってもよい。後者の場合、例えば作業情報は、複数のユーザで構成されるグループごとに用意される。その他にも例えば、作業情報は、全てのユーザに共有されるものであってもよい。
【００３９】
作業情報がユーザごとに用意されている場合、提示制御部２０２０は、ヘッドマウントディスプレイ１００を利用しているユーザの作業情報を取得する。また、作業情報がグループごとに用意されている場合、提示制御部２０２０は、ヘッドマウントディスプレイ１００を利用しているユーザが属するグループの作業情報を取得する。なお、情報がユーザごと又はグループごとに用意されている場合において、対象のユーザに対応する情報を取得する具体的な技術には、既存の種々の技術を利用することができる。
【００４０】
＜提示条件を満たす作業対象の特定：Ｓ１０４＞
提示制御部２０２０は、提示条件を満たす作業対象を特定する（Ｓ１０４）。例えば提示制御部２０２０は、提示条件として、提示開始条件と提示終了条件という２つの条件を用いる。提示開始条件は、対応する操作画像２０が表示画面５０に表示されていない作業対象について、操作画像２０の表示を開始する条件である。一方、提示終了条件は、対応する操作画像２０が表示画面５０に表示されている作業対象について、操作画像２０の表示を終了する条件である。
【００４１】
対応する操作画像２０が表示画面５０に表示されていない作業対象については、提示開始条件を満たすことにより、提示条件が満たされる。一方、対応する操作画像２０が表示画面５０に表示されている作業対象については、提示終了条件が満たされないことにより、提示条件が満たされる。
【００４２】
図６は、提示制御部２０２０が提示開始条件と提示終了条件を利用して、提示条件を満たす作業対象を特定する処理の流れを例示するフローチャートである。図６では、提示条件を満たす作業対象の識別子を集合 U に格納していく。すなわち、識別子が集合 U に格納された作業対象に対応する操作画像２０が、表示画面５０に表示される。なお、集合 U の初期状態は空集合である。
【００４３】
まずループ処理Ａにおいて、提示制御部２０２０は、表示画面５０に操作画像２０が表示されていない各作業対象について、提示開始条件が満たされているか否かを判定する（Ｓ２０４）。提示制御部２０２０は、提示開始条件が満たされていると判定された作業対象の識別子を集合 U に格納する（Ｓ２０６）。
【００４４】
次に、ループ処理Ｂにおいて、提示制御部２０２０は、表示画面５０に操作画像２０が表示されている各作業対象について、提示終了条件が満たされているか否かを判定する（Ｓ２１２）。提示制御部２０２０は、提示終了条件が満たされていないと判定された作業対象を集合 U に格納する（Ｓ２１４）。
【００４５】
ループ処理Ａとループ処理Ｂを終了した後に集合 U に格納されている識別子はいずれも、提示条件を満たす作業対象の識別子である。
【００４６】
なお、図６に示す流れは一例であり、提示制御部２０２０が提示条件を満たす作業対象を特定する方法は、提示開始条件と提示終了条件の双方を利用する方法に限定されない。例えば提示制御部２０２０は、対応する操作画像２０が表示画面５０に表示されているか否かにかかわらず、各作業対象について提示開始条件が満たされているか否かを判定し、提示開始条件が満たされている作業対象に対応する操作画像２０を表示画面５０に表示してもよい。この場合、提示終了条件は不要である。
【００４７】
＜提示開始条件について＞
提示開始条件としては、例えば以下で説明する種々の条件を採用することができる。
【００４８】
＜＜提示開始条件の例１＞＞
例えば提示開始条件は、「その作業対象が、センサによって定まる所定の範囲内に存在する」という条件である。センサは、ユーザの身体に直接取り付けられてもよいし、ユーザが身につけているデバイスなどに設けられていてもよい。例えばセンサは、カメラ、ビーコン、マイクなどである。
【００４９】
提示制御部２０２０は、センサによって定まる所定の範囲内に存在する作業対象を特定する。そして、提示制御部２０２０は、特定した作業対象に対応する操作画像２０を、表示画面５０に表示させる。以下、「センサによって定まる所定の範囲」をセンサ範囲と表記する。
【００５０】
センサ範囲としては、様々なものを採用することができる。例えばセンサ範囲は、カメラ１３０の撮像範囲である。この場合、センサはカメラ１３０である。提示制御部２０２０は、対応する操作画像２０が表示画面５０に表示されている作業対象について、カメラ１３０の撮像範囲内に位置するか否かを判定する。そして、提示制御部２０２０は、カメラ１３０の撮像範囲内に位置すると判定された作業対象に対応する操作画像２０を、表示画面５０に表示させる。
【００５１】
ここで、カメラ１３０がユーザの顔の正面方向を撮像するように設けられているとすれば、「作業対象がカメラ１３０の撮像範囲内に存在する」ことは、作業対象がユーザの顔の正面方向に位置することを意味する。すなわち、作業対象がユーザの視界に入っている蓋然性が高いことを意味する。よって、ユーザの視界に入っている蓋然性が高い作業対象に対応する操作画像２０を、表示画面５０に表示させることができる。センサ範囲として採用できるその他のものについては、後述する。
【００５２】
＜＜提示開始条件の例２＞＞
その他にも例えば、提示開始条件は、「作業対象が作業場所に存在する」という条件である。例えば、作業対象を保管場所から取り出す作業を行うとする。この場合、その作業対象が保管場所に存在すれば（在庫があれば）に、提示開始条件が満たされる。逆に、その作業対象が保管場所に存在しなければ（在庫がなければ）、提示開始条件が満たされない。よって、作業対象が保管場所に存在する場合のみ、その作業対象に対応する操作画像２０が表示画面５０に表示されるようになる。
【００５３】
保管場所に作業対象が存在するかどうかは、例えば、その保管場所に保管されている物品に関する情報を取得することで把握することができる。例えば、各物品の在庫の有無などを管理する在庫管理システムが設けられているとする。また、作業情報に、各作業対象の識別子が示されているとする。この場合、提示制御部２０２０は、作業対象の識別子で在庫管理システムを検索することで、作業対象が保管場所に存在するか否かを判定する。
【００５４】
その他にも例えば、提示制御部２０２０は、或る時点で在庫管理システムから作業情報を取得し、取得した作業情報をその内部の記憶装置（例えばメモリ１０６０やストレージ１０８０）に記憶させてもよい。この場合、提示制御部２０２０は、ユーザによる一連の作業中は、この記憶装置に記憶されている作業情報を利用することで、作業対象が保管場所に存在するか否かを判定してもよい。
【００５５】
＜＜提示開始条件の例３＞＞
その他にも例えば、提示開始条件は、「ユーザの作業時間が、作業対象に対応づけられた所定時間を超えていない」という条件である。例えば、作業対象の物の中には、取り扱いに注意を要する物（例えば重い物、壊れやすい物、劇薬、又は高価な物など）が存在しうる。ユーザが作業を長時間行っている場合、疲労などの理由から、この様に取り扱いに注意を要する物に関する作業は行わないことが好ましい。
【００５６】
そこで、作業対象に対し、所定時間を予め対応づけておく。そして、対応する所定時間をユーザの作業時間が超えていない作業対象についてのみ、対応する操作画像２０が表示画面５０に表示されるようにする。
【００５７】
ここで、ユーザの作業時間の定め方は様々である。例えばユーザの作業時間は、ユーザが作業を開始してからの経過時間である。この時間は、例えば、ヘッドマウントディスプレイ１００の電源が投入されてからの経過時間、作業情報が取得されてからの経過時間、作業情報を利用する作業を開始する旨の入力操作をユーザから受け付けてからの経過時間などとすることができる。その他にも例えば、ユーザの作業時間は、直近の休憩が終了してからの経過時間であってもよい。直近の休憩が終了してからの経過時間は、例えば、ヘッドマウントディスプレイ１００がスリープモードから復帰した直近の時点からの経過時間や、休憩を終了する旨（作業を再開する旨）の入力操作をユーザから受け付けてからの経過時間などとすることができる。
【００５８】
作業対象に対応づける所定時間は、各作業対象に個別に対応づけられていてもよいし、複数の作業対象に対してまとめて対応づけられていてもよい。例えば後者の場合、作業対象のグループや作業対象の属性に対応づけて、所定時間を定めておく。作業対象の属性は、例えば、重い物、壊れやすい物、劇薬、又は高価な物といった属性である。また、各作業対象に対し、属性についてのランクを付与してもよい。例えば「重さ」という属性について５段階のランクを設けておき、作業対象の重さに応じて、５段階のランクのいずれかを作業対象に付与しておく。さらに、重さの５段階のランクそれぞれに対し、上記所定時間を対応づけておく。こうすることで、或る作業対象に対応づけられる所定時間は、その作業対象のランクに対応づけられている所定時間となる。なお、ランク付けをする属性としてはその他にも、「壊れやすさ」、「危険度」、又は「貴重さ」といった属性を採用できる。
【００５９】
作業対象に対応する所定時間は、作業情報に示されていてもよいし、作業対象を管理するデータベースなどで管理されてもよい。
【００６０】
＜＜提示開始条件の例４＞＞
その他にも例えば、提示開始条件は、「現在時刻が、作業対象に対応づけられた所定の時間帯に含まれる」という条件である。前述したように、作業対象の物の中には取り扱いに注意を要する物がある。このように取り扱いに注意を要する物に関する作業は、ユーザの疲労が溜まりやすい夜遅くには行われないことが好ましい。また、気温が高い日中よりも、気温が低い夜に扱う方が好ましい物などもある。
【００６１】
そこで、作業対象に対し、作業可能な時間帯を表す所定の時間帯を予め対応づけておく。そして、対応する所定の時間帯に現在時刻が含まれる作業対象についてのみ、対応する操作画像２０が表示画面５０に表示されるようにする。
【００６２】
なお、作業対象に対して作業可能な時間帯を対応づけておく方法には、前述した、作業対象に対して所定時間を対応づけておく方法と同様の方法を利用できる。
【００６３】
＜＜提示開始条件の例５＞＞
その他にも例えば、提示開始条件は、「ユーザの健康状態が、作業対象に対応づけられた所定条件を満たしている」という条件である。前述したように、作業対象の物の中には取り扱いに注意を要する物がある。このように取り扱いに注意を要する物に関する作業は、ユーザの健康状態が良好なときに行われることが好ましい。
【００６４】
そこで、作業対象に対し、ユーザの健康状態が満たすべき所定条件を予め対応づけておく。そして、対応する所定条件が満たされている作業対象についてのみ、対応する操作画像２０が表示画面５０に表示されるようにする。
【００６５】
所定条件は、例えば、「ユーザの健康状態が良い」という条件である。この場合、提示制御部２０２０は、ユーザの健康状態が良いか否かを判定する。その他にも例えば、所定条件は、「ユーザの健康状態のランクが所定値以上である」という条件である。このランクは、ランクが上であるほど健康状態が良いことを表す。この場合、提示制御部２０２０は、ユーザの健康状態が、複数のランクの内のいずれに該当するかを特定する。なお、作業対象に対してユーザの健康状態に関する所定条件を対応づけておく方法には、前述した、作業対象に対して所定時間を対応づけておく方法と同様の方法を利用できる。
【００６６】
ユーザの健康状態は、ユーザの身体に関する種々の指標値（脈拍数、血圧、又は血流量など）を用いて特定することができる。なお、脈拍数などの指標値を用いてユーザの健康状態が良好であるか否かを判定したり、ユーザの健康状態にランクを付けたりする具体的な方法には、既存の技術を利用することができる。
【００６７】
上記種々の指標値は、ユーザに身につけられるセンサ（脈拍センサ、血圧センサ、又は血流センサなど）から得ることができる。これらのセンサは、直接ユーザの身体に取り付けられていてもよいし、ユーザが身につけるウェアラブルデバイスに設けられていてもよい。例えば後者の場合、時計型のウェアラブルデバイスにこれらのセンサを内蔵しておくことが考えられる。
【００６８】
ここで後述するように、入力検出部２０４０がユーザの入力操作を検出する具体的な形態の一つとして、特許文献４に開示されている技術を利用する形態がある。特許文献４には、一つの形態として、ユーザの腕に身につけられた時計型のデバイスを利用する形態が開示されている。この技術を利用する場合、ユーザの入力操作を検出するために利用するウェアラブルデバイスに、前述した脈拍センサなどを設けることができる。そのため、ユーザの健康状態の特定と、ユーザの入力操作の検出という複数の目的で、１つのウェアラブルデバイスを併用することができ、ユーザによって身につけられるウェアラブルデバイスの数を少なくすることができるという利点がある。
【００６９】
＜＜提示開始条件の例６＞＞
その他にも例えば、提示開始条件は、「提示終了条件が満たされていない」という条件である。この場合、提示制御部２０２０は、提示終了条件が満たされていない作業対象に対応する操作画像２０を、表示画面５０に表示させる。すなわちこの場合、提示制御部２０２０は、作業情報に示されている作業対象について、その提示終了条件が満たされるまでの間、操作画像２０を表示画面５０に表示し続けることとなる。提示終了条件については以下で説明する。
【００７０】
＜提示終了条件について＞
提示終了条件としては、例えば以下で説明する種々の条件を採用することができる。
【００７１】
＜＜提示終了条件の例１＞＞
例えば提示終了条件は、「対応する操作画像２０が表示画面５０に表示され始めてから所定時間が経過した」という条件である。この場合、提示制御部２０２０は、対応する操作画像２０が表示画面５０に表示されている作業対象について、その操作画像２０を表示画面５０に表示させ始めた時点から所定時間が経過したか否かを判定する。提示制御部２０２０は、対応する操作画像２０を表示画面５０に表示させ始めた時点から所定時間が経過したと判定された作業対象を、表示画面５０に表示させないようにする。この提示終了条件を採用することで、提示開始条件を満たした作業対象に対応する操作画像２０が、所定時間だけ表示画面５０に表示される。
【００７２】
＜＜提示終了条件の例２＞＞
その他にも例えば、提示終了条件は、「その作業対象に対応する操作画像２０に対し、ユーザが所定の入力操作を行う」という条件である。例えば所定の入力操作は、入力検出部２０４０によって検出される、操作画像２０に対する入力操作である。すなわち、操作画像２０は、その操作画像２０に対する入力操作が検出されるまでの間、表示画面５０に表示される。こうすることで、既に入力操作の対象となった操作画像２０については、表示画面５０に表示させないようにすることができる。
【００７３】
ユーザの作業が保管場所から作業対象の物を取り出す作業である場合、その物を保管場所から取り出したら、その事実を記録するために、その物に対応する操作画像２０に対して入力操作を行うという運用が考えられる。この場合、或る操作画像２０に対して入力操作が加えられたことは、その操作画像２０に対応する物が既に保管場所から取り出されたことを意味する。そのため、その操作画像２０を表示画面５０に表示する必要がなくなる。そこで、保管場所から取り出した作業対象については終了条件が満たされるようにすることで、その作業対象に対応する操作画像２０が表示画面５０に表示されないようにすることができる。なお、この例の提示終了条件は、「その作業対象についての作業が終了した」とも表現することができる。
【００７４】
＜＜提示終了条件の例３＞＞
その他にも例えば、提示終了条件は、「提示開始条件を満たさない（提示開始条件を満たさなくなる）」という条件である。この場合、提示制御部２０２０は、操作画像２０に表示されている作業対象について、提示開始条件を満たしているか否かを判定する。その作業対象が提示開始条件を満たしていないと判定された場合、提示制御部２０２０は、その作業対象に対応する操作画像２０を表示画面５０に表示しないようにする。この提示終了条件を採用することにより、作業対象について提示開始条件が満たされている間だけ、その作業対象に対応する操作画像２０が表示画面５０に表示されるようにすることができる。
【００７５】
例えば提示開始条件が「その作業対象がセンサ範囲内に存在する」というものであるとする。この場合、或る作業対象について提示開始条件が満たされなくなったことは、その作業対象がセンサ範囲内に存在しなくなったことを意味する。よって、或る作業対象に対応する操作画像２０は、センサ範囲内に作業対象が存在する間だけ、表示画面５０に表示される。
【００７６】
＜＜提示終了条件の例４＞＞
ここで、提示終了条件は、「提示開始条件を満たさなくなった後、さらに別の条件を満たす」というものであってもよい。すなわち、提示制御部２０２０は、或る作業対象について提示開始条件が満たされなくなった後、さらに別の条件が満たされた場合に、その作業対象に対応する操作画像２０を表示画面５０に表示させないようにする。こうすることで、或る作業対象に対応する操作画像２０が、その作業対象について提示開始条件が満たされなくなった後も、さらに別の条件が満たされるまでの間は、表示画面５０に表示されるようにすることができる。
【００７７】
例えば上記別の条件は、「提示開始条件を満たさなくなった時点から所定時間が経過する」という条件である。この場合、提示制御部２０２０は、或る作業対象に対応する操作画像２０を、その作業対象について提示開始条件が満たされなくなってから所定時間が経過するまでの間、表示画面５０に表示させる。
【００７８】
例えば提示開始条件が「その作業対象がカメラ１３０の撮像範囲内に存在する」というものであるとする。この場合、或る作業対象に対応する操作画像２０は、カメラ１３０の撮像範囲内に作業対象が存在しなくなっても、しばらくの間は（その時点から所定時間が経過するまでの間は）、表示画面５０に表示され続ける。
【００７９】
前述したように、保管場所から作業対象を取り出す作業において、作業対象を取り出したことを記録することがある。この場合、カメラ１３０がユーザの顔の正面方向を撮像するとすれば、ユーザが保管場所に保管されている物の方を見ると、その物に対応する操作画像２０が表示画面５０に表示される。ここでユーザは、表示画面５０に表示された操作画像２０に対して入力操作を行う際、顔の向きを変えたい（例えば下を向きたい）と思うことがありうる。そのため、ユーザが顔を別の方向に向けてもしばらくの間、操作画像２０が表示画面５０に表示される続けることが好適である。
【００８０】
そこで、「提示開始条件を満たさなくなった時点から所定時間が経過する」という終了条件を採用すれば、ユーザが保管場所から物を取り出した後に顔の向きを変えても、所定時間が経過するまでの間は、表示画面５０に操作画像２０が表示され続ける。よって、ユーザは、保管場所から物を取り出した後、操作画像２０に対する入力操作を、顔の向きを自由に変えて行うことができるようになる。
【００８１】
その他にも例えば、上記別の条件は、「提示開始条件が満たされなくなった後、その作業対象に対応する操作画像２０に対して所定の入力操作が行われる」という条件である。この場合、提示制御部２０２０は、或る作業対象についての提示開始条件が満たされなくなり、なおかつその後に所定の操作が行われた場合に、その作業対象に対応する操作画像２０を表示画面５０に表示させないようにする。言い換えれば、提示制御部２０２０は、或る作業対象について提示開始条件が満たされなくなった後も、その作業所定の操作が行われるまでの間は、その作業対象に対応する操作画像２０を表示画面５０に表示させる。
【００８２】
この条件を採用する場合も、例えば前述したように、保管場所に保管されている物を取り出した後に顔の向きを変えてから入力操作を行うといったことが可能になる。さらにこの条件であれば、ユーザが入力操作を行うまでの時間に制限がないといった利点もある。
【００８３】
その他にも例えば、上記別の条件は、「提示開始条件を満たす別の作業対象が存在する」という条件である。この場合、提示制御部２０２０は、或る作業対象について提示開始条件が満たされなくなり、なおかつ提示開始条件を満たす別の作業対象が存在する場合に、その作業対象に対応する操作画像２０を表示画面５０に表示させないようにする。言い換えれば、提示制御部２０２０は、或る作業対象について提示開始条件が満たされなくなった後も、提示開始条件を満たす別の作業対象が存在しない間は、提示開始条件を満たさなくなった作業対象に対応する操作画像２０を表示画面５０に表示させ続ける。
【００８４】
例えば提示開始条件が「その作業対象が、ユーザが身につけているセンサによって定まる所定の範囲内に存在する」というものであるとする。この場合、或る作業対象に対応する操作画像２０は、ユーザが身につけているセンサによって定まる所定の範囲内に作業対象が存在しなくなっても、その所定の範囲内に別の作業対象が入らない限り、表示画面５０に表示され続ける。
【００８５】
この条件を採用する場合も、例えば前述したように、保管場所に保管されている物を取り出した後に顔の向きを変えてから入力操作を行うといったことが可能になる。また、ユーザが入力操作を行うまでの時間に制限がないといった利点もある。
【００８６】
なお、提示制御部２０２０は、作業対象について提示開始条件が一度満たされた場合に提示条件が満たされたと判定してもよいし、作業対象について提示開始条件が満たされる状況が継続した場合に提示条件が満たされたと判定してもよい。後者の場合、例えば提示制御部２０２０は、作業対象について提示開始条件が満たされるか否かを繰り返し判定し、提示開始条件が所定回数以上繰り返し満たされた場合、又は提示開始条件が所定時間以上繰り返し満たされた場合のみ、その作業対象に対応する操作画像２０が表示される。作業対象について提示開始条件が満たされる状況が継続した場合にその作業対象に対応する操作画像２０を表示する方法には、例えば、前述したセンサが何らかの理由で一時的に正しいセンシングができなかった場合でも、その影響を少なくすることができるといった利点がある。
【００８７】
同様に、提示制御部２０２０は、作業対象について提示終了条件が一度満たされた場合に提示条件が満たされないと判定してもよいし、作業対象について提示終了条件が満たされる状況が継続した場合に提示条件が満たされないと判定してもよい。後者の場合、例えば提示制御部２０２０は、作業対象について提示終了条件が満たされるか否かを繰り返し判定し、提示終了条件が所定回数以上繰り返し満たされた場合、又は提示終了条件が所定時間以上繰り返し満たされた場合のみ、その作業対象に対応する操作画像２０の表示を終了する。これにより、前述したように、センサが何らかの理由で一時的に正しいセンシングができなかった場合でも、その影響を少なくすることができるといった利点がある。
【００８８】
＜センサ範囲について＞
前述したように、提示開始条件に含まれる条件として、「作業対象がセンサ範囲に含まれる」という条件を採用しうる。ここでは、センサ範囲として採用しうる様々なもの、及び作業対象がセンサ範囲に含まれるか否かを判定する方法について説明する。
【００８９】
＜＜センサ範囲の例１＞＞
例えばセンサ範囲としては、「カメラ１３０によって生成される撮像画像を用いて特定される所定の範囲」を採用できる。その例として、前述した、「カメラ１３０の撮像範囲」がある。
【００９０】
図７は、カメラ１３０の撮像範囲に含まれる作業対象に対応する操作画像２０が表示画面５０に表示される様子を例示する図である。この例では、棚７０に様々な種類の物品が陳列されている。例えば棚７０の左上端のマスには、物品Ａが陳列されている。
【００９１】
本例において、表示画面５０とカメラ１３０は、ヘッドマウントディスプレイ１００に設けられている。撮像範囲１３２は、カメラ１３０の撮像範囲を表す。カメラ１３０は、撮像範囲１３２が、表示画面５０を介してユーザが見える範囲と略同一になるように設定されている。
【００９２】
本例において、作業情報には、物品Ａ、Ｂ、Ｆ、及びＧが示されている。また、撮像範囲１３２には、物品Ｂ、Ｃ、Ｅ、Ｆが含まれている。そして表示画面５０には、作業情報に示されており、なおかつ撮像範囲１３２に含まれている物品であるＢとＦそれぞれに対応する操作画像２０が表示されている。
【００９３】
提示制御部２０２０は、作業情報に示されている各作業対象について、カメラ１３０の撮像範囲に含まれるか否かを判定する。ここで、作業対象がカメラ１３０の撮像範囲に含まれるか否かを判定する方法には、様々な方法を採用することができる。例えば提示制御部２０２０は、カメラ１３０によって生成された撮像画像に対してオブジェクト認識を行うことで、作業対象が撮像画像に含まれているか否かを判定する。そして、或る作業対象が撮像画像に含まれている場合、提示制御部２０２０は、その作業対象がカメラ１３０の撮像範囲に含まれると判定する。一方、或る作業対象が撮像画像に含まれていない場合、提示制御部２０２０は、その作業対象がカメラ１３０の撮像範囲に含まれないと判定する。
【００９４】
撮像画像に対してオブジェクト認識を行うことで作業対象を検出する場合、作業情報には、各作業対象について、その作業対象を撮像画像から検出するための情報をさらに含めておく。例えばこの情報は、作業対象の外見の特徴を表す特徴量などである
【００９５】
提示制御部２０２０は、撮像画像から所定のマーカを検出し、その検出結果を利用して、作業対象がカメラ１３０の撮像範囲に含まれるか否かを判定してもよい。以下、その方法を具体的に説明する。
【００９６】
図８は、マーカを例示する図である。マーカは、ユーザが作業を行う場所に設定される。図８の例では、マーカ８０が棚７０に付されている。マーカ８０の数は、１つであってもよいし複数であってもよい。ただし、マーカ８０は、ユーザが作業を行う場所の方を向いたときに、少なくとも１つのマーカ８０が撮像範囲１３２に入るように配置されることが好適である。また、マーカ８０を複数設ける場合、これらは互いに識別可能な異なるものであるとする。
【００９７】
マーカ８０は、所定空間を特定するために利用できる。ここで、所定空間は、２次元空間であってもよいし、３次元空間であってもよい。また、所定空間は、実空間であってもよいし、仮想空間であってもよい。
【００９８】
マーカを利用して所定空間を特定する技術には、既存の技術を利用することができる。例えば、カメラによって撮像された AR（Augmented Reality）マーカの位置、大きさ、及び形状に基づいて、AR マーカを基準とした所定空間を特定する技術がある。なお、マーカ８０は、その位置、大きさ、及び形状に基づいて所定空間を特定することができるものであればよく、図８に示した QR コード（登録商標）を模したものに限定されない。
【００９９】
カメラ１３０の撮像範囲１３２は、撮像画像から検出されるマーカ８０の位置、大きさ、及び形状、並びにカメラ１３０に関するパラメタ（画角など）を利用することにより、マーカ８０によって特定される所定空間の一部として特定することができる。ここで、マーカ８０を複数設ける場合、これら複数のマーカ８０には、所定空間におけるそれぞれ異なる位置（座標）が割り当てられる。以下、上記所定空間のうち、カメラ１３０の撮像範囲に含まれる空間を、部分空間と呼ぶ。
【０１００】
対象情報には、上記所定空間における作業対象の位置を示しておく。提示制御部２０２０は、対象情報に示される作業対象について、所定空間上におけるその位置が、前述した方法で特定された部分空間に含まれるか否かを判定する。そして、提示制御部２０２０は、所定空間上における作業対象の位置が上記部分空間に含まれる場合、その作業対象がカメラ１３０の撮像範囲に含まれると判定する。一方、提示制御部２０２０は、所定空間上における作業対象の位置が上記部分空間に含まれない場合、その作業対象がカメラ１３０の撮像範囲に含まれないと判定する。
【０１０１】
ここで、センサ範囲は、撮像範囲１３２全体ではなく、撮像範囲１３２の一部（所定部分）であってもよい。この場合、例えば提示制御部２０２０は、作業対象が、撮像画像１３４の所定の領域（上記撮像範囲１３２の所定部分に相当する部分）に含まれるか否かを判定することにより、作業対象がセンサ範囲に含まれるか否かを判定する。その他にも例えば、前述したマーカ８０を利用する場合、提示制御部２０２０は、マーカ８０によって特定される所定空間において、撮像範囲１３２の所定部分に相当する空間を、前述した部分空間として扱う。こうすることで、作業対象が部分空間に含まれるか否かを判定することにより、作業対象が撮像範囲１３２の所定部分に含まれるか否かを判定することができる。
【０１０２】
＜＜センサ範囲の例２＞＞
センサ範囲を定めるためのセンサは、カメラ１３０以外であってもよい。例えばセンサには、所定の信号を送信する送信機、及びその信号を受信する受信機の組み合わせを用いることができる。この送信機としては、いわゆるビーコンを用いることができる。また、受信機には、ビーコンによって送信される信号を受信する受信機を用いることができる。
【０１０３】
例えば、棚７０の複数の箇所に、自身の識別子を送信する送信機を設置しておく。そして、ヘッドマウントディスプレイ１００にその信号を受信する受信機を設置しておく。各受信機及び作業対象には、所定空間上の位置を割り当てておく。
【０１０４】
提示制御部２０２０は、ヘッドマウントディスプレイ１００に設けられた受信機によって受信される信号に基づいて、上記所定空間上におけるヘッドマウントディスプレイ１００の位置及び正面方向を特定することで、上記所定空間上におけるセンサ範囲を特定する。例えばセンサ範囲は、ヘッドマウントディスプレイ１００の正面方向に対して所定の角度で広がる空間として、予め定めておく。そしてヘッドマウントディスプレイ１００は、各作業対象の位置が上記センサ範囲に含まれるか否かを特定する。
【０１０５】
このようにセンサ範囲を定める方法は、ビーコン以外にも、所定の音波を送信するスピーカ及びその音波を受信するマイクの組み合わせなどを利用しても実現することができる。
【０１０６】
＜特定された作業対象に対応する操作画像２０の表示：Ｓ１０８＞
提示制御部２０２０は、提示条件を満たすと判定された作業対象に対応する操作画像２０を、表示画面５０に表示させる（Ｓ１０８）。そのために、提示制御部２０２０は、作業対象に対応する操作画像２０を取得する。作業対象に対応する操作画像２０を取得する方法は任意である。例えば作業対象に対応する操作画像２０は、作業情報に含めておく。
【０１０７】
その他にも例えば、作業対象を管理するデータベースなどにおいて、作業対象に対応づけて操作画像２０を管理しておいてもよい。例えば作業対象が物品である場合、その物品の情報を管理するデータベースにおいて、その物品の識別子に対応づけて操作画像２０を記憶させておく。提示制御部２０２０は、作業対象に示される作業対象の識別子で上記データベースを検索することで、作業対象に対応する操作画像２０を取得する。
【０１０８】
その他にも例えば、操作画像２０は、提示制御部２０２０によって生成されてもよい。例えば操作画像２０が、所定の図形（例えば矩形）の中に作業対象の名称が描画された画像であるとする。この場合、提示制御部２０２０は、作業情報に示されている作業対象の名称と、上記所定の形状とを用いて、作業対象に対応する操作画像２０を生成する。なお、上記所定の形状は、提示制御部２０２０に予め設定されていてもよいし、ユーザによって設定可能なものであってもよい。
【０１０９】
＜表示画面５０における表示の変化の具体例＞
前述した、カメラ１３０の撮像範囲１３２をセンサ範囲として扱うケースについて、表示画面５０における表示の変化を具体的に例示する。図９は、表示画面５０における表示の変化を例示する第１の図である。本例において、提示開始条件は「作業対象が撮像範囲１３２に含まれる」である。また、提示終了条件は「作業対象が撮像範囲に含まれない」である。すなわち、作業対象が撮像範囲１３２に含まれる間だけ、作業対象に対応する操作画像２０が表示画面５０に表示される。
【０１１０】
本例では、カメラ１３０がヘッドマウントディスプレイ１００に設けられており、ユーザが矢印１５０で表されるように顔の向きを変えていく。時点 t1, t2, t3, t4, 及び t5 における撮像範囲１３２はそれぞれ、撮像範囲１３２−１、撮像範囲１３２−２、撮像範囲１３２−３、撮像範囲１３２−４、及び撮像範囲１３２−５である。
【０１１１】
本例において、作業情報に示される作業対象は物品Ａ、Ｂ、及びＣである。これらが置かれている位置は、図９に示されている通りである。
【０１１２】
時点 t1 において、撮像範囲１３２−１には、物品Ａ〜Ｃのいずれもが含まれていない。そのため、表示画面５０には操作画像２０が表示されていない。
【０１１３】
時点 t2 において、撮像範囲１３２−２には、物品Ａが含まれている。そのため、表示画面５０には、物品Ａに対応する操作画像２０−１が表示されている。
【０１１４】
時点 t3 において、撮像範囲１３２−３には、物品Ａ〜Ｃのいずれもが含まれていない。そのため、表示画面５０には操作画像２０が表示されていない。
【０１１５】
時点 t4 において、撮像範囲１３２−４には、物品Ｂ及びＣが含まれている。そのため、表示画面５０には、物品Ｂに対応する操作画像２０−２及び物品Ｃに対応する操作画像２０−３が表示されている。
【０１１６】
時点 t5 において、撮像範囲１３２−５には、物品Ａ〜Ｃのいずれもが含まれていない。そのため、表示画面５０には操作画像２０が表示されていない。
【０１１７】
図１０は、表示画面５０における表示の変化を例示する第２の図である。本例において、提示開始条件は「いずれの作業対象も撮像範囲１３２に含まれていないか、又はその作業対象が撮像範囲１３２に含まれている」である。また、提示終了条件は「その作業対象が撮像範囲１３２に含まれておらず、なおかつ他の作業対象が撮像範囲１３２に含まれる」である。そのため、いずれの作業対象も撮像範囲１３２に含まれない状況では、全ての作業対象について、対応する操作画像２０が表示画面５０に表示される。一方、いずれかの作業対象が撮像範囲１３２に含まれるときには、撮像範囲１３２に含まれる作業対象についてのみ、対応する操作画像２０が表示画面５０に表示される。
【０１１８】
時点 t1 において、撮像範囲１３２−１には、物品Ａ〜Ｃのいずれもが含まれていない。そのため、表示画面５０には、物品Ａ〜Ｃそれぞれについて操作画像２０が表示されている。
【０１１９】
時点 t2 において、撮像範囲１３２−２には、物品Ａが含まれている。そのため、表示画面５０には、物品Ａに対応する操作画像２０−１のみが表示されている。
【０１２０】
時点 t3 において、撮像範囲１３２−３には、物品Ａ〜Ｃのいずれもが含まれていない。そのため、表示画面５０には、物品Ａ〜Ｃそれぞれについて操作画像２０が表示されている。
【０１２１】
時点 t4 において、撮像範囲１３２−４には、物品Ｂ及びＣが含まれている。そのため、表示画面５０には、物品Ｂに対応する操作画像２０−２及び物品Ｃに対応する操作画像２０−３が表示されている。
【０１２２】
時点 t5 において、撮像範囲１３２−５には、物品Ａ〜Ｃのいずれもが含まれていない。そのため、表示画面５０には、物品Ａ〜Ｃそれぞれについて操作画像２０が表示されている。
【０１２３】
図１１は、表示画面５０における表示の変化を例示する第３の図である。本例において、提示開始条件は「作業対象が撮像範囲１３２に含まれる」である。また、提示終了条件は「作業対象が撮像範囲に含まれず、なおかつ別の作業対象が撮像範囲１３２に含まれる」である。そのため、或る作業対象が撮像範囲１３２に含まれると、その作業対象に対応する操作画像２０が表示される。さらに、その作業対象が撮像範囲１３２に含まれなくなった後も、別の作業対象が撮像範囲１３２に含まれるまでの間は、操作画像２０の表示が継続される。なお、本例では、撮像範囲１３２−４と撮像範囲１３２−５の位置がいずれも、図９や図１０の例と異なっている。
【０１２４】
図１１において、時点 t1 と時点 t2 における表示は、図９と同じである。
【０１２５】
時点 t3 において、撮像範囲１３２−３には、物品Ａが含まれていない。さらに、撮像範囲１３２−３には、物品ＢとＣも含まれていない。そのため、物品Ａについての提示終了条件が満たされていない。その結果、表示画面５０では、操作画像２０−１の表示が継続されている。
【０１２６】
時点 t4 においても、物品Ａは撮像範囲１３２に含まれない。しかしながら、時点 t4 では、撮像範囲１３２に物品Ｂが含まれている。これは、「物品Ａが撮像範囲１３２に含まれず、なおかつ別の物品Ｂが撮像範囲１３２に含まれる」という状況を表しており、物品Ａについての提示終了条件が満たされている。そのため、表示画面５０には、操作画像２０−１は表示されず、物品Ｂに対応する操作画像２０−２が表示されている。
【０１２７】
時点 t5 において、撮像範囲１３２−５には、物品Ｂ及び物品Ｃが含まれる。そのため、物品Ｂに対応する操作画像２０−２及び物品Ｃに対応する操作画像２０−３が表示されている。
【０１２８】
＜入力の検出：Ｓ１１０＞
入力検出部２０４０は、操作画像２０に対する入力操作を検出する。例えば、操作画像２０に対する入力操作としては、表示画面５０に表示されている操作画像２０の１つを指定するという入力操作を採用することができる。以下、入力操作のバリエーションについて説明する。
【０１２９】
＜＜入力操作の例１＞＞
例えば、入力検出部２０４０は、キーボードやマウスなどの入力デバイスを利用した入力操作を検出する。例えば、「マウスのカーソルを所望の操作画像２０に合わせ、マウスをクリックする」という操作や、「キーボードの矢印ボタンで所望の操作画像２０にフォーカスを合わせ、エンターキーを押す」という操作などである。キーボードやマウスなどの入力デバイスを利用した入力操作を検出する具体的な技術には、既存の技術を利用することができる。
【０１３０】
ここで、操作画像２０がタッチパネル上に表示されるとする。この場合、例えば入力検出部２０４０は、タッチパネル上に表示されている操作画像２０に対する入力操作（タッチ等）を検出してもよい。
【０１３１】
図１２は、ユーザの腕に取り付けられた時計型デバイスに表示される操作画像２０に対して行われる入力操作を例示する図である。図１２において、表示画面５０は、時計型デバイス６０に設けられているタッチパネルである。表示画面５０には、２つの操作画像２０が表示されている。ユーザは、これらの操作画像２０をタッチ等したりすることにより、所望の操作画像２０に対して入力操作を加える。
【０１３２】
なお、提示条件を満たす操作画像２０の全てを一度に表示画面５０に表示し切れない場合、例えば表示画面５０に対してフリック操作等の切り替え操作を行うことで、表示画面５０の表示を切り替えることができるようにしてもよい。このように、表示すべき画像を一度に表示しきれない場合に、表示画面に表示される画像を切り替える技術については、既存の技術を利用することができる。ただし、情報処理装置２０００は、表示画面５０に表示させる操作画像２０を、提示条件を満たす操作画像２０に限定することにより、表示画面５０に対する切り替え操作の必要性を減らすことができる。
【０１３３】
また、ヘッドマウントディスプレイ１００の表示画面５０に操作画像２０が表示される場合において、時計型デバイス６０を利用して操作画像２０に対する入力操作が行われてもよい。図１３は、ヘッドマウントディスプレイ１００の表示画面５０に表示される操作画像２０に対し、時計型デバイス６０を利用して行う入力操作を例示する図である。
【０１３４】
図１３において、ヘッドマウントディスプレイ１００の表示画面５０には、３つの操作画像２０が表示されている。ユーザは、いずれかの操作画像２０にフォーカスを当てることでその操作画像２０を選択した後、その選択を確定する入力操作を行う。ここで、操作画像２０の選択を確定させるとは、操作画像２０にフォーカスが当たっている状態でエンターキーを押す入力操作のように、選択された状態の操作画像２０を指定する入力操作を行うことを意味する。
【０１３５】
フォーカスの切り替えは、時計型デバイス６０の表示画面に表示されている矢印ボタン６２をタッチすることで行われる。そして、選択を確定する入力は、時計型デバイス６０の表示画面に表示されているＯＫボタン６３をタッチすることで行われる。
【０１３６】
図１３の例において、フォーカスが当たっている操作画像２０は、ドット柄で塗られている操作画像２０−１である。そのため、この状態でＯＫボタン６３がタッチされると、物品Ａを選択する入力が確定する。また、矢印ボタン６２をタッチすることで、フォーカスを当てる操作画像２０を、操作画像２０−２や操作画像２０−３にフォーカスを変更することができる。
【０１３７】
＜＜入力操作の例２＞＞
その他にも例えば、入力検出部２０４０は、カメラ１３０によって生成される撮像画像１３４を利用して、ユーザの入力操作を検出してもよい。前提として、表示画面５０は、ヘッドマウントディスプレイ１００に設けられる。ユーザは、表示画面５０を介して、操作画像２０及び操作画像２０に入力操作を加えるための指など（以下、操作体）を見ることができる。
【０１３８】
例えばユーザは、表示画面５０を介して見ることができる操作画像２０に対して、操作体を重畳させる動作を行う。この動作は、カメラ１３０によって撮像される。入力検出部２０４０は、上記動作が含まれる撮像画像１３４を画像解析することにより、ユーザが操作画像２０に対して行った入力操作を検出する。このように、ヘッドマウントディスプレイの表示画面に表示された操作画像に対するユーザの動作をカメラで撮像することで、操作画像に対するユーザの入力操作を検出する技術には、例えば、特許文献４に開示されている技術などを利用することができる。
【０１３９】
図１４は、操作体を利用して行われるユーザ操作を例示する図である。図１４において、指１５０は、操作画像２０−３に重畳する位置にある。そのため、操作画像２０−３に対する入力操作が検出される。この入力操作は、例えば、ユーザの腕に対して振動が加えられたことや、所定時間以上同一の操作画像２０に操作体が重畳され続けたことなどを契機として検出される。その具体的な方法は、例えば前述した特許文献４に開示されている。
【０１４０】
なお、特許文献４に開示されているように、提示制御部２０２０は、入力操作の対象となる画像（本実施形態における操作画像２０）を、人の腕などの所定部位に重畳されるように表示してもよい。この場合、提示制御部２０２０は、カメラ１３０の撮像範囲に人の所定部位が含まれる（撮像画像１３４から人の所定部位が検出される）ときのみ、提示条件を満たす操作画像２０を表示画面５０に表示するようにしてもよい。
【０１４１】
＜＜入力操作の例３＞＞
その他にも例えば、操作画像２０に対する入力操作は、時計型デバイス６０など、ユーザに身につけられているデバイスの姿勢を利用して行われてもよい。図１５は、時計型デバイス６０を傾けることで行われる入力操作を例示する図である。図１５において、表示画面５０は、ヘッドマウントディスプレイ１００に設けられている表示画面である。表示画面５０には、３つの操作画像２０が表示されている。
【０１４２】
ユーザは、時計型デバイス６０が装着された腕の傾きを変えることで、時計型デバイス６０の姿勢を変える。こうすることで、ユーザは、所望の操作画像２０が選択された状態にする。図１５では、腕の傾きが範囲６４−１内にあると、操作画像２０−１が選択された状態となる。また、腕の傾きが範囲６４−２内にあると、操作画像２０−２が選択された状態となる。また、腕の傾きが範囲６４−３内にあると、操作画像２０−３が選択された状態となる。なお、選択された状態の操作画像２０は、背景の色がドット柄に変更されている。ここで、時計型デバイス６０の傾きは、例えば時計型デバイス６０に設けられた加速度センサなどを利用して把握することができる。
【０１４３】
その後、ユーザは、操作画像２０の選択を確定させる。操作画像２０の選択を確定させる方法は様々である。例えば入力検出部２０４０は、いずれかの操作画像２０が選択された状態が所定時間継続したら、操作画像２０の選択を確定させる。その他にも例えば、入力検出部２０４０は、いずれかの操作画像２０が選択された状態で、その選択を確定するための所定の操作が行われたら、その選択を確定させる。例えば所定の操作は、時計型デバイス６０のタッチパネルをタッチする操作（例えば図１５でＯＫボタンを押す操作）、腕に振動を加える操作、又は腕を触る操作などである。なお、腕に振動を加える操作や腕を触る操作は、種々のセンサを利用して検出することができる。例えば、腕に振動を加える操作は、振動センサなどを利用することで検出することができる。また、腕を触る操作は、静電容量センサや圧力センサなどを利用することで検出することができる。これらのセンサは、例えば時計型デバイス６０に設けられる。ただし、これらのセンサは、時計型デバイス６０以外に設けられてもよい。
【０１４４】
ここで、時計型デバイス６０を傾けることで操作画像２０を選択する入力操作は、範囲６４の数が少ないほど容易になると言える。例えば、操作画像２０の数にかかわらず腕を動かす全体の範囲を固定とすると、操作画像２０の数が増えるごとに各範囲６４の大きさが小さくなる。そのため、範囲６４の数が多い場合には腕を少し傾けただけで選択される操作画像２０が変わってしまうことになるので、ユーザは腕の姿勢を細かくコントロールしなければならない。よって、範囲６４の数が少ないことが好適である。
【０１４５】
また、操作画像２０の数にかかわらず各範囲６４の大きさを固定すると、操作画像２０の数が増えるにつれ、腕を動かす全体の範囲が広くなる。そのため、範囲６４の数が多い場合には腕を動かす全体の範囲が広くなることになるので、ユーザは入力操作のために腕を大きく動かさなければならない。よって、範囲６４の大きさを固定する場合にも、範囲６４の数が少ないことが好適である。
【０１４６】
本実施形態の情報処理装置２０００によれば、提示制御部２０２０によって表示画面５０に提示される操作画像２０が絞りこまれるため、範囲６４の数を比較的少なくすることができる。よって、時計型デバイス６０を傾けることで行われるユーザの入力操作を、より容易にすることができる。
【０１４７】
＜＜入力操作の例４＞＞
その他にも例えば、操作画像２０に対する入力操作は、音声入力であってもよい。例えばユーザは、いずれかの操作画像２０に対応する言葉（例えば、操作画像２０に対応する作業対象の名称など）を発話する。入力検出部２０４０は、ユーザの発話に対して音声解析処理を行って、どの操作画像２０に対する入力操作であるのかを判別する。ここで、各選択対象に対応する言葉は、例えば予め対象情報に示しておく。なお、１つ以上の選択肢を音声入力で選択する技術には、既存の技術を利用することができる。
【０１４８】
ここで、操作画像２０を選択する操作として前述した時計型デバイス６０の姿勢を利用する操作を用い、その選択を確定する操作として音声入力を用いてもよい。例えばユーザは、腕を傾けることで所望の操作画像２０を選択した後、「ＯＫ」などの所定の音声を発話することで、その選択を確定させる。
【０１４９】
＜デフォルトのフォーカスについて＞
前述したように、操作画像２０に対する入力操作として、「所望の操作画像２０を選択した後（フォーカスを当てた後）に、その選択を確定させる」という操作がある。このような操作では、表示画面５０に複数の操作画像２０が表示された際に、いずれかの操作画像２０にデフォルトでフォーカスが当てられるようにしておいてもよい。この際、どの操作画像２０にフォーカスを当てるかを定める方法には、以下のような様々な方法がある。
【０１５０】
例えばセンサ範囲に含まれる作業対象に対応する操作画像２０を表示画面５０に表示させる場合、提示制御部２０２０は、センサ範囲の所定位置（例えば中心位置）に一番近い位置にある作業対象を特定する。そして、提示制御部２０２０は、特定された作業対象に対応する操作画像２０にデフォルトのフォーカスを当てるようにする。
【０１５１】
例えばカメラ１３０の撮像範囲１３２をセンサ範囲として利用する場合、撮像範囲１３２の中心に近い位置にある作業対象ほど、ユーザの視界の中心に近い位置にある蓋然性が高い。そのため、撮像範囲１３２の中心に近い位置にある作業対象ほど、ユーザが注目している作業対象である蓋然性が高い。そのため、センサ範囲の所定位置に一番近い位置にある作業対象に対応する操作画像２０にデフォルトのフォーカスを当てることで、ユーザが注目している蓋然性が最も高い作業対象に対応する操作画像２０にフォーカスが当たった状態を、デフォルトの状態とすることができる。そのため、ユーザが所望する操作画像２０に最初からフォーカスが当たっている蓋然性、すなわちユーザが操作画像２０を選択する操作を行わなくてもよい蓋然性を高くすることができるので、ユーザの作業の効率を高くすることができる。
【０１５２】
その他にも例えば、提示制御部２０２０は、表示画面５０における操作画像２０の配置に基づいて、デフォルトでフォーカスを当てる操作画像２０を決定してもよい。例えば提示制御部２０２０は、中央や端など、所定の位置に配置されている操作画像２０にデフォルトのフォーカスを当てるようにする。
【０１５３】
＜変形例＞
上述の実施形態では、提示条件を満たす作業対象について、対応する操作画像２０を表示画面５０に表示するという、視覚的な提示が行われる。しかしながら、提示条件を満たす作業対象についての提示は、音声を使った聴覚的な提示であってもよい。このように音声を使った提示を行う。
【０１５４】
この場合、提示制御部２０２０は、提示条件を満たす作業対象を表す音声を、音声出力装置（スピーカなど）から出力させる。作業対象を表す音声は、例えば、その作業対象の名称などである。この音声は、予め作業情報に示されているものとする。
【０１５５】
また、提示制御部２０２０は、操作画像２０を用いた視覚的な提示と、音声を用いた聴覚的な提示の双方を行ってもよい。
【０１５６】
ここで、作業対象の提示が音声のみで行われる場合、例えば入力検出部２０４０は、音声入力による入力操作を受け付ける。その他にも例えば、入力検出部２０４０は、時計型デバイス６０を傾ける操作によって、入力操作を行ってもよい。この場合、情報処理装置２０００は、時計型デバイス６０を傾ける操作によってどの作業対象が選択されたかを音声で提示することが好適である。
【０１５７】
［実施形態２］
図１６は、実施形態２の情報処理装置２０００の機能構成を例示するブロック図である。以下で説明する事項を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様の機能を有する。
【０１５８】
実施形態２の情報処理装置２０００は、レイアウト決定部２０６０を有する。レイアウト決定部２０６０は、表示画面５０における操作画像２０のレイアウトを決定する。提示制御部２０２０は、レイアウト決定部２０６０によって決定されたレイアウトに従って、操作画像２０を表示画面５０に表示させる。
【０１５９】
レイアウト決定部２０６０によって決定されるレイアウトは様々である。以下、その具体例を説明する。
【０１６０】
例えばレイアウト決定部２０６０は、表示画面５０に表示させる操作画像２０の数に応じて、操作画像２０の大きさ及び位置を決定する。例えばレイアウト決定部２０６０は、操作画像２０を表示させるためのエリアに、操作画像２０を均等に割り付ける。具体的には、レイアウト決定部２０６０は、上記エリアを操作画像２０の数で均等に分割して、複数の部分エリアを生成する。そして、レイアウト決定部２０６０は、各部分エリアに操作画像２０を割り当てる。
【０１６１】
図１７は、操作画像２０の数に応じて操作画像２０のレイアウトが決定される図である。図１７において、操作画像２０を表示させるエリアはエリア９０である。エリア９０は、複数の部分エリア９２に分割される。表示画面５０に表示させる操作画像２０の数をｎとすると、レイアウト決定部２０６０は、エリア９０をｎ等分することで、ｎ個の部分エリア９２を生成する。
【０１６２】
図１７の上段の例では、エリア９０を分割する方向が横であり、なおかつ操作画像２０の数が５である。そのため、横方向に５つの部分エリア９２が生成され、それぞれの部分エリア９２に操作画像２０が割り当てられている。一方、図１７の下段の例では、エリア９０を分割する方向が縦であり、操作画像２０の数が３である。そのため、エリア９０が横方向に３等分され、それぞれの部分エリア９２に操作画像２０が割り当てられている。
【０１６３】
なお、エリア９０における操作画像２０の配置は、縦一列や横一列に限定されない。例えば、格子状などの様々な配置を採用することができる。
【０１６４】
＜操作画像２０と部分エリア９２の対応付け＞
各操作画像２０をどの部分エリア９２に割り当てるか、すなわち部分エリア９２と操作画像２０との対応付けを決める方法は様々である。例えば、レイアウト決定部２０６０は、操作画像２０と部分エリア９２それぞれに対し、所定の規則で順位を割り当てる。そして、レイアウト決定部２０６０は、順位が同じ操作画像２０と部分エリア９２とを対応づける。
【０１６５】
部分エリア９２については、例えば、ユーザによって操作しやすい位置や、ユーザによって見やすい位置ほど、高い順位となるようにする。ここで、部分エリア９２に順位を割り当てる具体的な規則は様々である。図１８は、エリア９０を横一列に分割することで生成される部分エリア９２に順位を割り当てる規則を例示する図である。図１８において、部分エリア９２の中に記載されている数字は、その部分エリア９２に割り当てられた順位を表している。以下では、順位を表す数字が小さいことを「順位が高い」とも表現する。
【０１６６】
図１８の上段の例では、より左に位置する部分エリア９２ほど順位が高い。一方、図１８の下段の例では、より中心に近い位置にある部分エリア９２ほど順位が高い。
【０１６７】
その他にも例えば、実施形態１の「入力操作の例２」で説明したように、特許文献４に開示されている技術を利用した入力操作を検出するとする（図１４参照）。この場合、部分エリア９２の順位は、時計型デバイス６０に近い部分エリア９２ほど高くなるようにしてもよい。こうすることで、例えば、時計型デバイス６０に振動センサなどが設けられる場合において、操作画像２０を操作する際に生じる振動などを検出しやすくなるため、入力操作の検出精度が向上する。
【０１６８】
部分エリア９２に順位を割り当てる規則は、レイアウト決定部２０６０に固定で設定されていてもよいし、ユーザによって設定可能であってもよい。
【０１６９】
さらにレイアウト決定部２０６０は、操作画像２０についても順位を割り当てる。例えばレイアウト決定部２０６０は、ユーザによって入力操作が行われる蓋然性が高い操作画像２０ほど順位が高くなるように、操作画像２０の順位を決定することが好適である。
【０１７０】
操作画像２０に順位を割り当てる規則は様々である。例えばレイアウト決定部２０６０は、前述したセンサ範囲の所定位置（例えば中心位置）に近い作業対象に対応する操作画像２０ほど、順位を高くする。ここで、センサ範囲の中心等に近い作業対象ほど、ユーザの視界等の中心に位置する蓋然性が高いため、ユーザによって注目されている蓋然性が高いといえる。よって、センサ範囲の中心等に近い作業対象に対応する操作画像２０ほど、ユーザによって入力操作が行われる蓋然性が高いといえる。そこで、センサ範囲の中心等に近い作業対象に対応する操作画像２０ほど順位を高くすることで、ユーザによって入力操作が行われる蓋然性が高い操作画像２０ほど順位が高くなるようにすることができる。
【０１７１】
その他にも例えばレイアウト決定部２０６０は、提示開始条件を満たした時点が遅いものほど順位を高くする（順位を上記時点の降順にする）。こうすることで、新たに表示画面５０に表示される操作画像２０の順位が、既に表示画面５０に表示されている操作画像２０の順位よりも高くなる。
【０１７２】
その他にも例えば、レイアウト決定部２０６０は、提示開始条件を満たした時点が最も早いものほど順位を高くしてもよい（順位を上記時点の昇順にする）。こうすることで、表示画面５０に表示されている時間が長い操作画像２０ほど順位が高くなる。
【０１７３】
その他にも例えば、レイアウト決定部２０６０は、作業情報を利用して操作画像２０の順位を決定してもよい。例えば作業情報に、各作業対象の優先順位が示されているとする。この場合、レイアウト決定部２０６０は、対応する作業対象の優先順位が高い操作画像２０ほど、順位を高くする。その他にも例えば、作業情報に、作業の順番が示されているとする。例えば、「物品Ａ、Ｃ、Ｄの順に取り出す」のように、物品を取り出す順番が作業情報に示されているとする。この場合、レイアウト決定部２０６０は、対応する作業対象の作業順で、操作画像２０の順位を決定する。このように作業情報に示されている優先順位や作業順位を利用することで、ユーザが意図した順位で操作画像２０を表示させることができるようになる。
【０１７４】
＜エリア９０の分割方法のバリエーション＞
エリア９０の分割方法は、前述したように操作画像２０の数で等分する方法に限定されない。例えばエリア９０は、操作画像２０の数にかかわらず、予め固定で分割されていてもよい。この場合、操作画像２０の数が部分エリア９２の数に満たなければ、操作画像２０が表示されない部分エリア９２が存在することになる。一方、操作画像２０の数が部分エリア９２の数を超えていれば、一部の操作画像２０が表示画面５０に表示されないことになる。
【０１７５】
図１９は、予め固定で分割されているエリア９０を例示する図である。図１９において、エリア９０は、予め横方向に３分割されている。図１９の上段の例では、提示条件を満たしている操作画像２０が１つある。そのため、３つの部分エリア９２のうち、１つの部分エリア９２のみに操作画像２０が表示されている。
【０１７６】
図１９の下段の例では、提示条件を満たしている操作画像２０が５つある。そのため、これら５つの操作画像２０のうち、２つの操作画像２０については、表示画面５０に表示できない。このような場合、ユーザは、例えば所定の操作を行うことで、表示画面５０に表示される操作画像２０（部分エリア９２に割り当てられる操作画像２０）を変更する。例えば本例では、表示画面５０に矢印２２が表示されている。ユーザは、矢印２２に対して入力操作を行うことで、表示画面５０に表示される操作画像２０を変更する。なお、このように表示画面５０に画像が表示しきれない場合に、矢印ボタンなどを利用して表示を切り替える方法には、既存の技術を利用することができる。
【０１７７】
なお、図１９の上段の例のように、一部の部分エリア９２に操作画像２０が表示されない場合、例えば、提示制御部２０２０は、前述した順位が高い部分エリア９２から順に利用するようにする。
【０１７８】
エリア９０は、均等に分割されなくてもよい。すなわち、レイアウト決定部２０６０は、部分エリア９２の大きさを互いに異なるものにしてもよい。具体的には、レイアウト決定部２０６０は、所定の基準に基づいて部分エリア９２の大きさを決定する。例えばレイアウト決定部２０６０は、前述した順位が高い部分エリア９２ほど、そのサイズを大きくする。こうすることで、順位が高い操作画像２０ほど大きく表示されるようになる。こうすることで、ユーザによる入力操作の対象となる蓋然性が高い操作画像２０ほど操作画像２０のサイズを大きくできるため、ユーザの作業効率を高くすることができる。
【０１７９】
図２０は、サイズが異なる部分エリア９２を例示する第１の図である。図２０では、中心に近い部分エリア９２ほどサイズが大きい。
【０１８０】
ただしレイアウト決定部２０６０は、全ての部分エリア９２のサイズを互いに異なるものにする必要はない。例えばレイアウト決定部２０６０は、順位が最も高い部分エリア９２のサイズだけを大きくし、その他の部分エリア９２については互いに同じサイズにする。
【０１８１】
図２１は、サイズが異なる部分エリア９２を例示する第２の図である。図２０では、中心に最も近い部分エリア９２−１のサイズが、他の部分エリア９２のサイズよりも大きい。ただし、部分エリア９２−２から部分エリア９２−５のサイズは、いずれも同じである。
【０１８２】
＜ハードウエア構成の例＞
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。
【０１８３】
＜変形例＞
前述したように、情報処理装置２０００は、提示条件を満たす作業対象について、音声で提示を行ってもよい。この際、提示制御部２０２０は、前述した方法で作業対象の順位を決め、その順位を用いて音声の制御を行うことが好適である。
【０１８４】
例えば提示制御部２０２０は、提示条件を満たす作業対象について順位を決定し、その順位に従った順序で、作業対象を表す音声を提示する。例えば、「物品Ａ、物品Ｅ、物品Ｂ」という順位が決まった場合、提示制御部２０２０は、物品Ａを表す音声、物品Ｅを表す音声、物品Ｂを表す音声の順に提示を行う。
【０１８５】
また、入力検出部２０４０は、作業対象の順位に基づいて、作業対象に対する入力操作の感度を定めてもよい。具体的には、入力検出部２０４０は、順位が高い作業対象を選択する音声入力については、小さい音声であっても入力として検出する一方で、順位が低い作業対象を選択する音声入力については、小さい音声である場合には入力として検出しない。こうすることで、ユーザが選択する蓋然性が高い作業対象に関する入力操作については、小さい声でも入力操作として検出される。一方で、ユーザが選択する蓋然性が低い作業対象に関する入力操作については、小さい声では入力操作として検出されない。よって、ユーザによる入力操作を容易なものとしつつ、入力操作の誤検出を防ぐことができる。
【０１８６】
より具体的な方法は、例えば次のようになる。まず、音圧の閾値として、第１閾値と第２閾値（第１閾値＜第２閾値）を定めておく。入力検出部２０４０は、順位が所定順位以上の作業対象を選択する音声については、その音圧が第１閾値以上である場合に入力操作として検出し、その音圧が第１閾値未満である場合には入力操作として検出しない。一方、入力検出部２０４０は、順位が所定順位未満の作業対象を選択する音声については、その音圧が第２閾値以上である場合に入力操作として検出し、その音圧が第２閾値未満である場合には入力操作として検出しない。つまり、順位が所定順位未満の作業対象を選択する音声は、その音圧が第１閾値以上であったとしても、第２閾値未満である場合には、入力操作として検出されないようにする。
【０１８７】
［実施形態３］
図２２は、実施形態３の情報処理装置２０００の機能構成を例示するブロック図である。以下で説明する事項を除き、実施形態３の情報処理装置２０００は、実施形態１又は実施形態２の情報処理装置２０００と同様の機能を有する。
【０１８８】
本実施形態では、入力検出部２０４０によって検出される入力操作が、時計型デバイス６０の傾きを利用した入力操作（図１５参照）であることを前提とする。実施形態３の情報処理装置２０００は、操作範囲決定部２０８０を有する。操作範囲決定部２０８０は、操作画像２０を選択するための時計型デバイス６０の傾きの範囲全体を、各操作画像２０に分割して割り当てる（図１５の範囲６４−１から範囲６４−３）。これは例えば、実施形態２で説明した、エリア９０を部分エリア９２に分割して各操作画像２０に割り当てる処理と、同様の目的の処理である。
【０１８９】
図２３は、操作範囲決定部２０８０によって決定される操作範囲を例示する図である。操作範囲決定部２０８０は、全体範囲６６を分割することで、複数の範囲６４を生成する。そして、操作範囲決定部２０８０は、各範囲６４に操作画像２０を割り当てる。或る範囲６４に入るように時計型デバイス６０が傾けられると、その範囲６４に対応する操作画像２０が選択された状態となる。
【０１９０】
例えば操作範囲決定部２０８０は、表示画面５０に表示させる操作画像２０の数で、全体範囲６６を等分することで、範囲６４を生成する。各操作画像２０に対応する範囲６４の大きさを等しくする。
【０１９１】
図２４は、操作画像２０の数に応じて範囲６４の大きさが決定されるケースを例示する図である。図２４の上段の例において、提示条件を満たす操作画像２０の数は３つである。そのため、全体範囲６６が３分割されている。一方、図２４の下段の例において、提示条件を満たす操作画像２０の数は５つである。そのため、全体範囲６６が５分割されている。
【０１９２】
＜範囲６４と操作画像２０の対応付け＞
範囲６４と操作画像２０との対応付けは、実施形態２で説明した部分エリア９２と操作画像２０との対応付けと同様に実現することができる。例えば、範囲６４と操作画像２０それぞれについて順位が決定され、同一の順位の範囲６４と操作画像２０とが互いに対応づけられる。操作画像２０の順位付けは、例えばセンサ範囲の所定位置に近い作業対象に対応する操作画像２０ほど高い順位が割り当てられるように行われる。
【０１９３】
範囲６４の順位は、ユーザにとって楽な姿勢となる表示画面６２ほど順位を高くすることが好ましい。例えば範囲６４の順位は、全体範囲６６の中心に近いほど高くする。操作画像２０の順位を決める方法は、実施形態２で説明した方法と同様である。
【０１９４】
ここで本実施形態がレイアウト決定部２０６０を有する場合、レイアウト決定部２０６０は、表示画面５０における操作画像２０のレイアウトを、操作画像２０と範囲６４との対応付けに基づいて決めることが好適である。こうすることで、ユーザは、表示画面５０に表示される操作画像２０の位置関係を参照しながら時計型デバイス６０を傾けることで、所望の操作画像２０を選択することができるようになる。
【０１９５】
図２５は、操作画像２０のレイアウトが、操作画像２０と範囲６４との対応付けに基づいて決められるケースを例示する図である。図２５において、範囲６４に対応づけられる操作画像２０は、上から順に操作画像２０−１、操作画像２０−２、及び操作画像２０−３となっている。そのため、レイアウト決定部２０６０は、エリア９０を縦一列に３分割し、上から順に操作画像２０−１、操作画像２０−２、及び操作画像２０−３を割り当てている。
【０１９６】
図２５の表示画面５０を見たユーザは、腕を上に傾けると操作画像２０−１が選択され、腕を傾けなければ操作画像２０−２が選択され、腕を下に傾ければ操作画像２０−３が選択されるということを、直感的に把握することができる。そのため、ユーザにとって入力操作が容易になり、ユーザの作業効率が向上する。
【０１９７】
なお範囲６４の大きさは、全て同じ大きさであってもよいし、互いに異なっていてもよい。範囲６４の大きさを互いに異ならせる方法は、部分エリア９２の大きさを互いに異ならせる方法（実施形態２参照）と同様である。例えば、操作範囲決定部２０８０は、順位が高い範囲６４ほどその大きさを大きくする。
【０１９８】
＜ハードウエア構成の例＞
実施形態３の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。
【０１９９】
［実施形態４］
図２６は、実施形態４の情報処理装置２０００の機能構成を例示するブロック図である。以下で説明する事項を除き、実施形態４の情報処理装置２０００は、実施形態１から３のいずれかの情報処理装置２０００と同様の機能を有する。
【０２００】
実施形態４の情報処理装置２０００は、第２提示制御部２１００を有する。第２提示制御部２１００は、対応する操作画像２０が表示画面５０に表示されていない作業対象について、その作業対象に対応する操作画像２０が表示画面５０に表示されるようにするためのガイドを、表示画面５０に表示させる。
【０２０１】
図２７は、表示画面５０に表示されるガイドを例示する図である。図２７において、ガイド１６０−１は、物品Ａが位置する方向を示すガイドである。一方、ガイド１６０−２は、物品Ｂが位置する方向を示すガイドである。
【０２０２】
作業対象へ向かう方向を表すガイド１６０の矢印の方向は、例えば、撮像範囲１３２の中心から作業対象の位置へ向かう方向で表される。ただし、ガイド１６０の矢印の方向は、上下左右の４方向のいずれか一つなどで簡略化されてもよい。例えば上下左右の４方向で簡略化される場合、提示制御部２０２０は、撮像範囲１３２の中心から作業対象の位置へ向かう方向を、上下方向の成分と、左右方向の成分に分解する。そして、上下方向の成分と左右方向の成分のうち、いずれか大きい方を、ガイド１６０の矢印の方向として用いる。
【０２０３】
ここで、ガイド１６０の矢印の方向を決定する処理は、例えば、カメラ１３０によって生成される撮像画像１３４に含まれるマーカ８０を利用して、以下のように行われる。なお、図２７では、図を見やすくするため、カメラ１３０の撮像範囲１３２に含まれるマーカ８０のみを図示している。
【０２０４】
まず提示制御部２０２０は、撮像画像１３４からマーカ８０を検出して画像解析を行うことで、前述した所定空間を特定する。さらに提示制御部２０２０は、撮像範囲１３２を表す部分空間を特定する。ここで、図２７における撮像範囲１３２は、カメラ１３０の撮像範囲（部分空間）が、平面視した棚７０と交わる部分である。そこで提示制御部２０２０は、上記部分空間と平面視した棚７０とが交わる部分を特定することで、撮像範囲１３２を特定する。そして、提示制御部２０２０は、撮像範囲１３２の所定位置から、作業情報に示される作業対象の位置へ向かう方向を算出し、これをガイド１６０の矢印の方向とする。
【０２０５】
＜ハードウエア構成の例＞
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。
【０２０６】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
【０２０７】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．  ユーザが行う作業の対象となる作業対象を示す作業情報を取得し、前記取得した作業情報に示される作業対象の中から、提示条件を満たす作業対象を特定し、前記特定された作業対象を選択するための操作画像を、操作可能な態様で、ヘッドマウントディスプレイに対応づけられた表示画面に表示させる提示制御手段と、
前記表示された操作画像に対する入力操作を検出する入力検出手段と、を有する情報処理装置。
２．  対応する前記操作画像が前記表示画面に表示されていない作業対象についての前記提示条件は、その操作画像の表示を開始する条件である提示開始条件を満たすことを含み、
前記提示制御手段は、対応する前記操作画像が前記表示画面に表示されていない作業対象について、前記提示開始条件が満たされるか否かを判定し、前記提示開始条件を満たす前記作業対象に対応する前記操作画像を、操作可能な態様で前記表示画面に表示させる、１．に記載の情報処理装置。
３．  対応する前記操作画像が前記表示画面に表示されている作業対象についての前記提示条件は、その操作画像の表示を終了する条件である提示終了条件を満たさないことを含み、
前記提示制御手段は、対応する前記操作画像が前記表示画面に表示されている作業対象について、前記提示終了条件を満たすか否かを判定し、前記作業対象について前記提示終了条件が満たされる場合、前記作業対象に対応する前記操作画像を、前記表示画面に表示させないか又は操作不可能な態様で前記表示画面に表示させる、２．に記載の情報処理装置。
４．  前記作業対象の提示終了条件は、その作業対象について前記提示開始条件が満たされなくなった後、所定の時間が経過することを含む、３．に記載の情報処理装置。
５．  前記作業対象の提示終了条件は、その作業対象について前記提示開始条件が満たされなくなった後、その作業対象以外のいずれか１つ以上の作業対象について前記提示開始条件が満たされることを含む、３．に記載の情報処理装置。
６．  前記提示制御手段は、前記ヘッドマウントディスプレイに対応づけられたカメラによって生成される撮像画像に人の所定部位が含まれるか否かを判定し、前記所定部位が前記撮像画像に含まれると判定した場合に、前記提示条件を満たす前記操作画像を、前記表示画面に表示させる、１．乃至５．いずれか一つに記載の情報処理装置。
７．  前記作業対象の前記提示開始条件は、その作業対象がセンサによって定まる所定範囲に存在することを含む、２．乃至６．いずれか一つに記載の情報処理装置。
８．  前記所定範囲は、前記ヘッドマウントディスプレイを装着するユーザの周囲を撮像するカメラの撮像範囲である、７．に記載の情報処理装置。
９．  前記提示制御手段は、前記ヘッドマウントディスプレイのユーザに身につけられたセンサから得られる計測値に基づいて、前記ユーザの健康状態を推定し、
前記作業対象の前記提示開始条件は、前記ユーザの健康状態が所定の条件を満たすことを含む、２．乃至６．いずれか一つに記載の情報処理装置。
１０．  前記入力検出手段は、前記ヘッドマウントディスプレイのユーザに身につけられているデバイスの傾きに基づいて、前記操作画像の内のいずれか１つを選択する操作を検出する、１．乃至９．いずれか一つに記載の情報処理装置。
１１．  前記入力検出手段は、前記操作画像を選択する入力操作、及びその選択を確定させる入力操作を検出し、
前記提示制御手段は、
センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記所定範囲の所定位置に最も近い位置に存在する作業対象に対応する操作画像が選択された状態にする、１．乃至１０．いずれか一つに記載の情報処理装置。
１２．  前記表示画面上の所定の範囲を複数の部分範囲に分割し、各前記部分範囲に前記操作画像を対応付けることで、前記表示画面に表示させる前記操作画像のレイアウトを決定するレイアウト決定手段を有し、
前記提示制御手段は、前記レイアウト決定手段によって決定されるレイアウトに従って、前記操作画像を、前記表示画面に表示させる、１．乃至１１．いずれか一つに記載の情報処理装置。
１３．  前記レイアウト決定手段は、前記部分範囲の数を、前記提示条件を満たす前記操作画像の数と等しい数にする、１２．に記載の情報処理装置。
１４．  各前記部分範囲には、所定の規則に応じた順位が割り当てられ、
前記提示制御手段は、センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記レイアウト決定手段は、
前記ヘッドマウントディスプレイに対応づけられたカメラの撮像範囲の所定位置に近い作業対象ほど高い順位となるように、前記提示条件を満たす各前記作業対象に順位を割り当て、
前記割り当てられた順位が高い作業対象に対応する前記操作画像ほど、前記割り当てられた順位が高い前記部分範囲に対応づけられるように、前記部分範囲と前記操作画像との対応付けを行う、１２．又は１３．に記載の情報処理装置。
１５．  前記レイアウト決定手段は、前記割り当てられた順位が最も高い前記部分範囲の大きさを、他の前記部分範囲の大きさよりも大きくする、１４．に記載の情報処理装置。
１６．  前記デバイスの傾きの範囲を分割して複数の部分範囲を生成し、各前記部分範囲に対して前記操作画像を割り当てる操作範囲決定手段を有し、
前記入力検出手段は、前記デバイスの傾きを検出し、前記検出された傾きが含まれる前記部分範囲に対応する前記操作画像が選択されたことを検出する、１０．に記載の情報処理装置。
１７．  各前記部分範囲には、所定の規則に応じた順位が割り当てられ、
前記提示制御手段は、センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記操作範囲決定手段は、
前記ヘッドマウントディスプレイに対応づけられたカメラの撮像範囲の所定位置に近い作業対象ほど高い順位となるように、前記提示条件を満たす各前記作業対象に順位を割り当て、
前記割り当てられた順位が高い作業対象に対応する前記操作画像ほど、前記割り当てられた順位が高い前記部分範囲に対応づけられるように、前記部分範囲と前記操作画像との対応付けを行う、１６．に記載の情報処理装置。
１８．  前記操作範囲決定手段は、前記割り当てられた順位が最も高い前記部分範囲の大きさを、他の前記部分範囲の大きさよりも大きくする、１７．に記載の情報処理装置。
１９．
ユーザが行う作業の対象となる作業対象を示す作業情報を用いて、提示条件を満たす作業対象を特定し、前記特定された作業対象を表す音声を、ヘッドマウントディスプレイに対応づけられたスピーカに出力させる提示制御手段と、
前記提示条件を満たす作業対象についての入力操作を検出する入力検出手段と、を有する情報処理装置。
【０２０８】
２０．  コンピュータによって実行させる制御方法であって、
ユーザが行う作業の対象となる作業対象を示す作業情報を用いて、提示条件を満たす作業対象を特定し、前記特定された作業対象を選択するための操作画像を、操作可能な態様で、ヘッドマウントディスプレイに対応づけられた表示画面に表示させる提示制御ステップと、
前記表示された操作画像に対する入力操作を検出する入力検出ステップと、を有する制御方法。
２１．  対応する前記操作画像が前記表示画面に表示されていない作業対象についての前記提示条件は、その操作画像の表示を開始する条件である提示開始条件を満たすことを含み、
前記提示制御ステップにおいて、対応する前記操作画像が前記表示画面に表示されていない作業対象について、前記提示開始条件が満たされるか否かを判定し、前記提示開始条件を満たす前記作業対象に対応する前記操作画像を、操作可能な態様で前記表示画面に表示させる、２０．に記載の制御方法。
２２．  対応する前記操作画像が前記表示画面に表示されている作業対象についての前記提示条件は、その操作画像の表示を終了する条件である提示終了条件を満たさないことを含み、
前記提示制御ステップにおいて、対応する前記操作画像が前記表示画面に表示されている作業対象について、前記提示終了条件を満たすか否かを判定し、前記作業対象について前記提示終了条件が満たされる場合、前記作業対象に対応する前記操作画像を、前記表示画面に表示させないか又は操作不可能な態様で前記表示画面に表示させる、２１．に記載の制御方法。
２３．  前記作業対象の提示終了条件は、その作業対象について前記提示開始条件が満たされなくなった後、所定の時間が経過することを含む、２２．に記載の制御方法。
２４．  前記作業対象の提示終了条件は、その作業対象について前記提示開始条件が満たされなくなった後、その作業対象以外のいずれか１つ以上の作業対象について前記提示開始条件が満たされることを含む、２２．に記載の制御方法。
２５．  前記提示制御ステップにおいて、前記ヘッドマウントディスプレイに対応づけられたカメラによって生成される撮像画像に人の所定部位が含まれるか否かを判定し、前記所定部位が前記撮像画像に含まれると判定した場合に、前記提示条件を満たす前記操作画像を、前記表示画面に表示させる、２０．乃至２４．いずれか一つに記載の制御方法。
２６．  前記作業対象の前記提示開始条件は、その作業対象がセンサによって定まる所定範囲に存在することを含む、２１．乃至２５．いずれか一つに記載の制御方法。
２７．  前記所定範囲は、前記ヘッドマウントディスプレイを装着するユーザの周囲を撮像するカメラの撮像範囲である、２６．に記載の制御方法。
２８．  前記提示制御ステップにおいて、前記ヘッドマウントディスプレイのユーザに身につけられたセンサから得られる計測値に基づいて、前記ユーザの健康状態を推定し、
前記作業対象の前記提示開始条件は、前記ユーザの健康状態が所定の条件を満たすことを含む、２１．乃至２５．いずれか一つに記載の制御方法。
２９．  前記入力検出ステップにおいて、前記ヘッドマウントディスプレイのユーザに身につけられているデバイスの傾きに基づいて、前記操作画像の内のいずれか１つを選択する操作を検出する、２０．乃至２８．いずれか一つに記載の制御方法。
３０．  前記入力検出ステップにおいて、前記操作画像を選択する入力操作、及びその選択を確定させる入力操作を検出し、
前記提示制御ステップにおいて、
センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記所定範囲の所定位置に最も近い位置に存在する作業対象に対応する操作画像が選択された状態にする、２０．乃至２９．いずれか一つに記載の制御方法。
３１．  前記表示画面上の所定の範囲を複数の部分範囲に分割し、各前記部分範囲に前記操作画像を対応付けることで、前記表示画面に表示させる前記操作画像のレイアウトを決定するレイアウト決定ステップを有し、
前記提示制御ステップにおいて、前記レイアウト決定ステップによって決定されるレイアウトに従って、前記操作画像を、前記表示画面に表示させる、２０．乃至３０．いずれか一つに記載の制御方法。
３２．  前記レイアウト決定ステップにおいて、前記部分範囲の数を、前記提示条件を満たす前記操作画像の数と等しい数にする、３１．に記載の制御方法。
３３．  各前記部分範囲には、所定の規則に応じた順位が割り当てられ、
前記提示制御ステップにおいて、センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記レイアウト決定ステップにおいて、
前記ヘッドマウントディスプレイに対応づけられたカメラの撮像範囲の所定位置に近い作業対象ほど高い順位となるように、前記提示条件を満たす各前記作業対象に順位を割り当て、
前記割り当てられた順位が高い作業対象に対応する前記操作画像ほど、前記割り当てられた順位が高い前記部分範囲に対応づけられるように、前記部分範囲と前記操作画像との対応付けを行う、３１．又は３２．に記載の制御方法。
３４．  前記レイアウト決定ステップにおいて、前記割り当てられた順位が最も高い前記部分範囲の大きさを、他の前記部分範囲の大きさよりも大きくする、３３．に記載の制御方法。
３５．  前記デバイスの傾きの範囲を分割して複数の部分範囲を生成し、各前記部分範囲に対して前記操作画像を割り当てる操作範囲決定ステップを有し、
前記入力検出ステップにおいて、前記デバイスの傾きを検出し、前記検出された傾きが含まれる前記部分範囲に対応する前記操作画像が選択されたことを検出する、２９．に記載の制御方法。
３６．  各前記部分範囲には、所定の規則に応じた順位が割り当てられ、
前記提示制御ステップにおいて、センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記操作範囲決定ステップにおいて、
前記ヘッドマウントディスプレイに対応づけられたカメラの撮像範囲の所定位置に近い作業対象ほど高い順位となるように、前記提示条件を満たす各前記作業対象に順位を割り当て、
前記割り当てられた順位が高い作業対象に対応する前記操作画像ほど、前記割り当てられた順位が高い前記部分範囲に対応づけられるように、前記部分範囲と前記操作画像との対応付けを行う、３５．に記載の制御方法。
３７．  前記操作範囲決定ステップにおいて、前記割り当てられた順位が最も高い前記部分範囲の大きさを、他の前記部分範囲の大きさよりも大きくする、３６．に記載の制御方法。
３８．  ユーザが行う作業の対象となる作業対象を示す作業情報を用いて、提示条件を満たす作業対象を特定し、前記特定された作業対象を表す音声を、ヘッドマウントディスプレイに対応づけられたスピーカに出力させる提示制御ステップと、
前記提示条件を満たす作業対象についての入力操作を検出する入力検出ステップと、を有する制御方法。
【０２０９】
３９．  ２０．乃至３８．いずれか一つに記載の方法の各ステップをコンピュータに実行させるプログラム。
【０２１０】
この出願は、２０１７年９月２０日に出願された日本出願特願２０１７−１７９８４９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2019059044.tif 000003
【図２】
2019059044.tif 000004
【図３】
2019059044.tif 000005
【図４】
2019059044.tif 000006
【図５】
2019059044.tif 000007
【図６】
2019059044.tif 000008
【図７】
2019059044.tif 000009
【図８】
2019059044.tif 000010
【図９】
2019059044.tif 000011
【図１０】
2019059044.tif 000012
【図１１】
2019059044.tif 000013
【図１２】
2019059044.tif 000014
【図１３】
2019059044.tif 000015
【図１４】
2019059044.tif 000016
【図１５】
2019059044.tif 000017
【図１６】
2019059044.tif 000018
【図１７】
2019059044.tif 000019
【図１８】
2019059044.tif 000020
【図１９】
2019059044.tif 000021
【図２０】
2019059044.tif 000022
【図２１】
2019059044.tif 000023
【図２２】
2019059044.tif 000024
【図２３】
2019059044.tif 000025
【図２４】
2019059044.tif 000026
【図２５】
2019059044.tif 000027
【図２６】
2019059044.tif 000028
【図２７】
2019059044.tif 000029
【手続補正書】
【提出日】令和2年3月17日(2020.3.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザが行う作業の対象となる作業対象を示す作業情報を取得し、前記取得した作業情報に示される作業対象の中から、提示条件を満たす作業対象を特定し、前記特定された作業対象を選択するための操作画像を、操作可能な態様で、ヘッドマウントディスプレイに対応づけられた表示画面に表示させる提示制御手段と、
前記表示された操作画像に対する入力操作を検出する入力検出手段と、を有する情報処理装置。
【請求項２】
対応する前記操作画像が前記表示画面に表示されていない作業対象についての前記提示条件は、その操作画像の表示を開始する条件である提示開始条件を満たすことを含み、
前記提示制御手段は、対応する前記操作画像が前記表示画面に表示されていない作業対象について、前記提示開始条件が満たされるか否かを判定し、前記提示開始条件を満たす前記作業対象に対応する前記操作画像を、操作可能な態様で前記表示画面に表示させる、請求項１に記載の情報処理装置。
【請求項３】
対応する前記操作画像が前記表示画面に表示されている作業対象についての前記提示条件は、その操作画像の表示を終了する条件である提示終了条件を満たさないことを含み、
前記提示制御手段は、対応する前記操作画像が前記表示画面に表示されている作業対象について、前記提示終了条件を満たすか否かを判定し、前記作業対象について前記提示終了条件が満たされる場合、前記作業対象に対応する前記操作画像を、前記表示画面に表示させないか又は操作不可能な態様で前記表示画面に表示させる、請求項２に記載の情報処理装置。
【請求項４】
前記作業対象の提示終了条件は、その作業対象について前記提示開始条件が満たされなくなった後、所定の時間が経過することを含む、請求項３に記載の情報処理装置。
【請求項５】
前記作業対象の提示終了条件は、その作業対象について前記提示開始条件が満たされなくなった後、その作業対象以外のいずれか１つ以上の作業対象について前記提示開始条件が満たされることを含む、請求項３に記載の情報処理装置。
【請求項６】
前記提示制御手段は、前記ヘッドマウントディスプレイに対応づけられたカメラによって生成される撮像画像に人の所定部位が含まれるか否かを判定し、前記所定部位が前記撮像画像に含まれると判定した場合に、前記提示条件を満たす前記操作画像を、前記表示画面に表示させる、請求項１乃至５いずれか一項に記載の情報処理装置。
【請求項７】
前記作業対象の前記提示開始条件は、その作業対象がセンサによって定まる所定範囲に存在することを含む、請求項２乃至６いずれか一項に記載の情報処理装置。
【請求項８】
前記所定範囲は、前記ヘッドマウントディスプレイを装着するユーザの周囲を撮像するカメラの撮像範囲である、請求項７に記載の情報処理装置。
【請求項９】
前記提示制御手段は、前記ヘッドマウントディスプレイのユーザに身につけられたセンサから得られる計測値に基づいて、前記ユーザの健康状態を推定し、
前記作業対象の前記提示開始条件は、前記ユーザの健康状態が所定の条件を満たすことを含む、請求項２乃至６いずれか一項に記載の情報処理装置。
【請求項１０】
前記入力検出手段は、前記ヘッドマウントディスプレイのユーザに身につけられているデバイスの傾きに基づいて、前記操作画像の内のいずれか１つを選択する操作を検出する、請求項１乃至９いずれか一項に記載の情報処理装置。
【請求項１１】
前記入力検出手段は、前記操作画像を選択する入力操作、及びその選択を確定させる入力操作を検出し、
前記提示制御手段は、
センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記所定範囲の所定位置に最も近い位置に存在する作業対象に対応する操作画像が選択された状態にする、請求項１乃至１０いずれか一項に記載の情報処理装置。
【請求項１２】
前記表示画面上の所定の範囲を複数の部分範囲に分割し、各前記部分範囲に前記操作画像を対応付けることで、前記表示画面に表示させる前記操作画像のレイアウトを決定するレイアウト決定手段を有し、
前記提示制御手段は、前記レイアウト決定手段によって決定されるレイアウトに従って、前記操作画像を、前記表示画面に表示させる、請求項１乃至１１いずれか一項に記載の情報処理装置。
【請求項１３】
前記レイアウト決定手段は、前記部分範囲の数を、前記提示条件を満たす前記操作画像の数と等しい数にする、請求項１２に記載の情報処理装置。
【請求項１４】
各前記部分範囲には、所定の規則に応じた順位が割り当てられ、
前記提示制御手段は、センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記レイアウト決定手段は、
前記ヘッドマウントディスプレイに対応づけられたカメラの撮像範囲の所定位置に近い作業対象ほど高い順位となるように、前記提示条件を満たす各前記作業対象に順位を割り当て、
前記割り当てられた順位が高い作業対象に対応する前記操作画像ほど、前記割り当てられた順位が高い前記部分範囲に対応づけられるように、前記部分範囲と前記操作画像との対応付けを行う、請求項１２又は１３に記載の情報処理装置。
【請求項１５】
前記レイアウト決定手段は、前記割り当てられた順位が最も高い前記部分範囲の大きさを、他の前記部分範囲の大きさよりも大きくする、請求項１４に記載の情報処理装置。
【請求項１６】
前記デバイスの傾きの範囲を分割して複数の部分範囲を生成し、各前記部分範囲に対して前記操作画像を割り当てる操作範囲決定手段を有し、
前記入力検出手段は、前記デバイスの傾きを検出し、前記検出された傾きが含まれる前記部分範囲に対応する前記操作画像が選択されたことを検出する、請求項１０に記載の情報処理装置。
【請求項１７】
各前記部分範囲には、所定の規則に応じた順位が割り当てられ、
前記提示制御手段は、センサによって定まる所定範囲に存在する前記作業対象について、その作業対象に対応する前記操作画像を前記表示画面に表示させ、
前記操作範囲決定手段は、
前記ヘッドマウントディスプレイに対応づけられたカメラの撮像範囲の所定位置に近い作業対象ほど高い順位となるように、前記提示条件を満たす各前記作業対象に順位を割り当て、
前記割り当てられた順位が高い作業対象に対応する前記操作画像ほど、前記割り当てられた順位が高い前記部分範囲に対応づけられるように、前記部分範囲と前記操作画像との対応付けを行う、請求項１６に記載の情報処理装置。
【請求項１８】
前記操作範囲決定手段は、前記割り当てられた順位が最も高い前記部分範囲の大きさを、他の前記部分範囲の大きさよりも大きくする、請求項１７に記載の情報処理装置。
【請求項１９】
ユーザが行う作業の対象となる作業対象を示す作業情報を用いて、提示条件を満たす作業対象を特定し、前記特定された作業対象を表す音声を、ヘッドマウントディスプレイに対応づけられたスピーカに出力させる提示制御手段と、
前記提示条件を満たす作業対象についての入力操作を検出する入力検出手段と、を有する情報処理装置。
【請求項２０】
コンピュータによって実行させる制御方法であって、
ユーザが行う作業の対象となる作業対象を示す作業情報を用いて、提示条件を満たす作業対象を特定し、前記特定された作業対象を選択するための操作画像を、操作可能な態様で、ヘッドマウントディスプレイに対応づけられた表示画面に表示させる提示制御ステップと、
前記表示された操作画像に対する入力操作を検出する入力検出ステップと、を有する制御方法。
【請求項２１】
ユーザが行う作業の対象となる作業対象を示す作業情報を用いて、提示条件を満たす作業対象を特定し、前記特定された作業対象を表す音声を、ヘッドマウントディスプレイに対応づけられたスピーカに出力させる提示制御ステップと、
前記提示条件を満たす作業対象についての入力操作を検出する入力検出ステップと、を有する制御方法。
【請求項２２】
請求項２０又は２１に記載の方法の各ステップをコンピュータに実行させるプログラム。
【国際調査報告】
2019059044.tif 000030
2019059044.tif 000031
2019059044.tif 000032
2019059044.tif 000033