(57)【要約】【課題】  画面に含まれる操作入力部に対する操作が音声によって容易に入力されることができる操作入力装置および操作入力プログラムを提供する。【解決手段】  操作入力装置は、操作が入力される操作入力部を含む画面が表示部に表示されている場合に、マイクを介した音声による操作を補助するための音声操作補助文字列を操作入力部に対応付けて表示し（Ｓ１２５）、マイクから入力された音声によって示される音声操作補助文字列に対応付けられた操作入力部に対する操作を受け付ける（Ｓ１２７）ことを特徴とする。【選択図】  図５
2019212072.tif 000002
【特許請求の範囲】
【請求項１】
表示デバイスと、
音声入力デバイスと、
操作が入力される操作入力部を含む画面が前記表示デバイスに表示されている場合に、前記音声入力デバイスを介した音声による操作を補助するための音声操作補助文字列を前記操作入力部に対応付けて表示する文字列表示手段と、
前記音声入力デバイスから入力された音声によって示される前記音声操作補助文字列に対応付けられた前記操作入力部に対する操作を受け付ける操作受付手段と
を備えることを特徴とする操作入力装置。
【請求項２】
撮像デバイスと、
前記撮像デバイスによって撮影した利用者の画像に基づいて前記画面に対する前記利用者の視点の位置を判定する視点判定手段と
を備え、
前記文字列表示手段は、前記画面に前記視点が存在すると前記視点判定手段によって判定された場合に前記音声操作補助文字列を前記画面に表示することを特徴とする請求項１に記載の操作入力装置。
【請求項３】
前記文字列表示手段は、前記画面における特定の大きさの範囲内に前記視点がとどまっている時間が特定の時間以上であると前記視点判定手段によって判定された場合に前記音声操作補助文字列を表示することを特徴とする請求項２に記載の操作入力装置。
【請求項４】
前記文字列表示手段は、前記画面において区分された複数の領域のうち、前記視点が存在すると前記視点判定手段によって判定された前記領域に存在する前記操作入力部のみに対応付けて、前記音声操作補助文字列を表示することを特徴とする請求項２または請求項３に記載の操作入力装置。
【請求項５】
前記文字列表示手段は、前記音声操作補助文字列を前記画面に透過状態で表示することを特徴とする請求項１から請求項４までのいずれかに記載の操作入力装置。
【請求項６】
表示デバイスおよび音声入力デバイスを備えるコンピューターに、
操作が入力される操作入力部を含む画面が前記表示デバイスに表示されている場合に、前記音声入力デバイスを介した音声による操作を補助するための音声操作補助文字列を前記操作入力部に対応付けて表示する文字列表示手段と、
前記音声入力デバイスから入力された音声によって示される前記音声操作補助文字列に対応付けられた前記操作入力部に対する操作を受け付ける操作受付手段と
を実現させることを特徴とする操作入力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作が入力される操作入力装置および操作入力プログラムに関する。
【背景技術】
【０００２】
従来の操作入力装置として、音声による操作が入力されるものが知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−０４１０８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の操作入力装置においては、画面に含まれる操作入力部に対する操作が音声によって入力されることが困難であるという問題がある。
【０００５】
そこで、本発明は、画面に含まれる操作入力部に対する操作が音声によって容易に入力されることができる操作入力装置および操作入力プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の操作入力装置は、表示デバイスと、音声入力デバイスと、操作が入力される操作入力部を含む画面が前記表示デバイスに表示されている場合に、前記音声入力デバイスを介した音声による操作を補助するための音声操作補助文字列を前記操作入力部に対応付けて表示する文字列表示手段と、前記音声入力デバイスから入力された音声によって示される前記音声操作補助文字列に対応付けられた前記操作入力部に対する操作を受け付ける操作受付手段とを備えることを特徴とする。
【０００７】
この構成により、本発明の操作入力装置は、操作が入力される操作入力部を含む画面が表示デバイスに表示されている場合に、音声による操作を補助するための音声操作補助文字列を操作入力部に対応付けて表示し、音声入力デバイスから入力された音声によって示される音声操作補助文字列に対応付けられた操作入力部に対する操作を受け付けるので、操作入力部に対する操作が音声によって容易に入力されることができる。
【０００８】
本発明の操作入力装置は、撮像デバイスと、前記撮像デバイスによって撮影した利用者の画像に基づいて前記画面に対する前記利用者の視点の位置を判定する視点判定手段とを備え、前記文字列表示手段は、前記画面に前記視点が存在すると前記視点判定手段によって判定された場合に前記音声操作補助文字列を前記画面に表示しても良い。
【０００９】
この構成により、本発明の操作入力装置は、利用者の視点が画面に存在する場合に音声操作補助文字列を画面に表示するので、音声操作補助文字列が非表示の状態から表示の状態に変化することによって音声操作補助文字列が利用者によって気付かれ易くすることができ、その結果、音声操作補助文字列に対応付けられた操作入力部に対する操作が音声によって容易に入力されることができる。
【００１０】
本発明の操作入力装置において、前記文字列表示手段は、前記画面における特定の大きさの範囲内に前記視点がとどまっている時間が特定の時間以上であると前記視点判定手段によって判定された場合に前記音声操作補助文字列を表示しても良い。
【００１１】
この構成により、本発明の操作入力装置は、画面における特定の大きさの範囲内に利用者の視点がとどまっている時間が特定の時間以上である場合に音声操作補助文字列を表示するので、利用者の視点が画面上を単に通過するだけでは音声操作補助文字列を表示せず、画面の視認性を向上することができる。
【００１２】
本発明の操作入力装置において、前記文字列表示手段は、前記画面において区分された複数の領域のうち、前記視点が存在すると前記視点判定手段によって判定された前記領域に存在する前記操作入力部のみに対応付けて、前記音声操作補助文字列を表示しても良い。
【００１３】
この構成により、本発明の操作入力装置は、画面において区分された複数の領域のうち、利用者の視点が存在する領域に存在する操作入力部に対応付けて、音声操作補助文字列を表示するので、画面における利用者の視点の位置を正確に判定することができなくても、音声操作補助文字列に対応付けられた操作入力部に対する操作が音声によって容易に入力されることができる。また、本発明の操作入力装置は、画面において区分された複数の領域のうち、利用者の視点が存在する領域に存在する操作入力部のみに対応付けて、音声操作補助文字列を表示するので、画面の全ての領域に存在する操作入力部に対応付けて音声操作補助文字列を表示する構成と比較して、画面の視認性を向上することができる。
【００１４】
本発明の操作入力装置において、前記文字列表示手段は、前記音声操作補助文字列を前記画面に透過状態で表示しても良い。
【００１５】
この構成により、本発明の操作入力装置は、音声操作補助文字列を画面に透過状態で表示するので、画面の視認性を向上することができる。
【００１６】
本発明の操作入力プログラムは、表示デバイスおよび音声入力デバイスを備えるコンピューターに、操作が入力される操作入力部を含む画面が前記表示デバイスに表示されている場合に、前記音声入力デバイスを介した音声による操作を補助するための音声操作補助文字列を前記操作入力部に対応付けて表示する文字列表示手段と、前記音声入力デバイスから入力された音声によって示される前記音声操作補助文字列に対応付けられた前記操作入力部に対する操作を受け付ける操作受付手段とを実現させることを特徴とする。
【００１７】
この構成により、本発明の操作入力プログラムを実行するコンピューターは、操作が入力される操作入力部を含む画面が表示デバイスに表示されている場合に、音声による操作を補助するための音声操作補助文字列を操作入力部に対応付けて表示し、音声入力デバイスから入力された音声によって示される音声操作補助文字列に対応付けられた操作入力部に対する操作を受け付けるので、操作入力部に対する操作が音声によって容易に入力されることができる。
【発明の効果】
【００１８】
本発明の操作入力装置および操作入力プログラムは、画面に含まれる操作入力部に対する操作が音声によって容易に入力されることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態に係るシステムのブロック図である。
【図２】図１に示す操作入力装置のブロック図である。
【図３】操作入力装置に入力された操作に応じて遠隔管理システムが画像形成装置を操作する場合の図１に示すシステムの動作のシーケンス図である。
【図４】図３に示す動作において表示される管理画面の一例を示す図である。
【図５】マイクを介した音声による操作が入力される場合の図２に示す操作入力装置の動作のフローチャートである。
【図６】図２に示す表示部に表示されている管理画面において区分された複数の領域の一例を示す図である。
【図７】図２に示す表示部に表示されている管理画面に表示される音声操作補助文字列の一例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２１】
まず、本発明の一実施の形態に係るシステムの構成について説明する。
【００２２】
図１は、本実施の形態に係るシステム１０のブロック図である。
【００２３】
図１に示すように、システム１０は、画像形成装置２０を備えている。システム１０は、画像形成装置２０以外にも、画像形成装置を１つ以上備えても良い。システム１０に含まれる画像形成装置は、例えば、ＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）、プリンター専用機、コピー専用機、ファックス専用機、スキャナー専用機などである。
【００２４】
システム１０は、システム１０に含まれる画像形成装置を遠隔地から管理する遠隔管理システム３０を備えている。遠隔管理システム３０は、少なくとも１台のコンピューターによって構成されている。遠隔管理システム３０は、例えば、システム１０に含まれる各画像形成装置の印刷枚数を示すカウンターや、システム１０に含まれる各画像形成装置のトナーの残量を遠隔地から管理したり、システム１０に含まれる各画像形成装置のファームウェアなどのソフトウェアを遠隔地から更新したりすることができる。
【００２５】
システム１０は、遠隔管理システム３０に対する操作が入力される操作入力装置４０を備えている。システム１０は、操作入力装置４０以外にも、操作入力装置４０と同様な操作入力装置を１つ以上備えても良い。
【００２６】
システム１０に含まれる画像形成装置と、遠隔管理システム３０と、システム１０に含まれる操作入力装置とは、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク１１を介して互いに通信可能に接続されている。
【００２７】
図２は、操作入力装置４０のブロック図である。
【００２８】
図２に示すように、操作入力装置４０は、種々の操作が入力される例えばボタンなどの操作デバイスである操作部４１と、種々の情報を表示する例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示デバイスである表示部４２と、音声を入力する音声入力デバイスであるマイク４３と、撮像デバイスであるカメラ４４と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部４５と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部４６と、操作入力装置４０全体を制御する制御部４７とを備えている。操作入力装置４０は、例えば、ノートＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などのＰＣ、タブレット、スマートフォンなどのコンピューターによって構成されても良い。
【００２９】
記憶部４６は、操作が入力されるための操作入力プログラム４６ａを記憶している。操作入力プログラム４６ａは、例えば、操作入力装置４０の製造段階で操作入力装置４０にインストールされていても良いし、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリーなどの外部の記憶媒体から操作入力装置４０に追加でインストールされても良いし、ネットワーク上から操作入力装置４０に追加でインストールされても良い。
【００３０】
制御部４７は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、制御部４７のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）とを備えている。制御部４７のＣＰＵは、記憶部４６または制御部４７のＲＯＭに記憶されているプログラムを実行する。
【００３１】
制御部４７は、操作入力プログラム４６ａを実行することによって、カメラ４４によって撮影した利用者の画像に基づいて画面に対する利用者の視点の位置を判定する視点判定手段４７ａと、操作が入力される操作入力部を含む画面が表示部４２に表示されている場合に、マイク４３を介した音声による操作を補助するための音声操作補助文字列を操作入力部に対応付けて表示する文字列表示手段４７ｂと、マイク４３から入力された音声によって示される音声操作補助文字列に対応付けられた操作入力部に対する操作を受け付ける操作受付手段４７ｃとを実現する。
【００３２】
次に、システム１０の動作について説明する。
【００３３】
まず、操作入力装置４０に入力された操作に応じて遠隔管理システム３０が画像形成装置を操作する場合のシステム１０の動作について説明する。
【００３４】
図３は、操作入力装置４０に入力された操作に応じて遠隔管理システム３０が画像形成装置を操作する場合のシステム１０の動作のシーケンス図である。
【００３５】
操作入力装置４０は、遠隔管理システム３０にアクセスすると、図３に示すように、画像形成装置を管理するための管理画面の情報を遠隔管理システム３０に要求する（Ｓ１０１）。
【００３６】
遠隔管理システム３０は、Ｓ１０１の要求を受けると、管理画面の情報を操作入力装置４０に送信する（Ｓ１０２）。
【００３７】
操作入力装置４０は、Ｓ１０２において管理画面の情報が送信されてくると、Ｓ１０２において送信されてきた情報に基づいた管理画面５０（図４参照。）を表示部４２に表示する（Ｓ１０３）。
【００３８】
図４は、Ｓ１０３において表示される管理画面５０の一例を示す図である。
【００３９】
図４に示す管理画面５０は、遠隔管理システム３０が管理している画像形成装置の情報を表示する装置情報表示部５１と、装置情報表示部５１に表示されている画像形成装置を選択する操作や、選択された画像形成装置に対して遠隔管理システム３０に各種の動作を実行させるための操作など、遠隔管理システム３０に対する各種の操作が入力される複数の操作入力部５２とを含んでいる。
【００４０】
図３に示すように、操作入力装置４０は、Ｓ１０３の処理の後、表示部４２に表示した管理画面に対する操作が入力されると、入力された操作に応じた情報を遠隔管理システム３０に送信する（Ｓ１０４）。なお、操作入力装置４０は、管理画面に対する操作として、操作部４１を介した操作以外に、後述するように、マイク４３を介した音声による操作を入力することができる。
【００４１】
遠隔管理システム３０は、Ｓ１０４において情報が送信されてくると、Ｓ１０４において送信されてきた情報に応じて動作する（Ｓ１０５）。例えば、遠隔管理システム３０は、システム１０に含まれる画像形成装置に対して特定の操作を実行する。
【００４２】
次に、マイク４３を介した音声による操作が入力される場合の操作入力装置４０の動作について説明する。
【００４３】
図５は、マイク４３を介した音声による操作が入力される場合の操作入力装置４０の動作のフローチャートである。
【００４４】
図５に示すように、視点判定手段４７ａは、表示部４２に表示されている画面に対する操作入力装置４０の利用者の視点の位置を、カメラ４４によって撮影した利用者の画像に基づいて判定する（Ｓ１２１）。ここで、視点判定手段４７ａは、カメラ４４によって撮影した利用者の画像に基づいて、利用者の視線を判定することができるので、この視線と、表示部４２に対するカメラ４４の位置とに基づいて、表示部４２に表示されている画面に対する利用者の視点の位置を判定することができる。
【００４５】
視点判定手段４７ａは、Ｓ１２１の処理の後、利用者の視点が表示部４２に表示されている画面上に存在するか否かを、Ｓ１２１における判定結果に基づいて判断する（Ｓ１２２）。
【００４６】
視点判定手段４７ａは、利用者の視点が表示部４２に表示されている画面上に存在しないとＳ１２２において判断すると、Ｓ１２１の処理を実行する。
【００４７】
視点判定手段４７ａは、利用者の視点が表示部４２に表示されている画面上に存在するとＳ１２２において判断すると、利用者の視点が特定の大きさの範囲（以下「特定大きさ範囲」という。）内にとどまっている時間が例えば数秒間など、特定の時間以上であるか否かを判断する（Ｓ１２３）。
【００４８】
視点判定手段４７ａは、利用者の視点が特定大きさ範囲内にとどまっている時間が特定の時間以上ではないとＳ１２３において判断すると、Ｓ１２１の処理を実行する。
【００４９】
視点判定手段４７ａは、利用者の視点が特定大きさ範囲内にとどまっている時間が特定の時間以上であるとＳ１２３において判断すると、表示部４２に表示されている画面において区分された複数の領域のいずれに利用者の視点が存在するかを、Ｓ１２１における判定結果に基づいて判定する（Ｓ１２４）。ここで、表示部４２に表示されている画面において区分された複数の領域のそれぞれの大きさは、特定大きさ範囲以上の大きさである。
【００５０】
図６は、表示部４２に表示されている管理画面５０において区分された複数の領域の一例を示す図である。
【００５１】
図６に示す管理画面５０は、中央の領域６１と、領域６１より上側の領域６２と、領域６１より下側の領域６３と、領域６１より左側の領域６４と、領域６１より右側の領域６５とに区分されている。
【００５２】
視点判定手段４７ａは、Ｓ１２４において、例えば、利用者の視点が領域６１〜６５のいずれに存在するかを判定する。
【００５３】
図５に示すように、文字列表示手段４７ｂは、Ｓ１２４の処理の後、利用者の視点が存在するとＳ１２４において判定された領域に存在する操作入力部のみに対応付けて音声操作補助文字列を透過状態で表示する（Ｓ１２５）。
【００５４】
図７は、表示部４２に表示されている管理画面５０に表示される音声操作補助文字列７１〜７４の一例を示す図である。
【００５５】
図７に示す管理画面５０において、音声操作補助文字列７１、７２、７３、７４は、それぞれ、文字列「Ｂ２」、「Ｂ３」、「Ｂ４」、「Ｂ５」である。音声操作補助文字列７１、７２、７３、７４は、それぞれ異なる画像形成装置を選択する操作を補助するための文字列である。なお、音声操作補助文字列７１、７２、７３、７４の具体的な文字列の内容は、文字列表示手段４７ｂによって、特定の基準に基づいて、都度、決定される。
【００５６】
図５に示すように、操作受付手段４７ｃは、Ｓ１２５の処理の後、Ｓ１２５において表示された音声操作補助文字列のいずれかを示す音声がマイク４３から入力されたか否かを判断する（Ｓ１２６）。
【００５７】
操作受付手段４７ｃは、Ｓ１２５において表示された音声操作補助文字列のいずれかを示す音声がマイク４３から入力されたとＳ１２６において判断すると、Ｓ１２６においてマイク４３から入力されたと判断した音声によって示される音声操作補助文字列に対応付けられた操作入力部に対する操作を受け付けて（Ｓ１２７）、Ｓ１２７において受け付けた操作に応じた情報を遠隔管理システム３０に送信する（Ｓ１２８）。なお、Ｓ１２８の処理は、Ｓ１０４（図３参照。）の処理に相当する。
【００５８】
操作受付手段４７ｃは、Ｓ１２８の処理の後、Ｓ１２６の処理を実行する。
【００５９】
文字列表示手段４７ｂは、Ｓ１２５において表示した音声操作補助文字列のいずれかを示す音声がマイク４３から入力されなかったとＳ１２６において判断されると、Ｓ１２５において音声操作補助文字列を表示してからの経過時間が特定の時間以上であるか否かを判断する（Ｓ１２９）。
【００６０】
操作受付手段４７ｃは、Ｓ１２５において音声操作補助文字列を表示してからの経過時間が特定の時間以上ではないとＳ１２９において判断されると、Ｓ１２６の処理を実行する。
【００６１】
文字列表示手段４７ｂは、Ｓ１２５において音声操作補助文字列を表示してからの経過時間が特定の時間以上であるとＳ１２９において判断すると、Ｓ１２５において表示した音声操作補助文字列の表示を終了する（Ｓ１３０）。
【００６２】
視点判定手段４７ａは、Ｓ１３０の処理の後、Ｓ１２１の処理を実行する。
【００６３】
以上に説明したように、操作入力装置４０は、操作が入力される操作入力部を含む画面が表示部４２に表示されている場合に、音声による操作を補助するための音声操作補助文字列を操作入力部に対応付けて表示し（Ｓ１２５）、マイク４３から入力された音声によって示される音声操作補助文字列に対応付けられた操作入力部に対する操作を受け付ける（Ｓ１２７）ので、操作入力部に対する操作が音声によって容易に入力されることができる。
【００６４】
操作入力装置４０は、利用者の視点が画面に存在する場合（Ｓ１２２でＹＥＳ）に音声操作補助文字列を画面に表示する（Ｓ１２５）ので、音声操作補助文字列が非表示の状態から表示の状態に変化することによって音声操作補助文字列が利用者によって気付かれ易くすることができ、その結果、音声操作補助文字列に対応付けられた操作入力部に対する操作が音声によって容易に入力されることができる。なお、操作入力装置４０は、利用者の視点が画面に存在するか否かにかかわらず、音声操作補助文字列を画面に表示しても良い。
【００６５】
操作入力装置４０は、画面において区分された複数の領域のうち、利用者の視点が存在する領域に存在する操作入力部に対応付けて、音声操作補助文字列を表示する（Ｓ１２５）ので、画面における利用者の視点の位置を正確に判定することができなくても、音声操作補助文字列に対応付けられた操作入力部に対する操作が音声によって容易に入力されることができる。なお、操作入力装置４０は、利用者の視点が存在する領域に存在する操作入力部の全てではなく、画面における利用者の視点の位置に存在する操作入力部のみに対応付けて音声操作補助文字列を表示しても良い。
【００６６】
音声操作補助文字列は、マイク４３を介した音声による操作を補助するための文字列であり、マイク４３を介した音声による操作が入力されない場合に画面に表示される必要がない。表示される必要がない場合に音声操作補助文字列が画面に表示されると、例えば、システム１０に含まれる各画像形成装置のカウンターやトナーの残量の情報など、画面における重要な情報が利用者によって視認され難くなる。したがって、音声操作補助文字列は、必要時にのみ画面に表示されることが好ましい。特に、操作入力装置４０がスマートフォンなど、表示部４２が比較的小さいコンピューターによって構成される場合には、音声操作補助文字列は、必要時にのみ画面に表示されることが更に好ましい。
【００６７】
操作入力装置４０は、画面において区分された複数の領域のうち、利用者の視点が存在する領域に存在する操作入力部のみに対応付けて、音声操作補助文字列を表示する（Ｓ１２５）ので、画面の全ての領域に存在する操作入力部に対応付けて音声操作補助文字列を表示する構成と比較して、画面の視認性を向上することができる。なお、操作入力装置４０は、画面の全ての領域に存在する操作入力部に対応付けて音声操作補助文字列を表示しても良い。
【００６８】
操作入力装置４０は、画面における特定の大きさの範囲内に利用者の視点がとどまっている時間が特定の時間以上である場合（Ｓ１２３でＹＥＳ）に音声操作補助文字列を表示する（Ｓ１２５）ので、利用者の視点が画面上を単に通過するだけでは音声操作補助文字列を表示せず、画面の視認性を向上することができる。なお、操作入力装置４０は、利用者の視点が画面に存在する場合（Ｓ１２２でＹＥＳ）に、Ｓ１２３の処理を実行せずに必ずＳ１２４の処理を実行しても良い。
【００６９】
操作入力装置４０は、音声操作補助文字列を画面に透過状態で表示する（Ｓ１２５）ので、画面の視認性を向上することができる。なお、操作入力装置４０は、音声操作補助文字列を画面に非透過状態で表示しても良い。
【００７０】
操作入力装置４０は、本実施の形態において、音声操作補助文字列を表示してからの経過時間が特定の時間以上になった場合（Ｓ１２９でＹＥＳ）に、音声操作補助文字列の表示を終了する（Ｓ１３０）。しかしながら、音声操作補助文字列の表示の終了の条件は、音声操作補助文字列を表示してからの経過時間が特定の時間以上になったという条件以外の条件でも良い。
【符号の説明】
【００７１】
４０  操作入力装置（コンピューター）
４２  表示部（表示デバイス）
４３  マイク（音声入力デバイス）
４４  カメラ（撮像デバイス）
４６ａ  操作入力プログラム
４７ａ  視点判定手段
４７ｂ  文字列表示手段
４７ｃ  操作受付手段
５０  管理画面（画面）
５２  操作入力部
６１〜６５  領域
７１〜７４  音声操作補助文字列
【図１】
2019212072.tif 000003
【図２】
2019212072.tif 000004
【図３】
2019212072.tif 000005
【図４】
2019212072.tif 000006
【図５】
2019212072.tif 000007
【図６】
2019212072.tif 000008
【図７】
2019212072.tif 000009