(57)【要約】【課題】操作者がディスプレイ上の映像表示領域とは異なる特定の領域を注視することなく、映像を示すデータの出力及び停止を行う。【解決手段】視線を検出する視線検出部２３と、入力されたデータに応じた画像を表示するディスプレイ３に対し、映像を示すデータを出力する再生部２４１と、ディスプレイ３により映像が映像表示領域２０１に表示されている状態において、視線検出部２３により検出された視線が当該映像表示領域２０１から停止判定時間の間逸れている場合に、再生部２４１による当該映像を示すデータの出力を停止させる停止部２４２とを備え、再生部２４１は、停止部２４２により映像を示すデータの出力を停止している状態において、視線検出部２３により検出された視線が映像表示領域２０１に再生判定時間の間位置する場合に、当該映像を示すデータの出力を再開する。【選択図】図１
2018017759.tif 000002
【特許請求の範囲】
【請求項１】
視線を検出する視線検出部と、
入力されたデータに応じた画像を表示するディスプレイに対し、映像を示すデータを出力する再生部と、
前記ディスプレイにより映像が映像表示領域に表示されている状態において、前記視線検出部により検出された視線が当該映像表示領域から停止判定時間の間逸れている場合に、前記再生部による当該映像を示すデータの出力を停止させる停止部とを備え、
前記再生部は、前記停止部により映像を示すデータの出力を停止している状態において、前記視線検出部により検出された視線が前記映像表示領域に再生判定時間の間位置する場合に、当該映像を示すデータの出力を再開する
ことを特徴とする情報端末。
【請求項２】
前記ディスプレイに対し、前記映像表示領域、及び当該映像表示領域で表示可能な映像を表す情報を提示した選択領域を有する表示画面を示すデータを出力する画面出力部を備え、
前記再生部は、前記視線検出部により検出された視線が、前記ディスプレイにより表示された表示画面が有する選択領域に選択判定時間の間位置する場合に、当該選択領域に提示された情報が表す映像を示すデータを読出して、当該ディスプレイに対し当該映像を示すデータを出力する
ことを特徴とする請求項１記載の情報端末。
【請求項３】
前記表示画面は、前記映像表示領域で表示される映像に対する操作を表す情報を提示した操作領域を有し、
前記視線検出部により検出された視線が前記ディスプレイにより表示された表示画面が有する操作領域に操作判定時間の間位置する場合に、当該操作領域に提示された情報が表す操作を実行する操作部を備えた
ことを特徴とする請求項１又は請求項２記載の情報端末。
【請求項４】
前記再生部は、映像を示すデータの出力を再開する場合に、当該映像を示すデータのうち、出力を停止した部分に対して前記停止判定時間前の部分から出力を再開する
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の情報端末。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、視線に基づき映像を示すデータの出力及び停止を行う情報端末に関する。
【背景技術】
【０００２】
従来から、操作者の注視方向に基づいて、表示したコンテンツのスクロール、更新及びリフレッシュ等の操作を行うコンテンツディスプレイが知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１４−５１４６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、特許文献１に開示された技術を、映像の再生及び停止の操作に適用した場合、操作者は、ディスプレイ上の映像表示領域とは異なる特定の領域を注視することで、上記操作を行うことになる。しかしながら、この場合に、操作者は、映像の再生又は停止を行うために、映像表示領域とは別の特定の領域を注視している間に、映像を見逃す恐れがある。
例えば、操作者は、作業手順が示される動画マニュアルを確認しながら作業を行う場合、作業手順を見逃す恐れがある。また、上記作業では、操作者は、頻繁に映像の再生と停止を繰り返す必要がある場合があり、その度に特定の領域を注視するため、負担が大きくなる。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、操作者がディスプレイ上の映像表示領域とは異なる特定の領域を注視することなく、映像を示すデータの出力及び停止を行うことができる情報端末を提供することを目的としている。
【課題を解決するための手段】
【０００６】
この発明に係る情報端末は、視線を検出する視線検出部と、入力されたデータに応じた画像を表示するディスプレイに対し、映像を示すデータを出力する再生部と、ディスプレイにより映像が映像表示領域に表示されている状態において、視線検出部により検出された視線が当該映像表示領域から停止判定時間の間逸れている場合に、再生部による当該映像を示すデータの出力を停止させる停止部とを備え、再生部は、停止部により映像を示すデータの出力を停止している状態において、視線検出部により検出された視線が映像表示領域に再生判定時間の間位置する場合に、当該映像を示すデータの出力を再開することを特徴とする。
【発明の効果】
【０００７】
この発明によれば、上記のように構成したので、操作者がディスプレイ上の映像表示領域とは異なる特定の領域を注視することなく、映像を示すデータの出力及び停止を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る情報端末を備えた表示システムの構成例を示す機能ブロック図である。
【図２】この発明の実施の形態１におけるディスプレイに表示された表示画面の一例を示す図である。
【図３】この発明の実施の形態１に係る情報端末の動作例を示すフローチャートである。
【図４】この発明の実施の形態１に係る情報端末の動作例を示す概要図である。
【図５】図５Ａ、図５Ｂは、この発明の実施の形態１に係る情報端末のハードウェア構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る情報端末２を備えた表示システムの構成例を示す機能ブロック図である。
表示システムは、図１に示すように、視線検知装置１、情報端末２及びディスプレイ３を備えている。
【００１０】
視線検知装置１は、ディスプレイ３と向き合っている人物（表示システムの操作者）の視線（視線方向）を検知する。この視線検知装置１による視線検知処理は既存の処理であり、その説明は省略する。
情報端末２は、視線検知装置１により検知された視線に基づいて、ディスプレイ３に対して映像を示すデータの出力及び停止を行う。この情報端末２の詳細については後述する。
ディスプレイ３は、情報端末２から入力されたデータに応じた画像を表示する。
なお図１では、視線検知装置１及びディスプレイ３は、情報端末２の外部に設けられているが、情報端末２に内蔵されていてもよい。
【００１１】
次に、情報端末２の構成例について説明する。
情報端末２は、図１に示すように、記憶部２１、画面出力部２２、視線検出部２３及び映像制御部２４を備えている。
【００１２】
記憶部２１は、映像を示すデータを記憶する。なお、記憶部２１としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等が該当する。なお図１では、記憶部２１は、情報端末２に内蔵されているが、情報端末２の外部に設けられていてもよい。
【００１３】
画面出力部２２は、ディスプレイ３に対し、表示画面を示すデータを出力する。なお、表示画面には、例えば図２に示すように、映像が表示（再生）される映像表示領域２０１、映像表示領域２０１で表示可能な映像を表す情報を提示した選択領域２０２、及び映像表示領域２０１で表示される映像に対する操作を表す情報を提示した操作領域２０３が設けられている。
【００１４】
視線検出部２３は、視線検知装置１により検知された視線を検出する。
映像制御部２４は、視線検出部２３により検出された視線に基づいて、ディスプレイ３に対して映像を示すデータの出力及び停止を行う。この映像制御部２４は、図１では、再生部２４１、停止部２４２及び操作部２４３を備えている。
【００１５】
再生部２４１は、記憶部２１から映像を示すデータを読出して、ディスプレイ３に対して当該映像を示すデータを出力する。この際、再生部２４１は、視線検出部２３により検出された視線がディスプレイ３上の選択領域２０２に選択判定時間の間位置する場合に、当該選択領域２０２に提示された情報が表す映像を示すデータを記憶部２１から読出して、当該ディスプレイ３に対し当該映像を示すデータを出力する。なお、選択判定時間は、数秒等、任意に設定可能である。
また、再生部２４１は、停止部２４２により映像を示すデータの出力を停止している状態において、視線検出部２３により検出された視線がディスプレイ３上の映像表示領域２０１に再生判定時間の間位置する場合に、当該映像を示すデータの出力を再開する。また、再生部２４１は、映像を示すデータの出力を再開する場合に、当該映像を示すデータのうち、出力を停止した部分に対して後述する停止判定時間前の部分から出力を再開してもよい。なお、再生判定時間は、数秒等、任意に設定可能である。
【００１６】
停止部２４２は、ディスプレイ３により映像が映像表示領域２０１に表示されている状態において、視線検出部２３により検出された視線が当該映像表示領域２０１から停止判定時間の間逸れている場合に、再生部２４１による当該映像を示すデータの出力を停止させる。なお、停止判定時間は、数秒等、任意に設定可能である。
【００１７】
操作部２４３は、視線検出部２３により検出された視線がディスプレイ３上の操作領域２０３に操作判定時間の間位置する場合に、当該操作領域２０３に提示された情報が表す操作を実行する。なお、操作部２４３による操作としては、例えば、映像の巻き戻し及び早送り、音量の増減等が挙げられる。また、操作判定時間は、数秒等、任意に設定可能である。
【００１８】
次に、実施の形態１に係る情報端末２による動作例について、図１〜４を参照しながら説明する。なお、記憶部２１には、予め、映像を示すデータが記憶されている。ここでは、記憶部２１に第１〜３の作業映像を示すデータが記憶されているとする。
情報端末２による動作例では、図３に示すように、まず、画面出力部２２は、ディスプレイ３に対し、表示画面を示すデータを出力する（ステップＳＴ３０１）。そして、ディスプレイ３は、このデータに応じた表示画面を表示する。なお図４の例では、選択領域２０２に、第１〜３の作業映像を表す情報がそれぞれ提示された領域（ボタン）が示され、操作領域２０３に、映像の巻き戻し及び早送りを行うための領域（ボタン）が示されている。なお、図４Ｂにおける符号４０１は、操作者の視線位置を示すカーソルであり、表示画面上に表示される。
【００１９】
次いで、視線検出部２３は、視線検知装置１により検知された視線（視線方向）を検出する（ステップＳＴ３０２）。なお、視線検出部２３による視線検出処理は、以後、継続して常時行われる。
【００２０】
次いで、再生部２４１は、視線検出部２３により検出された視線が、ディスプレイ３上の選択領域２０２に選択判定時間の間位置するかを判定する（ステップＳＴ３０３）。なおこのステップＳＴ３０３における処理は、再生部２４１ではなく視線検出部２３で行ってもよい。
このステップＳＴ３０３において、再生部２４１が、視線が選択領域２０２に選択判定時間の間は位置していないと判定した場合には、シーケンスはステップＳＴ３０３に戻り、待機状態となる。
【００２１】
一方、ステップＳＴ３０３において、再生部２４１が、視線が選択領域２０２に選択判定時間の間位置すると判定した場合には、当該選択領域２０２に提示された情報が表す映像を示すデータを記憶部２１から読出して、ディスプレイ３に対し当該映像を示すデータを出力する（ステップＳＴ３０４）。そして、ディスプレイ３は、このデータに応じた映像を表示（再生）する。
例えば図４Ｂに示すように、操作者が、選択判定時間の間、選択領域２０２中の第２の作業映像を表す情報が提示された領域に視線を向けているとする。この場合、操作者が第２の作業映像の表示を要求していると判断できる。そこで、再生部２４１は、第２の作業映像を示すデータを記憶部２１から読出してディスプレイ３に出力し、ディスプレイ３は第２の作業映像を表示する。
【００２２】
次いで、停止部２４２は、視線検出部２３により検出された視線が、ディスプレイ３上の映像表示領域２０１から停止判定時間の間逸れているかを判定する（ステップＳＴ３０５）。なおこのステップＳＴ３０５における処理は、停止部２４２ではなく視線検出部２３で行ってもよい。
このステップＳＴ３０５において、停止部２４２が、視線が映像表示領域２０１から停止判定時間の間は逸れていないと判定した場合には、シーケンスはステップＳＴ３０５に戻り、映像の表示が継続される。
【００２３】
一方、ステップＳＴ３０５において、停止部２４２が、視線が映像表示領域２０１から停止判定時間の間逸れていると判定した場合には、再生部２４１による映像を示すデータの出力を停止させる（ステップＳＴ３０６）。そして、ディスプレイ３は例えば映像を一時停止する。
例えば図４Ｃに示すように、映像表示領域２０１で第２の作業映像が表示されている状態において、操作者が映像表示領域２０１から停止判定時間の間視線を逸らしたとする。この場合、操作者は何らかの事情により第２の作業映像を見ていないと判断できる。そこで、停止部２４２は、再生部２４１による第２の作業映像を示すデータの出力を停止させる。
【００２４】
次いで、再生部２４１は、視線検出部２３により検出された視線が、ディスプレイ３上の映像表示領域２０１に再生判定時間の間位置するかを判定する（ステップＳＴ３０７）。なおこのステップＳＴ３０７における処理は、再生部２４１ではなく視線検出部２３で行ってもよい。
このステップＳＴ３０７において、再生部２４１が、視線が映像表示領域２０１に再生判定時間の間は位置していないと判定した場合には、シーケンスはステップＳＴ３０７に戻り、待機状態となる。
【００２５】
一方、再生部２４１が、視線が映像表示領域２０１に再生判定時間の間位置すると判定した場合には、停止部２４２により出力が停止されている映像を示すデータの出力を再開する（ステップＳＴ３０８）。すなわち、例えば図４Ｄに示すように、第２の作業映像の表示が停止された後、選択判定時間の間、操作者が映像表示領域２０１に視線を再び向けたとする。この場合、操作者が第２の作業映像の表示を要求していると判断できる。そこで、再生部２４１は、第２の作業映像を示すデータの出力を再開し、ディスプレイ３は第２の作業映像の表示を再開する。その後、シーケンスはステップＳＴ３０５に戻る。
また、再生部２４１は、映像を示すデータの出力を再開する場合に、当該映像を示すデータのうち、出力を停止した部分に対して停止判定時間前の部分から出力を再開するようにしてもよい。これにより、停止部２４２が映像を示すデータの出力を停止させるか判断するための時間（停止判定時間）に流れてしまった映像を巻き戻すことができ、映像の見逃しを確実に無くすことができる。
【００２６】
なお、操作部２４３が、視線検出部２３により検出された視線が、ディスプレイ３上の操作領域２０３に操作判定時間の間位置すると判定したとする。この場合には、操作部２４３は、上記操作領域２０３に提示された情報が表す操作を実行する。例えば図４Ｄに示すように第２の作業映像が流れている状態において、操作者が巻き戻しボタンを注視すれば、その注視を行っている間、当該第２の作業映像が巻き戻され、早送りボタンを注視すれば、その注視を行っている間、当該第２の作業映像が早送りされる。なお、操作部２４３による上記判定処理は、視線検出部２３が行ってもよい。
その後、映像の表示が終了することで、シーケンスは終了する。
【００２７】
なお、再生部２４１により映像を示すデータが出力されている状態又は停止部２４２により映像を示すデータの出力が停止されている状態において、再生部２４１が、視線検出部２３により検出された視線がディスプレイ３上の選択領域２０２に選択判定時間の間位置すると判定したとする。この場合には、再生部２４１は、上記選択領域２０２に提示された情報が表す映像を示すデータを記憶部２１から読出して、ディスプレイ３に対して当該映像を示すデータを出力することで、映像の切替えを行う。なお、再生部２４１による上記判定処理は、視線検出部２３が行ってもよい。
【００２８】
なお上記では、再生部２４１が、視線検出部２３により検出された視線がディスプレイ３上の選択領域２０２に選択判定時間の間位置する場合に、当該選択領域２０２に提示された情報が表す映像を示すデータを記憶部２１から読出して、当該ディスプレイ３に対し当該映像を示すデータを出力するものとした。しかしながら、この選択領域２０２に基づく映像の選択機能は必須ではなく、再生部２４１から取除いてもよい。また、その場合には、表示画面に選択領域２０２を設ける必要はない。
【００２９】
また上記では、映像制御部２４に操作部２４３を設けた場合を示したが、操作部２４３は必須ではなく、映像制御部２４から取除いてもよい。また、その場合には、表示画面に操作領域２０３を設ける必要はない。
【００３０】
また、選択領域２０２及び操作領域２０３が不要な場合、表示画面そのものも不要としてもよい。すなわち、ディスプレイ３は、事前に設定された領域（映像表示領域２０１）に映像を表示するだけでよい。よって、この場合には、画面出力部２２は不要となる。
【００３１】
以上のように、この実施の形態１によれば、視線を検出する視線検出部２３と、入力されたデータに応じた画像を表示するディスプレイ３に対し、映像を示すデータを出力する再生部２４１と、ディスプレイ３により映像が映像表示領域２０１に表示されている状態において、視線検出部２３により検出された視線が当該映像表示領域２０１から停止判定時間の間逸れている場合に、再生部２４１による当該映像を示すデータの出力を停止させる停止部２４２とを備え、再生部２４１は、停止部２４２により映像を示すデータの出力を停止している状態において、視線検出部２３により検出された視線が映像表示領域２０１に再生判定時間の間位置する場合に、当該映像を示すデータの出力を再開するように構成したので、操作者がディスプレイ３上の映像表示領域２０１とは異なる特定の領域を注視することなく、映像を示すデータの出力及び停止を行うことができる。その結果、操作者は、映像の再生又は停止を行う際に、映像を見逃すことを回避できる。
例えば、操作者が、作業手順が示される動画マニュアルを確認しながら作業を行う場合であっても、作業手順の見逃しを回避できる。また、上記作業では、操作者は、頻繁に映像の再生と停止を繰り返す必要がある場合があるが、映像表示領域２０１を見るか見ないかだけで映像の再生及び停止を切替えることができるため、操作者の負担を軽減できる。
【００３２】
最後に、図５を参照して、実施の形態１に係る情報端末２のハードウェア構成例を説明する。
情報端末２における画面出力部２２、視線検出部２３及び映像制御部２４の各機能は、処理回路５１により実現される。処理回路５１は、図５Ａに示すように、専用のハードウェアであっても、図５Ｂに示すように、メモリ５３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）ともいう）５２であってもよい。
【００３３】
処理回路５１が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。画面出力部２２、視線検出部２３及び映像制御部２４の各部の機能それぞれを処理回路５１で実現してもよいし、各部の機能をまとめて処理回路５１で実現してもよい。
【００３４】
処理回路５１がＣＰＵ５２の場合、画面出力部２２、視線検出部２３及び映像制御部２４の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ５３に格納される。処理回路５１は、メモリ５３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、情報端末２は、処理回路５１により実行されるときに、例えば図３に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリ５３を備える。また、これらのプログラムは、画面出力部２２、視線検出部２３及び映像制御部２４の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５３とは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等が該当する。
【００３５】
なお、画面出力部２２、視線検出部２３及び映像制御部２４の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、画面出力部２２については専用のハードウェアとしての処理回路５１でその機能を実現し、視線検出部２３及び映像制御部２４については処理回路５１がメモリ５３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【００３６】
このように、処理回路５１は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
【００３７】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【００３８】
１  視線検知装置、２  情報端末、３  ディスプレイ、２１  記憶部、２２  画面出力部、２３  視線検出部、２４  映像制御部、５１  処理回路、５２  ＣＰＵ、５３  メモリ、２４１  再生部、２４２  停止部、２４３  操作部。
【図１】
2018017759.tif 000003
【図２】
2018017759.tif 000004
【図３】
2018017759.tif 000005
【図４】
2018017759.tif 000006
【図５】
2018017759.tif 000007