(57)【要約】【課題】頭部に装着される表示部を着脱せずに操作部の操作説明を見る。【解決手段】表示システムは、操作者Ｕの動作を検出する操作者動作検出部４と、操作者動作検出部４が検出した動作から、操作部２の操作説明を表示する必要があるか否かを判断する必要性判断部５を備える。更に、操作部２の操作説明を表示する必要があると必要性判断部５が判断した場合に、操作部２の操作説明を表示部１に表示させる操作説明表示制御部６を備える。【選択図】図１
2016206869.tif 000002
【特許請求の範囲】
【請求項１】
操作者の頭部に装着される表示部と、
前記操作者に操作される操作部と、
前記操作部への操作により当該操作部から受信する信号に応じた表示内容を前記表示部に表示させる表示制御部と、
前記操作者の動作を検出する操作者動作検出部と、
前記操作者動作検出部が検出した動作から、前記操作部の操作説明を表示する必要があるか否かを判断する必要性判断部と、
前記操作説明を表示する必要があると前記必要性判断部が判断した場合に、前記操作説明を前記表示部に表示させる操作説明表示制御部と
を備えることを特徴とする表示システム。
【請求項２】
前記操作者動作検出部は、前記操作者の視線の動きを検出し、
前記必要性判断部は、検出された視線が前記操作部の方向に移動した時に、前記操作説明を表示する必要があると判断する
ことを特徴とする請求項１記載の表示システム。
【請求項３】
前記操作者動作検出部は、前記操作者の視線の動きを検出し、
前記必要性判断部は、検出された視線が下方に移動した時に、前記操作説明を表示する必要があると判断する
ことを特徴とする請求項１記載の表示システム。
【請求項４】
前記操作者動作検出部は、前記操作者の頭部の動きを検出し、
前記必要性判断部は、検出された前記操作者の頭部が前記操作部の方向に移動した時に、前記操作説明を表示する必要があると判断する
ことを特徴とする請求項１記載の表示システム。
【請求項５】
前記操作者動作検出部は、前記操作者の頭部の動きを検出し、
前記必要性判断部は、検出された前記操作者の頭部が下方に移動した時に、前記操作説明を表示する必要があると判断する
ことを特徴とする請求項１記載の表示システム。
【請求項６】
前記操作者動作検出部は、前記操作部の位置を検出し、
前記必要性判断部は、検出された前記操作部の位置が前記操作者の視線方向に移動した時に、前記操作説明を表示する必要があると判断する
ことを特徴とする請求項１に記載の表示システム。
【請求項７】
前記操作者動作検出部は、前記操作部の位置を検出し、
前記必要性判断部は、検出された前記操作部の位置が前記操作者の頭部方向に移動した時に、前記操作説明を表示する必要があると判断する
ことを特徴とする請求項１に記載の表示システム。
【請求項８】
前記操作者動作検出部は、前記操作部の位置を検出し、
前記必要性判断部は、検出された前記操作部の位置が上方に移動した時に、前記操作説明を表示する必要があると判断する
ことを特徴とする請求項１に記載の表示システム。
【請求項９】
前記操作者動作検出部は、前記操作者の視線及び頭部の動きを検出し、
前記必要性判断部は、検出された視線が前記操作部の方向又は下方に移動し、且つ、検出された前記操作者の頭部が前記操作部の方向又は下方に移動した時に、前記操作説明を表示する必要があると判断する
ことを特徴とする請求項１記載の表示システム。
【請求項１０】
前記操作者動作検出部は、前記操作者の視線の動き及び前記操作部の位置を検出し、
前記必要性判断部は、検出された視線が前記操作部の方向又は下方に移動し、且つ、検出された前記操作部の位置が前記操作者の視線方向又は前記操作者の頭部方向又は上方に移動した時に、前記操作説明を表示する必要があると判断する
ことを特徴とする請求項１記載の表示システム。
【請求項１１】
前記操作者動作検出部は、前記操作者の頭部の動き及び前記操作部の位置を検出し、
前記必要性判断部は、検出された前記操作者の頭部が前記操作部の方向又は下方に移動し、且つ、検出された前記操作部の位置が前記操作者の視線方向又は前記操作者の頭部方向又は上方に移動した時に、前記操作説明を表示する必要があると判断する
ことを特徴とする請求項１記載の表示システム。
【請求項１２】
前記操作者動作検出部は、前記操作者の視線及び頭部の動き及び前記操作部の位置を検出し、
前記必要性判断部は、検出された視線が前記操作部の方向又は下方に移動し、且つ、検出された前記操作者の頭部が前記操作部の方向又は下方に移動し、且つ、検出された前記操作部の位置が前記操作者の視線方向又は前記操作者の頭部方向又は上方に移動した時に、前記操作説明を表示する必要があると判断する
ことを特徴とする請求項１記載の表示システム。
【請求項１３】
前記操作部は、
前記操作者の手により操作されるものである
ことを特徴とする請求項１ないし１２のいずれかに記載の表示システム。
【請求項１４】
頭部に表示部を装着する操作者の動作を検出し、
前記検出した動作から、前記操作者により操作される操作部の操作説明を表示する必要があるか否かを判断し、
前記操作説明を表示する必要があると判断した場合に、前記操作部の操作説明を前記表示部に表示させる
ことを特徴とする操作説明表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム及び操作説明表示方法に関する。
【背景技術】
【０００２】
従来においては、ヘッドマウントディスプレイシステムと称される表示システムがあり、例えば、使用者の頭部に装着される表示部と操作部を分離して設けたものなどがある。この操作部に対し操作を行うと所定の機能が実行される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１５４０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の表示システムにおいて、操作部を操作するには、予め操作方法を学習する必要がある。また、使用途中で操作方法が不明になった場合は、頭部に装着した表示部を一旦外し、操作部の操作説明を取扱説明書などから検索し、操作方法が分かったら、再び表示部を装着する必要がある。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、頭部に装着される表示部を着脱せずに操作部の操作説明を見ることができる表示システム及び操作説明表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係わる表示システムは、頭部に表示部を装着する操作者の動作を検出し、検出した動作から、操作者により操作される操作部の操作説明を表示する必要があるか否かを判断する。操作説明を表示する必要があると判断した場合に、操作部の操作説明を表示部に表示させる。
【発明の効果】
【０００７】
本発明によれば、操作者の動作から、操作部の操作説明を表示させる必要があると判断した場合、操作説明を表示部に表示させることで、操作者はその動作を行えばよく、よって、表示部を着脱せずに操作部の操作説明を見ることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本実施の形態の表示システムの概略構成を示すブロック図である。
【図２】図２は、表示部１の画面への操作説明の表示例を示す図である。
【図３】図３は、操作者Ｕの目を撮影した画像による視線の動きの検出例を示す図である。
【図４】図４は、加速度センサによる頭部の動きの検出例１を示す図である。
【図５】図５は、角度センサによる頭部の動きの検出例２を示す図である。
【図６】図６は、表示部１のマーカなどを撮影した画像による頭部の動きの検出例３を示す図である。
【図７】図７は、操作部２を撮影した画像による操作部２の位置の検出例を示す図である。
【図８】図８は、本実施の形態による定量的効果の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、実施の形態を図面に基づいて説明する。同一部材には同一符号を付して再度の説明を省略する。
【００１０】
図１に示すように、表示システムは、操作者Ｕの頭部Ｈに装着される表示部１と、操作者Ｕに操作される操作部２と、操作部２への操作により操作部２から送信される信号を受信し、信号に応じた表示内容を表示部１に表示させる表示制御部３とを備える。
表示システムは、更に、操作者Ｕの動作を検出する操作者動作検出部４と、操作部２の操作説明を表示する必要があるかを動作から判断する必要性判断部５と、表示する必要があると判断された場合に操作説明を表示部１に表示させる操作説明表示制御部６とを備える。
【００１１】
操作部２からの信号により表示される表示内容は、例えば、映像記憶部７に記憶された映像である。操作部２の操作説明は、例えば、操作説明記憶部８に記憶される取扱説明書に含まれる。操作部２は、例えば、操作者Ｕの手により操作される。
【００１２】
操作者Ｕは、例えば映像を表示部１に表示させて見たい場合、操作部２へ表示操作を行い、これにより、操作部２は、映像の表示を開始させる信号を生成し、表示制御部３に送信する。表示制御部３は信号を受信し、例えば、信号に応じた映像を映像記憶部７から読み出し、映像を表示部１に表示させる。操作者は、表示部１に表示された映像を見ることができる。映像に代え、画像（静止画）や文章などを表示してもよい。
【００１３】
表示システムは、以下のように操作説明表示方法を実行する。
操作者動作検出部４は、操作者Ｕの動作を検出する。必要性判断部５は、操作者動作検出部４が検出した動作から、操作部２の操作説明を表示させる必要があるか否かを判断する。
【００１４】
必要性判断部５は、操作部２の操作説明を表示させる必要があると判断した場合に、操作説明表示制御部６を動作させる。操作説明表示制御部６は、操作説明記憶部８から操作説明を読み出し、表示制御部３を介して、表示部１に表示させる。
【００１５】
図１の必要性判断部５が操作説明を表示させる必要があると判断した場合、図２に示す表示部１の画面１Ａに操作説明が表示される。例えば、操作部２のボタン２ａの操作説明２Ａ、操作部２のボタン２ｂの操作説明２Ｂ、操作部２のボタン２ｃの操作説明２Ｃ、操作部２のボタン２ｄの操作説明２Ｄが表示される。操作説明は、文章のみでもよいし、画像のみでもよいし、両方を含んだものでもよい。
【００１６】
画面１Ａに映像が既に表示されている場合は、映像に重ねて操作説明を表示してもよいし、映像を消去後、操作説明を表示してもよい。
操作者Ｕは、画面１Ａの操作説明を見て、操作方法を知ることができる。
【００１７】
すなわち、表示システムによれば、操作者Ｕの動作を検出し、動作から、操作部２の操作説明を表示させる必要があると判断した場合、操作部２の操作説明を表示部１に表示させるので、操作者Ｕはその動作を行えばよい。したがって、表示部１を着脱せずに操作部２の操作説明を見ることができる。その結果、短時間で操作方法を知ることができる。
【００１８】
また、例えば、操作部２は、操作者Ｕの手により操作されるものなので、操作部２を手で動かして操作説明を表示させることができる。よって、操作部２を手で動かすという容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００１９】
次に、操作者動作検出部４による操作者Ｕの動作検出、及び必要性判断部５による判断について、具体例を用いて説明する。
まず、操作者Ｕの視線の動きを検出する場合について説明する。
【００２０】
（視線の動きの検出例）
例えば、図３に示すように、表示部１の内側にカメラを設け、操作者Ｕの目を撮影する。操作者動作検出部４は、カメラで目を撮影した画像に基づいて、視線の動きを検出する。
【００２１】
例えば、操作部が操作者Ｕの視線より下方に存在する場合において、眼球が正面を向いている画像１０１が、眼球が下を向いている画像１０２に変化したとする。操作者動作検出部４は、例えば、画像１０１、１０２を解析して、視線の動きを検出する。
【００２２】
必要性判断部５は、例えば、視線が操作部２の方向に移動した時に、操作説明表示の必要があると判断する。この判断により、操作説明表示制御部６は、操作説明を表示させる。視線が操作部２の方向に移動するなどの条件は、予め必要性判断部５に記憶されたものであり、必要性判断部５は、検出された動作を条件に照合することで判断を行う。後述の説明における条件および判断についても同様である。
【００２３】
このように、視線が操作部２の方向に移動した時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、視線を操作部２の方向に移動させるという容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００２４】
または、必要性判断部５は、例えば、視線が下方に移動した時に、操作説明表示の必要があると判断する。この判断により、操作説明表示制御部６は、操作説明を表示させる。
【００２５】
このように、視線が頭部Ｈより下方に移動した時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、そのような容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００２６】
（頭部の動きの検出例１）
次に、操作者Ｕの頭部Ｈの動きを検出する場合について説明する。
【００２７】
例えば、図４に示すように、表示部１に加速度センサを取り付け、例えば、正面の方向と重力の方向の角度差θを計測する。
【００２８】
例えば、操作部２が操作者Ｕの頭部Ｈより下方に存在する場合において、角度差θが減少したとする。操作者動作検出部４は、例えば、減少後の角度差θに基づいて、頭部Ｈの動きを検出する。
【００２９】
必要性判断部５は、例えば、頭部Ｈが操作部２の方向に移動したした時に、操作説明表示の必要があると判断する。この判断により、操作説明表示制御部６は、操作説明を表示させる。
【００３０】
このように、頭部Ｈが操作部２の方向に移動した時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、そのような容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００３１】
または、必要性判断部５は、例えば、頭部Ｈが下方に移動したした時に、操作説明表示の必要があると判断する。この判断により、操作説明表示制御部６は、操作説明を表示させる。
【００３２】
このように、頭部Ｈが下方に移動した時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、そのような容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００３３】
（頭部の動きの検出例２）
例えば、図５に示すように、表示部１に角度センサを取り付け、例えば、正面の方向と水平方向の角度差を計測する。頭部Ｈの向く方向と水平方向が一致する場合、角度差は生じない。
【００３４】
例えば、操作部２が操作者Ｕの頭部Ｈより下方に存在する場合において、角度差θが生じ、増加していったとする。操作者動作検出部４は、例えば、増加後の角度差θに基づいて、頭部Ｈの動きを検出する。
【００３５】
必要性判断部５は、例えば、頭部Ｈが操作部２の方向に移動したした時に、操作説明表示の必要があると判断する。この判断により、操作説明表示制御部６は、操作説明を表示させる。
【００３６】
このように、頭部Ｈが操作部２の方向に移動した時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、そのような容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００３７】
または、必要性判断部５は、例えば、頭部Ｈが下方に移動したした時に、操作説明表示の必要があると判断する。この判断により、操作説明表示制御部６は、操作説明を表示させる。
【００３８】
このように、頭部Ｈが下方に移動した時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、そのような容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００３９】
（頭部Ｈの動きの検出例３）
例えば、図６に示すように、表示部１の前方にカメラを設け、表示部１に付けられたマーカ（または表示部１や頭部Ｈ）を撮影する。
【００４０】
操作者動作検出部４は、表示部１やマーカを撮影した画像に基づいて、頭部Ｈの動きを検出する。例えば、操作部２が操作者Ｕの頭部Ｈより下方に存在する場合において、マーカが上部に写る画像１１１（または表示部１や頭部Ｈが上部に写る画像）が、マーカが下部に写る画像１１２（または表示部１や頭部Ｈが下部に写る画像）に変化したとする。操作者動作検出部４は、画像１１１、１１２を解析して、頭部Ｈの動きを検出する。
【００４１】
必要性判断部５は、例えば、頭部Ｈが操作部２の方向に移動したした時に、操作説明表示の必要があると判断する。この判断により、操作説明表示制御部６は、操作説明を表示させる。
【００４２】
このように、頭部Ｈが操作部２の方向に移動した時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、そのような容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００４３】
または、必要性判断部５は、例えば、頭部Ｈが下方に移動したした時に、操作説明表示の必要があると判断する。この判断により、操作説明表示制御部６は、操作説明を表示させる。
【００４４】
このように、頭部Ｈが下方に移動した時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、そのような容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００４５】
次に、操作部２の位置を検出する場合について説明する。
【００４６】
（操作部２の位置の検出例）
例えば、図７に示すように、表示部１を装着し、操作部２を手にもつ操作者Ｕの前方にカメラを設け、操作部２を撮影する。
【００４７】
操作者Ｕの頭部Ｈ及び視線が操作部２より上方に存在する場合において、例えば、操作部２が下部に写る画像１２１が、操作部２が上部に写る画像１２２に変化したとする。
操作者動作検出部４は、画像１２１、１２２を解析して、操作部２の位置を検出する。
【００４８】
必要性判断部５は、例えば、操作部２が視線方向に移動した時に、操作説明表示の必要があると判断する。この判断により、操作説明表示制御部６は、操作説明を表示させる。
【００４９】
このように、操作部２が視線方向に移動した時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、そのような容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００５０】
必要性判断部５は、例えば、操作部２が頭部Ｈの方向に移動した時に、操作説明表示の必要があると判断する。この判断により、操作説明表示制御部６は、操作説明を表示させる。
【００５１】
このように、操作部２が頭部Ｈの方向に移動した時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、そのような容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００５２】
または、必要性判断部５は、例えば、操作部２が上方に移動した時に、操作説明表示の必要があると判断する。この判断により、操作説明表示制御部６は、操作説明を表示させる。
【００５３】
このように、操作部２が上方に移動した時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、そのような容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００５４】
（他の実施形態）
他の実施形態として、操作者の視線の動き及び頭部の動きを組み合わせて操作説明表示の必要性を判断してもよい。
【００５５】
この場合、操作者動作検出部４は、操作者の視線及び頭部の動きを検出する。
例えば、必要性判断部５は、検出された視線が操作部の方向又は下方に移動し、且つ、検出された操作者の頭部が操作部の方向又は下方に移動した時に、操作説明を表示する必要があると判断する。この判断により、操作説明表示制御部は、操作説明を表示させる。
【００５６】
このような動作の時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００５７】
または、操作者の視線の動き及び操作部の位置を組み合わせて操作説明表示の必要性を判断してもよい。
【００５８】
この場合、操作者動作検出部４は、操作者の視線の動き及び操作部の位置を検出する。
例えば、必要性判断部５は、検出された視線が操作部の方向又は下方に移動し、且つ、検出された操作部の位置が操作者の視線方向又は操作者の頭部方向又は上方に移動した時に、操作説明を表示する必要があると判断する。この判断により、操作説明表示制御部は、操作説明を表示させる。
【００５９】
このような動作の時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００６０】
または、操作者の頭部の動き及び操作部の位置を組み合わせて操作説明表示の必要性を判断してもよい。
【００６１】
この場合、操作者動作検出部４は、操作者の頭部の動き及び操作部の位置を検出する。
例えば、必要性判断部５は、検出された操作者の頭部が操作部の方向又は下方に移動し、且つ、検出された操作部の位置が操作者の視線方向又は操作者の頭部方向又は上方に移動した時に、操作説明を表示する必要があると判断する。この判断により、操作説明表示制御部は、操作説明を表示させる。
【００６２】
このような動作の時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００６３】
または、操作者の視線及び頭部の動き及び操作部の位置を組み合わせて操作説明表示の必要性を判断してもよい。
【００６４】
この場合、操作者動作検出部４は、操作者の視線及び頭部の動き及び操作部の位置を検出する。
例えば、必要性判断部５は、検出された視線が操作部の方向又は下方に移動し、且つ、検出された操作者の頭部が操作部の方向又は下方に移動し、且つ、検出された操作部の位置が操作者の視線方向又は操作者の頭部方向又は上方に移動した時に、操作説明を表示する必要があると判断する。この判断により、操作説明表示制御部は、操作説明を表示させる。
【００６５】
このような動作の時に、操作説明表示の必要があると判断することで、その動作により操作説明が表示される。よって、容易な動作により、操作説明が自動的に表示されるという効果を奏する。
【００６６】
なお、視線の動きの方向、頭部の動きの方向は、上記例に限定されるものでなく、例えば、左右方向、上方、操作部２のない所定の方向であってもよい。
また、上記例に限定されるものでなく、例えば、左右方向、上方、操作部２のない所定の方向であってもよい。
また、操作部の位置は、上記例に限定されるものでなく、例えば、左右方向、下方、視線や頭部のない位置であってもよい。
【００６７】
また、操作者が操作説明を欲する際には操作者の視線が自然に操作部へと向く。よって、視線の先に操作者が存在する状態が生じた時に、操作説明表示の必要があると判断してもよい。このような判断を行うことで、操作説明を欲する際の自然な動作により操作説明が自動的に表示されるという効果を奏する。
【００６８】
（本実施の形態による定量的効果）
図８に示すように、仮に表示部１を外し、操作方法を調査し、表示部１を再び装着するという動作を行う場合、例えば、３秒を要する。これに対し、本実施の形態では、例えば、操作者が操作部のある下方を向くと操作説明が表示される。要する時間は、例えば、０．５秒である。したがって、操作方法を知るのに要する時間を大幅に短縮できる。
【００６９】
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【符号の説明】
【００７０】
１  表示部
２  操作部
３  表示制御部
４  操作者動作検出部
５  必要性判断部
６  操作説明表示制御部
７  映像記憶部
８  操作説明記憶部
Ｕ  操作者
Ｈ  頭部
【図１】
2016206869.tif 000003
【図２】
2016206869.tif 000004
【図３】
2016206869.tif 000005
【図４】
2016206869.tif 000006
【図５】
2016206869.tif 000007
【図６】
2016206869.tif 000008
【図７】
2016206869.tif 000009
【図８】
2016206869.tif 000010