(57)【要約】【課題】食事中におけるヘッドマウントディスプレイの利便性向上に寄与するプログラムを提供する。【解決手段】制御装置１０は、プログラムを実行することで、ヘッドマウントディスプレイが有する加速度センサの計測値を取得する加速度取得部５０と、加速度センサの計測値に基づいて、ユーザが咀嚼しているか又は発話しているかを判定する咀嚼判定部５２、として機能するので、例えば口元を撮像した画像などを用いなくても、口を動かしたときに得られる加速度に基づいて、ユーザが食材を噛んでいるのか、発話をしているのかを簡易に判定することができ、判定結果を利用することで、食事中におけるヘッドマウントディスプレイの利便性向上に役立てることができる。【選択図】図３
2019101811.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイが有するコンピュータに、
前記ヘッドマウントディスプレイが有する加速度センサの計測結果を取得し、
前記加速度センサの計測結果に基づいて、前記ヘッドマウントディスプレイを装着するユーザが咀嚼しているか又は発話しているかを判定する、
処理を実行させるための処理プログラム。
【請求項２】
前記判定する処理では、前記加速度センサの計測結果の波形に基づいて、前記ユーザが咀嚼しているか又は発話しているかを判定する、ことを特徴とする請求項１に記載の処理プログラム。
【請求項３】
前記判定する処理における判定結果に基づいて、前記ユーザの疲労度を算出する、処理を前記コンピュータに更に実行させることを特徴とする請求項１又は２に記載の処理プログラム。
【請求項４】
前記算出する処理では、前記判定する処理において前記ユーザが咀嚼していると判定された場合に、前記加速度センサの計測結果の波形の振幅に基づいて前記ユーザの疲労度を算出する、ことを特徴とする請求項３に記載の処理プログラム。
【請求項５】
前記ヘッドマウントディスプレイが有する撮像部により撮像された画像を取得する、処理を前記コンピュータに更に実行させ、
前記算出する処理では、撮像された前記画像に基づいて、前記ユーザの疲労度を算出する、ことを特徴とする請求項３に記載の処理プログラム。
【請求項６】
前記算出する処理では、撮像された前記画像から、前記ユーザが咀嚼した食べ物の情報及び前記ユーザが使用する食器の情報のうち少なくともいずれかを特定し、特定した情報に基づいて、前記ユーザの疲労度を算出することを特徴とする請求項５に記載の処理プログラム。
【請求項７】
前記算出する処理では、前記ユーザの種別に応じて前記疲労度の算出基準を異ならせることを特徴とする請求項３〜６のいずれか一項に記載の処理プログラム。
【請求項８】
前記算出する処理で算出された前記ユーザの疲労度に基づいて、前記ヘッドマウントディスプレイが有する表示部の表示を制御する、ことを特徴とする請求項３〜７のいずれか一項に記載の処理プログラム。
【請求項９】
ヘッドマウントディスプレイが有するコンピュータが、
前記ヘッドマウントディスプレイが有する加速度センサの計測結果を取得し、
前記加速度センサの計測結果に基づいて、前記ヘッドマウントディスプレイを装着するユーザが咀嚼しているか又は発話しているかを判定する、
処理を実行することを特徴とする処理方法。
【請求項１０】
ヘッドマウントディスプレイが有する情報処理装置であって、
前記ヘッドマウントディスプレイが有する加速度センサの計測結果を取得する取得部と、
前記取得部が取得した前記加速度センサの計測結果に基づいて、前記ヘッドマウントディスプレイを装着するユーザが咀嚼しているか又は発話しているかを判定する判定部と、
を備える情報処理装置。
【請求項１１】
ヘッドマウントディスプレイが有するコンピュータに、
前記ヘッドマウントディスプレイを装着するユーザの疲労度を検出し、
検出した前記ユーザの疲労度に基づいて、前記ヘッドマウントディスプレイにおける表示の見やすさを制御する、
処理を実行させるための表示プログラム。
【請求項１２】
前記検出する処理では、
前記ヘッドマウントディスプレイが有する加速度センサの計測結果を取得し、
前記加速度センサの計測結果に基づいて、前記ユーザが咀嚼しているか又は発話しているかを判定し、
前記判定する処理における判定結果に基づいて、前記ユーザの疲労度を算出する、ことを特徴とする請求項１１に記載の表示プログラム。
【請求項１３】
ヘッドマウントディスプレイが有するコンピュータが、
前記ヘッドマウントディスプレイを装着するユーザの疲労度を検出し、
検出した前記ユーザの疲労度に基づいて、前記ヘッドマウントディスプレイにおける表示の見やすさを制御する、
処理を実行することを特徴とする表示方法。
【請求項１４】
ヘッドマウントディスプレイが有する表示制御装置であって、
前記ヘッドマウントディスプレイを装着するユーザの疲労度を検出する検出部と、
前記検出部が検出した前記ユーザの疲労度に基づいて、前記ヘッドマウントディスプレイにおける表示の見やすさを制御する表示制御部と、
を備える表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理プログラム、処理方法及び処理装置、並びに表示プログラム、表示方法及び表示制御装置に関する。
【背景技術】
【０００２】
近年、ヘッドマウントディスプレイ（Head Mounted Display、以下「ＨＭＤ」と略述する）の開発、商品化が進められている。最近においては、ＨＭＤに目の前の食べ物のカロリーや成分を表示して、食事制限のあるユーザを支援したり、遠隔のユーザを表示することで、遠隔のユーザと仮想的に向かい合って食事できるようにする技術の研究がなされている。
【０００３】
また、ＨＭＤにおいて、ユーザの目の疲労を検出し、ユーザに目の疲労を知らせる技術が知られている（例えば、特許文献１等参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２８６８３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１等では、食事中にＨＭＤを利用するユーザの使い勝手についての検討はなされていない。
【０００６】
１つの側面では、本発明は、食事中におけるヘッドマウントディスプレイの利便性向上に寄与することが可能な処理プログラム、処理方法及び処理装置、並びに表示プログラム、表示方法及び表示制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの態様では、処理プログラムは、ヘッドマウントディスプレイが有するコンピュータに、前記ヘッドマウントディスプレイが有する加速度センサの計測結果を取得し、前記加速度センサの計測結果に基づいて、前記ユーザが咀嚼しているか又は発話しているかを判定する、処理を実行させるためのプログラムである。
【発明の効果】
【０００８】
食事中におけるヘッドマウントディスプレイの利便性向上に寄与することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係るヘッドマウントディスプレイの構成を概略的に示す図である。
【図２】図１の制御装置のハードウェア構成を示す図である。
【図３】制御装置の機能ブロック図である。
【図４】制御装置の処理を示すフローチャートである。
【図５】図４のステップＳ２６の具体的な処理を示すフローチャートである。
【図６】図６（ａ）は、ユーザが食材を噛んでいるときに得られる加速度の波形を示すグラフであり、図６（ｂ）は、ユーザが発話しているときに得られる加速度の波形を示すグラフである。
【図７】図７（ａ）は、硬いものを噛んでいるときに得られる加速度の波形を示すグラフであり、図７（ｂ）は、軟らかいものを噛んでいるときに得られる加速度の波形を示すグラフである。
【図８】第２の実施形態に係る制御装置の機能ブロック図である。
【図９】第２の実施形態に係る制御装置の処理を示すフローチャートである。
【図１０】疲労判定テーブルを示す図である。
【発明を実施するための形態】
【００１０】
《第１の実施形態》
以下、ヘッドマウントディスプレイの第１の実施形態について、図１〜図７に基づいて詳細に説明する。図１には、第１の実施形態に係るヘッドマウントディスプレイ（以下、ＨＭＤと呼ぶ）１００のハードウェア構成が概略的に示されている。
【００１１】
ＨＭＤ１００は、ユーザが頭部に装着できる装置である。ＨＭＤ１００としては、例えば、単眼の透過型のＨＭＤを用いることができる。なお、ＨＭＤ１００としては、例えば、両眼用や没入型等の各種のＨＭＤを用いるようにしてもよい。
【００１２】
図１に示すように、ＨＭＤ１００は、加速度センサ１２と、ジャイロセンサ１４と、撮像部としてのカメラ１６と、マイク１８と、入力装置２０と、表示部としての表示装置２２と、音声出力装置２４と、通信装置２６と、情報処理装置としての制御装置１０と、を備える。
【００１３】
加速度センサ１２は、ＨＭＤ１００の加速度を検出するセンサである。加速度センサ１２としては、例えば、ピエゾ抵抗型や静電容量型等の３軸加速度センサを用いることができる。加速度センサ１２による計測結果は制御装置１０に送信される。
【００１４】
ジャイロセンサ１４は、ＨＭＤ１００の角度（姿勢）や角速度あるいは角加速度を検出するセンサである。ジャイロセンサ１４としては、例えば振動型のジャイロセンサを用いることができる。ジャイロセンサ１４による計測結果は制御装置１０に送信される。ジャイロセンサ１４では、例えば、ＨＭＤ１００を装着するユーザが頭を傾けたことを検出することができる。
【００１５】
なお、ＨＭＤ１００は、加速度センサ１２やジャイロセンサ１４の他、方位センサ、地磁気センサ、ＧＰＳ（Global Positioning System）等を備えていてもよい。
【００１６】
カメラ１６は、ユーザの目の近傍に設けられ、ＨＭＤ１００を装着したユーザの視線方向を撮像する。カメラ１６で撮像された画像は制御装置１０に送信される。
【００１７】
マイク１８は、ユーザの声や周辺の音を集音する。入力装置２０は、タッチパッドやボタン等であり、電源ボタンやホームボタン、音量調節ボタン等を含む。
【００１８】
表示装置２２は、各種情報を表示するための表示デバイスである。表示装置２２は、例えば、ハーフミラーに情報を投影する装置であるものとする。すなわち、表示装置２２は、ユーザが情報とともに外部の風景を透過して見ることができる透過型の表示装置であるものとする。なお、表示装置２２は、没入型、ビデオ透過型、網膜投影型等の表示装置であってもよい。
【００１９】
音声出力装置２４は、スピーカやイヤホンであり、制御装置１０の指示の下、音声情報を出力する。
【００２０】
通信装置２６は、例えば、基地局（モバイルネットワーク）からの無線信号／通信データをアンテナ等を用いて受信したり、無線信号を基地局に送信する。また、通信装置２６は、例えば、赤外線通信やWiFi、Bluetooth（登録商標）等の近距離通信手法を利用し、他の端末等のコンピュータと近距離通信を行う。
【００２１】
制御装置１０は、ＨＭＤ１００の各部を統括的に制御する。特に、本実施形態では、制御装置１０は、ＨＭＤ１００を装着するユーザが食事している間において、表示装置２２の表示を適切に制御する機能を有している。図２には、制御装置１０のハードウェア構成が示されている。図２に示すように、制御装置１０は、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＳＳＤ（Solid State Drive）やフラッシュメモリなど）９６、入出力インタフェース９７、及び可搬型記憶媒体用ドライブ９９等を備えている。これら制御装置１０の構成各部は、バス９８に接続されている。入出力インタフェース９７には、図１の制御装置１０以外の各装置が接続されている。制御装置１０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（処理プログラムや表示プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（処理プログラムや表示プログラムを含む）をＣＰＵ９０が実行することにより、図３に示す各部の機能が実現される。なお、図３の各部の機能は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されてもよい。
【００２２】
図３には、制御装置１０の機能ブロックが示されている。図３に示すように、制御装置１０は、ＣＰＵ９０がプログラムを実行することにより、取得部としての加速度取得部５０、判定部としての咀嚼判定部５２、算出部としての疲労度算出部５４、表示制御部５６として機能する。
【００２３】
加速度取得部５０は、加速度センサ１２の計測結果を取得し、咀嚼判定部５２に送信する。
【００２４】
咀嚼判定部５２は、加速度センサ１２の計測結果に基づいて、ユーザの口が動いているか否かを判定する。また、咀嚼判定部５２は、ユーザの口が動いている場合に、ユーザが食べ物（食材）を噛んでいる（咀嚼している）か、発話しているかを判定する。
【００２５】
疲労度算出部５４は、ユーザが食べ物を噛んでいる場合に、噛むことによりユーザが疲労したかを判定し、疲労した場合には、疲労ポイントを積算する。なお、本実施形態では、疲労度算出部５４は、ユーザが硬いものを噛んだ場合に疲労するという前提の下、疲労ポイントを積算することとし、軟らかいものを噛んだ場合には疲労しないため、疲労ポイントを積算しないこととしている。
【００２６】
表示制御部５６は、積算された疲労ポイントに基づいて、表示装置２２の表示を制御する。
【００２７】
（制御装置１０の処理について）
次に、制御装置１０の処理について、図４、図５に基づいて、その他図面を適宜参照しつつ詳細に説明する。なお、図４、図５の処理が行われる前提として、ユーザは、ＨＭＤ１００を装着しながら食事を摂るものとする。ＨＭＤ１００では、ユーザの目の前にある食事を撮像し、撮像した画像から食事内容（食材）を特定し、食材のカロリーや成分を表示装置２２に表示する。このため、ユーザは、カロリーや成分を確認しながら食事を摂ることができるようになる。また、ＨＭＤ１００は、遠隔で食事する人を表示装置２２に表示することもできる。これにより、ユーザは、遠隔に存在する人と仮想的に一緒に食事をすることができるようになる。一方、食事中においては、ユーザが食材を咀嚼する（噛む）ことで疲労することもあるが、ＨＭＤ１００を装着していると疲労に気づかず、蓄積した疲労によりユーザの体に悪影響が及ぼされる可能性もある。そこで、本処理においては、ユーザの食事中の疲労を通知したり、疲労に応じた表示を行うことで、ユーザによるＨＭＤ１００の使い勝手向上を図ることとしている。
【００２８】
なお、図４の処理は、ユーザが食事を開始したことをユーザが入力装置２０から入力した場合や、制御装置１０が、カメラ１６の画像に基づいて食事開始と判定した場合に、開始される処理である。図４の処理が開始される時点では、後述する疲労ポイントはリセット（疲労ポイント＝０）されているものとする。
【００２９】
図４の処理が開始されると、まずステップＳ１０において、加速度取得部５０が、加速度センサ１２の計測値を取得する。加速度取得部５０は、取得した計測値を咀嚼判定部５２に送信する。次いで、ステップＳ１２では、咀嚼判定部５２が、加速度が所定値（α）以上となったか否かを判断する。ここで、αは、例えばユーザが口を動かしたときに検出される可能性のある加速度の範囲の中央値であるものとする。すなわち、加速度が所定値α以上になる場合とは、ユーザが口を動かした可能性が高いことを意味する。なお、ユーザが口を全く動かさない場合の加速度はほぼ０であるため、加速度の振幅は、口を一回開閉する間における加速度の最大値を意味する。
【００３０】
ステップＳ１２の判断が否定されている間は、ステップＳ１０を繰り返すが、ステップＳ１２の判断が肯定された場合には、ステップＳ１４に移行する。
【００３１】
ステップＳ１４に移行すると、咀嚼判定部５２は、口が動いたと判定する。次いで、ステップＳ１６では、咀嚼判定部５２が、口の動きが止まったか否かを判断する。すなわち、加速度の振幅が０近傍で安定しているか否かを判断する。このステップＳ１６の判断が否定された場合には、ステップＳ１８に移行し、咀嚼判定部５２は、加速度取得部５０を介して加速度センサ１２の計測値を再度取得する。その後は、ステップＳ１６に戻る。
【００３２】
一方、ステップＳ１６の判断が肯定されると、ステップＳ２０に移行する。ここで、図６（ａ）には、ユーザが噛んでいる（咀嚼している）場合に得られる加速度の波形が示されており、図６（ｂ）には、ユーザが話している（発話している）場合に得られる加速度の波形が示されている。図６（ａ）と図６（ｂ）を比較するとわかるように、ユーザが噛んでいる間に得られる波形は、上下の奥歯が繰り返し当たるときの荷重に対応して加速度が連続的に変動する振幅波形となる。すなわち、ユーザが噛んでいる場合、図６（ａ）に示すように、奥歯に荷重が強くかかり、振幅が大きくパルス状となるのに対して、発話している場合には荷重がほとんどかからないため、図６（ｂ）に示すように振幅が小さく周期が長くなる。
【００３３】
ステップＳ２０に移行すると、咀嚼判定部５２は、単位時間内にγ以上の値が周期的に続いたか否かを判断する。ここで、γは、ユーザが発話している間に得られる加速度の値はほとんど超えないが、ユーザが噛んでいる間に得られる加速度の値は頻繁に超える値が設定されている。
【００３４】
ステップＳ２０の判断が否定された場合には、ステップＳ２２に移行し、咀嚼判定部５２は、ユーザが話していたと判定する。すなわち、図６（ｂ）に示すような加速度の波形が得られた場合には、咀嚼判定部５２は、ユーザが話していたと判定する。その後は、ステップＳ２８に移行する。
【００３５】
一方、ステップＳ２０の判断が肯定された場合には、ステップＳ２４に移行し、咀嚼判定部５２は、ユーザが噛んでいたと判定する。すなわち、図６（ａ）に示すような加速度の波形が得られた場合には、咀嚼判定部５２は、ユーザが噛んでいたと判定する。その後は、ステップＳ２６に移行し、疲労度算出部５４が、疲労判定処理を実行し、ステップＳ２８に移行する。
【００３６】
ここで、ステップＳ２６の疲労判定処理の詳細について、図５のフローチャートに沿って説明する。なお、ステップＳ２６の処理は、ユーザが噛んでいる食材が硬いものか軟らかいものかを判断し、ユーザが硬いものを噛んでいた場合に、ユーザが疲労したと推定して、ユーザの疲労ポイントを加算する処理である。
【００３７】
図５の処理では、まず、ステップＳ５０において、疲労度算出部５４が、噛み始め（食べ始め）から噛み終り（食べ終り）までの時間（噛み時間）Ｔおよび、噛み時間Ｔの範囲における加速度の振幅Ａを測定する。この場合、疲労度算出部５４は、図７（ａ）や図７（ｂ）に示すように、噛み始めから噛み終りまでに得られた加速度の波形を取得し、該波形において、噛み時間Ｔを測定するとともに、噛み時間Ｔの範囲における加速度の波形の各振幅Ａを測定する。
【００３８】
次いで、ステップＳ５２では、疲労度算出部５４が、噛み時間Ｔの範囲における噛み始めの加速度の振幅Ａが所定値Ｓ以上か、それとも所定値Ｓより小さいかを測定する。なお、図７（ａ）の場合には、振幅Ａが所定値Ｓ以上であり、図７（ｂ）の場合には、振幅Ａが所定値Ｓよりも小さくなっている。なお、所定値Ｓは、硬いものを噛み始めたときに得られる加速度の振幅のうち最小の値であるものとする。
【００３９】
次いで、ステップＳ５４では、疲労度算出部５４が、噛み時間Ｔの範囲における噛み始めの加速度の振幅が噛み始めの振幅Ａのα％に低下する時間（加速度の振幅が（α／１００）×Ａよりも小さくなるまでの時間）をＴｆ、α％に低下してから噛み終りまでの時間をＴｒと設定する（図７（ａ）、図７（ｂ）参照）。
【００４０】
次いで、ステップＳ５６では、疲労度算出部５４が、噛み始めの振幅Ａが所定値Ｓ以上でＴｒ／Ｔがβ％以上（βは例えば３０）であるか否かを判断する。なお、硬い食材を噛んでいる場合ほど、食材が軟らかくなった後も長く噛み続ける傾向にあるため、Ｔｒ／Ｔが大きいほど硬い食材を噛んでいることを意味する。
【００４１】
したがって、ステップＳ５６の判断が否定された場合（図７（ｂ）のような波形の場合）には、ユーザが軟らかい食材（ごはん、豆腐など）を噛んでいたため疲労していないと推定し、疲労ポイントは加算せずに、図５の処理を終了して、図４のステップＳ２８に移行する。
【００４２】
一方、ステップＳ５６の判断が肯定された場合（図７（ａ）のような波形の場合）には、ユーザが硬い食材（肉類や餅など）を噛んでいたことを意味するため、噛みにくい食べ物を食べていたため噛むことにより疲労したと推定し、ステップＳ５８において、疲労度算出部５４が、疲労ポイントを加算する。すなわち、疲労度算出部５４は、食事開始時点から積算する疲労ポイントに対して、１ポイントを積算する。ステップＳ５８の処理が行われた後は、図４のステップＳ２８に移行する。
【００４３】
図４に戻り、ステップＳ２８に移行した場合には、表示制御部５６が、疲労ポイントが所定値を超えたか否かを判断する。このステップＳ２８では、表示制御部５６は、ユーザが食事中に所定以上疲労したか否かを判断している。このステップＳ２８の判断が否定されると、ステップＳ１０に戻るが、肯定された場合には、ステップＳ３０に移行する。
【００４４】
ステップＳ３０に移行すると、表示制御部５６は、疲労ポイントに基づいて表示制御を実行する。例えば、表示制御部５６は、疲労ポイントに基づき、疲労に関する情報を表示装置２２上に表示する。例えば、表示制御部５６は、疲労していることを通知する情報を表示したり、疲労を緩和するために行うべきことを示す情報を表示したりする。この場合、表示制御部５６は、疲労に関する情報として、テキスト及び画像の少なくとも一方を含む情報を表示することができる。また、表示制御部５６は、疲労ポイントの大小に基づいて、文字や画像（イラストなど）の表示態様を変更することとしてもよい。例えば疲労ポイントが所定値よりも小さければ、文字サイズを小さくしたり、顕著性が弱い色（目立たない色）で表示し、疲労ポイントが所定値よりも大きければ、文字サイズを大きくしたり、顕著性が強い色（目立つ色）で表示することとしてもよい。また、その他の方法で、疲労ポイントに応じて表示態様を変更することとしてもよい。ここで、表示制御部５６は、噛む動作を行っていない時間（加速度が検出されない時間）を見計らって、疲労に関する情報を表示するようにしてもよい。例えば、噛む動作が終了してすぐのタイミングなどにおいて、表示するようにしてもよい。
【００４５】
なお、疲労に関する情報は、表示装置２２に表示する場合に限らず、音声出力装置２４を介して、音声にて出力することとしてもよい。この場合、表示装置２２への表示と音声出力装置２４を介した表示とを併用してもよい。
【００４６】
また、表示制御部５６は、疲労に関する情報を表示する場合に限らず、例えば、表示装置２２に表示する情報（例えば、カロリーや成分の情報など）の表示態様を、疲労ポイントに基づいて異ならせることとしてもよい。例えば、疲労ポイントが大きい場合には、表示装置２２に表示する情報の文字を大きくしたり、目立つ色にするなどして、見やすく表示するなどすることができる。これにより、ユーザが疲れている場合であっても、表示装置２２に表示する情報が見逃されるのを抑制することができる。また、疲れているユーザが、表示装置２２に表示される情報を見るために更に疲れるのを抑制することができる。
【００４７】
上述したようにステップＳ３０の処理が終了すると、ステップＳ１０に戻り、上述した処理が繰り返し実行されるようになっている。そして、ユーザが食事を終了したことを入力装置２０から入力した場合や、制御装置１０が、カメラ１６の画像に基づいて食事終了と判定した場合に、図４、図５の全処理が終了する。
【００４８】
なお、これまでの説明から明らかなように、本第１の実施形態では、加速度取得部５０と、咀嚼判定部５２と、疲労度算出部５４とにより、ＨＭＤ１００を装着するユーザの疲労度を検出する検出部としての機能が実現されている。
【００４９】
以上、詳細に説明したように、本第１の実施形態によると、制御装置１０は、ＨＭＤ１００が有する加速度センサ１２の計測値を取得する加速度取得部５０と、加速度センサ１２の計測値に基づいて、ユーザが咀嚼しているか又は発話しているかを判定する咀嚼判定部５２と、を備えているので、制御装置１０は、例えば口元を撮像した画像などを用いなくても、口を動かしたときに得られる加速度に基づいて、ユーザが食材を噛んでいるのか、発話をしているのかを簡易かつ精度よく判定することができる。
【００５０】
また、本第１の実施形態では、咀嚼判定部５２は、加速度センサ１２の計測値の振幅に基づいて判定することとしている。これにより、噛むときと話しているときとの加速度の波形の違い（図６（ａ）、図６（ｂ）参照）を考慮して、適切に判定することができる。
【００５１】
また、本第１の実施形態では、咀嚼判定部５２の判定結果に基づいて、疲労度算出部５４がユーザの疲労度（疲労ポイント）を算出する。これにより、簡易にユーザの疲労具合を算出することができる。
【００５２】
また、本第１の実施形態では、疲労度算出部５４は、咀嚼判定部５２がユーザが咀嚼していると判定した場合（Ｓ２４）に、加速度の波形の振幅に基づいて、ユーザの疲労度を算出している（Ｓ２６）。これにより、ユーザが咀嚼により疲労したか否かを精度よく判定することが可能である。この場合、加速度の波形の振幅から硬いものを咀嚼しているか、軟らかいものを咀嚼しているかを特定して、ユーザの疲労度を算出するため、ユーザの咀嚼動作の特徴に基づいてユーザの疲労度を精度よく判定することができる。
【００５３】
また、本第１の実施形態では、疲労度算出部５４が算出した疲労ポイントに基づいて、表示装置２２の表示を制御することとしている。これにより、ユーザに対して疲労を通知したり、疲労を緩和する情報を通知したりすることができる。また、ユーザの疲労度に応じて、表示装置２２の表示を見やすい表示にすることもできる。これにより、ユーザは、食事中におけるＨＭＤ１００の使い勝手を向上することが可能である。
【００５４】
なお、上記第１の実施形態では、硬いものをかんだ場合にのみ疲労ポイントを加算する場合について説明したが、これに限られるものではない。例えば、軟らかいものを噛んだ場合にも所定のポイント数（例えば硬いものを噛んだ場合よりも少ないポイント数）を加算することとしてもよい。また、噛み時間Ｔに応じて加算するポイント数を異ならせることとしてもよい。
【００５５】
《第２の実施形態》
次に、第２の実施形態に係るヘッドマウントディスプレイ１００について、図８〜図１０に基づいて詳細に説明する。本第２の実施形態では、加速度センサ１２の計測値の他に、カメラ１６が撮像した画像を利用して、ユーザの疲労度（疲労ポイント）を算出する点に特徴を有している。
【００５６】
図８には、本第２の実施形態に係るヘッドマウントディスプレイ１００の制御装置１０’の機能ブロック図が示されている。図８に示すように、第２の実施形態の制御装置１０’においては、第１の実施形態の制御装置１０において実現されている各部の機能に加えて、画像取得部６０の機能が実現されている。この画像取得部６０は、カメラ１６において撮像された画像を取得し、疲労度算出部５４に送信する。また、疲労度算出部５４は、疲労判定テーブル６２（図１０参照）に基づいて、ユーザの疲労ポイントを算出する。
【００５７】
次に、本第２の実施形態の制御装置１０’が実行する処理について、図９のフローチャートに基づいて説明する。なお、図９のフローチャートにおいては、図４のフローチャートと異なる箇所を太線枠で示している。
【００５８】
図９の処理では、ステップＳ１０の処理が実行された後に、ステップＳ１１において、画像取得部６０がカメラ１６において撮像された画像を取得する。なお、ステップＳ１０とステップＳ１１の順番は逆であってもよいし、両処理を同時に実行することとしてもよい。
【００５９】
その後、ステップＳ１２〜Ｓ２４までは上記第１の実施形態と同様に実行される。そして、咀嚼判定部５２は、ステップＳ２４においてユーザが噛んでいたと判定すると、ステップＳ２６’に移行し、疲労判定テーブル６２を参照して、噛んでいた時間、食材、食器に基づいて疲労ポイントを加算する処理を実行する。
【００６０】
ここで、疲労判定テーブル６２は、図１０に示すようなテーブル構造を有している。具体的には、疲労判定テーブル６２は、「食材」、「噛みやすさ」、「食器」、「扱いやすさ」、「疲労判定時間」の各項目を有する。疲労判定テーブル６２では、各食材の噛みやすさや、各食器の扱いやすさが定義されているとともに、どの食材をどの食器で食べたときに、どの程度の時間（疲労判定時間）噛んでいれば、疲労と判定するかが定義されている。例えば、肉をナイフやフォークで食べた場合には、噛んでいた時間がＴｄを超えていれば、疲労ポイントを１加算することとしている。なお、図１０に示す各時間の大小関係は、例えばＴｄ＜Ｔｈ＜Ｔｍ＜Ｔｌ＜Ｔｅであるものとする。なお、疲労判定テーブル６２においては、「噛みやすさ」や「扱いやすさ」の項目を設けなくてもよい。
【００６１】
疲労度算出部５４では、口が動いたと判定される前（ステップＳ１２の判断が肯定される前）に取得した画像（例えばステップＳ１４を実行する直前に得られた画像）を取得する。また、疲労度算出部５４は、取得した画像に対してテンプレートマッチング等の画像処理を行うことにより、ユーザがどの食材をどの食器を用いて食べたかを判定する。さらに、疲労度算出部５４は、口が動いたと判定（Ｓ１４）してから口の動きが止まったと判定（Ｓ１６）するまでの時間（噛み時間Ｔ）を求める。
【００６２】
そして、疲労度算出部５４は、画像処理によって得られた情報（食材及び食器）に対応する疲労判定時間を疲労判定テーブル６２から抽出し、抽出した疲労判定時間と噛み時間Ｔを比較し、噛み時間Ｔの方が長ければ、疲労ポイントを加算するようにする。
【００６３】
なお、その後のステップＳ２８及びＳ３０の処理は、上述した第１の実施形態と同様となっている。すなわち、本第２の実施形態においても、表示制御部５６は、疲労ポイントの大小に応じて、表示装置２２の表示を第１の実施形態と同様に制御することとしている。
【００６４】
なお、これまでの説明から明らかなように、本第２の実施形態では、加速度取得部５０と、画像取得部６０と、咀嚼判定部５２と、疲労度算出部５４とにより、ＨＭＤ１００を装着するユーザの疲労度を検出する検出部としての機能が実現されている。
【００６５】
以上、詳細に説明したように、本第２の実施形態によると、疲労度算出部５４は、カメラ１６において撮像された食材や食器の画像と、加速度とに基づいて疲労ポイントを算出するので、ユーザの疲労ポイントを精度よく算出することができる。また、本第２の実施形態では、精度よく算出された疲労ポイントに基づいて、表示装置２２の表示を制御するので、ユーザの疲労を考慮した表示を行うことができる。これにより、ユーザのＨＭＤ１００の使い勝手を向上することができる。
【００６６】
なお、上記第２の実施形態では、画像から得られる食材の情報や食器の情報を用いて疲労ポイントを算出する場合について説明したが、これに限らず、食材及び食器のいずれか一方の情報を用いて疲労ポイントを算出することとしてもよい。
【００６７】
なお、上記第２の実施形態では、疲労判定テーブル６２をユーザ毎に（ユーザに応じて）用意することができる。例えば、ユーザの年齢や器用さなどはさまざまであるため、ナイフやフォークを使用するのが得意なユーザ、箸を使用するのが得意なユーザなど、各ユーザの得手不得手に基づいて、疲労判定テーブル６２の内容を変更してもよい。
【００６８】
なお、上記各実施形態においては、疲労ポイントの算出の際に、ジャイロセンサ１４を用いることとしてもよい。例えば、ユーザが表示装置２２に表示される文字等（表示装置２２の画面下側に表示される文字等）を見る場合、頭が下側を向くことがあり、画面を見るたびに疲労が蓄積することがある。このような場合に、ジャイロセンサ１４の検出結果が、所定の値を示した場合に、ユーザが画面下側を見たと判断し、その回数に基づいて疲労ポイントを加算するようにしてもよい。このようにすることで、ユーザが表示装置２２を見た回数に応じた疲労ポイントを算出することが可能となる。なお、この場合にも、ユーザの特性（年齢、性別、体の不自由さなど）に応じて、加算すべき疲労ポイントを異ならせることとしてもよい。
【００６９】
なお、上記各実施形態においては、噛んでいるかや、発話しているかをマイク１８に入力される音声情報に基づいて判定することとしてもよい。
【００７０】
なお、上記各実施形態では、ユーザの年齢、性別、種別（健常者、高齢者、聴覚障害者）などに基づいて、判定基準や、加算する疲労ポイントの値を変更することとしてもよい。これにより、ユーザの特性を考慮した疲労ポイントの算出や、表示装置２２の制御を行うことができる。
【００７１】
なお、上記各実施形態では、食材を噛んだ場合の疲労に基づいて表示装置２２を制御する場合について説明したが、これに限られるものではない。例えば、目の疲労などに基づいて疲労ポイントを加算し、該疲労ポイントに基づいて表示装置２２を制御することとしてもよい。
【００７２】
なお、上記各実施形態では、疲労に基づいて表示装置２２の表示を制御する場合について説明したが、これに限られるものではない。すなわち、疲労度算出部５４で算出された疲労度を表示装置２２の制御以外で、ユーザによるＨＭＤ１００の使い勝手を向上するために利用することとしてもよい。
【００７３】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。
【００７４】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００７５】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００７６】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【００７７】
なお、以上の第１、第２の実施形態及び変形例の説明に関して、更に以下の付記を開示する。
（付記１）  ヘッドマウントディスプレイが有するコンピュータに、
前記ヘッドマウントディスプレイが有する加速度センサの計測結果を取得し、
前記加速度センサの計測結果に基づいて、前記ヘッドマウントディスプレイを装着するユーザが咀嚼しているか又は発話しているかを判定する、
処理を実行させるための処理プログラム。
（付記２）  前記判定する処理では、前記加速度センサの計測結果の波形に基づいて、前記ユーザが咀嚼しているか又は発話しているかを判定する、ことを特徴とする付記１に記載の処理プログラム。
（付記３）  前記判定する処理における判定結果に基づいて、前記ユーザの疲労度を算出する、処理を前記コンピュータに更に実行させることを特徴とする付記１又は２に記載の処理プログラム。
（付記４）  前記算出する処理では、前記判定する処理において前記ユーザが咀嚼していると判定された場合に、前記加速度センサの計測結果の波形の振幅に基づいて前記ユーザの疲労度を算出する、ことを特徴とする付記３に記載の処理プログラム。
（付記５）  前記ヘッドマウントディスプレイが有する撮像部により撮像された画像を取得する、処理を前記コンピュータに更に実行させ、
前記算出する処理では、撮像された前記画像に基づいて、前記ユーザの疲労度を算出する、ことを特徴とする付記３に記載の処理プログラム。
（付記６）  前記算出する処理では、撮像された前記画像から、前記ユーザが咀嚼した食べ物の情報及び前記ユーザが使用する食器の情報のうち少なくともいずれかを特定し、特定した情報に基づいて、前記ユーザの疲労度を算出することを特徴とする付記５に記載の処理プログラム。
（付記７）  前記算出する処理では、前記ユーザの種別に応じて前記疲労度の算出基準を異ならせることを特徴とする付記３〜６のいずれかに記載の処理プログラム。
（付記８）  前記算出する処理で算出された前記ユーザの疲労度に基づいて、前記ヘッドマウントディスプレイが有する表示部の表示を制御する、ことを特徴とする付記３〜７のいずれかに記載の処理プログラム。
（付記９）  ヘッドマウントディスプレイが有するコンピュータが、
前記ヘッドマウントディスプレイが有する加速度センサの計測結果を取得し、
前記加速度センサの計測結果に基づいて、前記ヘッドマウントディスプレイを装着するユーザが咀嚼しているか又は発話しているかを判定する、
処理を実行することを特徴とする処理方法。
（付記１０）  ヘッドマウントディスプレイが有する情報処理装置であって、
前記ヘッドマウントディスプレイが有する加速度センサの計測結果を取得する取得部と、
前記取得部が取得した前記加速度センサの計測結果に基づいて、前記ヘッドマウントディスプレイを装着するユーザが咀嚼しているか又は発話しているかを判定する判定部と、
を備える情報処理装置。
（付記１１）  前記判定部の判定結果に基づいて、前記ユーザの疲労度を算出する算出部、を更に備える付記１０に記載の情報処理装置。
（付記１２）  前記ヘッドマウントディスプレイが有する撮像部により撮像された画像を取得する画像取得部を更に備え、
前記算出部は、前記画像取得部が取得した画像に更に基づいて、前記ユーザの疲労度を算出する、ことを特徴とする付記１１に記載の情報処理装置。
（付記１３）  前記算出部が算出した前記ユーザの疲労度に基づいて、前記ヘッドマウントディスプレイが有する表示部の表示を制御する表示制御部を更に備える付記１０〜１２のいずれかに記載の情報処理装置。
（付記１４）  ヘッドマウントディスプレイが有するコンピュータに、
前記ヘッドマウントディスプレイを装着するユーザの疲労度を検出し、
検出した前記ユーザの疲労度に基づいて、前記ヘッドマウントディスプレイにおける表示の見やすさを制御する、
処理を実行させるための表示プログラム。
（付記１５）  前記検出する処理では、
前記ヘッドマウントディスプレイが有する加速度センサの計測結果を取得し、
前記加速度センサの計測結果に基づいて、前記ユーザが咀嚼しているか又は発話しているかを判定し、
前記判定する処理における判定結果に基づいて、前記ユーザの疲労度を算出する、ことを特徴とする付記１４に記載の表示プログラム。
（付記１６）  前記算出する処理では、前記判定する処理において前記ユーザが咀嚼していると判定された場合に、前記加速度センサの計測結果の波形の振幅に基づいて前記ユーザの疲労度を算出する、ことを特徴とする付記１５に記載の表示プログラム。
（付記１７）  前記ヘッドマウントディスプレイが有する撮像部により撮像された画像を取得する、処理を前記コンピュータに更に実行させ、
前記算出する処理では、撮像された前記画像に基づいて、前記ユーザの疲労度を算出する、ことを特徴とする付記１５に記載の表示プログラム。
（付記１８）  前記算出する処理では、撮像された前記画像から、前記ユーザが咀嚼した食べ物の情報及び前記ユーザが使用する食器の情報のうち少なくともいずれかを特定し、特定した情報に基づいて、前記ユーザの疲労度を算出することを特徴とする付記１７に記載の表示プログラム。
（付記１９）  ヘッドマウントディスプレイが有するコンピュータが、
前記ヘッドマウントディスプレイを装着するユーザの疲労度を検出し、
検出した前記ユーザの疲労度に基づいて、前記ヘッドマウントディスプレイにおける表示の見やすさを制御する、
処理を実行することを特徴とする表示方法。
（付記２０）  ヘッドマウントディスプレイが有する表示制御装置であって、
前記ヘッドマウントディスプレイを装着するユーザの疲労度を検出する検出部と、
前記検出部が検出した前記ユーザの疲労度に基づいて、前記ヘッドマウントディスプレイにおける表示の見やすさを制御する表示制御部と、
を備える表示制御装置。
【符号の説明】
【００７８】
１０  制御装置（情報処理装置）
１２  加速度センサ
１６  カメラ（撮像部）
２２  表示装置（表示部）
５０  加速度取得部（取得部、検出部の一部）
５２  咀嚼判定部（判定部、検出部の一部）
５４  疲労度算出部（算出部、検出部の一部）
５６  表示制御部
６０  画像取得部
１００  ヘッドマウントディスプレイ
【図１】
2019101811.tif 000003
【図２】
2019101811.tif 000004
【図３】
2019101811.tif 000005
【図４】
2019101811.tif 000006
【図５】
2019101811.tif 000007
【図６】
2019101811.tif 000008
【図７】
2019101811.tif 000009
【図８】
2019101811.tif 000010
【図９】
2019101811.tif 000011
【図１０】
2019101811.tif 000012