(57)【要約】【課題】  携帯端末を使用者が操作中か否かの判断を高い精度で行うことを可能にする携帯端末、携帯端末の制御方法、および携帯端末のプログラムを実現する。【解決手段】  表示部を備える携帯端末であって、前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備える。【選択図】      図１
2019139411.tif 000002
【特許請求の範囲】
【請求項１】
表示部を備える携帯端末であって、
前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、
第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
【請求項２】
表示部を備える携帯端末であって、
前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、
前記表示部の鉛直方向に対する第１の絶対角度を検知する角度検知部を備え、
所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
【請求項３】
表示部を備える携帯端末であって、
前記表示部と相対的に固定され前記携帯端末の使用者の顔と眼球表面の画像とを撮影する撮影部と、
前記表示部の鉛直方向に対する絶対角度を検知する角度検知部を備え、
前記顔の画像と前記絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
【請求項４】
表示部を備える携帯端末であって、
前記表示部と相対的に固定され前記携帯端末の使用者の顔と眼球表面の画像とを撮影する撮影部と、
前記携帯端末の位置の移動を検知する移動検知部と、
前記表示部の鉛直方向に対する絶対角度を検知する角度検知部を備え、
前記携帯端末が移動中と検知され、かつ前記顔の画像と前記絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
【請求項５】
前記携帯端末は更に、前記携帯端末の位置の移動を検知する移動検知部を備え、
前記制御部は前記使用者が前記携帯端末を操作中であると判断すると、前記使用者による前記携帯端末の操作の受け付けを停止とすることを特徴とする請求項１乃至請求項４のいずれかに記載の携帯端末。
【請求項６】
前記制御部はさらに、前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することを特徴とする請求項５に記載の携帯端末。
【請求項７】
第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
【請求項８】
所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
【請求項９】
携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
【請求項１０】
第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末、携帯端末の制御方法、および携帯端末のプログラムに関するものである。
【背景技術】
【０００２】
携帯電話、スマートフォン（smart phone）等の携帯端末の使用者が、歩きながら表示画面を見たり操作することで、他人や車と衝突したり、駅のホーム（platform）から転落するなどの事故が起こっていて、社会問題となっている。
【０００３】
そこで、特許文献１では、携帯端末が移動中に、使用者の目の視線の動きを検知して、使用者が表示部を見ながら移動していると判断されると、携帯端末の機能制限を行う技術を提示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−０９９４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１による技術では、携帯端末の使用者の視線の動きによって、使用者が携帯端末を操作中か否かを判断している。
【０００６】
しかし、タブレット端末（tablet terminal）の様に、大きい画面の携帯端末の場合には、画面の表示範囲内を見ている場合でも、視線の動きは大きくなる。また、携帯端末の表示画面と使用者の目との距離が近い場合は、遠い場合と比べて視線の動きは大きくなる。
【０００７】
そのため、特許文献１に提示される様に、携帯端末の使用者の視線の動きを利用して、使用者が携帯端末を操作中か否かの判断を行うと、判定精度が低い問題がある。
【０００８】
本発明の目的は、上述した課題を鑑み、携帯端末を携帯端末の使用者が操作中か否かの判断を高い精度で行う携帯端末、携帯端末の制御方法、および携帯端末のプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の携帯端末は、表示部を備える携帯端末であって、前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備える。
【００１０】
上記の目的を達成するために、本発明の携帯端末の制御方法は、第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する。
【００１１】
上記の目的を達成するために、本発明の携帯端末のプログラムは、第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる。
【発明の効果】
【００１２】
本発明によれば、携帯端末、携帯端末の制御方法、および携帯端末のプログラムは、携帯端末を携帯端末の使用者が操作中か否かの判断を高い精度で行うことが可能となる。
【図面の簡単な説明】
【００１３】
【図１】第１および第２の実施形態の構成例を示す図である。
【図２】第２の実施形態の動作を説明する図である。
【図３】第３の実施形態の動作を説明する図である。
【図４】第４および第５の実施形態の構成例を示す図である。
【図５】第４の実施形態の動作を説明する図である。
【図６】第５の実施形態の動作を説明する図である。
【図７】第６および第７の実施形態の構成例を示す図である。
【図８】第６の実施形態の動作を説明する図である。
【図９】第７の実施形態の動作を説明する図である。
【発明を実施するための形態】
【００１４】
［第１の実施形態］
次に、本発明の実施の形態について図１を参照して詳細に説明する。
【００１５】
図１に第１の実施形態の構成を示す。
【００１６】
本実施形態の携帯端末１０は、表示部１１を備える携帯端末であって、前記表示部１１と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部１２と制御部１３を備える。制御部１３は、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部１１に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末１０を操作中であると判断する。
【００１７】
この様にすることで、携帯端末の使用者が携帯端末を操作中か否かの判断を、視線の動きのみで行うより高精度で行うことが可能となる。
［第２の実施形態］
次に、第２の実施形態について図１と図２を参照して説明する。
［構成の説明］
図１に第２の実施形態の構成を示す。
【００１８】
本実施形態の構成は第１の実施形態の構成と同じである。
【００１９】
携帯端末２０は、表示部２１、撮影部２２、および制御部２４を備える。
【００２０】
本実施形態の携帯端末２０は、無線携帯端末であるスマートフォンを想定しているが、必ずしも無線携帯端末である必要はなく、無線機能の無い、携帯ビデオ（video）再生装置等であっても良い。
【００２１】
表示部２１は、スマートフォンのタッチパネル（touch panel）を想定しており、表示手段と、指先が触れることによる入力手段とを兼ねている。しかし、必ずしも入力手段を備えていなくても、本実施形態に示す発明の主旨を損なわない。
【００２２】
撮影部２２は、カメラ（camera）であって、表示部と同一面に固定されて使用者の顔を撮影できる、いわゆる内側カメラ（inner camera）である。尚、一般的なスマートフォンでは、内側カメラはタッチパネルと同一面に取付けられていることが多い。しかし、撮影部２２は、携帯端末２０の使用者の顔を撮影することが出来て、表示部と相対的に位置が固定されて設置されているカメラであっても良い。
【００２３】
制御部２４は、ＣＰＵ（Central Processing Unit；中央処理装置）を含み、携帯端末２０のハードウェアを制御し、ソフトウェア処理を行う。
［動作の説明］
本実施形態の携帯端末１０は、予め決められた時間Ｔ１（第１の所定時間）以内に、携帯端末１０の利用者が表示部１１を時間Ｔ２（第２の所定時間）以上見つめていると、利用者は携帯端末１０を操作中であると判断する。
【００２４】
また、携帯端末１０は、時間Ｔ１の間に、携帯端末１０の利用者が表示部１１を時間Ｔ２より短い時間しか見ていなければ、利用者は携帯端末１０を操作中でないと判断する。
【００２５】
この様な携帯端末１０を実現する、携帯端末１０の動作について、図２を参照して説明する。
【００２６】
携帯端末１０が動作を開始すると、制御部１３は時間ｔ１をゼロに設定し、時間ｔ２をゼロに設定する（Ｓ１０１）。
【００２７】
時間の計時は、ここでは制御部１３が備える時計機能を用いることを想定しているが、携帯端末１０は、制御部１３とは別に時計機能を備えることでもよい。
【００２８】
制御部１３は、時間ｔ１の計時を開始する（Ｓ１０２）。
【００２９】
制御部１３は、撮影部１２を動作して携帯端末１０の使用者の眼球表面の画像を撮影する。そして、制御部１３は、眼球表面に映っている画像を抽出する（Ｓ１０３）。
【００３０】
眼球表面の画像を抽出することは、現在、多く実現されている技術であるので説明を省略する。
【００３１】
ステップＳ１０４で、制御部１３は、ｔ１が時間Ｔ１以内であるかどうかを判断する（Ｓ１０４）。
【００３２】
ここで、時間Ｔ１は、予め決められた時間である。
【００３３】
ステップＳ１０４でｔ１が時間Ｔ１以内であると判断されると（Ｓ１０４でＹ）、ステップＳ１０５にすすむ。
【００３４】
ステップＳ１０４でｔ１が時間Ｔ１以内でないと判断されると（Ｓ１０４でＮ）、ステップＳ１１１にすすむ。
【００３５】
ステップＳ１０５で、制御部１３は、眼球表面画像と表示部１１の画像とが一致するかどうかを判断する（Ｓ１０５）。
【００３６】
携帯端末１０の使用者が表示部１１を見つめていると、眼球表面画像と表示部１１の画像が一致する。ステップＳ１０５の判断は、携帯端末１０の使用者が表示部１１を見つめているか否かを判断している。
【００３７】
ステップＳ１０５で、眼球表面画像と表示部１１の画像とが一致すると判断されると（Ｓ１０５でＹ）、ステップＳ１０６にすすむ。
【００３８】
ステップＳ１０５で、眼球表面画像と表示部１１の画像とが一致しないと判断されると（Ｓ１０５でＮ）、ステップＳ１１０にすすむ。
【００３９】
ステップＳ１０６で、制御部１３は、ｔ２の計時を行う（Ｓ１０６）。
【００４０】
ここで、ステップＳ１０６の直前で、ｔ２の計時が停止していた場合はｔ２の計時を開始し、ｔ２が計時中の場合はｔ２の計時を継続する。
【００４１】
ステップＳ１０７で、制御部１３は、ｔ２が時間Ｔ２以上であるかどうかを判断する（Ｓ１０７）。
【００４２】
ここで、時間Ｔ２は、予め決められた時間であり、時間Ｔ１より短く設定されている。
【００４３】
ステップＳ１０７でｔ２が時間Ｔ２以上であると判断されると（Ｓ１０７でＹ）、ステップＳ１０８にすすむ。
【００４４】
ステップＳ１０７でｔ２が時間Ｔ２以上でないと判断されると（Ｓ１０７でＮ）、ステップＳ１０３にもどる。
【００４５】
ステップＳ１０８で、制御部１３は、携帯端末１０が使用者による操作中であると判断する（Ｓ１０８）。
【００４６】
ステップＳ１０８では、携帯端末１０の使用者が、時間Ｔ１以内に時間Ｔ２以上、表示部１１を見つめている状況である。この状況を携帯端末１０が使用者による操作中であると判断している。
【００４７】
ステップＳ１０９では、制御部１３は、一定時間が経過するまで待つ（Ｓ１０９）。
【００４８】
ステップＳ１０９の一定時間は、操作中か否かの判断をどの位の時間間隔で行うかによって決められる。
【００４９】
ステップＳ１０９のあと、ステップＳ１０１にもどる。
【００５０】
ステップＳ１１０では、制御部１３は、ｔ２の計時を停止する（Ｓ１１０）。
【００５１】
ステップＳ１１０の後、ステップＳ１０３に戻る。
【００５２】
ステップＳ１１１では、制御部１３は、携帯端末１０が使用者による操作中ではないと判断する（Ｓ１１１）。
【００５３】
ステップＳ１１１では、携帯端末１０の使用者が、時間Ｔ１以内に時間Ｔ２以上、表示部１１を見つめていない状況である。即ち、時間Ｔ１以内に、Ｔ２より短い時間しか表示部１１を見つめていない。この様な状況では、携帯端末１０が使用者による操作中ではないと判断している。
【００５４】
ステップＳ１１１のあと、ステップＳ１０９にすすむ。
【００５５】
ステップＳ１０８、およびステップＳ１１１で、制御部１３が行った、携帯端末１０が使用者によって操作中であるか否かの判断は、携帯端末１０のアプリケーションソフトウェア（application software）の動作のための情報などとして利用可能である。
【００５６】
この様にすることで、本実施形態の携帯端末１０は、携帯端末１０の使用者が携帯端末１０を操作中か否かの判断を、視線の動きのみで行うより高精度で行うことが可能となる。
［第３の実施形態］
次に、第３の実施形態について図１と図３を参照して説明する。
［構成の説明］
本実施形態の構成は、図１に示される第１および第２の実施形態の構成と同じであり、制御部１３の動作が、第１および第２の実施形態と異なる。
［動作の説明］
本実施形態の携帯端末１０は、予め決められた時間Ｔ以内に、携帯端末１０の利用者が表示部１１をＮ回見つめていると、利用者は携帯端末１０を操作中であると判断する。
【００５７】
また、携帯端末１０は、時間Ｔ以内に、携帯端末１０の利用者が表示部１１をＮ回より少ない回数しか見ていなければ、利用者は携帯端末１０を操作中でないと判断する。
【００５８】
この様な携帯端末１０を実現する、携帯端末１０の動作について、図３を参照して説明する。
【００５９】
携帯端末１０が動作を開始すると、制御部１３は時計ｔ１をゼロに設定し、カウンタ（counter）ｎをゼロに設定する（Ｓ２０１）。
【００６０】
時間の計時は、ここでは制御部１３が備える時計機能を用いることを想定しているが、携帯端末１０は、制御部１３とは別に時計機能を備えることでもよい。
【００６１】
また、回数を計数するカウンタは、制御部１３が備える計数機能を用いることを想定しているが、携帯端末１０は、制御部１３とは別にカウンタを備えることでもよい。
【００６２】
制御部１３は、時間ｔの計時を開始する（Ｓ２０２）。
【００６３】
ステップＳ２０３は、第２の実施形態で説明した図２のステップＳ１０３と同じである（Ｓ２０３）。
【００６４】
ステップＳ２０４で、制御部１３は、ｔが時間Ｔ以内であるかどうかを判断する（Ｓ２０４）。
【００６５】
ここで、時間Ｔは、前述した予め決められた時間である。
【００６６】
ステップＳ２０４でｔが時間Ｔ以内であると判断されると（Ｓ２０４でＹ）、ステップＳ２０５にすすむ。
【００６７】
ステップＳ２０４でｔ１が時間Ｔ１以内でないと判断されると（Ｓ２０４でＮ）、ステップＳ２１０にすすむ。
【００６８】
ステップＳ２０５で、制御部１３は、眼球表面画像と表示部１１の画像とが一致するかどうかを判断する（Ｓ２０５）。
【００６９】
携帯端末１０の使用者が表示部１１を見つめていると、眼球表面画像と表示部１１の画像が一致する。ステップＳ２０５の判断は、携帯端末１０の使用者が表示部１１を見つめているか否かを判断している。
【００７０】
ステップＳ２０５で、眼球表面画像と表示部１１の画像とが一致すると判断されると（Ｓ２０５でＹ）、ステップＳ２０６にすすむ。
【００７１】
ステップＳ２０５で、眼球表面画像と表示部１１の画像とが一致しないと判断されると（Ｓ２０５でＮ）、ステップＳ２０３にもどる。
【００７２】
ステップＳ２０６で、制御部１３は、カウンタｎを１つ加算する（Ｓ２０６）。
【００７３】
ステップＳ２０７で、制御部１３は、カウンタｎが回数Ｎであるかどうかを判断する（Ｓ２０７）。
【００７４】
ここで、回数Ｎは、予め決められた回数である。
【００７５】
ステップＳ２０７でｎが回数Ｎであると判断されると（Ｓ２０７でＹ）、ステップＳ２０８にすすむ。
【００７６】
ステップＳ２０７でｎが回数Ｎでないと判断されると（Ｓ２０７でＮ）、ステップＳ２０９にすすむ。
【００７７】
ステップＳ２０８で、制御部１３は、携帯端末１０が使用者によって操作中であると判断する（Ｓ２０８）。
【００７８】
ステップＳ２０８では、携帯端末１０の使用者が、時間Ｔ以内にＮ回、表示部１１を見つめている状況である。この状況を携帯端末１０が使用者による操作中であると判断している。
【００７９】
ステップＳ２０８のあと、ステップＳ２０１にもどる。
【００８０】
ステップＳ２０９では、制御部１３は、一定時間待機する（Ｓ２０９）。
【００８１】
この待機時間の設定は、時間Ｔと回数Ｎの設定と共に、携帯端末１０の使用者が携帯端末１０を操作中であるか否かの判断基準として、携帯端末１０の設計時に決定される。
【００８２】
ステップＳ２０９の後、ステップＳ２０３に戻る。
【００８３】
ステップＳ２１０では、制御部１３は、携帯端末１０が使用者によって操作中ではないと判断する（Ｓ２１０）。
【００８４】
ステップＳ２１０では、携帯端末１０の使用者が、時間Ｔ以内に、Ｎ回より少ない回数だけ表示部１１を見つめている状況である。この様な状況では、携帯端末１０が使用者による操作中ではないと判断している。
【００８５】
ステップＳ２１０のあと、ステップＳ２０１にもどる。
【００８６】
ステップＳ２０８、およびステップＳ２１０で、制御部１３が行った、携帯端末１０が使用者によって操作中であるか否かの判断は、携帯端末１０のアプリケーションソフトウェア（application software）の動作のための情報などとして利用可能である。
【００８７】
この様にすることで、本実施形態の携帯端末１０は、携帯端末１０の使用者が携帯端末１０を操作中か否かの判断を、視線の動きのみで行うより高精度で行うことが可能となる。
［第４の実施形態］
次に、第４の実施形態について図４と図５を参照して説明する。
［構成の説明］
図４に第４の実施形態の構成を示す。
【００８８】
携帯端末２０は、表示部２１、撮影部２２、角度検知部２３、および制御部２４を備える。
【００８９】
本実施形態の携帯端末２０は、無線携帯端末であるスマートフォンを想定しているが、必ずしも無線携帯端末である必要はなく、無線機能の無い、携帯ビデオ（video）再生装置等であっても良い。
【００９０】
表示部２１、撮影部２２、および制御部２４は、第２および第３の実施形態の表示部１１、撮影部１２、および制御部１３と同様である。
【００９１】
角度検知部２３は、ジャイロスコープ（gyroscope）であってもよい。ジャイロスコープは、携帯端末２０の鉛直方向に対する絶対的な傾きの角度を検出する手段である。スマートフォンでは、ジャイロスコープを備える機種も多い。
［動作の説明］
次に、本実施形態の携帯端末２０の動作について図５を参照して説明する。
【００９２】
図５は、第２の実施形態の動作を説明する図２に対して、ステップＳ３０１からステップＳ３０５が追加されている。ステップＳ３０６からステップＳ３１６は、第２の実施形態の動作を説明する図２のステップＳ１０１からステップＳ１１１と同じである
はじめに、制御部２４は、撮影部２２を動作して携帯端末２０の使用者の顔画像を撮影する。（Ｓ３０１）。
【００９３】
制御部２４は、角度検知部２３を動作させて、携帯端末２０の鉛直方向に対する絶対的な傾きの角度を検知する（Ｓ３０２）。
【００９４】
そして、制御部２４は、ステップＳ３０１で撮影した使用者の顔画像を解析して、表示部２１の表面に対する顔の相対角度を計算する（Ｓ３０３）。
【００９５】
顔の画像から表示部２１の表面に対する顔の相対角度を計算することは、顔画像処理技術を用いた顔の向きの検出として行うことが出来る。
【００９６】
ステップＳ３０２で検知した、制御部２４は、携帯端末２０の絶対的な傾き角度と、ステップＳ３０３で計算した表示部２１に対する顔の相対角度とから、顔の絶対角度を計算する（Ｓ３０４）。
【００９７】
次に、制御部２４は、ステップＳ３０４で計算した顔の絶対角度から、顔が所定の角度より下向きかどうかを判断する（Ｓ３０５）。
【００９８】
ここで、携帯端末２０の使用者の顔が、所定の角度より下向きとは、使用者の顔がうつむいていて、前方を注視していない状態である。また、所定の角度より下向きでない、即ち上向きとは、使用者の顔はうつむかずに前方を向いている状態である。
【００９９】
ステップＳ３０５で、顔が所定の角度より下向きであると判断されると（Ｓ３０５でＹ）、ステップＳ３０６にすすむ。
【０１００】
ステップＳ３０５で、顔が所定の角度より下向きでないと判断されると（Ｓ３０５でＮ）、ステップＳ３１６にすすむ。
【０１０１】
ステップＳ３０６からステップＳ３１６は、第２の実施形態の動作を説明する図２のステップＳ１０１からステップＳ１１１と同じであるので、説明を省略する。
【０１０２】
この様に、第２の実施形態の動作に加えて、ステップＳ３０１からステップＳ３０５の動作を加えることで、次の様な効果がある。
【０１０３】
第２の実施形態では、眼球表面画像だけで、携帯端末の使用者が表示部を見つめているかどうかを判断していた。しかし、眼球表面画像は顔画像のごく一部分を使用したものであるため、顔全体の画像を使用して顔のうつむき状態を判断することと比べて、画像抽出処理が複雑で低速になる。
【０１０４】
一方、本実施形態では、まず、眼球表面画像の抽出処理を省略して、顔のうつむき状態を判断することで、使用者の前方注視の状態を高速で判断する。そして、顔がうつむいている場合に、眼球表面画像を用いて、使用者が携帯端末を見つめているかどうかを判断する。
【０１０５】
また、本実施形態の携帯端末２０は、使用者が携帯端末を操作中であるとの判断を、顔のうつむき状態と眼球表面画像の両方を用いて行うため、操作中であるとの判断を、第２の実施形態の携帯端末１０より高精度に行うことができる。
【０１０６】
この様にすることで、本実施形態の携帯端末２０は、第２の実施形態の携帯端末１０と比べて、より高速でかつ高精度に携帯端末の使用者が操作中であるかどうかを判断することができる。
［第５の実施形態］
次に、第５の実施形態について図４と図６を参照して説明する。
［構成の説明］
本実施形態の構成は、図４に示される第４の実施形態の構成と同じであり、制御部２４の動作が、第４の実施形態と異なる。
［動作の説明］
次に、本実施形態の携帯端末２０の動作について図６を参照して説明する。
【０１０７】
ステップＳ４０１からステップＳ４０５は、第４の実施形態の動作を説明する図５のステップＳ３０１からステップＳ３０５と同じである。
【０１０８】
また、ステップＳ４０６からステップＳ４１５は、第３の実施形態の動作を説明する図３のステップＳ２０１からステップＳ２１０と同じである。
【０１０９】
この様に、第３の実施形態の動作に加えて、ステップＳ４０１からステップＳ４０５の動作を加えている。そのため、第４の実施形態の携帯端末２０と同様に、使用者が携帯端末を操作中であるとの判断を、顔のうつむき状態と眼球表面画像の両方を用いて行っている。
【０１１０】
この様にすることで、本実施形態の携帯端末２０は、第３の実施形態の携帯端末１０と比べて、より高速でかつ高精度に携帯端末の使用者が操作中であるかどうかを判断することができる。
［第６の実施形態］
次に、第６の実施形態について図７と図８を参照して説明する。
［構成の説明］
図７に第６の実施形態の構成を示す。
【０１１１】
携帯端末３０は、表示部３１、撮影部３２、角度検知部３３、移動検知部３４、および制御部３５を備える。
【０１１２】
本実施形態の携帯端末３０は、無線携帯端末であるスマートフォンを想定しているが、必ずしも無線携帯端末である必要はなく、無線機能の無い、携帯ビデオ（video）再生装置等であっても良い。
【０１１３】
表示部３１、撮影部３２、角度検知部３３、および制御部３５は、第４および第５の実施形態の表示部２１、撮影部２２、角度検知部２３および制御部２４と同様である。
【０１１４】
移動検知部３４は、ＧＰＳ（Global Positioning System）を利用して、携帯端末３０の現在地を測定し、現在地が時間とともに変化している場合に、携帯端末３０が移動していると検知するなどでもよい。スマートフォンでは、ＧＰＳ機能を備える機種も多い。
［動作の説明］
次に、本実施形態の携帯端末３０の動作について図８を参照して説明する。
【０１１５】
図８は、第４の実施形態の動作を説明する図５に対して、ステップＳ５０１とステップＳ５０２が追加されている。ステップＳ５０３からステップＳ５１４、およびステップＳ５１７は、第４の実施形態の動作を説明する図５のステップＳ３０１からステップＳ３１２、およびステップＳ３１５と同じである。
【０１１６】
また、図５のステップＳ３１３は削除されて、図８ではステップＳ５１５とステップＳ５１６に置きかえられている。
【０１１７】
更に、図５のステップＳ３１６は削除されて、図８ではステップＳ５０１にもどる。
【０１１８】
はじめに、制御部３５は、表示部３１であるタッチパネルが、携帯端末３０の使用者によって、操作中であるかを判断する（Ｓ５０１）。
【０１１９】
ここで、操作中であるかどうかの判断は、タッチパネルに使用者が接触しているかどうかを検知し、一定時間内に接触を検知すれば操作中と判断する様にしても良い。
【０１２０】
尚、携帯端末３０が、表示部３１とは別にボタンによる入力手段を備えていて、ボタンの操作を検知して、操作中かどうかを判断しても良い。
【０１２１】
ステップＳ５０１で、操作中と判断されると（Ｓ５０１でＹ）、ステップＳ５０２にすすむ。
【０１２２】
ステップＳ５０１で、操作中でないと判断されると（Ｓ５０１でＮ）、ステップＳ５０１にもどる。
【０１２３】
ステップＳ５０２では、制御部３５は、移動検知部３４を動作して、携帯端末３０が移動中であるかどうかを判断する（Ｓ５０２）。
【０１２４】
ステップＳ５０２で、移動中と判断されると（Ｓ５０２でＹ）、ステップＳ５０３にすすむ。
【０１２５】
ステップＳ５０２で、移動中でないと判断されると（Ｓ５０２でＮ）、ステップＳ５０１にもどる。
【０１２６】
ステップＳ５０３からステップＳ５１４、およびステップＳ５１７は、第４の実施形態の動作を説明する図５のステップＳ３０１からステップＳ３１２、およびステップＳ３１５と同じである。
【０１２７】
ステップＳ５１５では、制御部３５は、表示部３１のタッチパネルの入力操作の受け付けを停止する（Ｓ５１５）。
【０１２８】
ステップＳ５１６では、予め定められた一定の時間を経過後に、表示部３１のタッチパネルの入力操作の停止を解除する（Ｓ５１６）。
【０１２９】
この様にすることで、携帯端末３０が移動中で、かつ携帯端末３０の使用者が携帯端末３０を、前方を注視せずに使用中であると判断されると、表示部３１のタッチパネルの入力操作の受け付けが停止される。
【０１３０】
その結果、携帯端末３０の使用者は、止むを得ず携帯端末３０の入力操作をやめて、前方を注視して移動する様になる。そして、携帯端末３０の使用者は、危険を回避することができる。
【０１３１】
以上説明した様に、本実施形態の携帯端末３０は、携帯端末の使用者が携帯端末を操作中か否かの判断を高い精度で行うことで、使用者が歩行などの移動中に入力操作を行なう危険を回避することが出来る。
［第７の実施形態］
次に、第７の実施形態について図７と図９を参照して説明する。
［構成の説明］
本実施形態の構成は、図７に示される第６の実施形態の構成と同じであり、制御部３５の動作が、第６の実施形態と異なる。
［動作の説明］
次に、本実施形態の携帯端末３０の動作について図９を参照して説明する。
【０１３２】
図９は、第５の実施形態の動作を説明する図６に対して、ステップＳ６０１とステップＳ６０２が追加されている。ステップＳ６０３からステップＳ６１４、およびステップＳ６１７は、第５の実施形態の動作を説明する図５のステップＳ４０１からステップＳ４１２、およびステップＳ４１４と同じである。
【０１３３】
また、図６のステップＳ４１３は削除されて、図９ではステップＳ６１５とステップＳ６１６に置きかえられている。
【０１３４】
更に、図６のステップＳ４１５は削除されて、図９ではステップＳ６０１にもどる。
【０１３５】
ステップＳ６０１とステップＳ６０２は、図８に示した第６の実施形態の動作のステップＳ５０１とステップＳ５０２と同じである。
【０１３６】
ステップＳ６０３からステップＳ６１４、およびステップＳ６１７は、第５の実施形態の動作を説明する図５のステップＳ４０１からステップＳ４１２、およびステップＳ４１４と同じである。
【０１３７】
また、ステップＳ６１５とステップＳ６１６は、第６の実施形態の動作を示す図８のステップＳ５１５とステップＳ５１６と同じである。
【０１３８】
この様にすることで、第６の実施形態の携帯端末３０と同様に、携帯端末３０が移動中で、かつ携帯端末３０の使用者が携帯端末３０を、前方を注視せずに使用中であると判断されると、表示部３１のタッチパネルの入力操作の受け付けが停止される。
【０１３９】
その結果、携帯端末３０の使用者は、止むを得ず携帯端末３０の入力操作をやめて、前方を注視して移動する様になる。そして、携帯端末３０の使用者は、危険を回避することができる。
【０１４０】
以上説明した様に、本実施形態の携帯端末３０は、携帯端末の使用者が携帯端末を操作中か否かの判断を高い精度で行うことで、使用者が歩行などの移動中に入力操作を行なう危険を回避することが出来る。
【０１４１】
尚、本発明は、実施形態の機能を実現する情報処理プログラムが、システム或いは装置に直接或いは遠隔から供給される場合にも適用可能である。
【０１４２】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１４３】
（付記１）
表示部を備える携帯端末であって、
前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、
第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
【０１４４】
（付記２）
表示部を備える携帯端末であって、
前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、
前記表示部の鉛直方向に対する第１の絶対角度を検知する角度検知部を備え、
所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
【０１４５】
（付記３）
表示部を備える携帯端末であって、
前記表示部と相対的に固定され前記携帯端末の使用者の顔と眼球表面の画像とを撮影する撮影部と、
前記表示部の鉛直方向に対する絶対角度を検知する角度検知部を備え、
前記顔の画像と前記絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
【０１４６】
（付記４）
表示部を備える携帯端末であって、
前記表示部と相対的に固定され前記携帯端末の使用者の顔と眼球表面の画像とを撮影する撮影部と、
前記携帯端末の位置の移動を検知する移動検知部と、
前記表示部の鉛直方向に対する絶対角度を検知する角度検知部を備え、
前記携帯端末が移動中と検知され、かつ前記顔の画像と前記絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。
【０１４７】
（付記５）
前記携帯端末は更に、前記携帯端末の位置の移動を検知する移動検知部を備え、
前記制御部は前記使用者が前記携帯端末を操作中であると判断すると、前記使用者による前記携帯端末の操作の受け付けを停止とすることを特徴とする付記１乃至付記４のいずれかに記載の携帯端末。
【０１４８】
（付記６）
前記制御部はさらに、前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することを特徴とする付記５に記載の携帯端末。
【０１４９】
（付記７）
第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
【０１５０】
（付記８）
所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
【０１５１】
（付記９）
携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
【０１５２】
（付記１０）
携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
【０１５３】
（付記１１）
前記携帯端末が移動中と検知されて、前記使用者が前記携帯端末を操作中であると判断されると、前記使用者による前記携帯端末の操作の受け付けを停止とすることを特徴とする付記７乃至付記１０のいずれかに記載の携帯端末の制御方法。
【０１５４】
（付記１２）
前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することを特徴とする付記１１に記載の携帯端末の制御方法。
【０１５５】
（付記１３）
第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。
【０１５６】
（付記１４）
所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。
【０１５７】
（付記１５）
携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。
【０１５８】
（付記１６）
携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。
【０１５９】
（付記１７）
前記携帯端末が移動中と検知されて、前記使用者が前記携帯端末を操作中であると判断されると、前記使用者による前記携帯端末の操作の受け付けを停止とすることをコンピュータに実行させる付記１３乃至付記１６のいずれかに記載の携帯端末のプログラム。
【０１６０】
（付記１８）
前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することをコンピュータに実行させる付記１７に記載の携帯端末のプログラム。
【符号の説明】
【０１６１】
１０  携帯端末
１１  表示部
１２  撮影部
１３  制御部
２０  携帯端末
２１  表示部
２２  撮影部
２３  角度検知部
２４  制御部
３０  携帯端末
３１  表示部
３２  撮影部
３３  角度検知部
３４  移動検知部
３５  制御部
【図１】
2019139411.tif 000003
【図２】
2019139411.tif 000004
【図３】
2019139411.tif 000005
【図４】
2019139411.tif 000006
【図５】
2019139411.tif 000007
【図６】
2019139411.tif 000008
【図７】
2019139411.tif 000009
【図８】
2019139411.tif 000010
【図９】
2019139411.tif 000011