(57)【要約】【課題】視線入力機能を用い、操作者が画面から視線を外す回数を監視して画面を見ていると判断した場合に警告を発することで危険回避を行う。【解決手段】制御部１１と、撮像部１３と、表示部１５とを有し、制御部１１は、撮像部１３により撮像される操作者の視線情報に基づき、表示部１５の画面を見てから一定時間内における所定回数内の視線外し回数を監視し、この視線外し回数と基準視線外し回数との比較結果によっては表示部１５に警告情報を表示する。【選択図】図１
2014216869.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも撮像部と表示部とを備えた携帯端末装置であって、
前記撮像部により撮像される操作者の視線情報に基づき、前記表示部の画面を見てから一定時間内における所定回数内の視線外し回数を監視し、前記視線外し回数と基準視線外し回数との比較結果によっては前記表示部に警告情報を表示する制御部、
を備えたことを特徴とする携帯端末装置。
【請求項２】
前記制御部は、
前記基準外し回数を可変とすることを特徴とする請求項１記載の携帯端末装置。
【請求項３】
移動状態検出部を更に備え、
前記制御部は、
前記移動状態検出部により検出される移動状態にしたがい演算される移動速度に応じて前記基準視線外し回数を可変とすることを特徴とする請求項２記載の携帯端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置に関する。
【背景技術】
【０００２】
携帯電話、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistants）等、可搬型の通信端末を含む携帯端末装置の普及に伴い、これらを歩きながら操作し、あるいは自転車に乗りながら操作する操作者（ユーザ）がいる。特に、電子メールやＷｅｂ（World Wide Web）サイト等を閲覧・操作しているユーザは、画面を注視している場合が多く、周囲の状況の確認が疎かになっている。このため、携帯端末装置の操作に夢中になり、人や、車、電柱、道路上の設置物等と衝突しそうになるか、または衝突する場合がある。したがって、安全上極めて問題が多い。
【０００３】
このため、携帯端末装置のユーザに危険性を認識させ、それを抑止するための技術が多数提案されている。例えば、特許文献１には、利用者が歩行中、あるいは自転車で移動中であることを検出し、この移動状態において危険回避のために携帯端末装置の使用を禁止する技術が開示されている。また、特許文献２には、障害物接近時に警告画面を表示し、本当に危険な場合ユーザに認識させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０５８４５５号公報
【特許文献２】特開２０１１−２０５３１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記した特許文献１に開示された技術は、携帯端末装置の撮像部が表示部と同一面上にあることが前提であり、撮影した操作者の顔を通常時と比較することにより操作者に危険状態を知らせるものである。したがって、操作者が危険を察知とて表情が変化したときに警告を発しても危険を回避出来ない場合がある。
【０００６】
また、特許文献２に開示された技術は、携帯端末装置の撮像部が表示部と反対側の面にあることが前提であり、障害物接近時に警告画面を表示し、本当に危険な場合にユーザに認識させるものである。したがって、接近して来る障害物に対しては有効であるが、横からの飛び出しや飛来してくる障害物に対して対応出来ない場合がある。
【０００７】
ところで、移動中に電子メールやＷｅｂサイト等を閲覧・操作している場合、閲覧・操作終了まで画面を見ている操作者は皆無に等しく、操作者は危険回避のため、障害物の音が聞こえた場合、あるいは影を感じた場合に、区切りの良いところで画面から視線を外す。また、これらのことがない場合でも前方に危険がないことを確認するため、何度も進行方向の確認を行っているのが普通である。
【０００８】
本発明は上記した事実に着目してなされたものであり、操作者の表情に依存することなく、かつ、接近、あるいは飛来する障害物に依存することなく危険回避が可能な携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記した課題を解決するために本発明は、少なくとも撮像部と表示部とを備えた携帯端
末装置であって、前記撮像部により撮像される操作者の視線情報に基づき、前記表示部の画面を見てから一定時間内における所定回数内の視線外し回数を監視し、前記視線外し回数と基準視線外し回数との比較結果によっては前記表示部に警告情報を表示する制御部、を備えたことを特徴とする。
【００１０】
本発明において、前記制御部は、前記基準外し回数を可変とすることを特徴とする。
【００１１】
本発明において、移動状態検出部を更に備え、前記制御部は、前記移動状態検出部により検出される移動状態にしたがい演算される移動速度に応じて前記基準視線外し回数を可変とすることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、操作者の表情に依存することなく、かつ、接近、あるいは飛来する障害物に依存することなく危険回避が可能な携帯端末装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る携帯端末装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る携帯端末装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本発明を実施するための形態（以下、本実施形態という）について詳細に説明する。なお、本実施形態の説明の全体を通して同じ要素には同じ番号を付している。
【００１５】
（実施形態の構成）
図１は、本実施形態に係る携帯端末装置１０の構成を示すブロック図である。本実施形態に係る携帯端末装置１０は、制御部１１と、記憶部１２と、撮像部１３と、操作部１４と、表示部１５と、移動状態検出部１６とが、アドレス、データ、コントロールのための信号線が複数本で構成されるバス１７に共通接続されて、構成されている。
【００１６】
制御部１１は、記憶部１２に記録された各種プログラムにしたがい携帯端末装置１０の全体動作を制御する。制御部１１には図示しないＣＰＵ（中央演算処理装置）によって構成される。制御部１１は、撮像部１３により撮像される操作者の視線情報に基づき、プログラムに割り当てた各種カウンタ（後述するＣＴ１，ＣＴ２，ＣＵ，ＣＳ）の値を監視することにより、表示部１５からの、所定時間内で、かつ一定時間内における操作者の視線外し回数を監視し、この視線外し回数と基準視線外し回数との比較の結果によっては表示部１５に警告情報を表示する機能を有する。なお、視線外し回数は後述する「視線入力」によって監視するものとする。
【００１７】
なお、「視線外し回数」とは、操作者が表示部１５の画面を見てから一旦視線を外し再び画面に視線を戻す回数をいい、「基準視線外し回数」とは、制御部１１が危険状態として認識するために予め定義される視線外し回数をいう。制御部１１は、この基準視線外し回数を可変としてもよく、例えば、画面上方向と横方向の視線移動で異なる基準視線外し回数を設定することができる。また、移動速度検出部１６により検出される移動速度に応じて可変とすることも可能である。この場合、移動速度が速いほど基準視線外し回数を小さい値に設定し、より安全サイドにそって警告を発するものとする。
【００１８】
記憶部１２は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、例えば、図２に示したフローチャート（処理手順）からなるプログラムや、プログラム実行過程におい
て生成されるカウンタ値等の作業データが格納される。なお、記憶部１２は、例えば、ＳＤカード、ＩＣカード等、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよい。
【００１９】
撮像部１３は、視線入力を実現するために、被写体としての眼球（瞳孔）を高精細に撮影可能なカメラを構成するもので、光学レンズ、絞り、撮像素子を有し、光学レンズから絞りを通して撮像素子に結像される被写体を撮像する。絞りは、光学レンズと結像面の撮像素子との間に配置され、複数枚の板（絞り羽根）を重ね合わせて円形に近い開口部を有する構成となっている。撮像素子は、ＣＣＤやＣＭＯＳなどのイメージセンサである。この撮像部１３には、光学レンズ、絞り、撮像素子の他、光学系駆動部、照明用のストロボ、アナログ処理回路、信号処理回路などが備えられている。
【００２０】
操作部１４は、押しボタン式の各種のキーを備えたもので、制御部１１は、この操作部１４からの入力操作信号に応じたアプリケーションを実行するもので、例えば、通話やメール、撮影処理、Ｗｅｂ（World  Wide  Web）サイトの閲覧処理等を実行する。
【００２１】
表示部１５は、例えば、高精細ＬＣＤ（Liquid  Crystal  Display）ディスプレイ、有機ＥＬ（Electro  Luminescence）ディスプレイ、電気泳動型ディスプレイ（電子ペーパ
）のいずれかを使用し、画像を高精細に表示する。なお、この表示部１５の表面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン（タッチ画面）を構成するようにしてもよい。
【００２２】
移動状態検出部１６は、携帯端末装置１０が移動中か否かと移動速度とを検出するもので、例えば、３軸方向の加速度センサ、あるいはＧＰＳ（Global  Positioning  System
）レシーバによって構成される。移動速度は、加速度センサによって検出された互いに直交する３軸方向（Ｘ・Ｙ・Ｚ方向）の加速度成分に基づき、あるいは、ＧＰＳレシーバにより取得される地点間の距離と時間との関係により、制御部１１が演算処理により検出する。ここでは、移動状態検出部１６として加速度センサを用いることとした。
【００２３】
（実施形態の動作）
以下、図２のフローチャートを参照しながら図１に示す携帯端末装置１０の動作について詳細に説明する。
【００２４】
図２において、制御部１１は、移動状態検出部１６の出力により携帯端末装置１０が移動中か否かを判定する（ステップＳ１０１）。そして、移動中であれば（ステップＳ１０１”ＹＥＳ”）、撮像部１３により取得される操作者の視線情報に基づき、操作者が表示部１５の画面を見ているか否かを判定する（ステップＳ１０２）。制御部１１は、撮像部１３により撮像され、取り込まれた画像から操作者の眼球（瞳孔）の動きを画像処理により追跡し、視線の向きを割り出して特定する視線検出処理（視線入力機能）を実行することにより判定が可能である。
【００２５】
ここで、操作者が画面を見ていると判定されれば（ステップＳ１０２”ＹＥＳ”）、制御部１１は、内蔵カウンタの初期化（ＣＴ１，ＣＴ２，ＣＵ，ＣＳともに”０”）を行う（ステップＳ１０３）。ここで、ＣＴ１は、操作者が画面を見てからの経過時間を監視するカウンタ、ＣＴ２は、画面を見てから一旦視線を外し再び画面に戻る迄の視線外し時間を監視するカウンタ、ＣＵは、上方向の視線外し回数を監視するカウンタ、ＣＳは、横方向の視線外し回数を監視するカウンタである。
【００２６】
続いて制御部１１は、カウンタＣＴ２による時間監視をスタートさせる（ステップＳ１０４）。そして、視線検出により操作者が表示部１５の画面から目を離したか否かを判定する（ステップＳ１０５）。ここで、画面から目を離したと判定されると（ステップＳ１０５”ＹＥＳ”）、視線が画面の上方向（進行方向）か横方向かを判定する（ステップＳ１０６）。ここで、制御部１１は、表示部１５の画面に対して上方向（上方向に対し左右６０℃）に視線がはずれた場合上方向と判定し、それ以外は横方向と判定する。
【００２７】
視線が上方向と判定されると（ステップＳ１０６”上方向”）、制御部１１は、カウンタＣＵによる視線外し回数の監視を開始する（ステップＳ１０７）。そして、視線が画面に戻ったことが検出されると（ステップＳ１０８）、その視線外し時間が許容時間として設定される所定時間（例えば、０．５ｓ〜１ｓ）内か否かを判定する（ステップＳ１０９）。ここで、所定時間でなければ（ステップＳ１０９”ＮＯ”）、制御部１１は、ステップＳ１０３のカウンタ初期化処理に戻る。一方、所定時間内であれば（ステップＳ１０９”ＹＥＳ”）、制御部１１は、カウンタＣＴ２をリセットし（ステップＳ１１１）、かつ、カウンタＣＵを＋１カウントアップすることにより視線外し回数を更新する（ステップＳ１１２）。
【００２８】
続いて制御部１１は、カウンタＣＴ１が一定時間（ｘ＝３０ｓ〜１ｍ）内か否かを判定する（ステップＳ１１３）。すなわち、操作者が画面を見始めてからの経過時間が一定時間内か否かを判定する。ここで、一定時間内にあると判定されると（ステップＳ１１３”ＹＥＳ”）、制御部１１は、更に、カウンタＣＵの値が基準視線外し回数（所定回数）以上か否かを判定する（ステップＳ１１４）。ここで、例えば、３回以上であると判定されれば（ステップＳ１１４”ＹＥＳ”）、制御部１１は、表示部１５に、例えば、「危険です。画面から視線を離してください」、「歩きながら画面を見ないで下さい」等の警告メッセージを表示するか、警告のためのブラックアウト表示を行なう（ステップＳ１１５）。なお、警告表示は、視線外しの発生頻度により段階的に行ってもよい。
【００２９】
なお、ステップＳ１１３の経過時間判定処理において、一定時間内でないと判定されると（ステップＳ１１３“ＮＯ”）、あるいはステップＳ１１４の回数判定処理で所定回数未満であると判定されると（ステップＳ１１４”ＮＯ”）、ステップＳ１０５の視線監視処理に戻る。
【００３０】
なお、本実施形態に係る携帯端末装置１０では、画面上方向への視線移動の他に横方向への視線移動も監視している。これは、例えば、車両の助手席で、あるいは横並びで歩行中に携帯端末装置１０を操作しているシーンを想定したものであり、進行方向（画面上）を見ながら操作する場合に比較して基準視線外し回数が多めに（４〜５回）に設定される。
【００３１】
すなわち、ステップＳ１０６の視線方向判定処理において、表示部１５の画面に対して視線が上方向（上方向に対し左右６０℃）に視線がはずれるのではなく横方向にはずれると判定されると（ステップＳ１０６”横方向”）、制御部１１は、カウンタＣＵのカウントを開始する（ステップＳ１１６）。そして、視線が画面に戻ったことが検出されると（ステップＳ１１７）、その視線外し時間が許容時間として設定される所定時間（０．５ｓ〜１ｓ）内か否かを判定する（ステップＳ１１８）。
【００３２】
ここで、所定時間内で無ければ（ステップＳ１１８”ＮＯ”）、制御部１１は、ステップＳ１０３のカウンタ初期化処理に戻る。一方、所定時間内であると判定されると（ステップＳ１１８”ＹＥＳ”）、制御部１１は、カウンタＣＴ２をリセットし（ステップＳ１２０）、かつ、カウンタＣＳを＋１カウントアップして視線外し回数を更新する（ステップＳ１２１）。
【００３３】
続いて制御部１１は、カウンタＣＴ１が一定時間（ｘ＝３０ｓ〜１ｍ）内か否かを判定
する（ステップＳ１２２）。すなわち、操作者が画面を見始めてからの経過時間が一定時間内か否かを判定する。ここで、一定時間内にあると判定されると（ステップＳ１２２”ＹＥＳ”）、制御部１１は、更に、カウンタＣＳの値が基準視線外し回数（所定回数）以上か否かを判定する（ステップＳ１２３）。
【００３４】
ここで、例えば、４回以上であると判定されれば（ステップＳ１２２”ＹＥＳ”）、制御部１１は、表示部１５に、例えば、「歩きながら画面を見ないで下さい」等の警告メッセージを表示するか、警告のためのブラックアウト表示を行ない（ステップＳ１１５）、所定回数未満であれば（ステップＳ１２２”ＮＯ”）、ステップＳ１０５の視線監視処理に戻る。
【００３５】
なお、上記した基準視線外し回数は、移動速度に応じて決定してもよい。すなわち、携帯端末装置１０の移動速度は、制御部１１が、移動状態検出部１６からの信号に基づき携帯端末装置１０の移動開始を検出すると、その移動継続時間を算出し、算出した移動継続時間を積分することによって算出することができる。そして制御部１１は、その移動速度が高いほど基準視線外し回数を小さく設定することになる。
【００３６】
また、Ｓ１１３でＮｏの場合に、ＣＴ１をリセットしてもよい。また、Ｓ１２２でＮｏの場合に、ＣＴ１をリセットしてもよい。Ｓ１１５で警告を表示する場合には、ＣＴ１をリセットしてもよい。尚、ＣＴ１をリセットするとは、ＣＴ１の値を０に設定してから計測を開始する意味を含む。ＣＴ２をリセットするとは、ＣＴ２の値を０に設定してから計測を開始する意味を含む。
【００３７】
また、Ｓ１０１において、移動中かどうかを判断することでＳ１０２に遷移することを記載したが、必ずしもこの様態だけに限られない。例えば、携帯端末装置１０は、現在の位置情報を特定のサーバに送信し、特定のサーバから地図情報を受信することが可能な通信部を更に備え、制御部１１は、自機が移動中である場合に（Ｓ１０１のＹＥＳ）、地図情報を利用して現在位置の周辺環境を判断し、その結果に応じてＳ１０２を実行してもよい。例えば、地図情報を利用して周辺環境を判断した結果、現在位置が交差点付近、踏切等の人が多いと想定される場所に位置する場合には、Ｓ１０２を実行してもよい。例えば、地図情報を利用して周辺環境を判断した結果、現在位置が広いグランド、山、田園地帯等の人が少ないと想定される場所に現在位置が位置する場合には、Ｓ１０２に遷移せず、Ｓ１０１の処理に戻ってもよい。
【００３８】
また、Ｓ１０１において、移動中かどうかを判断することでＳ１０２に遷移することを記載したが、必ずしもこの様態だけに限られない。例えば、現在位置から一定の範囲に存在する他の端末の情報を取得する通信部を有し、移動中である場合に、通信部で取得した他の端末の情報に基づいて、Ｓ１０２に遷移するか否かを判断してもよい。例えば、移動中である場合に、現在位置から一定の範囲に存在する他の端末の情報を取得した結果、現在位置周辺に存在する他の端末の台数が所定値以上のときに、Ｓ１０２に遷移してもよい。現在位置周辺に存在する他の端末の台数が所定値以上の場合には、現在位置周辺に人が多く存在すると考えられるからである。移動中である場合に、現在位置から一定の範囲に存在する他の端末の情報を取得した結果、現在位置周辺に存在する他の端末の台数が所定値未満のときは、Ｓ１０２に遷移せず、Ｓ１０１の処理に戻ってもよい。
【００３９】
（実施形態の効果）
以上説明のように本実施形態に係る携帯端末装置１０によれば、制御部１１は、撮像部１３により撮像される操作者の視線情報に基づき、表示部１５の画面を見てから一定時間内における所定回数内の視線外し回数を監視し、所定回数内の視線外し回数と基準視線外し回数との比較の結果によっては表示部１５に警告情報を表示する。このように、視線入
力機能を用い、操作者が画面から視線を外す回数を監視して画面を見ていると判断した場合に警告を発することで、操作者の表情に依存することなく、かつ、接近あるいは飛び出してくる障害物に依存することなく危険回避が可能である。
【００４０】
また、本実施形態に係る携帯端末装置１０によれば、制御部１１は、基準視線外し回数を可変にすることで、例えば、画面上方向（進行方向）のみならず横方向の視線移動も監視することができる。これは、例えば、車両の助手席で、あるいは横並びで歩行中に携帯端末装置１０を操作しているシーンを想定したものであり、この場合、進行方向（上）を見ながら操作する場合に比較して基準視線外し回数が安全サイドに多めに設定される。更に、制御部１１は、移動状態検出部１６により検出される移動速度に応じて基準視線外し回数を可変とすることにより、例えば、移動速度が高いほど基準視線外し回数を少なく設定することで危険回避の精度を高めることができる。
【００４１】
以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更、または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００４２】
１０…携帯端末装置、１１…制御部、１２…記憶部、１３…撮像部、１４…操作部、１５…表示部、１６…移動状態検出部、１７…バス
【図１】
2014216869.tif 000003
【図２】
2014216869.tif 000004