(57)【要約】【課題】簡単な構成でユーザの筆記具の持ち方に配慮した処理を行うことができる情報通信端末装置を提供する。【解決手段】少なくともペンを握るユーザの手元を含むユーザ画像を撮影するカメラ１５０を有する情報通信端末装置１０であって、情報通信端末装置１０は、表示部１７０と、該表示部１７０の表面に配置されたタッチパネル１６１を有する入力部１６０と、カメラ１５０が撮影した映像を解析する映像解析部１０１と記憶部１０２とを備えた制御部１００と、を備え、映像解析部１０１は、ペンを握るユーザの手元の映像を解析し、ユーザのペンの握り方の映像と、記憶部１０２に記憶された正しいペンの握り方を示す画像と、を比較してユーザのペンの握り方を判別し、ユーザのペンの握り方が不適切である場合に、制御部１００はユーザに対して警告メッセージを報知する。【選択図】図１
2015102665.tif 000002
【特許請求の範囲】
【請求項１】
少なくともペンを握るユーザの手元を含むユーザ画像を撮影するカメラを有する情報通信端末装置であって、前記情報通信端末装置は、
表示部と、
前記該表示部の表面に配置されたタッチパネル部を有する入力部と、
所定の時間間隔で前記カメラが撮影した映像を解析する映像解析部と記憶部とを備えた制御部と、を備え、
前記映像解析部は、前記ペンを握るユーザの手元の映像を解析し、ユーザのペンの握り方の映像と、前記記憶部に記憶された正しいペンの握り方を示す画像と、を比較して前記ユーザのペンの握り方を判別し、前記ユーザのペンの握り方が不適切である場合に、前記制御部は前記ユーザに対して警告メッセージを報知することを特徴とする情報通信端末装置。
【請求項２】
前記映像解析部は、前記ユーザのペン握るユーザの手元の映像からペンを握る部分の映像を抽出し、前記記憶部に記憶された正しいペンの握り方を示す画像と、を比較し、その差分が所定の閾値範囲内にない時、ペンの握り方が不適切であると判別し、前記ユーザに対して警告メッセージを報知することを特徴とする請求項１に記載の情報通信端末装置。
【請求項３】
前記記憶部に記憶された正しいペンの握り方を示す画像は、親指および人差し指および中指と前記３本の指で握られたペンの画像からなり、前記映像解析部は、前記ユーザのペンの握り方の映像から、親指、人差し指、中指およびペンの画像を抽出して前記比較を行うことを特徴とする請求項１に記載の情報通信端末装置。
【請求項４】
前記記憶部に記憶された正しいペンの握り方を示す画像は、左右の手に対応して記憶され、前記映像解析部は、前記ユーザのペンの握り方の映像から左右の手の何れかであるかを判別することを特徴とする請求項３に記載の情報通信端末装置。
【請求項５】
前記制御部は前記警告メッセージの報知の際に、前記表示部に、前記記憶部に記憶された正しいペンの握り方を示す画像を表示することを特徴とする請求項１ないし請求項４の何れか１項に記載の情報通信端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネル等の表示部とカメラを備えた情報通信端末装置に関するものである。
【背景技術】
【０００２】
タブレット型コンピュータ、スマートフォン等の携帯型の情報通信端末装置では、液晶パネル等で構成される表示部の表面上にタッチセンサ等の入力手段が設けられている。このような情報通信端末装置においては、液晶パネルを利用して入力用のソフトウェアキーを表示し、ユーザはそれを視認しながら液晶パネル上のタッチセンサを手指やスタイラスペン（入力ペン）等で操作をすることによって所望の情報の入力を行う。
【０００３】
近年、受講者がネットワークを介して教育を受講する、いわゆるｅラーニングシステムが一般化しており、前述のような情報通信端末装置がユーザ端末（受講者端末）として用いられる。かかるｅラーニングシステムにおいては、ネットワークを介して受講者の端末装置にテキスト、画像、音声などの形で履修内容を送信し、全ての履修内容の送信後に受講者に対して確認テストをおこなって、所定の点数以上を取得できた場合に受講完了と認定する仕組みとなっている。
【０００４】
受講者によっては、スタイラスペン（入力ペン）を正しく持って操作できないこともある。そこで、筆や鉛筆などの筆記具を正しくもつことができない小児や学童に対して、筆記具を正しく持つように指導することが必要になる。このため、筆記具を正しく持つように補助あるいは矯正する握り方矯正具や筆記補助具が、例えば、下記の特許文献１（特開２０００−２０３１８８号公報）に開示されている。
【０００５】
また、左利きを矯正して、右手でも字を自由に書けるようにトレーニングし、あるいは、脳梗塞等による片マヒが利き腕である右手に起こった場合に、左手でも書けるようにトレーニングするためのトレーニング装置も提案されている。例えば、下記の特許文献２（特開２０００−１１２３３５号公報）には、腕置きテーブルに設けた誘導枠内において、所望の形状に従って平面移動するペン先誘導具を設け、ペン先誘導具に所定の角度範囲において自由回転可能にペン状の指先誘導筆の先端を取り付けた指先の機能育成トレーニング装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−２０３１８８号公報
【特許文献２】特開２０００−１１２３３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
学習に用いられる情報通信端末装置の場合、学習者には若年層のユーザも多く、前述のようにスタイラスペン（入力ペン）を正しく持って操作できないユーザの存在も予測される。
【０００８】
上記特許文献１の技術を適用すれば、ユーザに正しいペンの持ち方を指導することができるが、ユーザに対して筆記具を正しく握るための補助具や矯正具を筆記具と対にして提供する必要がありコストが増大するという問題点が生じる。また、筆記具に矯正具を装着した場合には、ユーザによっては筆記し難く感じるという不都合も生じる。
【０００９】
また、上記特許文献２の技術によれば、左利きのユーザに対して、筆記する側の手を右手に矯正したり、マヒが利き腕である右手に起こった場合に左手でも書けるようにトレーニングしたりすることはできるが、筆記具の握り方の指導や矯正を行うことはできない。
【００１０】
そこで、本発明は、簡単な構成でユーザの筆記具の持ち方に配慮した処理を行うことができる情報通信端末装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の情報通信端末装置は、少なくともペンを握るユーザの手元を含むユーザ画像を撮影するカメラを有する情報通信端末装置であって、前記情報通信端末装置は、表示部と、前記該表示部の表面に配置されたタッチパネル部を有する入力部と、所定の時間間隔で前記カメラが撮影した映像を解析する映像解析部と記憶部とを備えた制御部と、を備え、前記映像解析部は、前記ペンを握るユーザの手元の映像を解析し、ユーザのペンの握り方の映像と、前記記憶部に記憶された正しいペンの握り方を示す画像と、を比較して前記ユーザのペンの握り方を判別し、前記ユーザのペンの握り方が不適切である場合に、前記制御部は前記ユーザに対して警告メッセージを報知することを特徴とする。
【００１２】
ユーザが情報通信端末装置を使用中に、カメラにより撮影したペンを握るユーザの手元の映像を解析し、記憶部に記憶された正しいペンの握り方を示す画像と比較して前記ユーザのペンの握り方を判別し、前記ユーザのペンの握り方が不適切である場合に、制御部はユーザに対して警告メッセージを報知する。例えば、ユーザのペンの握り方が正しくない場合に適切な警告をすることができるようになる。
【００１３】
また、本発明の情報通信端末装置において、映像解析部は、前記ペンを握るユーザの手元の映像からペンを握る部分の映像を抽出し、前記記憶部に記憶された正しいペンの握り方を示す画像と、を比較し、その差分が所定の閾値範囲内にない時、ペンの握り方が不適切であると判別し、前記ユーザに対して警告メッセージを報知することを特徴とする。
【００１４】
ユーザのペンを握る部分の映像と、記憶部に記憶された正しいペンの握り方を示す画像と、を比較し、その差分が所定の閾値範囲内にない時にペンの握り方が不適切であると判別するので、容易にユーザのペンの握り方が正しいか否かを判別できるようになる。
【００１５】
また、本発明の情報通信端末装置において、前記記憶部に記憶された正しいペンの握り方を示す画像は、親指および人差し指および中指と前記３本の指で握られたペンの画像からなり、前記映像解析部は、前記ユーザのペンの握り方の映像から、親指、人差し指、中指およびペンの画像を抽出して前記比較を行うことを特徴とする。
【００１６】
ユーザのペンを握る部分の映像と、記憶部に記憶された正しいペンの握り方を示す画像と、を比較するにあたって、親指、人差し指、中指およびペンの画像を対象とするから、容易にユーザのペンの握り方が正しいか否かを判別できるようになる。
【００１７】
また、本発明の情報通信端末装置において、前記記憶部に記憶された正しいペンの握り方を示す画像は、左右の手に対応して記憶され、前記映像解析部は、前記ユーザのペンの握り方の映像から左右の手の何れかであるかを判別することを特徴とする。
【００１８】
記憶部に記憶された正しいペンの握り方を示す画像は、左右の手に対応して記憶され、映像解析部は、ユーザのペンの握り方の映像から左右の手の何れかであるかを判別するため左右の手に対応した処理が可能であり、利き手が異なるユーザにも対応できるようになる。
【００１９】
また、本発明の情報通信端末装置において、前記制御部は前記警告メッセージの報知の際に、前記表示部に、前記記憶部に記憶された正しいペンの握り方を示す画像を表示することを特徴とする。
【００２０】
警告メッセージの報知の際に、前記表示部に、前記記憶部に記憶された正しいペンの握り方を示す画像を表示するから、ペンの持ち方が間違っている場合に警告するだけでなく、ユーザに正しいペンの握り方を指導することができる。
【発明の効果】
【００２１】
本発明によれば、簡単な構成でユーザの筆記具の持ち方に配慮した処理を行うことができる情報通信端末装置を実現することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施例に係る情報通信端末装置の外観を示す平面図である。
【図２】本発明の実施例に係る情報通信端末装置の構成を示すブロック図である。
【図３】本発明の実施例に係る情報通信端末装置の処理手順を示すフローチャートである。
【図４】本発明の実施例に係る通信端末装置における警告情報の１例を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の具体例を実施例及び図面を用いて詳細に説明する。但し、以下に示す実施形態は、本発明の技術的思想を具体化するための情報通信端末装置を例示するものであって、本発明をこの情報通信端末装置に特定することを意図するものではなく、特許請求の範囲に含まれるその他の実施形態の情報通信端末装置にも等しく適応し得るものである。
【実施例】
【００２４】
まず、図１を参照して、本実施形態の情報通信端末装置１０の外観について説明する。本実施形態の情報通信端末装置１０は例えばタブレット型コンピュータであり、表示画面４００の上部枠部分にカメラ１５０を備えている。カメラ１５０は回転ロッドに軸支され、撮影方向を調整することができる。また、情報通信端末装置１０の背面にはチルト機構が設けられ、ユーザが表示を視認したり、文字等を入力したりするのに適した角度に表示画面４００を傾斜させるように構成されている。
【００２５】
表示画面４００には、適宜の位置に適宜の大きさの手書き文字入力領域４１０が表示される他、左側から順に「ＨＯＭＥ」ボタン４２１、「ＭＥＮＵ」ボタン４２、「ＢＡＣＫ」ボタン４２３、「ＶＯＬ＋」ボタン４２４、「ＶＯＬ−」ボタン４２５が表示される。また表示画面４００は、液晶パネル等により構成され、タッチパネル機構を備え、スタイラスペンや指による文字入力等のユーザの操作を受け付けることが可能な構成となっている。
【００２６】
次に、図２を参照して、本実施形態の情報通信端末装置１０の構成について説明する。本実施形態の情報通信端末装置１０は、図１に示すようにタブレット型の情報通信端末装置であるが、デスクトップコンピュータ装置、ラップトップコンピュータ装置などの情報通信端末装置であってもよい。また、教育用に用いられる情報通信端末装置に限ることなく一般的な情報通信端末装置であってよい。以下の説明においては、教育用に用いられる情報通信端末装置１０として説明する。
【００２７】
情報通信端末装置１０は、制御部１００、外部電源入力部１１０、電源状態検出部１２０、二次電池１３０、無線通信部１４０、カメラ１５０、入力部１６０、表示部１７０、スピーカ１８０、現在時刻取得部１９０を備えて構成されている。無線通信部１４０はインターネットなどのネットワークを介して教育用のサーバに接続でき、ユーザはオンライン通信あるいはオンデマンド通信により教育用のサーバに用意された教育プログラムを実行する。なお、カメラ１５０は情報通信端末装置１０に内蔵されたものに限らず、カメラ１５０が外付けで情報通信端末装置１０に接続されるものであってもよい。
【００２８】
制御部１００は、ＣＰＵ、ＲＡＭ、ＲＯＭ（図示せず）を備えて構成されるマイクロプロセッサであり、ＲＯＭに記憶されたプログラムをＣＰＵにおいて実行することによって、情報通信端末装置１０の各機能の動作を制御・統括する。また、制御部１００は、カメラ１５０により撮影した映像を解析する映像解析部１０１、記憶部１０２として機能する。この制御部１００の各部の機能と動作については後で詳細に説明する。
【００２９】
外部電源入力部１１０は、図示していない電源コード接続用コネクタ、電圧制御回路、充電制御回路等を備えて構成される。電源コード接続用コネクタは、情報通信端末装置１０のハウジングの側面の一つに形成され、ここに電源コードプラグが接続される。電源コードプラグが電源コード接続用コネクタに接続されると、商用電源から変圧器等を介して所定電圧に降圧された直流電力が情報通信端末装置１０に供給される。電圧制御回路は、供給された電力の電圧を一定値に調節し、情報通信端末装置１０の各部に継続的に電力を供給する。二次電池１３０は、情報通信端末装置１０のハウジング内に電池パックの形態で収容される。二次電池１３０は、例えば、リチウムイオン二次電池である。
【００３０】
電源状態検出部１２０は、電源コード接続用コネクタに電源コードプラグが接続されているか否かを検知し、電源コードプラグが接続されており、二次電池１３０が満充電状態でない場合には、充電制御回路は、所定電圧或いは所定電流の電力を二次電池１３０に対して供給し二次電池１３０を充電する。また、二次電池１３０が満充電状態になった場合には、二次電池１３０に対する充電を終了する。また、電源状態検出部１２０は、電源コード接続用コネクタに電源コードプラグが接続されていない場合に、二次電池１３０に充電されている電力を情報通信端末装置１０に供給する。
【００３１】
無線通信部１４０は、情報通信端末装置１０が無線を使用してアクセスポイントとの間で通信を行うためのものである。情報通信端末装置１０がアクセスポイントとの間で通信を行う際に、無線通信部１４０は通信セッションの確立、切断を含む制御を行う。また、送信するデータがある場合にはデータを符号化した後にパケット化し、所定周波数の無線を使用してアクセスポイントに対して送信を行う。また、アクセスポイントからデータを受信した場合には、パケットを組立てた後に復号化を行い、受信すべきデータを取得し、ＲＡＭ等の記憶部１０２に記憶する。
【００３２】
カメラ１５０は所定の撮影範囲の映像を撮影できユーザの映像を撮影する。カメラ１５０によって撮影された映像（画像データ）は制御部１００により取り込まれ、映像解析部１０１により後述する解析が行われる。なお、情報通信端末装置１０がテレビ電話として利用される場合には、カメラ１５０により撮影されたユーザ、話者の映像が通話の相手方の機器に送られる。カメラ１５０は回転ロッドに軸支されており、ユーザが回転ロッドを操作して所望の映像を撮影できるように撮影方向を調整することができる。カメラ１５０が、ユーザの手先、すなわち、スタイラスペンの握り部分を含むユーザ画像を撮影することができるように調整されているものとする。
【００３３】
入力部１６０は、タッチパネル１６１とハードキー１６２を備えて構成される。タッチパネル１６１は表示部１８０の表面に備えられる。タッチパネル１６１は、ユーザが表示部１７０に表示されたソフトウェアキーを視認しながらタッチパネル１６１の特定部位に手指やスタイラスによる接触を行った場合に、接触を検出した位置情報を出力する。ハードキー１６２は、情報通信端末装置１０のハウジングに設けられる押しボタンスイッチ等の機械的なスイッチであり、電源のオン／オフ、表示部１７０のオン／オフ等の操作を行うために用いられる。
【００３４】
表示部１７０は、情報通信端末装置１０の一つの面に設けられており、液晶パネルユニット、或いは有機ＥＬパネルユニット等で構成されている。表示部１７０は、制御部１００によって生成されるメッセージなどの画像や教育用のサーバから送信される各種の画像、メッセージを表示し、またソフトウェアキーを表示する。
【００３５】
スピーカ１８０は、情報通信端末装置１０に内蔵されており、記憶部１０２に記憶された音声データ等が再生される際に、図示しないアンプによって増幅された音声を出力する。後述する本発明にかかる警告メッセージは、表示部１７０に表示され、あるいは、スピーカ１８０を介して出力される音声によって報知される。
【００３６】
現在時刻取得部１９０は、時刻を計時するクロックモジュールと万年暦情報を含んだカレンダーモジュールとを備えたリアルタイムクロックを中心に構成され、情報通信端末装置１０の起動時にリアルタイムクロックから日時を取得し、それ以降は内部的に現在の時刻を計時する。なお、カレンダー機能として、祝日や社内特別休暇などを判断できるようにするために、そのような休日データを、外部より取り込むなどして付加しておくことが望ましい。
【００３７】
リアルタイムクロックは、情報通信端末装置１０を使用開始するときなどに、装置電源を立ち上げ、所定の操作をすることによって年月日時分秒の初期設定をするが、その後は、リアルタイムクロックの内蔵電池によって、独自に日時が計時される。なお、現在時刻取得部は、リアルタイムクロックによらず、電波時計のように、標準電波を受信してカレンダーと時刻の調整ができるものであってもよい。
【００３８】
本実施例にかかる情報通信端末装置１０においては、カメラ１５０が、ユーザの手元を含むユーザ画像、すなわち、スタイラスペンの握り部分を含むユーザ画像を撮影することができるように調整されており、ユーザのスタイラスペンの握り方が不適切である場合に、適切な警告を報知するように構成されている。
【００３９】
すなわち、カメラ１５０は少なくともユーザのペンを握る手元の映像を含むユーザ画像を撮影し、情報通信端末装置１０は、カメラ１５０が撮影した映像を解析する映像解析部１０１と記憶部１０２とを備えた制御部１００と、を備え、映像解析部１０１は、映像解析部１０１は、ペンを握るユーザの手元の映像を解析し、ユーザのペンの握り方が不適切な状態である場合に、制御部１００はユーザに対して警告メッセージを報知する。
【００４０】
例えば、映像解析部１０１は、映像解析部１０１は、ペンを握るユーザの手元の映像を解析し、ユーザのペンの握り方の映像と、記憶部１０２に記憶された正しいペンの握り方を示す画像と、を比較してユーザのペンの握り方を判別し、ユーザのペンの握り方が不適切な状態である場合に、制御部１００はユーザに対して警告メッセージを報知する。
【００４１】
以下、映像解析部１０１の解析処理および制御部１００の処理の詳細について説明する。ユーザが電源を投入して情報通信端末装置１０を起動すると、制御部１００は現在時刻取得部１９０から現在時刻を取得する。映像解析部１０１は取得された現在時刻に基づいて予め設定された所定の時間間隔が経過したか否かをチェックし、所定の時間間隔が経過したならばカメラ１５０が撮影した映像を解析する。なお、本発明はこれに限らず、情報通信端末装置１０の電源が投入され、ユーザが最初にペンを握り入力を開始した時点で１回、ユーザのペンの持ち方を判別するものであってもよい。
【００４２】
映像の解析にあたり、映像解析部１０１はカメラ１５０が撮影した少なくともペンを握るユーザの手元を含むユーザ画像から、ペンを握るユーザの手元の映像部分を抽出し、当該ユーザのペンの握り方の映像と、記憶部１０２に記憶された正しいペンの握り方を示す画像と、を比較し、その差分が所定の閾値範囲内にない時、ペンの握り方が不適切であると判別する。判別のための閾値範囲は予め記憶部１０２に設定しておく。
【００４３】
なお、記憶部１０２に記憶された正しいペンの握り方を示す画像は、親指および人差し指および中指と前記３本の指で握られたペンの画像からなり、制御部１００は、記憶部１０２から正しいペンの握り方を示す画像を取得する。映像解析部１０１は、ユーザのペンの握り方の映像から、親指、人差し指、中指およびペンの画像を抽出し、制御部１００により取得された正しいペンの握り方を示す画像との比較を行う。
【００４４】
比較処理は、具体的には両画像の差分を算出する処理である。そして算出された差分の値が記憶部１０２に予め記憶された所定の閾値の範囲内にあるか否かによりユーザのペンの握り方が不適切か否かを判別する。ユーザのペンの握り方が不適切であると判別されると、制御部１００はユーザに対して警告メッセージを報知する。警告メッセージは例えば「ペンの持ち方が間違っている」旨のメッセージであり、音声または表示によってユーザに報知される。
【００４５】
次に、フローチャートに基づき、情報通信端末装置１０の処理手順を説明する。図３は、本実施形態に係る情報通信端末装置１０の処理手順を示すフローチャートである。
【００４６】
カメラ１５０はユーザの画像を撮影、録画している（ステップＳ１０１）。撮影、録画は連続的に行っていてもよく、適当な時間間隔で離散的に行うものであってもよい。映像解析部１０１はカメラ１５０が撮影した少なくともペンを握るユーザの手元を含むユーザ画像を解析し、ペンを握るユーザの手元の部分を抽出する（ステップＳ１０２）。
【００４７】
次いで、制御部１００は記憶部１０２から正しいペンの握り方を示す画像を取得する（ステップＳ１０３）。そして、映像解析部１０１は、ユーザのペンの握り方の映像と、制御部１００により取得された正しいペンの握り方を示す画像と、を比較して前記ユーザのペンの握り方を判別し、その差分が閾値範囲にあるか否かによりユーザのペンの握り方が適切か否かを判別する（ステップＳ１０４）。
【００４８】
ユーザのペンの握り方が適切である（閾値範囲内にある場合（ステップ１０４のＮＯ）、処理はステップＳ１０１に戻り、ユーザのペンの握り方が不適切である（閾値範囲内にない場合（ステップ１０４のＹＥＳ）、処理はステップＳ１０５に進む。
【００４９】
ステップＳ１０５の処理では、制御部１００はユーザに警告メッセージを報知する。警告メッセージは、図４に一例を示すように、「ペンの持ち方が違っています。次画像に正しい持ち方を表示します。参照して持ち直して下さい」など、ペンの持ち方が間違っている旨のメッセージであればどのようなメッセージであってもよい。また、報知の方法は、表示部１７０への表示、スピーカ１８０への音声出力のいずれであってもよく、それらの両方であってもよい。
【００５０】
なお、本発明の情報通信端末装置において、ユーザの利き手によらず処理できるよう、記憶部１０２に左手と右手による正しいペンの握り方を示す画像を記憶部１０２に記憶しておき、映像解析部１０１がユーザのペンの握り方を示す画像が左手か右手かを識別するようにしてもよい。
【００５１】
また、制御部１００は警告メッセージの報知の際に、表示部１７０に、記憶部１０２に記憶された正しいペンの握り方を示す画像を表示することもできる。これによりユーザは正しいペンの持ち方を学習することができる。
【符号の説明】
【００５２】
１０      情報通信端末装置
１００    制御部
１０１    映像解析部
１０２    記憶部
１１０    外部電源入力部
１２０    電源状態検出部
１３０    二次電池
１４０    無線通信部
１５０    カメラ
１６０    入力部
１６１    タッチパネル
１６２    ハードキー
１７０    表示部
１８０    スピーカ
１９０    現在時刻取得部
【図１】
2015102665.tif 000003
【図２】
2015102665.tif 000004
【図３】
2015102665.tif 000005
【図４】
2015102665.tif 000006