(57)【要約】【課題】表示装置を備える端末装置であって、表示装置に複数の画面が並列表示された際に、入力対象画面の切替え操作を容易にする端末装置を提供する。【解決手段】端末装置１０は、キーボード１３を経由してユーザ１６の入力を受け付ける入力手段と、表示装置１４の複数の表示領域２１，２２に画面を並列して表示する表示手段と、ユーザ１６の目を含む部位を撮影して撮影データを生成する撮影手段（１５）と、生成された撮影データに基づいて、ユーザ１６の視点が存在する表示領域２１，２２を判別する視点位置判別手段と、視点位置判別手段によって判別された表示領域２１，２２を、入力対象領域に設定する入力対象領域設定手段とを備える。【選択図】図１
2007264725.tif 000002
【特許請求の範囲】
【請求項１】
キーボードを経由してユーザの入力を受け付ける入力手段と、
表示装置の複数の表示領域に画面を並列して表示する表示手段と、
ユーザの目を含む部位を撮影して撮影データを生成する撮影手段と、
前記生成された撮影データに基づいて、ユーザの視点が存在する表示領域を判別する視点位置判別手段と、
前記視点位置判別手段によって判別された表示領域を、入力対象領域に設定する入力対象領域設定手段と
を備えることを特徴とする端末装置。
【請求項２】
前記視点位置判別手段は、ユーザの視点が存在した最後の表示領域を記憶装置に記憶し、
前記入力対象領域設定手段は、ユーザの視点が前記表示装置以外の位置に存在する状態で前記入力手段がキーボードを経由して入力を受け付けると、前記記憶装置を参照し、ユーザの視点が最後に存在した表示領域を入力対象領域に設定する、請求項１に記載の端末装置。
【請求項３】
前記入力手段が受け付ける入力は、画面上でのコピー又は貼付けを含む、請求項１又は２に記載の端末装置。
【請求項４】
前記画面は、サイト閲覧画面、電子メール入力画面、又は、ＰｏＣ通信画面である、請求項１〜３の何れか一に記載の端末装置。
【請求項５】
端末装置が携帯端末装置として構成される、請求項１〜４の何れか一に記載の端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置に関し、更に詳しくは、表示装置を備える端末装置に関する。
【背景技術】
【０００２】
携帯電話等の携帯端末装置では、その多機能化によって、電子メール送受信、インターネットのサイト閲覧、又は、ＰｏＣ（Push to Talk over Cellular）通信といった様々な機能が利用可能となっている。電子メール送受信機能を利用可能な携帯端末装置については、例えば特許文献１に記載されている。
【特許文献１】２００２−１９７０３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、携帯端末装置の付加価値を高めるために、携帯端末装置でも通常のパーソナルコンピュータ（ＰＣ装置）のように、表示装置に複数の画面を並列表示（分割表示）することが考えられる。例えば、サイト閲覧画面と電子メール入力画面とを並列して表示させれば、ユーザは、インターネットサイトの情報を参照しながら、電子メールの入力を行うことが出来る。
【０００４】
複数の画面が並列表示された場合には、入力対象画面の切替えを行う必要があり、ＰＣ装置では、キーボードやマウスを用いることによって切替えを容易に行うことが出来る。ところが、携帯電話等の携帯端末装置では、ＰＣ装置と異なり、マウスを用いることが出来ず、また、キーボードを操作可能な手指が大幅に制限される。従って、複数の画面が並列表示された場合に、キーボード等の操作によって入力対象画面の切替え操作を行うこととすると、操作が煩雑になるおそれがある。
【０００５】
本発明は、上記に鑑み、表示装置を備える端末装置であって、表示装置に複数の画面が並列表示された際に、入力対象画面の切替え操作を容易にする端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る端末装置は、キーボードを経由してユーザの入力を受け付ける入力手段と、
表示装置の複数の表示領域に画面を並列して表示する表示手段と、
ユーザの目を含む部位を撮影して撮影データを生成する撮影手段と、
前記生成された撮影データに基づいて、ユーザの視点が存在する表示領域を判別する視点位置判別手段と、
前記視点位置判別手段によって判別された表示領域を、入力対象領域に設定する入力対象領域設定手段と
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、並列して表示された表示領域への入力に際して、ユーザの視点が存在する表示領域が入力対象画面に設定される。従って、キーボード等の操作を行うことなく、入力対象領域を切替え可能な端末装置を実現できる。
【０００８】
本発明の好適な態様では、前記視点位置判別手段は、ユーザの視点が存在した最後の表示領域を記憶装置に記憶し、前記入力対象領域設定手段は、ユーザの視点が前記表示装置以外の位置に存在する状態で前記入力手段がキーボードを経由して入力を受け付けると、前記記憶装置を参照し、ユーザの視点が最後に存在した表示領域を入力対象領域に設定する。ユーザが視点をキーボードに合わせて入力を行った際には、ユーザが最後に参照した表示領域が入力対象画面に設定される。従って、表示画面の何れかとキーボードとを交互に参照して入力を行う場合に、入力を容易に行うことが出来る。
【０００９】
本発明では、前記入力手段が受け付ける入力は、画面上でのコピー又は貼付けを含む。本発明では、前記画面は、例えばサイト閲覧画面、電子メール入力画面、又は、ＰｏＣ通信画面である。
【００１０】
本発明の好適な態様では、端末装置が携帯端末装置として構成される。携帯端末装置では、キーボード等の操作によって入力対象画面の切替え操作を行うこととすると、操作が煩雑になるおそれがある。キーボード等の操作を不要とすることによって、入力対象画面の切替え操作を容易にすることが出来る。
【発明を実施するための最良の形態】
【００１１】
以下に、図面を参照し、本発明の実施形態に基づいて本発明を更に詳細に説明する。図１は本発明の一実施形態に係る端末装置の構成を模式的に示す平面図である。端末装置１０は、携帯電話として構成され、筐体１１と、筐体１１の正面に配設された各種の入力キー１２から成るキーボード１３、液晶表示パネルとして構成される表示装置１４、及び、デジタル撮影が可能な撮影装置１５とを備える。キーボード１３は筐体１１の下部に、表示装置１４は上部に、撮影装置１５は表示装置１４より上側の上部にそれぞれ配設されている。
【００１２】
入力キー１２は、文字／数字入力キーや受話応答キーなどの各種の入力キーを含む。撮影装置１５は、ユーザ１６が表示装置１４の閲覧又はキーボード１３への入力を行っている際に、ユーザ１６の目及びその周囲を含む部位を撮影できるように、筐体１１に配設されている。また、その際に目の瞳孔を判別できる解像度を有する。符号２３は、表示装置１４に表示されたカーソルを示している。
【００１３】
図２は、図１の端末装置１０の制御部が有する各種機能を示すブロック図である。制御部は、所定のプログラムによって動作するコンピュータ装置であって、キーボード１３への入力を検出し所定の処理を行う入力部３１、表示装置１４の動作を制御する表示部３２、撮影装置１５の動作を制御する撮影部３３、視点位置判別部３４、入力対象領域設定部３５、及び、記憶装置３６を備える。撮影部３３、視点位置判別部３４、入力対象領域設定部３５、及び、記憶装置３６は、入力自動切換機能３７を構成する。
【００１４】
表示部３２は、表示装置１４の画面を上部の第１表示領域２１及び下部の第２表示領域２２に分割し、サイト閲覧画面や電子メール入力画面といった複数の画面を、これら第１表示領域２１及び第２表示領域２２に並列表示させることが出来る。
【００１５】
撮影部３３、視点位置判別部３４、及び、入力対象領域設定部３５は、表示装置１４に複数の画面が並列表示された際に起動し、並列表示が終了した際に、動作を停止する。撮影部３３は、撮影装置１５を介して、ユーザ１６の目及びその周囲を含む部位を撮影し、画像データ（撮影データ）を生成する。また、生成された撮影データを視点位置判別部３４に受け渡す。
【００１６】
視点位置判別部３４は、撮影部３３から撮影データを受け取り、受け取った撮影データから、公知の方法により、ユーザ１６の瞳孔の位置を判定する。また、判定された瞳孔の位置から、ユーザ１６の視点が第１表示領域２１、第２表示領域２２、及び、キーボード１３上のうちの何れの領域に存在するかを判別し、視点位置情報を生成する。更に、生成した視点位置情報を記憶装置３６に時系列に記憶する。これら撮影部３３及び視点位置判別部３４の動作は、表示装置１４が並列表示されている際に継続して行われる。
【００１７】
入力対象領域設定部３５は、キーボード１３に対する入力を監視し、図３のフローチャートに従った動作を行う。表示装置１４が並列表示されると、撮影部３３及び視点位置判別部３４と共に、入力対象領域設定部３５が起動する。入力対象領域設定部３５は、キーボード１３に対するユーザ１６の入力の有無を判別する（ステップＳ１１）。ステップＳ１１で、入力がないと判別した場合には、ステップＳ１１に戻ることによって、キーボード１３に対する入力の監視を続ける。キーボード１３に対する入力は、文字／数字等の入力だけでなく、カーソル２３移動や、コピー、貼付け等のキーボード１３を介した種々の入力を含むものとする。
【００１８】
ステップＳ１１で、キーボード１３に対する入力があったと判別した場合には、記憶装置３６から最新の視点位置情報を抽出し、抽出した最新の視点位置情報から、視点が第１表示領域２１に存在するか否かを判別する（ステップＳ１２）。ステップＳ１２で、視点が第１表示領域２１に存在すると判別した場合には、第１表示領域２１を入力対象領域に設定した後（ステップＳ１３）、ステップＳ１７に進む。これによって、ユーザ１６による入力は、第１表示領域２１に反映される。視点が第１表示領域２１に存在しないと判別した場合には、ステップＳ１４に進む。
【００１９】
ステップＳ１４では、抽出した最新の視点位置情報から、視点が第２表示領域２２に存在するか否かを判別する。ステップＳ１４で、視点が第２表示領域２２に存在すると判別した場合には、第２表示領域２２を入力対象領域に設定した後（ステップＳ１５）、ステップＳ１７に進む。これによって、ユーザ１６による入力は、第２表示領域２２に反映される。視点が第２表示領域２２に存在しないと判別した場合には、ステップＳ１６に進む。
【００２０】
ステップＳ１６では、ユーザ１６は、例えばキーボード１３を参照しながら入力を行っていると考えられる。同ステップでは、入力対象領域設定部３５は、記憶装置３６を参照し、表示領域２１，２２のうちで最後に視点が存在した表示領域２１，２２を抽出する。また、抽出された表示領域２１，２２を入力対象領域に設定した後（ステップＳ１６）、ステップＳ１７に進む。これによって、ユーザ１６による入力は、ユーザが最後に参照した表示領域２１，２２に反映される。
【００２１】
ステップＳ１７では、表示装置１４が並列表示されているか否かを判別する。ステップＳ１７で、表示装置１４が並列表示されていると判別した場合には、ステップＳ１１に戻り、キーボード１３に対する入力の監視を続ける。ステップＳ１７で、表示装置１４が並列表示されていないと判別した場合には、撮影部３３及び視点位置判別部３４と共に、処理を終了する。なお、撮影部３３、視点位置判別部３４、及び、入力対象領域設定部３５は、所定の入力キー１２に対するユーザ１６の入力によって、起動するものとしても構わない。また、記憶装置３６には、ユーザ１６の視点が存在した最後の表示領域２１，２２が記憶されていればよく、視点位置情報は必ずしも時系列に記憶される必要はない。
【００２２】
本実施形態の端末装置１０によれば、並列表示された表示領域２１，２２への入力に際して、ユーザ１６の視点が存在する表示領域２１，２２が入力対象画面に設定される。従って、ユーザ１６は、キーボード１３等の操作によって入力対象領域を切り替える必要が無く、入力対象画面の切替え操作を容易にすることが出来る。
【００２３】
また、ユーザ１６が視点をキーボード１３に合わせて入力を行った際には、ユーザ１６が最後に参照した表示領域２１，２２が入力対象画面に設定され、従って、ユーザ１６の所望の表示領域２１，２２に入力が反映される。このため、表示画面２１，２２の何れかと、キーボード１３とを交互に参照して入力を行う場合に、入力を容易に行うことが出来る。なお、視点位置判別部３４の判別に際して、キーボード１３上に代えて、表示装置１４以外の領域としても同様の効果が得られる。
【００２４】
［第１実施例］
図４は、上記実施形態の第１実施例に係る手順を示すフローチャートである。本実施例では、第１表示領域２１にインターネットのサイト閲覧画面を、第２表示領域２２に電子メール入力画面をそれぞれ表示する。また、この状態で、サイト閲覧画面の文章の一部をコピーし、電子メール入力画面の所定の位置に貼り付けるものとする。ユーザ１６は、端末装置１０の入力に習熟したユーザ（ヘビーユーザ）であり、キーボード１３を参照することなくキーボード１３への入力を行えるものとする。
【００２５】
先ず、ユーザ１６は、サイト閲覧画面の文章をコピーするために、視点を第１表示領域２１に合わせ、キーボード１３に対してカーソル２３移動等の入力を行う（ステップＳ１０１）。ステップＳ１０１では、図３の手順において、ステップＳ１１でＹｅｓ、ステップＳ１２でＹｅｓとなり、入力対象領域は第１表示領域２１に設定され、ユーザ１６の入力は第１表示領域２１に反映される。次いで、ユーザ１６は、視点を第１表示領域２１に合わせたまま入力を行うことによって、第１表示領域２１でコピーを行う領域を設定した後、設定した領域のコピーを行う（ステップＳ１０２）。
【００２６】
引き続き、ユーザ１６は、電子メール入力画面で文章の貼付けを行うために、視点を第２表示領域２２に合わせ、キーボード１３に対してカーソル２３移動等の入力を行う（ステップＳ１０３）。ステップＳ１０１では、図３の手順において、ステップＳ１１でＹｅｓ、ステップＳ１２でＮｏ、ステップＳ１４でＹｅｓとなり、入力対象領域は第２表示領域２２に設定され、ユーザ１６の入力は第２表示領域２２に反映される。次いで、ユーザ１６は、視点を第２表示領域２２に合わせたまま入力を行うことによって、第２表示領域２２でカーソル２３を所望の位置に移動させた後、貼付けを行う（ステップＳ１０４）。これによって、一連の操作を終了する。
【００２７】
本実施例によれば、第１表示領域２１のサイト閲覧画面の文章をコピーし、第２表示領域２２の電子メール入力画面に貼り付ける際に、ユーザ１６は、キーボード１３等の操作によって入力対象領域を切り替える必要が無い。
【００２８】
［第２実施例］
図５は、上記実施形態の第２実施例に係る手順を示すフローチャートである。本実施例では、第１実施例と同様に、第１表示領域２１にインターネットのサイト閲覧画面を、第２表示領域２２に電子メール入力画面をそれぞれ表示する。また、この状態で、サイト閲覧画面の文章の一部をコピーし、電子メール入力画面の所定の位置に貼り付けるものとする。ユーザ１６は、第１実施例と異なり、端末装置１０の入力に習熟していないユーザであり、キーボード１３を参照しなければ、キーボード１３への入力を行えないものとする。
【００２９】
先ず、ユーザ１６は、サイト閲覧画面の文章をコピーするために、視点を第１表示領域２１に合わせ、キーボード１３に対してカーソル２３移動等の入力を行う（ステップＳ２０１）。ステップＳ２０１では、第１実施例と同様に、図３の手順において、ステップＳ１１でＹｅｓ、ステップＳ１２でＹｅｓとなり、入力対象領域は第１表示領域２１に設定され、ユーザ１６の入力は第１表示領域２１に反映される。次いで、ユーザ１６は、視点を第１表示領域２１に合わせたまま入力を行うことによって、第１表示領域２１でコピーを行う領域を設定する。
【００３０】
引き続き、ユーザ１６は、コピー操作を行うために、視点をキーボード１３に合わせる（ステップＳ２０２）。また、キーボード１３への入力によって、設定した領域のコピーを行う（ステップＳ２０３）。ステップＳ２０３では、図３の手順において、ステップＳ１１でＹｅｓ、ステップＳ１２でＮｏ、ステップＳ１４でＮｏとなり、入力対象領域は、視点が最後に存在した第１表示領域２１に設定され、ユーザ１６の入力は第１表示領域２１に反映される。
【００３１】
更に、ユーザ１６は、電子メール入力画面で文章の貼付けを行うために、視点を第２表示領域２２に合わせ、キーボード１３に対してカーソル２３移動等の入力を行う（ステップＳ２０４）。ステップＳ２０４では、図３の手順において、ステップＳ１１でＹｅｓ、ステップＳ１２でＮｏ、ステップＳ１４でＹｅｓとなり、入力対象領域は第２表示領域２２に設定され、ユーザ１６の入力は第２表示領域２２に反映される。次いで、ユーザ１６は、視点を第２表示領域２２に合わせたまま入力を行うことによって、第２表示領域２２でカーソル２３を所望の位置に移動させる。
【００３２】
引き続き、ユーザ１６は、貼付け操作を行うために、視点をキーボード１３に合わせる（ステップＳ２０５）。また、キーボード１３への入力によって、貼付けを行う（ステップＳ２０６）。ステップＳ２０６では、図３の手順において、ステップＳ１１でＹｅｓ、ステップＳ１２でＮｏ、ステップＳ１４でＮｏとなり、入力対象領域は、視点が最後に存在した第２表示領域２２に設定され、ユーザ１６の入力は第２表示領域２２に反映される。これによって、一連の操作を終了する。
【００３３】
本実施例によれば、第１実施例の効果に加え、コピー操作又は貼付け操作を行うために、ユーザ１６が視点をキーボード１３に合わせて入力を行った際に、入力対象領域が、視点が最後に存在した表示領域２１，２２に設定される。従って、コピー操作や貼付け操作といった、キーボード１３を参照した操作を容易に行うことが出来る。
【００３４】
なお、上記実施形態では、表示領域２１，２２にサイト閲覧画面及び電子メール入力画面をそれぞれ表示させた態様を示したが、表示領域２１，２２に表示させる画面はこの例に限定されない。上記以外にも、例えば、表示領域２１，２２にサイト閲覧画面及びＰｏＣ通信画面をそれぞれ表示させて、インターネットサイトの閲覧を行いつつ、ＰｏＣ通信を行う態様が考えられる。また、上記実施形態では、表示装置１４の画面を上下方向に並列したが、左右方向に並列してもよい。また、３つ以上に分割しても構わない。撮影装置１５は、景色等の撮影の際には、筐体１１上端部の回動によって筐体１１の背面に移動可能に構成してもよい。
【００３５】
図３のステップＳ１１では、キーボード１３に対する入力を条件として、入力対象領域を設定するものとした。しかし、これに代えて、視点の領域間の移動を監視し、視点が表示領域２１，２２の何れかに移動した際に、その移動した先の表示領域２１，２２を入力対象領域に設定してもよい。この場合、視点がキーボード１３上へ移動した際には、入力対象領域を変更しないものとすることによって、第２実施例と同様に、キーボード１３を参照した操作を容易に行うことが出来る。
【００３６】
また、入力対象領域を変更する際に、変更前の表示領域２１，２２のカーソル２３の座標（入力座標）を記憶装置３６に記憶してもよい。この場合、入力対象領域の変更に際して、入力対象領域設定部３５が、記憶装置３６に記憶された変更後の表示領域２１，２２の入力座標を読み出し、読み出した入力座標を変更後の表示領域２１，２２の入力座標に設定することが出来る。或いは、視点位置判別部３４が表示領域２１，２２内の視点の座標を判別することによって、判別された視点の座標を入力座標に設定することも出来る。入力対象画面の変更に際して、入力座標がユーザ１６の意図した座標に設定されるので、入力をより容易に行うことが出来る。
【００３７】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明に係る端末装置は、上記実施形態の構成にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施した端末装置も、本発明の範囲に含まれる。例えば、上記実施形態では、携帯端末装置について説明したが、本発明は、表示装置を備える端末装置全般に適用可能であり、ＰＣ装置等にも適用できる。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態に係る端末装置の構成を模式的に示す平面図である。
【図２】図１の端末装置の制御部の各種機能を示すブロック図である。
【図３】図１の入力対象領域設定部の動作手順を示すフローチャートである。
【図４】実施形態の第１実施例に係る動作手順を示すフローチャートである。
【図５】実施形態の第２実施例に係る動作手順を示すフローチャートである。
【符号の説明】
【００３９】
１０：端末装置
１１：筐体
１２：入力キー
１３：キーボード
１４：表示装置
１５：撮影装置
１６：ユーザ
２１：第１表示領域
２２：第２表示領域
２３：カーソル
３１：入力部
３２：表示部
３３：撮影部
３４：視点位置判別部
３５：入力対象領域設定部
３６：記憶装置
３７：入力自動切換機能
【図１】
2007264725.tif 000003
【図２】
2007264725.tif 000004
【図３】
2007264725.tif 000005
【図４】
2007264725.tif 000006
【図５】
2007264725.tif 000007