(57)【要約】【課題】複数のアプリケーションが同時に動作可能であり、表示画面の表示領域を分割しそれぞれの表示領域に情報を表示することができる携帯端末装置において、視線インタフェースを用いて、複数のアプリケーションにもとづく機能を利用する際のユーザの利便性を向上させる。【解決手段】携帯端末装置１１は、撮像手段３が撮像して出力した画像データからユーザの眼球の黒目部分の位置を検出する黒目位置検出手段４と、黒目位置検出手段４の検出結果にもとづいてユーザの視線を検出する視線検出手段５と、視線検出手段５が検出した視線が表示部１における表示画面の複数の表示領域のいずれかの方向を向いていた場合に、操作部２に入力された情報を、視線が向いていた方向の表示領域に対応するアプリケーションによる機能に応じた操作情報とする操作切替手段６とを備えている。【選択図】図１
2009232313.tif 000002
【特許請求の範囲】
【請求項１】
複数のアプリケーションプログラムが同時動作可能であり、表示部における表示画面の表示領域を分割し、それぞれの表示領域にそれぞれのアプリケーションプログラムにもとづく情報を表示する携帯端末装置であって、
ユーザが情報を入力するための操作部と、
前記表示部の近傍に設けられた撮像手段と、
前記撮像手段が撮像して出力した画像データからユーザの眼球の黒目部分の位置を検出する黒目位置検出手段と、
前記黒目位置検出手段の検出結果にもとづいてユーザの視線を検出する視線検出手段と、
前記視線検出手段が検出した視線が前記表示部における表示画面の複数の表示領域のいずれかの方向を向いていたと判定した場合に、前記操作部に入力された情報を、視線が向いていた方向の表示領域に対応するアプリケーションプログラムによる機能に応じた操作情報とする操作切替手段と
を備えたことを特徴とする携帯端末装置。
【請求項２】
黒目位置検出手段は、あらかじめ決められた一定間隔で撮像手段から画像データを入力する
請求項１記載の携帯端末装置。
【請求項３】
操作切替手段は、表示部における表示画面における左右の表示領域に２画面が表示されている場合に、ユーザの視線が、左の表示領域の方向を向いているのか右の表示領域の方向を向いているのか判定する
請求項１または請求項２記載の携帯端末装置。
【請求項４】
操作切替手段は、表示部における表示画面における上下の表示領域に２画面が表示されている場合に、ユーザの視線が、上の表示領域の方向を向いているのか下の表示領域の方向を向いているのか判定する
請求項１から請求項３のうちのいずれか１項に記載の携帯端末装置。
【請求項５】
携帯電話機である請求項１から請求項４のうちのいずれか１項に記載の携帯端末装置。
【請求項６】
複数のアプリケーションプログラムが同時動作可能であり、表示部における表示画面の表示領域を分割し、それぞれの表示領域にそれぞれのアプリケーションプログラムにもとづく情報を表示する携帯端末装置における操作対象切替方法であって、
前記表示部の近傍に設けられた撮像手段が撮像して出力した画像データからユーザの眼球の黒目部分の位置を検出し、
黒目部分の位置の検出結果にもとづいてユーザの視線を検出し、
検出した視線が前記表示部における表示画面の複数の表示領域のいずれかの方向を向いていたと判定した場合に、前記操作部に入力された情報を、視線が向いていた方向の表示領域に対応するアプリケーションプログラムによる機能に応じた操作情報とする
ことを特徴とする携帯端末装置における操作対象切替方法。
【請求項７】
あらかじめ決められた一定間隔で撮像手段から画像データを入力する
請求項６記載の携帯端末装置における操作対象切替方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示画面の表示領域を分割し、それぞれの表示領域に情報を表示することができる携帯端末装置、および携帯端末装置における操作対象切替方法に関する。
【背景技術】
【０００２】
複数のアプリケーションプログラム（以下、アプリケーションという。）を同時に動作させることができる携帯電話機がある。一般に、携帯電話機には表示部が設けられているが、複数のアプリケーションを同時に動作させることができる携帯電話機において、あるアプリケーションにもとづく表示部における表示と、他のアプリケーションにもとづく表示部における表示とを切り替えると、ユーザにとって不便が生ずる。
【０００３】
例えば、先に起動していたアプリケーションがテレビジョン放送（１セグメント部分受信サービスによる放送：以下、ワンセグという。）の受信のためのアプリケーションであって、表示部にワンセグの画面が表示されているときに、電子メールのアプリケーションが起動されたとする。また、携帯電話機は、表示部を９０度回転する機能を有し、表示画面を横長の状態にしてユーザはワンセグを受信していたとする。また、一般に、電子メールの操作画面は、表示画面を縦長の状態にして操作されることを前提に作成されている。すると、表示部の表示を、後に起動された電子メールのアプリケーションにもとづく表示に切り替えると、電子メールの操作画面が９０度回転した状態で表示されてしまい、ユーザは、電子メールの操作に不便を感ずる。
【０００４】
そこで、ユーザの操作性を低下させないようにするために、表示部の表示画面の表示領域を２つの分割領域に分割し、それぞれの分割領域において、それぞれのアプリケーションにもとづく画面を表示できるようにした携帯電話機が提案されている（例えば、特許文献１参照）。
【０００５】
また、ユーザの操作性を向上させるための情報入力方法として、視線インタフェースがある。視線インタフェースは、検出されたユーザの視線データを用いて端末装置の画面上のアイコンなどを操作するための情報入力インタフェースである。視線インタフェースを用いた携帯電話機として、特許文献２に記載された携帯電話機がある。
【０００６】
【特許文献１】特開平２００８−１７３７４号公報（段落００３２−００３４、図５）
【特許文献２】特開平２００７−１０２４１５号公報（段落００１６−００１８、図２）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献２に記載された携帯電話機では、視線インタフェースは、機能選択のためのメニュー画面における複数の表示項目からいずれかの表示項目を選択するために使用されているに過ぎない。
【０００８】
また、特許文献１に記載されているように表示画面における表示領域が分割領域に分割されても、操作部は１つである。よって、複数のアプリケーションが同時に動作している場合に、ユーザがアプリケーションについての操作を行いたいときには、アプリケーションの選択操作を行うことになる。
【０００９】
本発明は、複数のアプリケーションが同時に動作可能であり、表示画面の表示領域を分割しそれぞれの表示領域に情報を表示することができる携帯端末装置において、視線インタフェースを用いて、複数のアプリケーションにもとづく機能を利用する際のユーザの利便性を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
本発明による携帯端末装置は、複数のアプリケーションプログラムが同時動作可能であり、表示部における表示画面の表示領域を分割し、それぞれの表示領域にそれぞれのアプリケーションプログラムにもとづく情報を表示する携帯端末装置であって、ユーザが情報を入力するための操作部と、表示部の近傍に設けられた撮像手段と、撮像手段が撮像して出力した画像データからユーザの眼球の黒目部分の位置を検出する黒目位置検出手段と、黒目位置検出手段の検出結果にもとづいてユーザの視線を検出する視線検出手段と、視線検出手段が検出した視線が表示部における表示画面の複数の表示領域のいずれかの方向を向いていたと判定した場合に、操作部に入力された情報を、視線が向いていた方向の表示領域に対応するアプリケーションプログラムによる機能に応じた操作情報とする操作切替手段とを備えたことを特徴とする。
【００１１】
本発明による携帯端末装置における操作対象切替方法は、複数のアプリケーションプログラムが同時動作可能であり、表示部における表示画面の表示領域を分割し、それぞれの表示領域にそれぞれのアプリケーションプログラムにもとづく情報を表示する携帯端末装置における操作対象切替方法であって、表示部の近傍に設けられた撮像手段が撮像して出力した画像データからユーザの眼球の黒目部分の位置を検出し、黒目部分の位置の検出結果にもとづいてユーザの視線を検出し、検出した視線が表示部における表示画面の複数の表示領域のいずれかの方向を向いていたと判定した場合に、ユーザが情報を入力するための操作部に入力された情報を、視線が向いていた方向の表示領域に対応するアプリケーションプログラムによる機能に応じた操作情報とすることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、表示画面の表示領域を分割しそれぞれの表示領域に情報を表示することができる携帯端末装置において、視線インタフェースを用いて、複数のアプリケーションにもとづく機能を利用する際のユーザの利便性を向上させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態を図面を参照して説明する。
【００１４】
実施形態１．
図１は、本発明による携帯端末装置の主要構成を示すブロック図である。図１に示すように、携帯端末装置１１は、表示部１と、ユーザが情報を入力するための操作部２と、撮像手段３とを備えている。撮像手段３は、表示部１の近傍に設けられている。携帯端末装置１１は、複数のアプリケーションが同時動作可能であり、表示部１における表示画面の表示領域を分割し、それぞれの表示領域にそれぞれのアプリケーションにもとづく情報を表示することが可能である。また、携帯端末装置１１は、撮像手段３が撮像して出力した画像データからユーザの眼球の黒目部分の位置を検出する黒目位置検出手段４と、黒目位置検出手段４の検出結果にもとづいてユーザの視線を検出する視線検出手段５と、視線検出手段５が検出した視線が表示部１における表示画面の複数の表示領域のいずれかの方向を向いていた場合に、操作部２に入力された情報を、視線が向いていた方向の表示領域に対応するアプリケーションによる機能に応じた操作情報とする操作切替手段６とを備えている。
【００１５】
図２は、本発明を適用可能な携帯端末装置の一例である携帯電話機の回路構成例を示すブロック図である。なお、携帯端末装置は、携帯電話機に限らず、例えば、ＰＤＡ（Personal Digital Assistants ）端末であってもよい。図２に示すように、携帯電話機は、電波の送受信を行うアンテナ１５０と、制御部１００と、メモリ１３０と、無線通信部１４０と、操作部１２０とを備えている。また、マイクロフォン１６０、スピーカ１７０、カメラ１８０およびＬＣＤ等のディスプレイ（表示部）１１０が設けられている。
【００１６】
制御部１００は、例えばマイクロコンピュータと周辺回路とで実現される。制御部１００は、携帯電話機が備えている各部の制御を行う。具体的には、制御部１００は、メモリ１３０に格納されているプログラムに従って無線通信部１４０その他のブロックの制御を行う。
【００１７】
アンテナ１５０を介して無線信号の送受信を行う無線通信部１４０は、信号の変復調、周波数変換および電力増幅等を行う。すなわち、無線通信部１４０は、無線信号を、アンテナ１５０を介して受信して復調する処理を行う。また、無線通信部１４０は、制御部１００から出力された信号にもとづく変調処理を行い、アンテナ１５０を介して無線信号を送信する処理を行う。
【００１８】
図３は、携帯電話機の一例の外観を示す正面図である。図３には、折り畳み型の携帯電話機１０を開いた状態が例示されているが、表示部側筐体には、スピーカ１７０およびディスプレイ１１０が設けられている。また、ディスプレイ１１０の近傍に撮像手段としてのカメラ（インカメラ）１８０が設けられている。
【００１９】
操作部側筐体には、マイクロフォン１６０、メニュー画面をディスプレイ１１０に表示させるためのメニューキー１４、例えばメニュー画面における項目の選択を決定するための決定キー１５、左右および上下に押下されることが可能な方向キー１６、電源キー１７、通話キー１８およびテンキー１９が設けられている。なお、左右とは、図１における左側および右側であり、上下とは、図１における上側および下側である。また、メニューキー１４、決定キー１５、方向キー１６、電源キー１７、通話キー１８およびテンキー１９は、図２に示す操作部１２０に含まれるものである。
【００２０】
図４〜図７は、携帯電話機を開いた状態または閉じた状態から、表示部側筐体を、スライドさせたり、所定方向に開いたり、倒したり、回転させたりすることができる種々のタイプの携帯電話機のそれぞれを示す説明図である。
【００２１】
図４には、閉じた状態から表示部側筐体を右側に開くことができる携帯電話機において、表示部側筐体が右側に開かれた後の様子が示されている。
【００２２】
図５には、開いた状態から表示部側筐体を背面側に倒すことができる携帯電話機において、表示部側筐体が倒された後の様子が示されている。図５において、（Ａ）には表示部側筐体における表示部側（表とする。）が示され、（Ｂ）には操作部側筐体における操作面（裏とする。）が示されている。
【００２３】
図６には、開いた状態から表示部側筐体を回転させることができる携帯電話機において、表示部側筐体が９０°回転した後の様子が示されている。
【００２４】
図７には、開いた状態から表示部側筐体を回転およびスライドさせることができる携帯電話機において、表示部側筐体が回転およびスライドした後の様子が示されている。
【００２５】
図４〜図７には、いずれのタイプの携帯電話機１０も、表示部の表示画面１１１の表示領域を２分割し、それぞれの表示領域１１２，１１３に、異なるアプリケーションにもとづく情報を表示することが可能であることが示されている。一例として、表示領域１１３にはワンセグの画面が表示され、表示領域１１３には電子メール作成のための画面が表示されている。
【００２６】
本発明では、それぞれの表示領域１１２，１１３に、異なるアプリケーションにもとづく情報が表示されているときに、視線インタフェースによって、操作対象を切り替える。操作対象を切り替えるとは、操作部１２０に入力された情報を、表示領域１１２（または、表示領域１１３）に対応するアプリケーションプログラムによる機能に応じた操作情報とみなす状態から、表示領域１１３（または、表示領域１１２）に対応するアプリケーションプログラムによる機能に応じた操作情報とみなす状態に変更することである。例えば、操作部１２０への操作の対象が、表示領域１１３にワンセグの画面（視聴画面）を表示させるためのアプリケーションによる機能であるときに、操作部１２０への操作の対象を、電子メール機能に切り替えることである。
【００２７】
次に、図８のフローチャートを参照して、携帯電話機１０における操作対象の切り替え処理を説明する。制御部１００は、ユーザの要求に応じて、複数（この例では２つ）のアプリケーションを起動し、複数のアプリケーションのそれぞれにもとづく画面を表示画面１１１に表示するための制御を行う（ステップＳ１１）。なお、制御部１００は、複数のアプリケーションを起動した場合には、デフォルト設定のいずれかのアプリケーションを操作対象にしておく。
【００２８】
その後、制御部１００は、カメラ１８０を起動し、一定間隔（例えば、１秒間隔）で、カメラ１８０が撮影した画像の画像データを入力する（ステップＳ１２）。制御部１００は、カメラ１８０が撮影した画像は顔画像であるとして以下の処理を実行する。携帯電話機１０の使用者（ユーザ）は、一般に表示画面１１１を見ながら携帯電話機１０を使用するので、制御部１００が、カメラ１８０が撮影した画像を顔画像と判断しても問題はない。なお、ステップＳ１２の処理は、ユーザの黒目の位置を検出するために実行される処理であるから、カメラ１８０が撮影した画像が顔画像でない場合には黒目を検出することができず、特に問題は生じない。
【００２９】
そして、制御部１００は、入力した画像データから、ユーザの目の部分（目画像）を切り出す（ステップＳ１３）。
【００３０】
図９は、目画像切り出し処理を示すフローチャートである。目画像切り出し処理において、制御部１００は、カメラ１８０から入力した画像データを２値化する（ステップＳ１３１）。そして、１画面における２値化データを対象として、目の部分を切り出す処理を行う。一例として、図１０（Ａ）に示すように、Ｘ方向（横方向）で、白画素があらかじめ決められている数の範囲で連続し、続いて黒画素があらかじめ決められている数の範囲で連続し、さらに続いて白画素があらかじめ決められている数の範囲で連続するラインを候補ラインとして抽出する（ステップＳ１３１）。次いで、抽出された候補ラインがＹ方向にあらかじめ決められている所定ラインの範囲内で連続している部分があれば、その部分を目画像の部分として、カメラ１８０から入力した画像データから切り出す（ステップＳ１３３）。
【００３１】
ステップＳ１３１〜Ｓ１３３の処理によって、図１０（Ｂ）に示すような目画像が切り出される。ただし、ユーザが顔を背けていたり瞬きをしていたこと等に起因して、ステップＳ１３２，Ｓ１３３の処理によって目画像の部分を検出できない可能性もある。すなわち、目画像の部分を切り出せないこともある得る。目画像の部分を切り出せなかった場合には、一定間隔の時間経過後に入力される顔画像を対象としてあらためてステップＳ１３の処理を実行する。
【００３２】
なお、ここでは、白画素の連続および黒画素の連続にもとづいて目画像の部分を切り出す処理を行ったが、他の方法によって、目画像の部分を切り出すようにしてもよい。例えば、あらかじめ代表的な目画像の画像データを複数種類メモリ１３０に格納しておき、カメラ１８０から入力した画像データと代表的な目画像の画像データとのパターンマッチングによって目画像の部分を切り出すようにしてもよい。
【００３３】
目画像の部分を切り出せた場合には、制御部１００は、目画像における黒目の位置を判定する処理を実行する（ステップＳ１５）。図５、図６および図７に例示したように、横長の表示画面１１１における左右の表示領域１１２，１１３のそれぞれに画面が表示されている場合には、制御部１００は、黒目が左側に位置するのか右側に位置しているのか判定する。
【００３４】
図１３は、ステップＳ１５の黒目の位置判定処理を示すフローチャートである。黒目の位置判定処理において、制御部１００は、例えば、図１２の説明図に示すように、目画像を含む矩形領域を確定する（ステップＳ１５１）。次いで、目画像を含む矩形領域の左右の辺から等距離にある中線ｏを定める（ステップＳ１５２）。図１２おいて、中線ｏと矩形領域の左の辺の間の距離ｐと、中線ｏと矩形領域の右の辺との間の距離ｑとは等しい。また、中線ｏと矩形領域の左の辺の間の領域を左領域とし、中線ｏと矩形領域の右の辺の間の領域を右領域とする。
【００３５】
次に、制御部１００は、左領域における黒目領域の黒画素数Ｐを算出するとともに、右領域における黒目領域の黒画素数Ｑを算出する（ステップＳ１５３）。そして、算出した黒画素数Ｐ，Ｑにもとづいて、ユーザの視線を検出する（ステップＳ１５４）。すなわち、ユーザの視線が表示画面１１１における左の表示領域１１２の方向を向いているのか、右の表示領域１１３の方向を向いているのかを判定する。
【００３６】
ステップＳ１５４の処理では、制御部１００は、例えば、全黒画素数に対して黒画素数Ｐがあらかじめ決められている第１の所定割合（例えば、８０％）を越えていればユーザが表示画面１１１における左の表示領域１１２を見ているとし、全黒画素数に対して黒画素数Ｑがあらかじめ決められている第２の所定割合（例えば、８０％）を越えていればユーザが表示画面１１１における右の表示領域１１３を見ているとする。
【００３７】
なお、左の表示領域１１２の方向を向いているか右の表示領域１１３の方向を向いているか決定するための第１の所定割合および第２の所定割合は、固定的ではなく、カメラが撮影した画像における顔位置に応じて変更するようにしてもよい。例えば、カメラが撮影した画像における顔位置が、画面における左端に寄っている場合と右端に寄っている場合とで、第１の所定割合および第２の所定割合を変えるようにしてもよい。例えば、左端に寄っている場合には、第１の所定割合を低くし、第２の所定割合を高くする。さらに、左端に寄っている程度および右端に寄っている程度に応じて、第１の所定割合および第２の所定割合を変えるようにしてもよい。
【００３８】
そして、制御部１００は、黒目の位置判定処理の結果に応じて、操作対象のアプリケーションを切り替えるか否か判断する（ステップＳ１６）。操作対象のアプリケーションを切り替えるべきと判断した場合には、操作対象のアプリケーションを切り替える（ステップＳ１７）。その後、複数のアプリケーションの同時動作が継続している場合にはステップＳ１２に戻り、そうでない場合には処理を終了する（ステップＳ１８）。
【００３９】
例えば、図５、図６および図７に示すように、左の表示領域１１２にワンセグの画面が表示され、右の表示領域１１３に電子メール作成の画面が表示され、ワンセグの画面を表示するためのアプリケーションが操作対象になっている場合に、ユーザの視線が右の表示領域１１３の方向を向いていることが検出されたときには、制御部１００は、操作対象のアプリケーションを電子メール作成のアプリケーションに変更する。
【００４０】
そのような変更を行った場合には、制御部１００は、以後、操作部１２０に対してなされた操作は、電子メール作成のための操作であると判断する。すなわち、操作部１２０に入力された情報を、視線が向いていた表示領域に対応するアプリケーションによる機能に応じた操作情報とする。
【００４１】
この実施形態では、左右の表示領域１１２，１１３の間で視線を動かすだけでアプリケーションの切り替えを行うことができる。例えば、ワンセグの画面を見ているときに電子メールを送信したくなった場合には、長くても一定間隔（カメラ１８０の撮影間隔）の時間、右の表示領域１１３に視線を移すだけで電子メールを作成できる状況になる。
【００４２】
なお、この実施形態では、一方の目のみを視線インタフェースの対象にしたが、左右の目のいずれを対象にしてもよい。ただし、左右のいずれかを対象にする場合には、最初に切り出した方を継続して対象にすることが望ましい。特定の一方を継続して対象にすれば、最初に切り出す処理を実行して黒目の位置判定処理を実行した後、以後の切り出し処理では、カメラ１８０から入力した画像においてほぼ固定的な領域を切り出せばよく、処理が高速化される等の効果があるからである。また、左右の両方の目を対象にしてもよい。
【００４３】
実施形態２．
上記の実施形態では、図５、図６および図７に例示したように、横長の表示画面１１１における左右の表示領域１１２，１１３のそれぞれに画面が表示されている場合を例にしたが、図４に示すように、縦長の表示画面１１１における上下の表示領域１１２，１１３のそれぞれに画面が表示されている場合にも本発明を適用することができる。
【００４４】
縦長の表示画面１１１における上下の表示領域１１２，１１３のそれぞれに画面が表示されている場合にも、図８のフローチャートに示されたように携帯電話機１０における操作対象の切り替え処理が実行される。また、図９のフローチャートに示された処理またはその他の処理によって目画像切り出し処理が実行される。
【００４５】
また、基本的に、図１１のフローチャートに示されたように黒目の位置判定処理が実行されるのであるが、第２の実施形態では、ステップＳ１５２の処理に代えて、図１３の説明図に示すように、目画像を含む矩形領域の上下の辺から等距離にある中線ｏを定める。図１２おいて、中線ｏと矩形領域の上の辺の間の距離ｐと、中線ｏと矩形領域の下の辺との間の距離ｑとは等しい。また、中線ｏと矩形領域の上の辺の間の領域を上領域とし、中線ｏと矩形領域の下の辺の間の領域を下領域とする。
【００４６】
そして、ステップＳ１５３の処理に代えて、上領域における黒目領域の黒画素数Ｐを算出するとともに、下領域における黒目領域の黒画素数Ｑを算出する。そして、算出した黒画素数Ｐ，Ｑにもとづいて、ユーザの視線を検出する（ステップＳ１５４）。すなわち、ユーザが表示画面１１１における上の表示領域１１２の方向を向いているのか、下の表示領域１１３の方向を向いているのか判定する。
【００４７】
そして、制御部１００は、黒目の位置判定処理の結果に応じて、操作対象のアプリケーションを切り替えるか否か判断する（ステップＳ１６）。操作対象のアプリケーションを切り替えるべきと判断した場合には、操作対象のアプリケーションを切り替える（ステップＳ１７）。
【００４８】
例えば、図４に示すように、上の表示領域１１２にワンセグの画面が表示され、下の表示領域１１３に電子メール作成の画面が表示され、ワンセグの画面を表示するためのアプリケーションが操作対象になっている場合に、ユーザの視線が下の表示領域１１３の方向を向いていることが検出されたときには、制御部１００は、操作対象のアプリケーションを電子メール作成のアプリケーションに変更する。
【００４９】
実施形態３．
表示画面１１１において、横方向における左右の表示領域１１２，１１３に２画面を表示する状態（図５、図６および図７に示されたような表示状態）と、縦方向における上下の表示領域１１２，１１３に２画面を表示できる状態（図４に示されたような表示状態）とを切り替え可能な携帯電話機１０もある。
【００５０】
一般に、ユーザは、横方向における左右の表示領域１１２，１１３に２画面が表示されている状態では、自身の顔に対して、表示画面１１１が横長になるように携帯電話機１０を位置させる。また、縦方向における上下の表示領域１１２，１１３に２画面が表示されている状態では、自身の顔に対して、表示画面１１１が縦長になるように携帯電話機１０を位置させる。表示画面１１１に対するカメラ１８０の位置は固定的であるから、表示画面１１１が横長になるように携帯電話機１０を位置させた場合と、表示画面１１１が縦長になるように携帯電話機１０を位置させた場合とで、カメラ１８０が撮影した顔画像における左右の目の位置関係が異なる。
【００５１】
表示画面１１１が縦長になるように携帯電話機１０を位置させた場合の左右の目の位置関係を角度０°で表現すると、表示画面１１１が横長になるように携帯電話機１０を位置させた場合の左右の目の位置関係はほぼ角度９０°と表すことができる。
【００５２】
そこで、制御部１００は、左右の目の位置関係が角度０°である場合には、ディスプレイ１１０に、縦方向における上下の表示領域１１２，１１３に２画面を表示させる。また、左右の目の位置関係がほぼ角度９０°である場合には、ディスプレイ１１０に、横方向における左右の表示領域１１２，１１３に２画面を表示させる。
【００５３】
この実施形態では、ユーザの左右の目画像の位置関係にもとづいて、ディスプレイ１１０の２画面の表示状態を切り替えることができ、２画面の表示状態を切り替える際に操作部１２０に対する切替操作を不要にすることができる。なお、第３の実施形態では、左右の目の位置関係にもとづいて表示状態を決めるようにしたが、制御部１００は、いずれか一方の目の白目部分を検出し、白目部分の長手方向が長方形のディスプレイ１１０の長手方向と同じであれば、ディスプレイ１１０に横方向における左右の表示領域１１２，１１３に２画面を表示させ、白目部分の長手方向が長方形のディスプレイ１１０の長手方向と直交するような方向であれば、ディスプレイ１１０に横方向における上下の表示領域１１２，１１３に２画面を表示させるように制御してもよい。
【産業上の利用可能性】
【００５４】
本発明は、表示画面の表示領域を分割し、それぞれの表示領域に情報を表示することができる携帯電話機等の携帯端末装置に好適に適用される。
【図面の簡単な説明】
【００５５】
【図１】本発明による携帯端末装置の主要構成を示すブロック図である。
【図２】本発明を適用可能な携帯端末装置の一例である携帯電話機の回路構成例を示すブロック図である。
【図３】携帯電話機の一例の外観を示す正面図である。
【図４】閉じた状態から表示部側筐体を右側に開くことができる携帯電話機を示す説明図である。
【図５】開いた状態から表示部側筐体を背面側に倒すことができる携帯電話機
【図６】開いた状態から表示部側筐体を回転させることができる携帯電話機を示す説明図である。
【図７】開いた状態から表示部側筐体を回転およびスライドさせることができる携帯電話機を示す説明図である。
【図８】携帯電話機における操作対象の切り替え処理を示すフローチャートである。
【図９】目画像切り出し処理を示すフローチャートである。
【図１０】目画像切り出し処理を示す説明図である。
【図１１】黒目の位置判定処理を示すフローチャートである。
【図１２】黒目の位置判定処理を説明するための説明図である。
【図１３】黒目の位置判定処理を説明するための説明図である。
【符号の説明】
【００５６】
１      表示部
２      操作部
３      撮像手段
４      黒目位置検出手段
５      視線検出手段
６      操作切替手段
１０    携帯電話機
１１    携帯端末装置
１１０  ディスプレイ（表示部）
１１１  表示画面
１１２，１１３  表示領域
１２０  操作部
１３０  メモリ
１４０  無線通信部
１５０  アンテナ
１６０  マイクロフォン
１７０  スピーカ
１８０  カメラ
【図１】
2009232313.tif 000003
【図２】
2009232313.tif 000004
【図３】
2009232313.tif 000005
【図４】
2009232313.tif 000006
【図５】
2009232313.tif 000007
【図６】
2009232313.tif 000008
【図７】
2009232313.tif 000009
【図８】
2009232313.tif 000010
【図９】
2009232313.tif 000011
【図１０】
2009232313.tif 000012
【図１１】
2009232313.tif 000013
【図１２】
2009232313.tif 000014
【図１３】
2009232313.tif 000015