(57)【要約】      （修正有）【課題】ユーザの視線を利用してキーワードを取得し、そのキーワードを利用して、効率よく情報を検索する。【解決手段】携帯電話機１０は、サーバに記憶されているＨＰのデータを、ブラウザ機能によって表示することができる。また、携帯電話機１０は、赤外線を利用してユーザの視線を検出することができる。ＨＰを閲覧している場合、ユーザの視線に基づいて、ＨＰの内容からキーワードが取得される。その後、検索サイトによる検索結果の画面が表示されると、取得されたキーワードに関連するＨＰの索引情報が上位となるように、複数の索引情報が並べられる。【選択図】図１
2013225226.tif 000002
【特許請求の範囲】
【請求項１】
テキストを表示する表示部を有し、データベースから任意のデータを読み出すことが出来る、情報端末であって、
前記表示部に対する視線を検出する視線検出部、
前記視線検出部によって検出された視線に基づいて、前記表示部に表示されているテキストからキーワードを取得する取得部、および
前記データベースから複数のデータが読み出されたとき、前記キーワードに基づいて設定された並び順で、複数のデータを前記表示部に表示させる表示処理部を備える、情報端末。
【請求項２】
前記取得部は、複数のキーワードを取得し、
前記視線検出部によって検出された視線に基づいて、前記複数のキーワードのそれぞれの重み値を算出する算出部をさらに備え、
前記表示処理部は、前記複数のキーワードのそれぞれの重み値に基づいて設定された並び順に基づいて、複数のデータを前記表示部に表示させる、請求項１記載の情報端末。
【請求項３】
前記算出部は、検出された視線に基づいてキーワードが注視された回数を算出する注視回数算出部をさらに含み、
前記算出部は、前記注視回数算出部によって算出された回数に基づいて、前記複数のキーワードのそれぞれの重み値を算出する、請求項２記載の情報端末。
【請求項４】
前記算出部は、検出された視線に基づいてキーワードが注視された時間を算出する注視時間算出部を含み、
前記算出部は、前記注視時間算出部によって算出された時間に基づいて、前記複数のキーワードのそれぞれの重み値を算出する、請求項２または３記載の情報端末。
【請求項５】
前記複数のキーワードのそれぞれの重み値が減るように、重み値を再算出する再算出部、および
前記再算出部によって再算出された重み値が閾値以下のとき、対応するキーワードを削除する削除部をさらに備える、請求項２ないし４のいずれかに記載の情報端末。
【請求項６】
前記表示部は、画像をさらに表示し、
前記取得部は、前記視線検出部によって検出された視線が前記画像の表示範囲に含まれているとき、定型文をキーワードとして取得する定型文取得部を含み、
前記表示処理部は、前記定型文がキーワードであるとき、読み出された複数のデータのうち、画像を含むデータが上位となるように設定された並び順で、複数のデータを前記表示部に表示させる、請求項１ないし５のいずれかに記載の情報端末。
【請求項７】
前記データベースから読み出される複数のデータは、検索語に基づいて読み出される複数の索引情報を含み、
前記表示処理部は、前記複数の索引情報が読み出されたとき、前記キーワードに基づいて設定された並び順で、前記複数の検索情報を前記表示部に表示させる、請求項１ないし６のいずれかに記載の情報端末。
【請求項８】
前記データベースから読み出される複数のデータは、複数の予測検索語を含み、
前記表示処理部は、前記複数の予測検索語が読み出されたとき、前記キーワードに基づいて設定された並び順で、前記複数の予測検索語を前記表示部に表示させる、請求項１ないし７のいずれかに記載の情報端末。
【請求項９】
前記データベースから読み出される複数のデータは、入力された文字に対応する複数の変換候補を含み、
前記表示処理部は、前記複数の変換候補が読み出されたとき、前記キーワードに基づいて設定された並び順で、前記複数の変換候補を前記表示部に表示させる、請求項１ないし８のいずれかに記載の情報端末。
【請求項１０】
前記データベースは、サーバに記憶されている、請求項１ないし９のいずれかに記載の情報端末。
【請求項１１】
テキストを表示する表示部および前記表示部に対する視線を検出する視線検出部を有し、データベースから任意のデータを読み出すことが出来る、情報端末のプロセッサを、
前記視線検出部によって検出された視線に基づいて、前記表示部に表示されているテキストからキーワードを取得する取得部、および
前記データベースから複数のデータが読み出されたとき、前記キーワードに基づいて設定された並び順で、複数のデータを前記表示部に表示させる表示処理部として機能させる、表示制御プログラム。
【請求項１２】
テキストを表示する表示部および前記表示部に対する視線を検出する視線検出部を有し、データベースから任意のデータを読み出すことが出来る、情報端末の表示制御方法であって、
前記視線検出部によって検出された視線に基づいて、前記表示部に表示されているテキストからキーワードを取得し、そして
前記データベースから複数のデータが読み出されたとき、前記キーワードに基づいて設定された並び順で、複数のデータを前記表示部に表示させる、表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、情報端末、表示制御プログラムおよび表示制御方法に関し、特に表示部を有する、情報端末、表示制御プログラムおよび表示制御方法に関する。
【背景技術】
【０００２】
表示部を有する情報端末の一例が特許文献１に開示されている。特許文献１の情報処理装置では、ディスプレイおよびディスプレイに視線が向けられているときの視線を計測する視線情報測定部などを有する。また、ユーザがインターネットを介して接続されるデータ検索サービスを利用し、任意のＷｅｂサイトが閲覧されると、そのときの閲覧時間情報が作成される。そして、過去の閲覧情報が表示される場合、閲覧時間が長いデータから順番に、閲覧情報が表示される。
【特許文献１】特開２００５−１８２６０３号公報［G06F 17/30, G06F 3/00, G06F 3/14］
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところが、従来技術の情報処理装置では、過去の閲覧情報を効率よく検索することはできるが、新たに探している情報を効率よく検索することはできない。
【０００４】
それゆえに、この発明の主たる目的は、新規な、情報端末、表示制御プログラムおよび表示制御方法を提供することである。
【０００５】
この発明の他の目的は、効率よく検索することが出来る、情報端末、表示制御プログラムおよび表示制御方法を提供することである。
【課題を解決するための手段】
【０００６】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００７】
第１の発明は、テキストを表示する表示部を有し、データベースから任意のデータを読み出すことが出来る、情報端末であって、表示部に対する視線を検出する視線検出部、視線検出部によって検出された視線に基づいて、表示部に表示されているテキストからキーワードを取得する取得部、およびデータベースから複数のデータが読み出されたとき、キーワードに基づいて設定された並び順で、複数のデータを表示部に表示させる表示処理部を備える、情報端末である。
【０００８】
第１の発明では、情報端末（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）は、データベースから任意のデータを読み出すことが出来る。また、表示部（１４）に表示されるテキストには、ＨＰの内容を示す文書やメールの本文などが含まれる。視線検出部（２４ａ，２４ｂ）は、赤外線を利用して、ユーザが表示部を注視しているときの視線を検出する。取得部（３０，Ｓ２１，Ｓ２５）は、ユーザの視線に基づいて、表示されているテキストから、ユーザが関心を持っていると推定されるキーワードを取得する。表示処理部（３０，Ｓ８９，Ｓ１０１，Ｓ１３９）は、データベースから複数のデータが読み出されると、キーワードに関連するデータが上位となるような並び順で、複数のデータが表示される。
【０００９】
第１の発明によれば、ユーザの視線を利用してキーワードを取得し、そのキーワードを利用して、表示されているデータが適切に並び替えられる。これにより、ユーザは効率よく情報を検索することが出来る。
【００１０】
第２の発明は、第１の発明に従属し、取得部は、複数のキーワードを取得し、視線検出部によって検出された視線に基づいて、複数のキーワードのそれぞれの重み値を算出する算出部をさらに備え、表示処理部は、複数のキーワードのそれぞれの重み値に基づいて設定された並び順に基づいて、複数のデータを表示部に表示させる。
【００１１】
第２の発明では、ユーザが複数のキーワードに注視した場合、複数のキーワードが取得される。算出部（３０，Ｓ２９，Ｓ５３，Ｓ５５，Ｓ５７）は、ユーザの視線に基づいて、キーワードに対するユーザの関心の高さを数値的に表す重み値を算出する。そして、表示処理部は、重み値が大きいキーワードに関連するデータが上位となる並び順で、複数のデータを表示部に表示させる。
【００１２】
第２の発明によれば、キーワードが複数であっても、各キーワードの重み値を算出することで、複数のデータの並び順を適切に設定することが出来る。
【００１３】
第３の発明は、第２の発明に従属し、算出部は、検出された視線に基づいてキーワードが注視された回数を算出する注視回数算出部をさらに含み、算出部は、注視回数算出部によって算出された回数に基づいて、複数のキーワードのそれぞれの重み値を算出する。
【００１４】
第３の発明では、注視回数算出部（３０，Ｓ５３）は、たとえばユーザの視線軌跡を利用して、キーワードが一定時間以上注視された回数を算出する。そして、重み値は、キーワードが注視された回数に基づいて算出される。
【００１５】
第４の発明は、第２の発明または第３の発明に従属し、算出部は、検出された視線に基づいてキーワードが注視された時間を算出する注視時間算出部を含み、算出部は、注視時間算出部によって算出された時間に基づいて、複数のキーワードのそれぞれの重み値を算出する。
【００１６】
第４の発明では、注視時間算出部（３０，Ｓ５５）は、たとえばユーザの視線軌跡を利用して、キーワードが一定時間以上注視されてからの時間を、注視時間として算出する。そして、重み値は、キーワードが注視された時間に基づいて、算出される。
【００１７】
第３の発明および第４の発明によれば、キーワードを注視した回数および時間に基づいて、キーワードに対するユーザの関心の高さを、重み値として算出することができる。
【００１８】
第５の発明は、第２の発明ないし第４の発明のいずれかに従属し、複数のキーワードのそれぞれの重み値が減るように、重み値を再算出する再算出部、および再算出部によって再算出された重み値が閾値以下のとき、対応するキーワードを削除する削除部をさらに備える。
【００１９】
第５の発明では、再算出部（３０，Ｓ１６３）は、キーワードに設定された重み値を、キーワードとして取得されてからの時間を利用して、再算出する。削除部（３０，Ｓ１６７）は、再算出によって重み値が閾値以下となったときに、その重み値に対応するキーワードを削除する。
【００２０】
第５の発明によれば、ユーザが関心を失ったと推定されるキーワードについては、削除することが出来る。
【００２１】
第６の発明は、第１の発明ないし第５の発明のいずれかに従属し、表示部は、画像をさらに表示し、取得部は、視線検出部によって検出された視線が画像の表示範囲に含まれているとき、定型文をキーワードとして取得する定型文取得部を含み、表示処理部は、定型文がキーワードであるとき、読み出された複数のデータのうち、画像を含むデータが上位となるように設定された並び順で、複数のデータを表示部に表示させる。
【００２２】
第６の発明では、表示部には、テキストに加えて、画像が表示される。定型文取得部（３０，Ｓ２５）は、ユーザが画像に注視している場合、定型文（画像注視）をキーワードとして取得する。そして、定型文がキーワードであれば、画像を含むデータが上位となるように設定された並び順で、複数のデータが表示される。
【００２３】
第６の発明によれば、ユーザが画像を注視していれば、画像を含むデータが上位となるように並び順を設定することが出来る。
【００２４】
第７の発明は、第１の発明ないし第６の発明のいずれかに従属し、データベースから読み出される複数のデータは、検索語に基づいて読み出される複数の索引情報を含み、表示処理部は、複数の索引情報が読み出されたとき、キーワードに基づいて設定された並び順で、複数の検索情報を表示部に表示させる。
【００２５】
第７の発明では、索引情報は、データ検索の際に利用される情報である。この索引情報は、検索語を利用した検索処理が行われると、データベースから読み出される。そして、読み出された索引情報は、キーワードに基づいて設定された並び順で表示される。
【００２６】
第７の発明によれば、ユーザが関心を持ったキーワードを利用して、索引情報を並び替えることが出来る。そのため、ユーザは目的の情報が含まれるデータの索引情報を効率よく発見することが出来るようになる。
【００２７】
第８の発明は、第１の発明ないし第７の発明のいずれかに従属し、キーワードに関連する複数のデータは、データベースに基づく複数の予測検索語を含み、表示処理部は、複数の予測検索語が読み出されたとき、キーワードに基づいて設定された並び順で、複数の予測検索語を表示部に表示させる。
【００２８】
第８の発明では、予測検索語は、検索語の入力を補助するために、検索画面に表示される。そして、読み出された予測検索語は、キーワードに基づいて設定された並び順で表示される。
【００２９】
第８の発明によれば、検索を開始するときにキーワードが利用されるため、情報を検索するユーザの利便性が向上する。
【００３０】
第９の発明は、第１の発明ないし第８の発明のいずれかに従属し、データベースから読み出される複数のデータは、入力された文字に対応する複数の変換候補を含み、表示処理部は、複数の変換候補が読み出されたとき、キーワードに基づいて設定された並び順で、複数の変換候補を表示部に表示させる。
【００３１】
第９の発明では、文字が入力されると、複数の検索候補が読み出される。そして、キーワードに関連する変換候補が上位となる並び順で、変換候補が表示される。
【００３２】
第９の発明によれば、文字入力を行うユーザに対して、入力すると考えられる予測変換候補を上位に表示することが出来るため、ユーザの文字入力の効率が向上する。
【００３３】
第１０の発明は、第１の発明ないし第９の発明のいずれかに従属し、データベースは、サーバに記憶されている。
【００３４】
第１０の発明では、サーバ（１０２）から複数のデータが読みされる。
【００３５】
第１０の発明によれば、ユーザはサーバに記憶されるデータベースから、必要な情報を検索することが可能になる。
【００３６】
第１１の発明は、テキストを表示する表示部（１４）および表示部に対する視線を検出する視線検出部（２４ａ，２４ｂ）を有し、データベースから任意のデータを読み出すことが出来る、情報端末（１０）のプロセッサ（３０）を、視線検出部によって検出された視線に基づいて、表示部に表示されているテキストからキーワードを取得する取得部（Ｓ２１，Ｓ２５）、およびデータベースから複数のデータが読み出されたとき、キーワードに基づいて設定された並び順で、複数のデータを表示部に表示させる表示処理部（Ｓ８９，Ｓ１０１，Ｓ１３９）として機能させる、表示制御プログラムである。
【００３７】
第１１の発明でも、第１の発明と同様、ユーザの視線を利用してキーワードを取得し、そのキーワードを利用して、表示されているデータが適切に並び替えられる。これにより、ユーザは効率よく情報を検索することが出来る。
【００３８】
第１２の発明は、テキストを表示する表示部（１４）および表示部に対する視線を検出する視線検出部（２４ａ，２４ｂ）を有し、データベースから任意のデータを読み出すことが出来る、情報端末（１０）の表示制御方法であって、視線検出部によって検出された視線に基づいて、表示部に表示されているテキストからキーワードを取得し（Ｓ２１，Ｓ２５）、そしてデータベースから複数のデータが読み出されたとき、キーワードに基づいて設定された並び順で、複数のデータを表示部に表示させる（Ｓ８９，Ｓ１０１，Ｓ１３９）、表示制御方法である。
【００３９】
第１２の発明でも、第１の発明と同様、ユーザの視線を利用してキーワードを取得し、そのキーワードを利用して、表示されているデータが適切に並び替えられる。これにより、ユーザは効率よく情報を検索することが出来る。
【発明の効果】
【００４０】
この発明によれば、ユーザは効率よく情報を検索することが出来る。
【００４１】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００４２】
【図１】図１はこの発明の一実施例の携帯電話機を示す外観図である。
【図２】図２は図１に示す携帯電話機の電気的な構成の一例を示す図解図である。
【図３】図３は図１に示す赤外線カメラおよび赤外線ＬＥＤを利用してユーザの視線が検出されている様子の一例を示す図解図であり、図３（Ａ）はユーザの顔に照射された赤外光を赤外線カメラで撮影している様子を示し、図３（Ｂ）はユーザの注視点を示す。
【図４】図４は図１に示すディスプレイにブラウザ機能の画面が表示されている様子の一例を示す図解図であり、図４（Ａ）は検索サイトのトップページが表示されている状態を示し、図４（Ｂ）は検索結果が表示されている状態を示す。
【図５】図５は図１に示すディスプレイに或るＨＰが表示されている状態の一例を示す図解図である。
【図６】図６は図５に示すＨＰからキーワードを取得する手順の一例を示す図解図であり、図６（Ａ）は注視範囲が設定された状態を示し、図６（Ｂ）は注視点に基づく視線軌跡を示す。
【図７】図７は図１に示すＲＡＭに記憶されているキーワードテーブルデータ３５０の構成の一例を示す図解図である。
【図８】図８は図１に示すディスプレイに表示される検索結果の他の一例を示す図解図である。
【図９】図９は図１に示すディスプレイに表示される受信メールの一例を示す図解図である。
【図１０】図１０は図９に示すキーワードに対応する予測検索語または予測変換候補の一例を示す図解図であり、図１０（Ａ）は検索サイトのトップページが表示されている他の状態を示し、図１０（Ｂ）は入力されている文字に対応する予測変換候補の一例を示す。
【図１１】図１１は図２に示すＲＡＭのメモリマップの一例を示す図解図である。
【図１２】図１２は図２に示すプロセッサの記録処理の一例を示すフロー図である。
【図１３】図１３は図２に示すプロセッサのキーワード取得処理の一例を示すフロー図である。
【図１４】図１４は図２に示すプロセッサの重み値算出処理の一例を示すフロー図である。
【図１５】図１５は図２に示すプロセッサのブラウザ処理の一部の一例を示すフロー図である。
【図１６】図１６は図２に示すプロセッサのブラウザ処理の他の一部を示すフロー図であって、図１５に後続するフロー図である。
【図１７】図１７は図２に示すプロセッサの文字編集処理の一例を示すフロー図である。
【図１８】図１８は図２に示すプロセッサの削除処理の一例を示すフロー図である。
【発明を実施するための形態】
【００４３】
図１には、本発明の一実施例の携帯電話機１０として、縦長の扁平矩形のハウジング１２を有するスマートフォンを示す。この発明は、フィーチャーフォン、タブレット端末およびＰＤＡなど任意の情報端末に適用可能であることを予め指摘しておく。
【００４４】
図１に示した携帯電話機１０に含まれるハウジング１２の主面（表面）には、表示部として機能する、たとえば液晶や有機ＥＬなどのディスプレイ１４が設けられる。ディスプレイ１４の上には、タッチパネル１６が設けられる。したがって、この実施例の携帯電話機１０では、後述のハードキーの操作によるものを除く大部分の入力操作は、このタッチパネル１６を介して行われる。
【００４５】
ハウジング１２の縦方向一端の表面側にスピーカ１８が内蔵され、縦方向他端の表面側にマイク２０が内蔵される。タッチパネル１６と共に、入力操作手段を構成するハードキーとして、この実施例では、通話キー２２ａ、終話キー２２ｂおよびメニューキー２２ｃが設けられる。
【００４６】
スピーカ１８の左側に赤外線カメラ２４ａが設けられるとともに、マイク２０の左側に赤外線ＬＥＤ２４ｂが設けられる。ただし、赤外線カメラ２４ａの撮影面と赤外線ＬＥＤ２４ｂの発光面とはハウジング１２から露出するように設けられ、赤外線カメラ２４ａおよび赤外線ＬＥＤ２４ｂのその他の部分はハウジング１２に内蔵される。
【００４７】
たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルキー（図示せず）に対して、タッチパネル１６によってタッチ操作を行うことで電話番号を入力でき、通話キー２２ａを操作して音声通話を開始することが出来る。終話キー２２ｂを操作すれば、音声通話を終了することが出来る。なお、ユーザは、この終話キー２２ｂを長押しすることによって、携帯電話機１０の電源をオン／オフすることが出来る。
【００４８】
また、メニューキー２２ｃがユーザにより操作されれば、ディスプレイ１４にメニュー画面が表示される。その状態でディスプレイ１４に表示されているソフトキーやメニューアイコン（ともに図示せず）などに対して、タッチパネル１６によるタッチ操作が行われることによってメニューが選択され、その選択を確定される。
【００４９】
図２を参照して、図１に示す実施例の携帯電話機１０は、コンピュータまたはＣＰＵと呼ばれるプロセッサ３０を含む。プロセッサ３０には、赤外線カメラ２４ａ、無線通信回路３２、Ａ／Ｄ変換器３６、Ｄ／Ａ変換器３８、入力装置４０、表示ドライバ４２、フラッシュメモリ４４、ＲＡＭ４６、タッチパネル制御回路４８、ＬＥＤドライバ５０および撮影画像処理回路５２などが接続される。
【００５０】
プロセッサ３０は、携帯電話機１０の全体制御を司る。プロセッサ３０には、ＲＴＣ３０ａが内蔵されており、このＲＴＣ３０ａによって時刻（年月日を含む。）が計時される。ＲＡＭ４６には、フラッシュメモリ４４に予め設定されているプログラムの全部または一部が使用に際して展開（ロード）され、プロセッサ３０はこのＲＡＭ４６上のプログラムに従って動作する。このとき、ＲＡＭ４６は、プロセッサ３０のワーキング領域ないしバッファ領域として用いられる。
【００５１】
入力装置４０は、図１に示すハードキー２２（ａ−ｃ）を含み、タッチパネル１６およびタッチパネル制御回路５８とともに操作部ないし入力部として機能する。ユーザが操作したハードキーの情報（キーデータ）はプロセッサ３０に入力される。以下、ハードキーによる操作を「キー操作」ということにする。
【００５２】
無線通信回路３２は、アンテナ３４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路３２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、ユーザが入力装置４０などを操作して電話発信（発呼）を指示すると、無線通信回路３２は、プロセッサ３０の指示の下、電話発信処理を実行し、アンテナ３４を介して電話発信信号を出力する。電話発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ３０は通話処理を実行する。
【００５３】
通常の通話処理について具体的に説明すると、相手の電話機から送られてきた変調音声信号はアンテナ３４によって受信される。受信された変調音声信号には、無線通信回路３２によって復調処理および復号処理が施される。そして、これらの処理によって得られた受話音声信号は、Ｄ／Ａ変換器３８によって音声信号に変換された後、スピーカ１８から出力される。一方、マイク２０を通して取り込まれた送話音声信号は、Ａ／Ｄ変換器３６によって音声データに変換された後、プロセッサ３０に与えられる。音声データには、プロセッサ３０の指示の下、無線通信回路３２によって符号化処理および変調処理が施され、アンテナ３４を介して出力される。したがって、変調音声信号は、相手の電話機に送信される。
【００５４】
また、相手の電話機からの電話発信信号がアンテナ３４によって受信されると、無線通信回路３２は、電話着信（着呼）をプロセッサ３０に通知する。これに応じて、プロセッサ３０は、表示ドライバ４２を制御して、着信通知に記述された発信元情報（電話番号など）をディスプレイ１４に表示する。また、上記処理に伴い、プロセッサ３０は、スピーカ１８から着信音（着信メロディ、着信音声と言うこともある。）を出力させる。
【００５５】
そして、ユーザが入力装置４０に含まれる通話キー２２ａを用いて応答操作を行うと、無線通信回路３２は、プロセッサ３０の指示の下、電話着信処理を実行する。さらに、通信可能状態が確立され、プロセッサ３０は上述した通話処理を実行する。
【００５６】
また、通話可能状態に移行した後に入力装置４０に含まれる終話キー２２ｂ（図１）によって通話終了操作が行われると、プロセッサ３０は、無線通信回路３２を制御して、通話相手に通話終了信号を送信する。そして、通話終了信号の送信後、プロセッサ３０は通話処理を終了する。また、先に通話相手から通話終了信号を受信した場合も、プロセッサ３０は通話処理を終了する。さらに、通話相手によらず、移動通信網から通話終了信号を受信した場合も、プロセッサ３０は通話処理を終了する。
【００５７】
また、無線通信回路３２はアンテナ３４を介して、ネットワーク（通信網、電話網）１００と無線接続される。さらに、ネットワーク１００には、有線または無線で、サーバ１０２が接続される。なお、詳細な説明は後述するが、サーバ１０２には、様々なＨＰのデータなどが記憶されている。そして、サーバ１０２には索引情報から構成されるデータベースなどが記憶されている。
【００５８】
Ａ／Ｄ変換器３６には図１に示すマイク２０が接続され、マイク２０からの音声信号はこのＡ／Ｄ変換器３６でデジタルの音声データに接続され、プロセッサ３０に入力される。一方、Ｄ／Ａ変換器３８にはスピーカ１８が接続される。Ｄ／Ａ変換器３８は、デジタルの音声データを音声信号に変換して、アンプを介してスピーカ１８に与える。したがって、音声データの音声がスピーカ１８から出力される。
【００５９】
なお、プロセッサ３０は、たとえばユーザによるボリュームの操作に応答して、Ｄ／Ａ変換器３８に接続されるアンプの増幅率を制御することによって、スピーカ１８から出力される音声の音量を調整することが出来る。
【００６０】
表示ドライバ４２はディスプレイ１４およびプロセッサ３０と接続され、プロセッサ３０から出力される画像データは、表示ドライバ４２のＶＲＡＭに記憶される。そして、表示ドライバ４２は、ＶＲＡＭのデータに対応する画像を、ディスプレイ１４に表示する。つまり、表示ドライバ４２は、プロセッサ３０の指示の下、当該表示ドライバ４２に接続されたディスプレイ１４の表示を制御する。また、ディスプレイ１４には、たとえばＬＥＤなどを光源とするバックライトが設けられており、表示ドライバ４２はプロセッサ３０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。
【００６１】
タッチパネル制御回路４８には、図１に示すタッチパネル１６が接続される。タッチパネル制御回路４８は、タッチパネル１６の動作のオン／オフ、タッチパネル１６に対するユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびユーザがタッチしたタッチ位置を示す座標データ（タッチ座標データ）をプロセッサ３０に入力する。プロセッサ３０は、タッチパネル制御回路４８より入力されたタッチ座標データに基づいて、ユーザがどのアイコンやキーにタッチしたかを判断することができる。以下、ユーザのタッチパネル１６に対する操作を「タッチ操作」ということにする。
【００６２】
実施例では、タッチパネル１６は、指などの物体が表面に接近して生じた電極間の静電容量の変化を検出する静電容量方式で、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。具体的には、タッチパネル制御回路４８は、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示すタッチ座標データをプロセッサ３０に出力する。
【００６３】
なお、タッチパネル１６は、ディスプレイ１４の上に設けられ、その画面内で任意の位置を指示することができるため、「ポインティングデバイス」と呼ばれることもある。また、タッチパネル１６は、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などが採用されてもよい。さらに、タッチ操作はユーザの指に限らず、スタイラスペンなどの所定の入力機器によって行われてもよい。
【００６４】
ＬＥＤドライバ５０には、図１に示す赤外線ＬＥＤ２４ｂが接続される。ＬＥＤドライバ５０は、プロセッサ３０からの制御信号に基づいて、赤外線ＬＥＤ２４ｂのオン／オフ（点灯／消灯）を切り換える。
【００６５】
撮影画像処理回路５２には、図１に示す赤外線カメラ２４ａが接続される。撮影画像処理回路５２は、赤外線カメラ２４ａからの撮影画像データに画像処理を施し、モノクロの画像データをプロセッサ３０に入力する。赤外線カメラ２４ａは、プロセッサ３０の指示の下、撮影処理を実行し、撮影画像データを撮影画像処理回路５２に入力する。赤外線カメラ２４ａは、たとえば、ＣＣＤやＣＭＯＳのような撮影素子を用いたカラーカメラと、赤外線フィルタとによって構成される。したがって、赤外線フィルタを着脱可能な構成にすれば、赤外線フィルタを外すことにより、カラー画像を取得することも可能である。
【００６６】
なお、上で説明した無線通信回路３２、Ａ／Ｄ変換器３６およびＤ／Ａ変換器３８はプロセッサ３０に含まれていてもよい。
【００６７】
このような構成の携帯電話機１０では、キー操作やタッチ操作に代えて、視線による入力ないし操作（以下、「視線操作」ということがある。）が可能である。以下、視線操作の例について説明する。視線操作に基づく注視領域の検出方法については後で詳細に説明するが、視線操作によって、視線とディスプレイ１４の表示面とが交差する点（注視点ＥＰ）によって指示される所定の領域（以下、「操作領域」）に対応づけて設定された所定の処理が実行される。
【００６８】
たとえば、所定の処理としては、所定の情報が入力されたり、所定の動作（操作）が実行されたり、所定のアプリケーションが起動されたりすることが該当する。また、操作領域は、視線操作によって指示ないしオンすることができるボタン画像、アイコンまたはサムネイルのような縮小画像の表示領域が該当する。また、このような画像が表示されていない領域に操作領域のみが設定される場合もある。さらに、この実施例では、注視点を含む領域（後述する「分割領域」）が注視領域として決定され、この注視領域と重なる、または、この注視領域に含まれる操作領域が視線操作によって指示されていると判断される。したがって、視線操作によって指示ないしオンされるボタン画像、アイコンまたはサムネイルのような縮小画像を表示する位置および大きさと、このような画像とは関係なく設定される操作領域の位置および大きさは、分割領域を考慮して決定される。たとえば、同一の分割領域に、複数の縮小画像が表示されることや、複数の操作領域が設定されることがないように定められる。
【００６９】
次に、図３（Ａ）を参照して、この実施例の視線による注視領域の検出方法について説明する。赤外線カメラ２４ａと赤外線ＬＥＤ２４ｂとは、携帯電話機１０の縦方向において或る程度の距離を隔てて配置される。たとえば、赤外線カメラ２４ａの撮影面の中心と、赤外線ＬＥＤの発光面の中心とが直線上に並ぶように配置される。また、赤外線カメラ２４ａをディスプレイ１４の上側に配置し、赤外線ＬＥＤ２４ｂをディスプレイ１４の下側に配置してある。このように配置することで、ユーザの瞼の中央よりも下部に赤外光が照射され、ユーザが瞼を少し閉じている場合であっても、赤外光の反射光を確実に撮影することができる。
【００７０】
なお、赤外線カメラ２４ａと赤外線ＬＥＤ２４ｂとの距離は、ユーザが携帯電話機１０を使用する際における、ユーザの顔と携帯電話機１０（筐体の表面ないしディスプレイ１４の表示面）の距離や携帯電話機１０の大きさなどによって決定される。
【００７１】
注視領域を検出する場合には、赤外線カメラ２４ａで撮影された撮影画像から瞳孔および赤外光の反射光がプロセッサ３０によって検出される。撮影画像から瞳孔や赤外光の反射光を検出する方法は既に周知であり、この実施例の本質的な内容ではないため、その説明は省略することにする。
【００７２】
図３（Ｂ）を参照して、プロセッサ３０は、撮影画像から瞳孔および反射光を検出すると、視線の方向（視線ベクトル）を検出する。具体的には、赤外線カメラ２４ａで撮影された２次元の撮影画像における反射光の位置から瞳孔の位置に向けたベクトルが検出される。具体的には、反射光の中心から瞳孔の中心に向けたベクトルが視線ベクトルである。そして、本実施例では、この視線ベクトルに基づいて注視点ＥＰが求められ、注視領域が決められる。
【００７３】
なお、赤外線カメラ２４ａおよび赤外線ＬＥＤ２４ｂは、視線を検出するために利用されるため、視線検出部と呼ばれる。
【００７４】
図４（Ａ），（Ｂ）は、ブラウザ機能が実行されているときのディスプレイ１４の表示の一例である。図４（Ａ）を参照して、ディスプレイ１４には、状態表示領域７０および機能表示領域７２が含まれる。状態表示領域７０には、アンテナ３４による電波受信状態を示すアイコン（ピクト）、二次電池の残電池容量を示すアイコンおよび日時が表示される。そして、機能表示領域７２には、ＨＰの画面が表示される。ここでは、他のＨＰを検索するための検索サイトのトップページが、ディスプレイ１４に表示されている。
【００７５】
たとえば、検索サイトで、検索語を「＃＃＃  ＊＊＊」と入力した後に検索を開始する操作がされると、図４（Ｂ）に示すように、検索結果がディスプレイ１４に表示される。検索結果の画面には、検索語とその検索語に基づいてサーバ１０２から読み出された索引情報が表示される。この索引情報は、インデックス情報とも呼ばれ、ＨＰを効率よく検索するために、事前に作成される情報である。そして、本実施例の索引情報には、リンク、ＵＲＬおよび内容などが含まれ、検索結果にはそれらを含む索引情報が表示される。
【００７６】
検索結果の索引情報において、リンク（たとえば、「ＡＡＡ」）はＨＰのタイトルを示す。また、リンクを選択する操作がされると、リンクに対応するＨＰへ遷移する。ＵＲＬは、ネットワーク１００において、リンクと対応するＨＰのデータが保存されている位置を示す。内容は、リンクと対応するＨＰの内容（文字列）を示し、その内容には検索語に関連する文字列が含まれる。
【００７７】
そして、図４（Ｂ）では、「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」および「ＤＤＤ」のＨＰの索引情報が、検索結果として表示されている。また、ディスプレイ１４に表示されていないが、「＃＃＃  ＊＊＊」の検索語に対して、「ＥＥＥ」および「ＦＦＦ」などの索引情報も、サーバ１０２から読み出されている。そして、表示されていない索引情報は、画面をスクロールする操作がされると表示される。
【００７８】
なお、これらの索引情報の並び順は、対象のＨＰが閲覧されている回数や、検索語との関連の高さに基づいて、サーバ１０２のプロセッサなどによって決められる。そのため、通常は、事前に決められた並び順に従って、索引情報が表示される。
【００７９】
図５を参照して、「ＡＡＡ」のリンクが選択されると、「ＡＡＡ」のＨＰのトップページの一部が表示される。そして、図５に示す状態では、検索語は表示されていない。ただし、この画面には、検索語として利用されていないが、「ＫＥＹＷＯＲＤ１」および「ＫＥＹＷＯＲＤ２」の文字列が含まれる。これらの文字列については、後述するためここでの説明は省略する。
【００８０】
なお、「ＡＡＡ」のＨＰのトップページから、検索結果の画面に戻る場合、ユーザは、「戻る」機能が割り当てられている終話キー２２ｂを操作すればよい。
【００８１】
ここで、ユーザが目的の情報を探す場合、目的の情報を含むＨＰの索引情報が上位に並べられていないことがある。この場合、適切な検索語を再入力すれば必要なＨＰの索引情報を上位に並べることができるかもしれないが、ユーザは適切な検索語を想到できないことがある。そうすると、ユーザは、必要のない複数のＨＰを閲覧しなければならず、検索の効率が低下する。
【００８２】
そこで、本実施例では、検出されたユーザの視線を利用して、ディスプレイ１４に表示されているテキスト中から、ユーザが注視したキーワードを取得し、そのキーワードを利用して、索引情報の表示順序を並び替える。このような処理により、ユーザの情報検索の効率を向上させる。以下、キーワードの取得およびそのキーワードを利用した検索結果の並び替えについて説明する。
【００８３】
図６（Ａ）を参照して、検索結果の画面から「ＡＡＡ」のＨＰに遷移すると、そのページに表示されているテキスト（文字列）が単語毎に分割され、分割された単語毎に注視範囲が設定される。また、図示は省略するが、画像が表示されている場合、その画像の表示範囲がそのまま注視範囲とされる。なお、他の実施例では、単語毎ではなく、文字種毎にテキストが分割されてもよい。
【００８４】
次に、図６（Ｂ）を参照して、ユーザの視線を検出し、注視点ＥＰが移動する軌跡（以下、視線軌跡と言う。）が記録される。このとき、注視点ＥＰが注視範囲に一定時間（たとえば、０．５秒）以上含まれているときに、その注視範囲に含まれている文字列は、キーワードとして取得される。図６（Ｂ）では、「ＫＥＹＷＯＲＤ１」および「ＫＥＹＷＯＲＤ２」の注視範囲において、注視点ＥＰの滞在時間が一定時間以上であったため、これらの文字列がキーワードとして取得される。
【００８５】
次に、検索画面に戻る操作がされると、取得されたキーワードに対して、視線軌跡に基づいて注視回数および注視時間が算出される。
【００８６】
注視回数は、注視点ＥＰが注視範囲に入ってから、一定時間が経過したときにカウントされる。たとえば、「ＫＥＹＷＯＲＤ１」の場合、注視範囲に注視点ＥＰが２回入っており、それぞれ注視点ＥＰの滞在時間が一定時間以上であるため、注視回数は「２回」となる。また、「ＫＥＹＷＯＲＤ２」の場合、注視範囲に注視点ＥＰが３回入っているが、１回目の注視点ＥＰの滞在時間が一定時間に達していないため、注視回数は「２回」とされる。
【００８７】
注視時間は、注視範囲における注視点ＥＰの滞在時間が一定時間以上でるとき、その一定時間を超える滞在時間が注視時間として計測される。たとえば、注視点ＥＰの滞在時間が「０．７秒」である場合、滞在時間から一定時間を減算した「０．２秒」が注視時間となる。
【００８８】
このようにして算出されたキーワードの注視回数および注視時間は、キーワードが取得された時刻と共に、図７に示すキーワードテーブルに記録される。たとえば、「ＫＥＹＷＯＲＤ１」には、注視回数として「２回」、注視時間として「１．０秒」が対応付けて記録される。また、「ＫＥＹＷＯＲＤ２」には、注視回数として「２回」、注視時間として「０．４秒」が対応付けて記録される。
【００８９】
そして、キーワードテーブルには、注視回数と注視時間とに基づいて算出されるキーワードの重み値がさらに記録される。この重み値は、キーワードに対するユーザの関心の高さを数値的に表すものである。そして、複数のキーワードが存在する場合、複数のキーワードの重み値に基づいて、検索結果の並び順が設定される。本実施例では、数１に示す数式に基づいて、重み値が算出される。
【００９０】
[数１]
重み値＝ａ×（閲覧回数）＋ｂ×（注視時間）
ａ，ｂ：重み付け係数
たとえば、「ａ＝６」および「ｂ＝２０」である場合、「ＫＥＹＷＯＲＤ１」の重み値は「３２」と算出され、「ＫＥＹＷＯＲＤ２」の重み値は「２０」と算出される。このように、キーワードを注視した回数および時間に基づいて、キーワードに対するユーザの関心の高さを、重み値として算出することができる。
【００９１】
キーワードに重み値が設定され、ディスプレイ１４の表示が検索画面に戻ると、内容が確認されていない索引情報の並び順が設定され、設定された並び順で索引情報が表示される。ただし、既に閲覧されているＨＰ（「ＡＡＡ」）の表示順位は、変更されない。
【００９２】
たとえば、「ＤＤＤ」のＨＰには「ＫＥＹＷＯＲＤ１」および「ＫＥＹＷＯＲＤ２」がともに含まれ、「ＢＢＢ」のＨＰには「ＫＥＹＷＯＲＤ１」が含まれ、「ＣＣＣ」のＨＰには「ＫＥＹＷＯＲＤ２」が含まれる。この場合、図８に示すように索引情報の並び順が設定される。具体的には、「ＡＡＡ」のＨＰは既に閲覧されているため、「ＡＡＡ」の索引情報の並び順は変化しない。
【００９３】
次に、「ＫＥＹＷＯＲＤ１」および「ＫＥＹＷＯＲＤ２」を共に含むＨＰが「ＤＤＤ」だけであるため、「ＤＤＤ」の索引情報が２番目に並べられる。そして、「ＫＥＹＷＯＲＤ１」が「ＫＥＹＷＯＲＤ２」よりも重み値が大きいため、「ＫＥＹＷＯＲＤ１」を含む「ＢＢＢ」の索引情報の方が、「ＣＣＣ」の索引情報よりも上位に並べられる。したがって、図８に示す検索結果の画面では、「ＡＡＡ」、「ＤＤＤ」、「ＢＢＢ」および「ＣＣＣ」の順で索引情報が並べられる。
【００９４】
このように、ユーザが関心を持ったキーワードを利用して、索引情報を並び替えることが出来る。そのため、ユーザは目的の情報が含まれるＨＰの索引情報を効率よく発見することが出来るようになる。
【００９５】
特に、キーワードが複数であっても、各キーワードの重み値を算出することで、複数の索引情報の並び順を適切に設定することが出来る。
【００９６】
また、サーバ１０２の情報を利用するため、ユーザは情報量が多いデータベースから、必要な情報を検索することが可能になる。
【００９７】
ここで、キーワードの重み値は、キーワードが登録されてから所定時間が経過する毎に、値が小さくなる。具体的には、所定時間が経過する毎に、重み値に対して、数２に示す数式が適用される。
【００９８】
[数２]
重み値＝元の重み値×ｃ＾(現在時刻−記録時刻)
ｃ：重み付け係数
たとえば、元の重み値が「３２．０」であり、重み付係数ｃが「０．９９９９」であり、現在時刻と記録時刻との時間差が「１時間半（１．５）」であるとき、数２に示す数式に従って再算出されると、重み値は「３１．９９３６」となる。
【００９９】
そして、重み値が閾値（たとえば、１．０）以下になると、対応するキーワードは削除される。よって、時間の経過と共に、ユーザが関心を失ったと推定されるキーワードを削除することができる。
【０１００】
また、画像が含まれる注視範囲において、注視点ＥＰが一定時間以上含まれた場合、キーワードテーブルには、定型文（たとえば、「画像注視」）が登録される。これは、注視範囲にテキストが含まれないため、「定型文」がキーワードとして取得される。
【０１０１】
そして、キーワードに「画像注視」が登録されている場合、つまりユーザが画像に関心を持っていると考えられる場合、画像を含むＨＰの索引情報が上位に表示されるように、複数の索引情報の並び順が設定される。このように、ユーザが画像を注視していれば、画像を含むＨＰの索引情報が上位となるように並び順を設定することが出来る。なお、静止画像ではなく、動画像を注視している場合は、「動画注視」などの定型文が取得される。
【０１０２】
次に、キーワードが取得される他の状況について説明する。図９を参照して、本実施例では、受信メールが表示されているときも、ユーザの視線に基づいてキーワードが取得される。たとえば、図９では、本文に書かれている「＊＊駅」および「＋＋＋＋」がキーワードとして取得される。なお、「＊＊駅」と「＋＋＋＋」とでは、「＊＊駅」の方が、重さ値は大きい。
【０１０３】
続いて、キーワードを利用して並び順が設定される他の検索結果について説明する。図１０（Ａ）を参照して、「＊＊駅」および「＋＋＋＋」がキーワードとして取得されているときに、検索サイトのトップページが表示されると、キーワードと関連する予測検索語がトップページに表示される。つまり、サーバ１０２において予め作成されている複数の予測検索語のうち、キーワードを含む予測検索語がサーバ１０２から読み出され、検索サイトのトップページに表示される。これにより、検索を開始するときにキーワードが利用されるため、情報を検索するユーザの利便性が向上する。
【０１０４】
なお、「＊＊駅」および「＋＋＋＋」の並び順は、重み値に基づいて設定される。また、図１０（Ａ）では、「＊＊駅」および「＋＋＋＋」が予測検索語として表示されているが、他にも「＊＊駅  時刻表」や、「＋＋＋＋  地図」などが予測検索語として表示されてもよい。
【０１０５】
また、図１０（Ｂ）を参照して、本実施例では、文字入力をしているときに、入力文字が未確定であれば、未確定の文字に対して予測変換候補が表示される。このとき、未確定文字としてキーワードの一部が入力されると、キーワードを含む予測変換候補が上位となるように、複数の予測変換候補の並び順が設定される。たとえば、「＊＊」の文字に対する予測変換候補が「＊＊」、「＊＊駅」および「＊＊／／」である場合、キーワードと一致する「＊＊駅」が上位となるように予測変換候補の並び順が設定される。このように、文字入力を行うユーザに対して、入力すると考えられる予測変換候補を上位に表示することが出来るため、ユーザの文字入力の効率が向上する。なお、他の実施例では、文字の入力に関係なく、予測変換候補が表示されてもよい。
【０１０６】
このように、本実施例では、ユーザの視線を利用してキーワードを取得し、そのキーワードを利用して、表示されているデータが適切に並び替えられる。これにより、ユーザは効率よく情報を検索することが出来る。
【０１０７】
以上で実施例の特徴を概説したが、以下には、図１１に示す携帯電話機１０のＲＡＭ４６のメモリマップ、図１２−図１８に示す携帯電話機１０のプロセッサ３０によるフロー図を用いて詳細に説明する。
【０１０８】
図１１を参照して、図２に示すＲＡＭ４６には、プログラム記憶領域３０２とデータ記憶領域３０４とが形成される。プログラム記憶領域３０２は、先に説明したように、フラッシュメモリ４４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。
【０１０９】
プログラム記憶領域３０２には、視線軌跡を記録するための記録プログラム３１０、キーワードを取得するためのキーワード取得プログラム３１２、キーワードに重み値を設定する重み値設定プログラム３１４、ＨＰなどを閲覧するためのブラウザプログラム３１６、文書を作成するための文字編集プログラム３１８およびキーワードを削除するための削除プログラム３２０などが含まれる。
【０１１０】
なお、プログラム記憶領域３０２には、視線を検出するためのプログラムなども含まれる。
【０１１１】
ＲＡＭ４６のデータ記憶領域３０４には、タッチバッファ３３０、視線軌跡バッファ３３２、注視範囲バッファ３３４、重み値バッファ３３６、通信バッファ３３８および予測変換バッファ３４０が設けられる。また、データ記憶領域３０４には、タッチ座標マップデータ３４２、視線座標マップデータ３４４、ＧＵＩデータ３４６、ＧＵＩ座標データ３４８およびキーワードテーブルデータ３５０などが記憶されると共に、注視カウンタ３５２および所定時間カウンタ３５４などが設けられる。
【０１１２】
タッチバッファ３３０には、タッチパネル制御回路４８が出力するタッチ座標のデータが記憶される。視線軌道バッファ３３２には、ユーザの視線が検出されている状態で一定周期（たとえば、１／６０秒）毎に、注視点ＥＰの座標とその時の時刻とが記憶される。注視範囲バッファ３３４には、分割された注視範囲を示す座標が一時的に記憶される。重み値バッファ３３６には、視線軌跡に基づいて算出された重み値が一時的に記憶される。通信バッファ３３８には、サーバ１０２との通信によって得られる、予測変換候補および索引情報などが一時的に記憶される。予測変換バッファ３４０には、入力された文字に基づいて読み出される予測変換候補が一時的に記憶される。
【０１１３】
タッチ座標マップデータ３４２は、タッチ操作におけるタッチ座標と、ディスプレイ１４の表示座標とを対応付けるためのデータである。また、視線座標マップデータ３４４は、視線操作における視線座標（注視点ＥＰ）とディスプレイ１４の表示座標とを対応付けるためのデータである。そして、タッチ座標マップデータ３４２または視線座標マップデータ３４４に基づいて、タッチ操作または視線操作の結果がディスプレイ１４の表示に反映される。
【０１１４】
ＧＵＩデータ３４６は、キーやアイコンなどを表示するための画像データや文字列データを含む。ＧＵＩ座標データ３４８は、表示されているＧＵＩの表示座標データを含む。したがって、タッチ操作がされると、タッチバッファ３３０に記録されているタッチ座標とＧＵＩ座標データ３４８とに基づいて、キーなどのＧＵＩに対してタッチ操作が行われたかが判断される。また、視線操作がされた場合は、視線軌跡バッファ３３２に記憶されている最新の視線座標とＧＵＩ座標データ３４８とに基づいて、キーなどのＧＵＩに対して視線操作が行われたかが判断される。
【０１１５】
キーワードテーブルデータ３５０は、図７に示すような構成をしており、取得されたキーワードおよび算出された重み値などが記録される。
【０１１６】
注視カウンタ３５２は、注視範囲に注視点ＥＰが含まれている時間を計測するためのカウンタである。また、注視カウンタ３５２は、注視範囲に注視点ＥＰが入った時に初期化され、カウントを開始する。
【０１１７】
所定時間カウンタ３５４は、所定時間を計測するためのカウンタである。そのため、このカウンタは所定時間タイマと呼ばれることもある。また、所定時間カウンタ３５４は、初期化されるとカウントを開始する。
【０１１８】
なお、データ記憶領域３０４には、待機状態で表示される画像データや、文字列のデータなどが記憶されると共に、携帯電話機１０の動作に必要なカウンタや、フラグも設けられる。
【０１１９】
プロセッサ３０は、Ａｎｄｒｏｉｄ（登録商標）およびＲＥＸなどのＬｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図１２に示す記録処理、図１３に示すキーワード取得処理、図１４に示す重み値算出処理、図１５，１６に示すブラウザ処理、図１７に示す文字編集処理および図１８に示す削除処理などを含む、複数のタスクを並列的に処理する。
【０１２０】
記録処理は、視線の検出処理が実行されると開始される。ステップＳ１でプロセッサ３０は、注視点ＥＰが検出されたか否かを判断する。つまり、ユーザが注視している位置の検出に成功したかが判断される。ステップＳ１で“ＮＯ”であれば、つまり注視点ＥＰが検出されていなければ、プロセッサ３０はステップＳ５に進む。一方、ステップＳ１で“ＹＥＳ”であれば、つまり注視点ＥＰが検出されていれば、ステップＳ３でプロセッサ３０は、注視点ＥＰの視線座標を記録する。具体的には、ＲＴＣ３０ａが出力した時間と、検出されている注視点ＥＰの視点座標とが対応付けられて、視線軌跡バッファ３３２に記憶される。
【０１２１】
続いて、ステップＳ５でプロセッサ３０は、終了か否かを判断する。つまり、プロセッサ３０は、視線の検出処理が終了したかを判断する。ステップＳ５で“ＮＯ”であれば、つまり視線の検出処理が終了していなければ、プロセッサ３０はステップＳ１の処理に戻る。一方、ステップＳ５で“ＹＥＳ”であれば、たとえば視線の検出処理を終了させる操作がされると、プロセッサ３０は記録処理を終了する。
【０１２２】
図１３はキーワード取得処理のフロー図である。たとえば、ユーザによって検索結果に基づいてＨＰを閲覧する操作や、受信メールを表示する操作がされると、キーワード取得処理が開始される。ステップＳ１１でプロセッサ３０は、分割処理を実行する。つまり、テキストについては単語毎に分割され、各単語に注視範囲が設定される。また、画像が表示されている場合は、その画像の表示範囲がそのまま注視範囲とされる。
【０１２３】
続いて、ステップＳ１３でプロセッサ３０は、視線軌跡が記録されているか否かを判断する。つまり、プロセッサ３０は、視線軌跡バッファ３３２に、上述した記録処理によって視線座標が記録されているかを判断する。ステップＳ１３で“ＮＯ”であれば、つまり視線が検出されておらず、視線座標が視線軌跡バッファ３３２に記録されていなければ、プロセッサ３０はステップＳ１３を繰り返す。
【０１２４】
ステップＳ１３で“ＹＥＳ”であれば、つまり視線軌跡バッファ３３２に視線座標が記録されていれば、ステップＳ１５でプロセッサ３０は、注視点ＥＰが含まれる注視範囲を特定する。具体的には、プロセッサ３０は、注視範囲バッファ３３４に記憶される複数の注視範囲を示す座標範囲を読み出す。そして、プロセッサ３０は、それらの座標範囲の中から、視線軌跡バッファ３３２に記憶される最新の注視点ＥＰの視線座標が含まれる座標範囲を特定する。
【０１２５】
続いて、ステップＳ１７でプロセッサ３０は、一定時間以上注視されたか否かを判断する。つまり、プロセッサ３０は、注視カウンタ３５２によって計測された時間が、一定時間を超えたかを判断する。ステップＳ１７で“ＮＯ”であれば、つまり注視範囲を注視している時間が一定時間に達していなければ、プロセッサ３０はステップＳ２７に進む。
【０１２６】
ステップＳ１７で“ＹＥＳ”であれば、つまり注視範囲が一定時間以上注視されていれば、ステップＳ１９でプロセッサ３０は、注視範囲に文字列が含まれているか否かを判断する。つまり、プロセッサ３０は、注視点ＥＰが含まれる注視範囲に、文字列が表示されているかを判断する。ステップＳ１９で“ＹＥＳ”であれば、つまり注視範囲に文字列が含まれていれば、ステップＳ２１でプロセッサ３０は、注視範囲の文字列をキーワードとして取得する。たとえば、注視範囲に「ＫＥＹＷＯＲＤ１」が含まれていれば、「ＫＥＹＷＯＲＤ１」がキーワードテーブルデータ３５０に記録される。そして、ステップＳ２１の処理が終了すれば、プロセッサ３０はステップＳ２７に進む。
【０１２７】
また、ステップＳ１９で“ＮＯ”であれば、つまり注視範囲に文字列が含まれていなければ、ステップＳ２３でプロセッサ３０は、注視範囲に画像が含まれるか否かを判断する。つまり、プロセッサ３０は、注視点ＥＰが含まれる注視範囲に、画像が表示されているかを判断する。ステップＳ２３で“ＮＯ”であれば、つまり注視範囲に画像が含まれていなければ、プロセッサ３０はステップＳ２７に進む。
【０１２８】
ステップＳ２３で“ＹＥＳ”であれば、つまり注視範囲に画像が含まれていれば、ステップＳ２５でプロセッサ３０は、定型文（「画像注視」）をキーワードとして取得する。
【０１２９】
続いて、ステップＳ２７でプロセッサ３０は、終了操作か否かを判断する。つまり、プロセッサ３０は、ＨＰや受信メールの閲覧を終了する操作がされたかを判断する。ステップＳ２７で“ＮＯ”であれば、つまり終了操作がされていなければ、プロセッサ３０はステップＳ１５の処理に戻る。
【０１３０】
また、ステップＳ２７で“ＹＥＳ”であれば、たとえばＨＰの閲覧を終了する操作がされると、ステップＳ２９でプロセッサ３０は、重み値算出処理を実行する。そして、ステップＳ２９の処理が終了すれば、プロセッサ３０はキーワード取得処理を終了する。
【０１３１】
なお、キーワード取得処理は、ブックマークなどによって事前に登録されたＨＰが閲覧されたときにも実行される。
【０１３２】
また、ステップＳ２９の処理を実行するプロセッサ３０は算出部として機能する。また、ステップＳ２１またはステップＳ２５の処理を実行するプロセッサ３０は取得部として機能する。特に、ステップＳ２５の処理を実行するプロセッサ３０は定型文取得部として機能する。
【０１３３】
図１４は重み値算出処理のフロー図である。キーワード取得処理でステップＳ２９の処理が実行されると、ステップＳ５１でプロセッサ３０は、視線軌跡を取得する。つまり、プロセッサ３０は、視線軌跡バッファ３３２から、視線軌跡を表す複数の注視点ＥＰの視線座標を読み出す。
【０１３４】
続いて、ステップＳ５３でプロセッサ３０は、注視範囲および視線軌跡から各キーワードの注視回数を算出する。たとえば、図６（Ｂ）に示す視線軌跡が読み出されている場合、「ＫＥＹＷＯＲＤ１」の注視回数は２回と算出される。続いて、ステップＳ５５でプロセッサ３０は、注視範囲および視線軌跡から各キーワードの注視時間を算出する。たとえば、上述の「ＫＥＹＷＯＲＤ１」の場合、注視時間は「１．０秒」と算出される。
【０１３５】
そして、ステップＳ５７でプロセッサ３０は、注視回数および注視時間に基づいて重み値を算出する。たとえば、注視回数が「２回」で注視時間が「１．０秒」の場合、重み値は「３２」と算出される。そして、算出された注視回数、注視時間および重み値は、重み値バッファ３３６に記憶される。
【０１３６】
なお、ステップＳ５３，ステップＳ５５およびステップＳ５７の処理を実行するプロセッサ３０は算出部として機能する。特に、ステップＳ５３の処理を実行するプロセッサ３０は注視回数算出部として機能し、ステップＳ５５の処理を実行するプロセッサ３０は注視時間算出部として機能する。
【０１３７】
続いて、ステップＳ５９でプロセッサ３０は、注視回数、注視時間および重み値をキーワードに対応付けて記録する。たとえば、「ＫＥＹＷＯＲＤ１」の場合、注視回数が「２回」、注視時間が「１．０秒」および重み値が「３２」となるように、キーワードテーブルデータ３５０にそれぞれ記録される。そして、ステップＳ５９の処理が終了すれば、プロセッサ３０は重み値算出処理を終了して、キーワード取得処理に戻る。
【０１３８】
図１５はブラウザ処理のフロー図である。ブラウザ機能が実行され、検索サイトのトップページにアクセスする操作がされると、ステップＳ８１でプロセッサ３０は、検索サイトのトップページを表示する。たとえば、図４（Ａ）に示すようなトップページが、ディスプレイ１４に表示される。
【０１３９】
続いて、ステップＳ８３でプロセッサ３０は、キーワードが登録されているか否かを判断する。つまり、プロセッサ３０は、キーワードテーブルデータ３５０を読み出し、そのデータにキーワードが記録されているかを判断する。ステップＳ８３で“ＮＯ”であれば、つまりキーワードテーブルデータ３５０にキーワードが記録されていなければ、プロセッサ３０は、ステップＳ９１に進む。
【０１４０】
一方、ステップＳ８３で“ＹＥＳ”であれば、つまりキーワードテーブルデータ３５０にキーワードが記録されていれば、ステップＳ８５でプロセッサ３０は、キーワードに基づいて予測検索語を読み出す。つまり、プロセッサ３０は、サーバ１０２とのデータ通信を確立し、キーワードを含む予測検索語をサーバ１０２から読み出す。なお、読み出された予測検索語は、通信バッファ３３８に記録される。
【０１４１】
続いて、ステップＳ８７でプロセッサ３０は、予測検索語の並び順を設定する。たとえば、図７に示すように、複数のキーワードが記録されている場合、重み値が大きいキーワードを含む予測検索語が上位となるように、複数の予測検索語の並び順が設定される。続いて、ステップＳ８９でプロセッサ３０は、予測検索語を表示する。たとえば、図１０（Ａ）に示すように、設定された並び順で、予測検索語が検索サイトのトップページに表示される。
【０１４２】
続いて、ステップＳ９１でプロセッサ３０は、検索操作がされたか否かを判断する。つまり、検索語が入力され、検索を開始する操作が行われたかが判断される。ステップＳ９１で“ＮＯ”であれば、つまり検索操作がされなければ、ステップＳ９３でプロセッサ３０は、終了操作か否かを判断する。つまり、ブラウザ機能を終了させる操作がされたかが判断される。ステップＳ９３で“ＹＥＳ”であれば、つまり終了操作がされると、プロセッサ３０はブラウザ処理を終了する。一方、ステップＳ９３で“ＮＯ”であれば、つまり終了操作がされなければ、プロセッサ３０はステップＳ９１の処理に戻る。
【０１４３】
ステップＳ９１で“ＹＥＳ”であれば、たとえば図４（Ａ）に示すように検索語が入力された後に検索を開始する操作がされると、ステップＳ９５でプロセッサ３０は、検索語に基づいて索引情報を読み出す。つまり、検索語と関連する内容のＨＰと対応する索引情報が、サーバ１０２から読み出される。なお、読み出された索引情報は、通信バッファ３３８に記憶される。
【０１４４】
続いて、ステップＳ９７でプロセッサ３０は、ステップＳ８３と同様、キーワードが記録されているか否かを判断する。ステップＳ９７で“ＮＯ”であれば、つまりキーワードが記録されていなければ、プロセッサ３０はステップＳ１０１に進む。一方、ステップＳ９７で“ＹＥＳ”であれば、つまりキーワードが記録されていれば、ステップＳ９９でプロセッサ３０は、索引情報の並び順を設定する。たとえば、複数のキーワードが記録されている場合、重み値が大きいキーワードと関連する内容を含む索引情報が上位となるように並び順を設定する。また、キーワードが定型文（画像注視）である場合は、画像を含むＨＰを示す、索引情報が上位となるように並び順を設定する。続いて、ステップＳ１０１でプロセッサ３０は、検索結果を表示する。たとえば、ステップＳ９９で設定された並び順に従って、図８に示すように複数の索引情報を含む検索結果の画面が表示される。ただし、ステップＳ９９で並び順が設定されていない場合は、サーバ１０２によって設定された並び順で、複数の索引情報が表示される。
【０１４５】
続いて、ステップＳ１０３でプロセッサ３０は、任意の索引情報が選択されたか否かを判断する。つまり、プロセッサ３０は、ディスプレイ１４に表示されている索引情報を選択する操作がされたかを判断する。ステップＳ１０３で“ＮＯ”であれば、つまり索引情報を選択する操作がされなければ、ステップＳ１０５でプロセッサ３０は、ステップＳ９３と同様、終了操作か否かを判断する。ステップＳ１０５で“ＹＥＳ”であれば、つまり終了操作がされると、プロセッサ３０はブラウザ機能を終了する。一方、ステップＳ１０５で“ＮＯ”であれば、つまり終了操作がされなければ、プロセッサ３０はステップＳ１０３の処理に戻る。
【０１４６】
また、ステップＳ１０３で“ＹＥＳ”であれば、つまり任意の索引情報を選択する操作がされると、ステップＳ１０７でプロセッサ３０は、ディスプレイ１４にＨＰを表示する。つまり、選択された索引情報と対応するＨＰの画面がディスプレイ１４に表示される。続いて、ステップＳ１０９でプロセッサ３０は、戻る操作がされたか否かを判断する。つまり、検索結果の画面に戻るための操作がされたかが判断される。ステップＳ９で“ＮＯ”であれば、つまり戻る操作がされなければ、プロセッサ３０はステップＳ１０９を繰り返して実行する。
【０１４７】
一方、ステップＳ１０９で“ＹＥＳ”であれば、つまり検索結果の画面に戻る操作がされると、ステップＳ１１１でプロセッサ３０は、キーワードテーブルデータ３５０が変更されたか否かを判断する。たとえば、キーワードテーブルデータ３５０に新たなキーワードが追加されたかが判断される。ステップＳ１１１で“ＹＥＳ”であれば、たとえばキーワードが追加されていれば、プロセッサ３０はステップＳ９９の処理に戻る。また、ステップＳ１１１で“ＮＯ”であれば、たとえばキーワードが追加されていなければ、プロセッサ３０はステップＳ１０１の処理に戻る。
【０１４８】
なお、ステップＳ８９またはステップＳ１０１の処理を実行するプロセッサ３０は、表示処理部として機能する。
【０１４９】
図１７は文字編集処理のフロー図である。たとえば、スケジュール機能などが実行され、文書または単語を入力可能な状態になると、文字編集処理は開始される。ステップＳ１３１でプロセッサ３０は、文字入力処理を実行する。たとえば、文字入力処理が実行されると、ディスプレイ１４に仮想キーボードが表示され、文字列が入力可能な状態にされる。
【０１５０】
たとえば、文字が入力されると文字入力処理が終了し、ステップＳ１３３でプロセッサ３０は、入力された文字に基づいて予測変換候補を読み出す。たとえば、図１０（Ｂ）に示すように、「＊＊」の文字が入力された場合、「＊＊」、「＊＊駅」および「＊＊／／」の予測変換候補が読み出される。続いて、ステップＳ１３５でプロセッサ３０は、予測変換候補にキーワードが含まれるか否かを判断する。たとえば、「＊＊駅」がキーワードとして記録されている場合、読み出された予測変換候補に「＊＊駅」を含むものがあるかが判断される。
【０１５１】
ステップＳ１３５で“ＮＯ”であれば、たとえばキーワードテーブルデータ３５０にキーワードが記録されていなければ、プロセッサ３０はステップＳ１３９に進む。一方、ステップＳ１３５で“ＹＥＳ”であれば、つまりキーワードを含む予測変換候補が読み出されていれば、ステップＳ１３７でプロセッサ３０は、予測変換候補の並び順を設定する。たとえば、複数のキーワードのそれぞれと対応する予測変換候補が有る場合、重み値に基づいて予測変換候補の並び順が設定される。また、１つのキーワードと対応する予測変換候補しかなければ、そのキーワードと対応する予測変換候補が上位となるように、並び順が設定される。続いて、ステップＳ１３９でプロセッサ３０は、予測変換候補を表示する。たとえば、設定された並び順に従って、図１０（Ｂ）に示すように、予測変換候補がディスプレイ１４に表示される。なお、ステップＳ１３９の処理を実行するプロセッサ３０は表示処理部として機能する。
【０１５２】
続いて、ステップＳ１４１でプロセッサ３０は、予測変換操作がされたか否かを判断する。つまり、表示されている予測変換候補の選択を開始する操作がされたかが判断される。ステップＳ１４１で“ＹＥＳ”であれば、つまり予測変換操作がされると、ステップＳ１４３でプロセッサ３０は、予測変換処理を実行する。つまり、予測変換候補を選択可能にし、任意の予測変換候補が選択されると、入力中の文字列がその予測変換候補と置換される。そして、ステップＳ１４３の処理が終了すれば、プロセッサ３０はステップＳ１４９に進む。
【０１５３】
また、ステップＳ１４１で“ＮＯ”であれば、つまり予測変換操作がされなければ、ステップＳ１４５でプロセッサ３０は、変換操作がされたか否かを判断する。つまり、プロセッサ３０は、入力されている文字を変換する操作がされたかを判断する。ステップＳ１４５で“ＮＯ”であれば、つまり変換操作がされなければ、プロセッサ３０はステップＳ１４９に進む。
【０１５４】
ステップＳ１４５で“ＹＥＳ”であれば、つまり変換操作がされると、ステップＳ１４７でプロセッサ３０は、変換処理を実行する。たとえば、入力されている文字列に対応する変換候補がディスプレイ１４に表示される。このとき、キーワードを含む変換候補が有る場合、上述した予測変換候補と同様、ディスプレイ１４にキーワードを含む変換候補が上位に表示される。
【０１５５】
続いて、ステップＳ１４９では、終了か否かを判断する。たとえば、プロセッサ３０は、文字入力を終了する操作がされたかを判断する。ステップＳ１４９で“ＮＯ”であれば、つまり終了でなければ、プロセッサ３０はステップＳ１３１の処理に戻る。一方、ステップＳ１４９で“ＹＥＳ”であれば、つまり終了であれば、プロセッサ３０は文字編集処理を終了する。
【０１５６】
図１８は削除処理のフロー図である。たとえば、所定時間タイマが満了すると、削除処理が開始される。ステップＳ１６１でプロセッサ３０は、キーワードテーブルデータ３５０を読み出す。続いて、ステップＳ１６３で各重み値を再算出する。つまり、上述の数２に示す数式に基づいて、各重み値が再算出される。なお、ステップＳ１６３の処理を実行するプロセッサ３０は再算出部として機能する。
【０１５７】
続いて、ステップＳ１６５では、重み値が閾値以下であるか否かを判断する。つまり、閾値以下の重み値が、キーワードテーブルデータ３５０に記録されているかが判断される。ステップＳ１６５で“ＹＥＳ”であれば、つまり閾値以下の重み値が記録されていれば、ステップＳ１６７でプロセッサ３０は、キーワードを削除する。つまり、閾値以下の重み値と対応するキーワードが、キーワードテーブルデータ３５０から削除される。なお、ステップＳ１６７の処理を実行するプロセッサ３０は削除部として機能する。
【０１５８】
一方、ステップＳ１６５で“ＮＯ”であれば、つまり、閾値以下の重み値が記録されていなければ、プロセッサ３０は削除処理を終了する。
【０１５９】
なお、取得したキーワードが重複している場合は、重み値が算出された後に、１つにまとめられる。具体的には、別々に計算された注視回数、注視時間および重み値の和が算出され、１つのキーワードに関連付けられる。また、新たに取得されたキーワードが、既に登録されている場合も、上述したように１つにまとめられる。
【０１６０】
また、一般的に、瞳孔の大きさは、周囲環境の照度だけでなく、本人の興味度合いによっても変化する。そのため、他の実施例では、瞳孔の大きさの変化が重み値の算出に利用されてもよい。
【０１６１】
また、重み値は、数１に示す数式とは別の構成の数式によって算出されてもよい。さらに、重み値の再算出は、数２に示す数式とは別の構成の数式によってされてもよい。
【０１６２】
また、視線検出が成功した場合、その状態を示すアイコンが状態表示領域６２に表示されてもよい。
【０１６３】
また、他の実施例では、携帯電話機１０、ネットワーク１００およびサーバ１０２をまとめて、情報検索システムと呼ぶことがある。
【０１６４】
また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blue-Ray Disk）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の通信端末にインストールされた場合、本実施例と同等の効果が得られる。
【０１６５】
そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。
【符号の説明】
【０１６６】
１０    …  携帯電話機
１４    …  ディスプレイ
１６    …  タッチパネル
２４ａ    …  赤外線カメラ
２４ｂ    …  赤外線ＬＥＤ
３０    …  プロセッサ
３０ａ    …  ＲＴＣ
４０    …  入力装置
４４    …  フラッシュメモリ
４６    …  ＲＡＭ
４８    …  タッチパネル制御回路
５０    …  ＬＥＤドライバ
５２    …  画像処理回路
１０２    …  サーバ
【図１】
2013225226.tif 000003
【図２】
2013225226.tif 000004
【図３】
2013225226.tif 000005
【図４】
2013225226.tif 000006
【図５】
2013225226.tif 000007
【図６】
2013225226.tif 000008
【図７】
2013225226.tif 000009
【図８】
2013225226.tif 000010
【図９】
2013225226.tif 000011
【図１０】
2013225226.tif 000012
【図１１】
2013225226.tif 000013
【図１２】
2013225226.tif 000014
【図１３】
2013225226.tif 000015
【図１４】
2013225226.tif 000016
【図１５】
2013225226.tif 000017
【図１６】
2013225226.tif 000018
【図１７】
2013225226.tif 000019
【図１８】
2013225226.tif 000020