(57)【要約】【課題】操作性を低下させずに、オブジェクトの選択の誤認識を低減することが可能な電子機器を提供する。【解決手段】スマートフォン１００は、オブジェクトを表示するタッチパネルと、タッチパネル上の接触部分を検出する接触検出部と、オブジェクトが表示されている領域と接触部分とが重複しているか否かを判断する重複判断部２３０と、ユーザの顔を撮像することで得られた画像に基づいてオブジェクトに向けられたユーザの視線を検出する視線検出部２１０と、視線検出部２１０が視線を検出してから、視線がオブジェクトに向けられている時間を計測する計測部２２０と、重複判断部２３０によりオブジェクトが表示されている領域と接触部分とが重複していると判断され、かつ、オブジェクトに視線が向けられていた時間が予め定められた時間以上である場合に、オブジェクトを選択する操作を受け付けるための制御部２４０とを備える。【選択図】図４
2015052819.tif 000002
【特許請求の範囲】
【請求項１】
電子機器であって、
オブジェクトを表示するためのタッチパネルと、
前記タッチパネル上の接触部分を検出するための接触検出手段と、
前記オブジェクトが表示されている領域と前記接触部分とが重複しているか否かを判断するための重複判断手段と、
ユーザの顔を撮像することで得られた画像に基づいて前記オブジェクトに向けられた前記ユーザの視線を検出するための視線検出手段と、
前記視線検出手段が前記視線を検出してから、前記視線が前記オブジェクトに向けられている時間を計測するための計測手段と、
前記重複判断手段により前記オブジェクトが表示されている領域と前記接触部分とが重複していると判断され、かつ、前記オブジェクトに前記視線が向けられていた前記時間が予め定められた時間以上である場合に、前記オブジェクトを選択する操作を受け付けるための制御手段とを備える、電子機器。
【請求項２】
前記制御手段は、前記重複判断手段により前記オブジェクトの前記タッチパネル上の領域と前記接触部分とが重なると判断された場合であっても、前記時間が前記予め定められた時間よりも短い場合には、前記オブジェクトの選択を無効にする、請求項１に記載の電子機器。
【請求項３】
前記タッチパネルは、複数のオブジェクトを表示し、
前記電子機器は、
前記制御手段が前記複数のオブジェクトのうちから２つ以上のオブジェクトを選択する操作を受け付けた場合に、前記２つ以上のオブジェクトの各々に前記視線が向けられた時間に応じて、当該オブジェクトが前記ユーザにより選択された可能性を示す指標を前記２つ以上のオブジェクトの各々について算出するための算出手段と、
前記２つ以上のオブジェクトのうちから、前記指標の値が最大となるオブジェクトを選択するための選択手段とをさらに備える、請求項１または２に記載の電子機器。
【請求項４】
前記算出手段は、前記２つ以上のオブジェクトの各々について、当該オブジェクトが表示されている領域および前記接触部分が重複している領域の面積と、当該オブジェクトの前記時間とに応じて前記指標を算出する、請求項３に記載の電子機器。
【請求項５】
前記タッチパネルの表示面と同一の面に配置されたカメラをさらに備え、
前記視線検出手段は、前記カメラにより撮像された前記ユーザの瞳孔の位置に基づいて前記オブジェクトに向けられた前記ユーザの視線を検出する、請求項１〜４のいずれか１項に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子機器の制御に関し、特に、オブジェクトを表示する電子機器の制御に関する。
【背景技術】
【０００２】
近年、タッチパネルを搭載したスマートフォン等の電子機器が普及している。ユーザは、当該電子機器のタッチパネル上に表示されたアイコンやリンク等のオブジェクトにタッチすることで複数のオブジェクトの中から特定のオブジェクトを選択することができる。しかしながら、多くのオブジェクトがタッチパネル上に密集して表示されると、ユーザが意図しないオブジェクトが選択されてしまうことがある。このようなオブジェクトの誤認識を回避するための技術が開発されている。
【０００３】
たとえば、特開２０１０−０３９６１４号公報（特許文献１）には、「狭い領域にキーが密集していても一度触れた部分の周辺を拡大表示することで誤操作を低減する」操作処理方法が開示されている（［要約］参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０３９６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１が開示している操作処理方法によれば、オブジェクトが密集した部分の周辺をユーザが拡大表示させる必要があるため、操作に手間を要するという問題がある。したがって、オブジェクトが密集して表示されていても、ユーザに負担をかけることなく適切にオブジェクトを選択するための技術が必要とされている。
【０００６】
この開示は上述のような問題点を解決するためになされたものであって、その目的は、操作性を低下させずに、オブジェクトの誤認識を低減することが可能な電子機器を提供することである。
【課題を解決するための手段】
【０００７】
一実施の形態に従うと、電子機器は、オブジェクトを表示するためのタッチパネルと、タッチパネル上の接触部分を検出するための接触検出手段と、オブジェクトが表示されている領域と接触部分とが重複しているか否かを判断するための重複判断手段と、ユーザの顔を撮像することで得られた画像に基づいてオブジェクトに向けられたユーザの視線を検出するための視線検出手段と、視線検出手段が視線を検出してから、視線がオブジェクトに向けられている時間を計測するための計測手段と、重複判断手段によりオブジェクトが表示されている領域と接触部分とが重複していると判断され、かつ、オブジェクトに視線が向けられていた時間が予め定められた時間以上である場合に、オブジェクトを選択する操作を受け付けるための制御手段とを備える。
【０００８】
ある局面において、操作性を低下させずに、オブジェクトの選択の誤認識を低減することが可能な電子機器を提供することができる。
【０００９】
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される。この発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００１０】
【図１】ユーザがスマートフォンに表示されているオブジェクトを選択している様子を示す図である。
【図２】図１に示されるスマートフォンを拡大した図である。
【図３】第１の形態に従うスマートフォンのハードウェア構成を示すブロック図である。
【図４】第１の実施の形態に従うスマートフォンの機能構成を示すブロック図である。
【図５】注目履歴のデータ構造の一例を示す図である。
【図６】各オブジェクトの注目時間を示す図である。
【図７】有効判断テーブルのデータ構造の一例を示す図である。
【図８】ユーザにより複数のオブジェクトが選択された場合を示す図である。
【図９】第１の実施の形態に従うスマートフォン１００が実行する処理の一部を表わすフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しつつ、本実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。
【００１２】
なお、以下では、電子機器の一例として機能するスマートフォンの詳細について説明するが、電子機器は、スマートフォンに限定されるものではない。たとえば、電子機器は、タブレット端末、デジタルカメラ、ゲーム機、電子辞書、パソコン、オブジェクトを表示するその他の情報機器も含み得る。なお、以下で説明される第１〜３の実施の形態は、選択的に組み合わされてもよい。
【００１３】
［第１の実施の形態］
＜概要＞
図１は、ユーザがスマートフォン１００に表示されているオブジェクトを選択している様子を示す図である。図２は、図１に示されるスマートフォン１００を拡大した図である。図１および図２を参照して、第１の実施の形態に従うスマートフォン１００の概要について説明する。
【００１４】
図１に示されるように、スマートフォン１００は、モニタ１２０と、カメラ１３０とを備える。典型的には、モニタ１２０は、タッチセンサと組み合わされてタッチパネルとして構成される。ユーザ１１０は、モニタ１２０に表示されている複数のオブジェクトから１つのオブジェクトを選択する際に、通常、選択するオブジェクトに視線を向ける（視線１１１）。スマートフォン１００は、オブジェクトの選択を受け付けると、当該オブジェクトに対応付けられている処理を実行する。
【００１５】
典型的には、オブジェクトは、アイコン、リンク、およびボタンのうちの少なくとも１つを含む。たとえば、ユーザによりアイコンが選択された場合には、スマートフォン１００は、当該アイコンに関連付けられているアプリケーションを起動し、または、当該アイコンに関連付けられているファイル若しくはフォルダを開く。ユーザによりリンクが選択された場合には、スマートフォン１００は、たとえば、当該リンクに関連付けられているＷｅｂページをモニタ１２０に表示する。ユーザによりボタンが選択された場合には、スマートフォン１００は、たとえば、当該ボタンに関連付けられている機能を実行する。
【００１６】
図２を参照して、モニタ１２０にはオブジェクト１２１〜１２６が表示されている。接触部分１４０は、ユーザの指がモニタ１２０に接触している部分（以下、「接触部分」とも称す。）である。注目位置１１２は、ユーザが見ているモニタ１２０上の位置である。以下では、一例として、ユーザがオブジェクト１２１〜１２６のうちからオブジェクト１２５を選択した場合を説明する。
【００１７】
スマートフォン１００は、カメラ１３０によりユーザの顔を撮像することで得られた画像に基づいてユーザの視線（注目位置１１２）を検出する。スマートフォン１００は、検出したユーザの視線に基づいて、オブジェクト１２１〜１２６の各々について、ユーザが当該オブジェクトに視線を向けている時間（以下、「注目時間」とも称す。）を計測する。ユーザがオブジェクト１２５を選択した場合には、スマートフォン１００は、オブジェクト１２５の注目時間を取得する。スマートフォン１００は、オブジェクト１２５の注目時間が予め定められた時間以上である場合にオブジェクト１２５の選択が有効であると判断し、オブジェクト１２５に関連付けられている処理を実行する。また、スマートフォン１００は、オブジェクト１２５の注目時間が予め定められた時間よりも短い場合にはオブジェクト１２５の選択が無効であると判断する。これにより、スマートフォン１００は、ユーザが注目していたオブジェクトを選択することができ、オブジェクトの誤認識を低減することが可能になる。
【００１８】
＜ハードウェア構成＞
図３は、第１の形態に従うスマートフォン１００のハードウェア構成を示すブロック図である。図３を参照して、スマートフォン１００のハードウェア構成の一例について説明する。
【００１９】
スマートフォン１００は、ＲＯＭ（Read  Only  Memory）１と、ＣＰＵ（Central  Processing  Unit）２と、ＲＡＭ（Random  Access  Memory）３と、タイマ４と、スピーカ９と、タッチセンサ１０と、メモリカードＩ／Ｆ（Interface）１１と、ネットワークＩ／Ｆ（Interface）１２と、補助記憶装置２０と、モニタ１２０と、カメラ１３０とを備える。補助記憶装置２０は、注目履歴２１および有効判断テーブル２２を格納する。注目履歴２１および有効判断テーブル２２の詳細については後述する。
【００２０】
ＲＯＭ１は、オペレーティングシステム（ＯＳ：Operating  System）、スマートフォン１００の起動時に実行される初期プログラム（ブートプログラム）等を格納する。
【００２１】
ＣＰＵ２は、ＲＯＭ１や補助記憶装置２０などに格納された、オペレーティングシステムやスマートフォン１００の制御プログラムなどの各種プログラムを実行することで、スマートフォン１００の動作を制御する。
【００２２】
ＲＡＭ３は、ＣＰＵ２でプログラムを実行するためのワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。
【００２３】
モニタ１２０は、タッチセンサ１０と組み合わされてタッチパネルとして構成される。当該タッチパネルを実現するための方式としては、静電容量式、感圧式、またはその他の方式が用いられる。当該タッチパネルは、モニタ１２０により表示されたオブジェクトの選択を受け付ける。スマートフォン１００は、ユーザによりオブジェクトが選択されると、当該オブジェクトに関連付けられている処理を実行する。
【００２４】
カメラ１３０は、スマートフォン１００を操作するユーザ１１０の顔を撮像する。カメラ１３０は撮像して得られた画像をＣＰＵ２に出力する。当該画像は、静止画像および動画像を含む。典型的には、カメラ１３０は、タッチパネルの表示面と同一の面に配置される。なお、カメラ１３０は、目に赤外線を当てて反射光を検出する赤外線カメラであってもよい。
【００２５】
タイマ４は、ユーザの視線がオブジェクトに向けられてから、当該オブジェクトから視線が外れた時間（すなわち、注目時間）を計測する。なお、タイマ４は必須の構成ではない。たとえば、タイマ４は、ＣＰＵ２に内蔵されるタイマで代用されてもよい。
【００２６】
スピーカ９は、オブジェクトが選択された場合に音を出力する。また、スピーカ９は、ユーザがオブジェクトの選択に失敗した場合には、当該選択の失敗を音で報知する。当該音は、たとえば、音楽、音声、または、その他の電子音を含む。
【００２７】
メモリカードＩ／Ｆ１１は、ＳＤ（Secure  Digital）カードやＣＦ（Compact  Flash（登録商標））カードなどのメモリカード（不揮発性記憶媒体）１１Ａとの間で、データの読み書きを行なう。
【００２８】
ネットワークＩ／Ｆ１２は、アンテナ１２Ａを介して、他の通信機器とデータの送受信を行なう。たとえば、他の通信機器は、スマートフォン、パソコン、サーバ装置、その他通信機能を有する電子機器である。
【００２９】
＜機能構成＞
図４は、第１の実施の形態に従うスマートフォン１００の機能構成を示すブロック図である。図４を参照して、スマートフォン１００の機能構成の一例について説明する。
【００３０】
スマートフォン１００は、ＣＰＵ２と、補助記憶装置２０とを備える。ＣＰＵ２は、視線検出部２１０と、計測部２２０と、接触検出部２２５と、重複判断部２３０と、制御部２４０と、算出部２５０と、選択部２６０とを含む。補助記憶装置２０は注目履歴２１および有効判断テーブル２２を格納する。注目履歴２１および有効判断テーブル２２についての詳細は後述する。
【００３１】
視線検出部２１０は、ユーザ１１０の顔を撮像することで得られた画像に基づいて、オブジェクトに向けられたユーザの視線を検出する。より具体的には、視線検出部２１０は、カメラ１３０により撮像されたユーザの瞳孔の位置に基づいて、オブジェクトに向けられたユーザの視線を検出する。典型的には、視線検出部２１０は、ユーザが見ている位置（以下、「注目位置」とも称す。）をモニタ１２０上の座標として検出する。
【００３２】
ある局面において、視線検出部２１０は、ユーザに赤外線を当て、反射光を検出することでユーザの視線を特定してもよい。また、視線検出部２１０は、ユーザの眼球をビデオ撮影した動画像や、ユーザを撮像して得られた静止画像から画像処理によって視線を検出してもよい。典型的には、視線検出部２１０は、アイトラッキングにより視線を常に検出する。
【００３３】
計測部２２０は、モニタ１２０に表示されるオブジェクトの各々について注目時間を計測する。典型的には、注目時間は、オブジェクトが表示されている領域（以下、「オブジェクト表示領域」とも称す。）に注目位置が含まれてから、当該オブジェクト表示領域視線から注目位置が外れるまでの時間である。計測部２２０は、当該オブジェクトおよび計測した注目時間を互いに対応付けて注目履歴２１に追加する。
【００３４】
接触検出部２２５は、ユーザとタッチパネルとの接触部分を検出する。たとえば、接触検出部２２５は、当該接触部分をタッチパネル上の座標として検出する。接触検出部２２５は、接触部分を重複判断部２３０に出力する。なお、接触検出部２２５が検出する接触部分は、ユーザがタッチパネルに接触した部分に限定されない。たとえば、接触検出部２２５は、タッチセンサ１０の代わりに赤外線センサ等のセンサによりモニタ１２０とユーザとの接触部分を検出してもよい。また、接触検出部２２５は、ユーザがモニタ１２０に指先を近づけたこと、ユーザがモニタ１２０に指先で押し圧を加えたこと、ユーザがモニタ１２０に複数回接触したこと、ユーザがモニタ１２０上で指先を滑らしたこと、および、ユーザがモニタ１２０上で特定の動きをしたこと等の操作を検出して、オブジェクトの選択を受け付けてもよい。
【００３５】
重複判断部２３０は、オブジェクト表示領域と接触部分とが重複しているか否かを判断する。典型的には、重複判断部２３０は、モニタ１２０上に表示されるオブジェクトの座標が、モニタ１２０上の接触部分の座標と重複している場合に、オブジェクト表示領域と接触部分とが重複していると判断する。
【００３６】
重複判断部２３０によりオブジェクト表示領域と接触部分とが重複していると判断され、かつ、オブジェクトに視線が向けられていた時間が予め定められた時間以上である場合に、制御部２４０は当該オブジェクトを選択する操作を受け付ける。また、重複判断部２３０によりオブジェクト表示領域と接触部分とが重なると判断された場合であっても、注目時間が予め定められた時間よりも短い場合には、制御部２４０は当該オブジェクトの選択を無効にする。制御部２４０は、受け付けたオブジェクトの数が１個である場合には、当該オブジェクトに関連付けられている機能を実行する。制御部２４０は、受け付けたオブジェクトの数が２個以上である場合には、当該受け付けた２個以上のオブジェクトを算出部２５０に出力する。
【００３７】
算出部２５０は、複数のオブジェクトのうちから、制御部２４０により２つ以上のオブジェクトの選択が有効であると判断された場合に、選択が有効であると判断されたオブジェクトの各々の注目時間に応じて、当該オブジェクトがユーザにより選択された可能性を示す指標（以下、「有効指標」とも称す。）を２つ以上のオブジェクトの各々について算出する。有効指標の詳細については後述する。
【００３８】
選択部２６０は、制御部２４０により選択が有効であると判断された２つ以上のオブジェクトのうちから１つのオブジェクトを有効指標に基づいて選択する。典型的には、選択部２６０は、有効指標の値が最大となるオブジェクトを選択する。選択部２６０は、当該オブジェクトに関連付けられている機能を実行する。
【００３９】
＜注目履歴＞
図５は、注目履歴２１のデータ構造の一例を示す図である。図５を参照して、注目履歴２１のデータ構造、および注目履歴２１に注目時間を追加する方法について説明する。
【００４０】
注目履歴２１は、たとえば、補助記憶装置２０に格納される。なお、注目履歴２１は、ＲＯＭ１、その他のメモリに格納されてもよい。注目履歴２１は、開始時間３１０と、注目時間３２０と、オブジェクト名３３０とを含む。注目履歴２１は、たとえば、ユーザが「１０時２０分１０秒」から「１０秒間」の間「オブジェクトＸ」を注目していたことを示す。以下、「オブジェクトＸ」の注目時間３２０が注目履歴２１にどのように追加されたかについて説明する。
【００４１】
視線検出部２１０は、たとえば、ユーザの注目位置が「オブジェクトＸ」が表示される領域に含まれていることを検出する。計測部２２０は、ユーザの注目位置が「オブジェクトＸ」の表示領域に含まれた時間を開始時間（すなわち、１０時２０分１０秒）とする。その後、計測部２２０は、ユーザの注目位置が「オブジェクトＸ」の表示領域に含まれている時間を計測する。計測部２２０は、ユーザの注目位置が「オブジェクトＸ」の表示領域から外れると時間の計測を終了し、計測した時間を注目時間（すなわち、１０秒）とする。計測部２２０は、計測を終了すると、「開始時間：１０時２０分１０秒」と「注目時間：１０秒」と「オブジェクト名：オブジェクトＸ」とを互いに関連付けて注目履歴２１に格納する。なお、計測部２２０は、ユーザの注目位置が「オブジェクトＸ」の表示領域から外れた終了時間を「注目時間」の代わりに格納してもよい。また、スマートフォン１００は、注目履歴２１に規定されるデータのうち、現在時刻から予め定められた時間より前に格納されたデータを自動的に削除するように構成されてもよい。
【００４２】
＜注目時間＞
図６は、各オブジェクトの注目時間を示す図である。図６を参照して、制御部２４０が各オブジェクトの注目時間を注目履歴２１から取得する方法について説明する。
【００４３】
注目時間４１０は、ユーザがオブジェクトＸに視線を向けていた時間（すなわち、時刻ｔ０〜ｔ２）である。注目時間４２０は、ユーザがオブジェクトＹに視線を向けていた時間（すなわち、時刻ｔ２〜ｔ３）である。ユーザは、時刻ｔ４（以下、「現在時刻」とも称す。）においてオブジェクトＸおよびオブジェクトＹを選択したとする。
【００４４】
制御部２４０は、ユーザがオブジェクトＸおよびオブジェクトＹの両方を選択したことに基づいて、各オブジェクトの注目開始時間および注目時間を注目履歴２１から取得する。より具体的には、制御部２４０は、オブジェクトＸの注目開始時間（時刻ｔ０）、オブジェクトＸの注目時間（時刻ｔ０〜ｔ２）、オブジェクトＹの注目開始時間（時刻ｔ２）、および，オブジェクトＹの注目時間（時刻ｔ２〜ｔ３）を注目履歴２１から取得する。なお、ユーザは、時刻ｔ３から時刻ｔ４の間においてはオブジェクトに視線を向けていない。
【００４５】
制御部２４０は、取得した注目時間に基づいてオブジェクトＸおよびオブジェクトＹの各々を選択する操作を受け付ける。このとき、制御部２４０は、取得した注目時間のうち、現在時刻（すなわち、ｔ４）から一定時間（すなわち、期間４３０）を遡った時刻（時刻ｔ１）までの注目時間を用いてオブジェクトを選択する操作の有効性を判断する。より具体的には、ユーザは時刻ｔ０から時刻ｔ２までオブジェクトＸを注目しているが、制御部２４０は期間４３０内に含まれる時刻ｔ１から時刻ｔ２までの時間をオブジェクトＸの注目時間として取得する。つまり、制御部２４０は、オブジェクトＸを選択する操作の有効性の判断に時刻ｔ０から時刻ｔ１までの注目時間を用いない。
【００４６】
＜有効判断テーブル＞
図７は、有効判断テーブル２２のデータ構造の一例を示す図である。図７を参照して、有効判断テーブル２２のデータ構造、および制御部２４０がオブジェクトの選択が有効であるか否かを判断する方法について説明する。
【００４７】
有効判断テーブル２２は、たとえば、補助記憶装置２０に格納される。なお、有効判断テーブル２２は、ＲＯＭ１、その他のメモリに格納されてもよい。有効判断テーブル２２は、接触部分の中心点からオブジェクトの輪郭までの最短距離（すなわち、オブジェクト距離）、および注目時間との関係を規定する。なお、オブジェクト距離は、接触部分の中心点がそのオブジェクト表示領域の外側にある場合は正、そのオブジェクト表示領域の内側にある場合は負とする。
【００４８】
制御部２４０は、オブジェクトの選択が有効であるか否かを有効判断テーブル２２を参照して判断する。たとえば、制御部２４０は、オブジェクトの注目時間が予め定められた時間（＝Ｔ）以上であり、かつ、オブジェクト距離が予め定められた距離（＝Ｌ）よりも小さい場合に、当該オブジェクトの選択を有効とする（点線５１０で囲まれる「○」）。また、制御部２４０は、当該オブジェクトの注目時間が予め定められた時間（＝Ｔ）よりも小さく、または、オブジェクト距離が予め定められた距離（＝Ｌ）以上である場合に、当該オブジェクトを無効とする（点線５２０で囲まれる「×」）。
【００４９】
なお、制御部２４０は、有効判断テーブル２２とは異なる他の有効判断テーブルを用いてオブジェクトの選択が有効であるか否かを判断してもよい。たとえば、制御部２４０は、オブジェクト距離を用いずに注目時間だけを用いてオブジェクトの選択が有効であるか否かを判断してもよい。また、注目時間およびオブジェクト距離以外の他の条件（たとえば、オブジェクト表示領域と接触部分とが重複する領域の面積）が有効判断テーブル２２に追加されてもよい。さらに、有効判断テーブル２２に規定される有効（点線５１０で囲まれる「○」）および無効（点線５２０で囲まれる「×」）の設定はユーザにより変更され得る。
【００５０】
＜有効指標＞
図８は、ユーザにより複数のオブジェクトが選択された場合を示す図である。図８を参照して、複数のオブジェクトの選択が制御部２４０により有効と判断された場合に、選択部２６０が当該複数のオブジェクトのうちから１つのオブジェクトを選択する方法について説明する。
【００５１】
オブジェクト１２７とオブジェクト１２９とがモニタ１２０に表示される。接触部分１５０は、ユーザがモニタ１２０をタッチした部分である。重複領域１５１は、オブジェクト１２７と接触部分１５０とが重複している領域を示す。重複領域１５３は、オブジェクト１２９と接触部分１５０とが重複している領域を示す。中心点１６０は、接触部分１５０の中心を示す。オブジェクト距離１５２は、中心点１６０からオブジェクト１２７の輪郭までの最短距離を示す。オブジェクト距離１５４は、中心点１６０からオブジェクト１２９の輪郭までの最短距離を示す。
【００５２】
接触部分１５０がオブジェクト１２７とオブジェクト１２９との両方の表示領域に重複し、かつ、ユーザがオブジェクト１２７とオブジェクト１２９との両方を予め定められた時間以上注目していた場合、制御部２４０は、オブジェクト１２７とオブジェクト１２９との両方の選択を有効とする。このとき、算出部２５０は、オブジェクト１２７とオブジェクト１２９との両方について有効指標を算出する。選択部２６０は、オブジェクト１２７とオブジェクト１２９とのうちから有効指標が高い方のオブジェクトを選択する。以下、有効指標の具体例について説明する。
【００５３】
（第１の有効指標）
算出部２５０は、接触部分の中心点からオブジェクトの輪郭までの最短距離（すなわち、オブジェクト距離）、および注目時間に応じて有効指標を算出する。当該有効指標は、オブジェクト距離が短くなればなるほど、注目時間が長くなればなるほど高くなる。より具体的には、当該有効指標は、以下の式（１）で表される。
【００５４】
Ｐ＝−αＬ＋βＴ・・・（１）
（Ｐ：有効指標、Ｌ：オブジェクト距離、Ｔ：注目時間、α，β：重み）
なお、αおよびβは、スマートフォン１００の設計時に設定される。また、αおよびβは、ユーザにより変更され得る。さらに、αまたはβの値は０であってもよい。αの値が０である場合、有効指標は注目時間のみで算出される。βの値が０である場合、有効指標はオブジェクト距離のみで算出される。また、オブジェクト距離は、接触部分の中心点からオブジェクトの輪郭までの最短距離に限定されない。オブジェクト距離は、オブジェクト表示領域内のいずれかの点から、接触部分内のいずれかの点までの距離であってもよい。たとえば、オブジェクト距離は、オブジェクト表示領域の重心点から、接触部分の重心点までの距離であってもよい。
【００５５】
（第２の有効指標）
算出部２５０は、オブジェクトと接触部分が重複している領域の面積（以下、「重複面積」とも称す。）とおよび注目時間に応じて有効指標を算出する。当該有効指標は、重複面積が大きくなればなるほど、注目時間が長くなればなるほど高くなる。より具体的には、当該有効指標は、以下の式（２）で表される。
【００５６】
Ｐ＝αＷ＋βＴ・・・（２）
（Ｐ：有効指標、Ｗ：重複面積、Ｔ：注目時間、α，β：重み）
なお、αおよびβは、スマートフォン１００の設計時に設定される。また、αおよびβは、ユーザにより変更され得る。αまたはβの値は０であってもよい。αの値が０である場合、有効指標は重複面積のみで算出される。βの値が０である場合、有効指標は注目時間のみで算出される。
【００５７】
（第３の有効指標）
算出部２５０は、注目時間に応じて有効指標を算出する。典型的には、算出部２５０は、注目時間が最大であるオブジェクトに対しては最大の有効指標（たとえば「１」）を付与する。算出部２５０は、注目時間が最大でないオブジェクトに対しては最小の有効指標（たとえば「０」）を付与する。
【００５８】
（第４の有効指標）
算出部２５０は、３つの要素（すなわち、注目時間、オブジェクト距離、重複面積）から１つの要素を適応的に選択して有効指標を算出する。一例として、選択が有効であると制御部２４０により判断されたオブジェクトが２つである場合を説明する。
【００５９】
算出部２５０は、２つのオブジェクトの各々の注目時間の差（以下、「第１の差」とも称す。）を算出する。また、算出部２５０は、２つのオブジェクトの各々のオブジェクト距離の差（以下、「第２の差」とも称す。）を算出する。さらに、算出部２５０は、２つのオブジェクトの各々の重複面積の差（以下、「第３の差」とも称す。）を算出する。算出部２５０は、３つの要素から第１〜第３の差が最大となる要素を選択する。算出部２５０は、当該選択された要素に従って有効指標を算出する。たとえば、算出部２５０は、「注目時間」が選択された場合には、注目時間の値を有効指標とする。この場合、選択部２６０は、２つのオブジェクトのうちから注目時間が長い方のオブジェクトを選択する。
【００６０】
なお、有効指標の算出方法は上記第１〜第４の有効指標を用いた方法に限定されない。たとえば、算出部２５０は、モニタ１２０に表示されているオブジェクトにユーザが接触していた接触時間等の要素を加えて有効指標を算出してもよい。
【００６１】
＜制御構造＞
図９は、第１の実施の形態に従うスマートフォン１００が実行する処理の一部を表わすフローチャートである。図９の処理は、ＣＰＵ２がプログラムを実行することにより実現される。他の局面において、処理の一部又は全部が、回路素子その他のハードウェアによって実行されてもよい。
【００６２】
ステップＳ９００において、ＣＰＵ２は、視線検出部２１０として、ユーザの顔を撮像することで得られた画像に基づいて、オブジェクトに向けられたユーザの視線を検出する。
【００６３】
ステップＳ９１０において、ＣＰＵ２は、重複判断部２３０として、オブジェクト表示領域と接触部分とが重複しているか否かを判断する。ＣＰＵ２は、オブジェクト表示領域と接触部分とが重複していると判断した場合には（ステップＳ９１０においてＹＥＳ）、制御をステップＳ９１２に切り替える。そうでない場合には（ステップＳ９１０においてＮＯ）、ＣＰＵ２は、制御をステップＳ９００に切り替える。
【００６４】
ステップＳ９１２において、ＣＰＵ２は、制御部２４０として、オブジェクトの注目時間を注目履歴２１および有効判断テーブル２２を参照して取得する。ステップＳ９１４において、ＣＰＵ２は、モニタ１２０に表示されるオブジェクトのうち、重複判断部２３０によりオブジェクト表示領域と前記接触部分とが重複していると判断されたオブジェクトの各々について、当該オブジェクトの選択が有効であるか否かを判断する。より具体的には、ＣＰＵ２は、重複判断部２３０によりオブジェクト表示領域と接触部分とが重複していると判断され、かつ、オブジェクトに視線が向けられていた注目時間が予め定められた時間以上である場合に、当該オブジェクトの選択を有効と判断する。
【００６５】
ステップＳ９２０において、ＣＰＵ２は、選択が有効であると制御部２４０により判断されたオブジェクトの数を出力する。選択が有効であるオブジェクトが１個も無い（＝０個）場合には、ＣＰＵ２は制御をステップＳ９００に戻す。選択が有効であるオブジェクトが１個である場合には、ＣＰＵ２は制御をステップＳ９２２に切り替える。選択が有効であるオブジェクトが２つ以上である場合には、ＣＰＵ２は制御をステップＳ９２６に切り替える。
【００６６】
ステップＳ９２２において、ＣＰＵ２は、選択されたオブジェクトに関連づけられた機能を実行する。ステップＳ９２６において、ＣＰＵ２は、算出部２５０として、選択が有効なオブジェクトの各々について有効指標を算出する。ステップＳ９２８において、ＣＰＵ２は、選択部２６０として、有効指標が最大のオブジェクトに関連付けられている機能を実行する。ステップＳ９３０において、ＣＰＵ２は、新たにオブジェクトの選択を受け付ける。
【００６７】
＜利点＞
本実施の形態に従うスマートフォン１００によれば、オブジェクトの注目時間に基づいてオブジェクトを選択するため、オブジェクトの選択の誤認識を低減することができる。また、スマートフォン１００がユーザの視線を自動的に認識するためにユーザに手間を煩わせずにオブジェクトを選択することができる。さらに、ユーザが意図せずに複数のオブジェクトに接触した場合であっても、有効指標に基づいて適切にオブジェクトを選択することができる。さらに、オブジェクトを選択するためのタッチペン等の付加的な部品をユーザが携帯する必要がないため、ユーザの負担を低減することができる。
【００６８】
［第２の実施の形態］
＜概要＞
以下、第２の実施の形態に従うスマートフォン１００Ａについて説明する。本実施の形態に従うスマートフォン１００Ａは、第１の実施の形態に従うスマートフォン１００の機能のうちの少なくとも１つがいわゆるクラウドサービスによって提供される点がスマートフォン１００と異なる。その他の点については、第１の実施の形態に従うスマートフォン１００と同様であるので説明を繰り返さない。
【００６９】
スマートフォン１００Ａは、スマートフォン１００の機能の、視線検出部２１０と、計測部２２０と、重複判断部２３０と、制御部２４０と、算出部２５０と、および、選択部２６０のうちの少なくとも１つがいわゆるクラウドサービスによって提供される。この場合、ネットワーク上の少なくとも１つのサーバ装置（図示しない）がこれらの機能を実行する。
【００７０】
たとえば、スマートフォン１００Ａは、ユーザを撮像した画像をサーバ装置（クラウド側）に送信する。サーバ装置（クラウド側）は、受信した画像に基づいて視線（すなわち、注目位置）を検出する。サーバ装置は、検出した注目位置をスマートフォン１００Ａに送信する。スマートフォン１００Ａは、受信した注目位置に基づいてオブジェクトの選択の有効性を判断する。このように、サーバ装置がすべての処理を行なう必要はない。スマートフォン１００Ａとサーバ装置とが協働して、本実施の形態に従う処理を実現するように構成されてもよい。また、注目履歴２１および有効判断テーブル２２の少なくとも一方がサーバ装置に格納されてもよい。
【００７１】
＜利点＞
以上のようにして、スマートフォン１００Ａは、最低限の機能およびデータを有すればよいのでメモリ容量を削減することが可能になる。
【００７２】
［第３の実施の形態］
＜概要＞
以下、第３の実施の形態に従うスマートフォン１００Ｂについて説明する。本実施の形態に従うスマートフォン１００Ｂは、制御部２４０により複数のオブジェクトの選択が有効であると判断された場合に、当該複数のオブジェクトのうちから１つのオブジェクトの選択を受け付けるための画面を表示する点がスマートフォン１００と異なる。その他の点については、第１の実施の形態に従うスマートフォン１００と同様であるので説明を繰り返さない。
【００７３】
スマートフォン１００Ｂは、算出部２５０および選択部２６０の代わりに表示制御部（図示しない）を備える。当該表示制御部は、制御部２４０により２つ以上のオブジェクトの選択が有効であると判断された場合に、当該２つ以上のオブジェクトのうちから１つのオブジェクトの選択を受け付けるための画面を表示する。たとえば、表示制御部は、選択が有効なオブジェクトを拡大してモニタ１２０に表示する。ユーザは、拡大して表示されたオブジェクトのうちから１つのオブジェクトを選択する。スマートフォン１００Ｂは、ユーザにより選択されたオブジェクトに関連付けられている機能を実行する。
【００７４】
＜利点＞
以上のようにして、スマートフォン１００Ｂは、複数のオブジェクトの選択が有効であると判断された場合であっても、複数のオブジェクトのうちから１つのオブジェクトの選択を受け付けるための画面を表示する。これにより、スマートフォン１００Ｂは、ユーザが意図するオブジェクトを確実に選択することが可能になる。
【００７５】
［第４の実施の形態］
＜概要＞
以下、第４の実施の形態に従うスマートフォン１００Ｃについて説明する。本実施の形態に従うスマートフォン１００Ｃは、重複判断部２３０で重複を判断する際に、オブジェクト表示領域から少し外側の領域までそのオブジェクトの領域とみなして、接触部分との重複を判断する点がスマートフォン１００と異なる。その他の点については、第１の実施の形態に従うスマートフォン１００と同様であるので説明を繰り返さない。
【００７６】
スマートフォン１００Ｃは、重複判断部２３０において、オブジェクトの表示領域より少し外側まで拡張された領域と、接触部分とが重複しているか否かを判断する。典型的には、オブジェクトの輪郭から一定距離（＝ｌ）以内の領域をそのオブジェクトの領域とみなし、これと接触部分との重複を判断する。なお、この重複判断部２３０で使用するオブジェクトの領域は、計測部２２０で注目時間を測定する際に使用するオブジェクト表示領域と一致していなくても良い。つまり、オブジェクト表示領域に基づいて注目時間を測定し、オブジェクト表示領域より少し外側を含む領域に基づいて接触部分との重複を判断して構わない。
【００７７】
＜利点＞
以上のようにして、スマートフォン１００Ｃは、オブジェクトの表示領域が小さいために、指の接触位置がオブジェクトの表示領域から少し外れてしまった場合でも、そのオブジェクトの選択を受け付けることが可能になる。
【００７８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００７９】
１  ＲＯＭ、２  ＣＰＵ、３  ＲＡＭ、４  タイマ、９  スピーカ、１０  タッチセンサ、１１  メモリカードＩ／Ｆ、１１Ａ  メモリカード、１２  ネットワークＩ／Ｆ、１２Ａ  アンテナ、２０  補助記憶装置、２１  注目履歴、２２  有効判断テーブル、１００  スマートフォン、１１０  ユーザ、１１１  視線、１１２  注目位置、１２０  モニタ、１２１〜１２７，１２９  オブジェクト、１３０  カメラ、１４０，１５０  接触部分、１５１，１５３  重複領域、１５２，１５４  オブジェクト距離、１６０  中心点、２１０  視線検出部、２２０  計測部、２２５  接触検出部、２３０  重複判断部、２４０  制御部、２５０  算出部、２６０  選択部、３１０  開始時間、３２０，４１０，４２０  注目時間、３３０  オブジェクト名、４３０  期間。
【図１】
2015052819.tif 000003
【図２】
2015052819.tif 000004
【図３】
2015052819.tif 000005
【図４】
2015052819.tif 000006
【図５】
2015052819.tif 000007
【図６】
2015052819.tif 000008
【図７】
2015052819.tif 000009
【図８】
2015052819.tif 000010
【図９】
2015052819.tif 000011