(57)【要約】【課題】読書を妨げることなくユーザの視線を用いてアイコン操作を実行することができる電子ブック装置及び電子ブック操作方法を提供すること【解決手段】本発明かかる電子ブック装置１０は、電子文書と、当該電子文書に対する操作内容を示すアイコンとを表示する表示部１１と、表示部１１に向けられたユーザの視線位置を特定する視線位置特定部１２と、ユーザの視線位置が、視線位置特定部１２により表示部１１内の特定の領域に向けられたことを検出された場合に、表示部１１に前記ユーザの視線位置を示すカーソルを表示させる表示制御部１３と、カーソルがアイコンを選択している状態において、ユーザの表情を認識し、当該認識したユーザの表情に基づいてアイコンの操作を実行させる表情認識部１４と、を備えるものである。【選択図】図１
2011243108.tif 000002
【特許請求の範囲】
【請求項１】
電子文書と、当該電子文書に対する操作内容を示すアイコンとを表示する表示部と、
前記表示部に向けられたユーザの視線位置を特定する視線位置特定部と、
前記ユーザの視線位置が、前記視線位置特定部により前記表示部内の特定の領域に向けられたことを検出された場合に、前記表示部に前記ユーザの視線位置を示すカーソルを表示させる表示制御部と、
前記カーソルが前記アイコンを選択している状態において、前記ユーザの表情を認識し、当該認識したユーザの表情に基づいてアイコンの操作を実行させる表情認識部と、を備える電子ブック装置。
【請求項２】
前記表情認識部は、
前記ユーザの眉の位置及び口角の少なくとも１つを用いて、前記ユーザの表情を認識する、請求項１に記載の電子ブック装置。
【請求項３】
前記視線位置特定部は、
前記ユーザの瞳孔が向いている方向を特定することにより、前記ユーザの視線位置を示す座標位置を特定する、請求項１又は２に記載の電子ブック装置。
【請求項４】
前記カーソルを表示させるために、前記視線位置特定部によって前記ユーザの視線位置が検出される前記特定の領域は、前記表示部内に複数設けられる、請求項１乃至３のいずれか１項に記載の電子ブック装置。
【請求項５】
前記表示制御部は、
前記カーソルが前記アイコンを選択している場合に、前記表示部での当該アイコンの表示を変更して表示する、請求項１乃至４のいずれか１項に記載の電子ブック装置。
【請求項６】
前記表情認識部は、
前記カーソルによって前記アイコンが選択され、当該アイコンの表示が変更された後に認識した前記ユーザの表情に基づいて、当該アイコンの操作を実行させる、請求項５に記載の電子ブック装置。
【請求項７】
電子文書と、当該電子文書に対する操作内容を表示するアイコンとを表示する表示部に向けられたユーザの視線位置を特定するステップと、
前記ユーザの視線位置が、前記視線位置特定部により前記表示部内の特定の領域に向けられたことを検出するステップと、
前記ユーザの視線位置が、前記表示部内の所定の位置に向けられたことが検出された場合に、前記表示部に前記ユーザの視線位置を示すカーソルを表示するステップと、
前記カーソルが前記アイコンを選択している状態において、前記ユーザの表情の変化を認識し、当該アイコンの操作を実行するステップと、を備える電子ブック操作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は電子ブック装置及び電子ブック操作方法に関し、特にユーザの視線位置を用いて操作を行う電子ブック装置及び電子ブック操作方法に関する。
【背景技術】
【０００２】
一般的に、電子ブック等の情報端末において電子文書を閲覧する場合、主にキーもしくはマウス等を用いて、手動操作によりページめくり操作を行う必要がある。ここで、近年研究されている手動操作以外の操作方式として、視線入力方式がある。視線入力方式とは、ユーザの視線方向及び座標を読み取り、カーソル等を移動させることにより、手動によりキーやマウスを操作するのと同等の操作を可能とする操作方式である。視線入力方式における情報入力方法として、アイコンを一定時間注視する、もしくはユーザの瞬きを検出する等の方法が用いられている。
【０００３】
一定時間の注視を、マウスを用いた場合のダブルクリックのような入力確定動作とした場合、ユーザが操作を実行することを要求してから、実際に電子ブックが対応動作を行うまでに、ユーザが一箇所を注視していることを認識する時間が必要となる。また、ユーザの瞬きを入力確定動作とした場合、角膜保護や眼の潤いを維持するために平均２〜３秒に１回の頻度で無意識に行っている瞬きと、入力確定動作を意図したときの瞬きとを電子ブック装置が判別することができない。そのため、瞬きによる入力確定動作は、誤入力を引き起こす可能性が高い。
【０００４】
そこで、上述したような操作を実行するためにかかる遅延時間や、ユーザの意図しない誤入力に関する問題を解決するために、特許文献１には、ユーザの表情に基づいて、入力確定動作を実行する方法が開示されている。具体的には、ユーザの視線位置を特定し、ユーザが視線を移動させることによりアイコンを選択し、ユーザの表情の変化に基づいて、入力確定動作を実行する。電子ブックを用いて読書を行っている間に、ユーザが無意識に表情変化をする頻度は、ユーザが瞬きを行う頻度と比較すると十分に少ないと考えられる。また、アイコンを一定時間注視して入力確定動作を行う場合に必要な、ユーザが一箇所を注視していることを認識する時間は必要とされない。これより、上述した問題を解決することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２５２８４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示されているユーザの表情に基づく入力確定動作を実行した場合、次のような問題が生じる。電子ブック装置がユーザの視線位置を検出し、その視線を移動させることによりアイコンを選択する場合に、ユーザは、視線位置が移動する軌跡が電子ブック装置に表示されなければ、操作を希望するアイコンを選択することが困難であるという問題が生じる。このような問題を解決するために、ユーザの視線位置を示すカーソルを表示し、ユーザの視線の動きに応じて、カーソルを視線方向に移動させることが考えられる。しかし、この場合、ユーザが読書中に、ユーザの視線の近傍をカーソルが移動していることにより、読書の妨げとなる問題が生じる。
【０００７】
本発明はこのような問題を解決するためになされたものであり、読書を妨げることなくユーザの視線を用いてアイコン操作を実行することができる電子ブック装置及び電子ブック操作方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様にかかる電子ブック装置は、電子文書と、当該電子文書に対する操作内容を示すアイコンとを表示する表示部と、前記表示部に向けられたユーザの視線位置を特定する視線位置特定部と、前記ユーザの視線位置が、前記視線位置特定部により前記表示部内の特定の領域に向けられたことを検出された場合に、前記表示部に前記ユーザの視線位置を示すカーソルを表示させる表示制御部と、前記カーソルが前記アイコンを選択している状態において、前記ユーザの表情を認識し、当該認識したユーザの表情に基づいてアイコンの操作を実行させる表情認識部と、を備えるものである。
【０００９】
本発明の第２の態様にかかる電子ブック操作方法は、電子文書と、当該電子文書に対する操作内容を表示するアイコンとを表示する表示部に向けられたユーザの視線位置を特定するステップと、前記ユーザの視線位置が、前記視線位置特定部により前記表示部内の特定の領域に向けられたことを検出するステップと、前記ユーザの視線位置が、前記表示部内の所定の位置に向けられたことが検出された場合に、前記表示部に前記ユーザの視線位置を示すカーソルを表示するステップと、前記カーソルが前記アイコンを選択している状態において、前記ユーザの表情の変化を認識し、当該アイコンの操作を実行するステップと、を備えるものである。
【発明の効果】
【００１０】
本発明により、読書を妨げることなくユーザの視線を用いてアイコン操作を実行することができる電子ブック装置及び電子ブック操作方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１にかかる電子ブック装置の構成図である。
【図２】実施の形態１にかかる電子ブック装置の構成図である。
【図３】実施の形態１にかかる表示部に表示される画像の図である。
【図４】実施の形態１にかかる電子ブック装置におけるアイコン操作を実行するフローチャートである。
【発明を実施するための形態】
【００１２】
（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。図１を用いて本発明の実施の形態１にかかる電子ブック装置の構成例について説明する。電子ブック装置１０は、表示部１１と、視線位置特定部１２と、表示制御部１３と、表情認識部１４と、を備えている。
【００１３】
表示部１１は、電子文書と、この電子文書に対する操作内容を示すアイコンとを表示する。表示部１１は、電子ブック装置１０に設けられている表示画面であり、例えば液晶ディスプレイ等である。電子文書は、電子ブック装置１０に設けられているメモリ（図示せず）に保持されている書物、新聞又は雑誌等におけるテキスト文書や、図面データ、写真データ等を含むデータである。また、電子ブック装置１０は、外部記憶媒体に保存されている電子文書を表示部１１に表示してもよい。アイコンは、例えば、電子文書の閲覧において、頁をめくる操作、現在閲覧中の頁にしおりを付する操作等を実行するものがある。アイコンは、選択され、ダブルクリック等の入力確定動作が実行されることにより、操作が実行される。
【００１４】
視線位置特定部１２は、表示部１１に向けられたユーザの視線位置を特定する。視線位置特定部１２は、一定時間間隔毎に、表示部１１におけるユーザの視線位置を特定する。視線位置特定部１２は、ユーザの視線位置を特定する一定時間間隔を変更することができる。例えば、視線位置を示すためにカーソルを用いた場合、一定時間間隔を十分に短くすることにより、カーソルの軌跡が連続動作をしているように表示部１１に表示することができる。
【００１５】
表示制御部１３は、視線位置特定部１２によってユーザの視線位置が、表示部１１内の特定の領域に向けられたことを検出された場合に、表示部１１にユーザの視線位置を示すカーソルを表示させる。以下、表示部１１内の特定の領域を、カーソル表示領域と称する。ユーザの視線位置がカーソル表示領域に向けられたことにより表示されるカーソルは、一定時間、表示部１１内に表示される。表示部１１内に表示されたカーソルは、一定時間経過後に表示されなくなるようにしてもよい。表示部１１内のカーソル表示領域は、表示部１１内の一定面積を有する領域であればよい。また、表示部１１内のカーソル表示領域は、表示部１１内に複数個所あってもよく、１箇所に限定されない。カーソルは、ユーザの視線位置を示し、さらにユーザの視線位置の動き、つまり視線位置の軌跡を示すために用いられる。一般的に、カーソルは、表示部１１の大きさと比較して十分に小さい矢印等を用いて示される。矢印は、カーソル表示の一例であり、カーソルの表示は、矢印以外の記号等を用いて表現されてもよい。
【００１６】
表情認識部１４は、カーソルがアイコンを選択している状態において、ユーザの表情を認識し、認識したユーザの表情に基づいてアイコンの操作を実行させる。カーソルは、ユーザの視線方向に沿って表示部１１内を移動する。そのため、ユーザは、希望する操作内容を示すアイコンにカーソルを移動させ、アイコンにカーソルを重ねることによって、アイコンを選択することができる。表情認識部１４は、アイコンが選択された状態において、アイコン操作を実行するために、ユーザの表情を認識する。アイコン操作の実行に用いられるユーザの表情は、予めカメラ等を用いて撮影され、電子ブック装置１０内のメモリに保存されていてもよい。このようにすることにより、表情認識部１４が認識したユーザの表情と、電子ブック装置１０内のメモリに保存されているユーザの表情とを比較し、実質的に同一の表情である場合には、表情認識部１４は、アイコンの操作を実行させる。表情認識部１４は、アイコン操作の実行を表示制御部１３へ通知し、表示制御部１３は、アイコン操作実行時の画像データを生成し、表示部１１へ出力する。
【００１７】
以上説明したように、図１にかかる電子ブック装置１０を用いることにより、ユーザの視線位置がカーソル表示領域に向けられた場合に、ユーザの視線位置を示すカーソルを表示することができる。カーソル表示領域を設けることにより、表示部１１におけるユーザの視線位置を示すカーソルの表示及び非表示を制御することができる。例えば、ユーザの視線位置を検出するカーソル表示領域を、文書の最後の文字の近傍に配置することにより、文書を閲覧中は、カーソルを非表示とすることができる。さらに、文書を読み終えた場合に、カーソルが表示され、頁をめくるためのアイコン等の選択を容易にすることができる。
【００１８】
続いて、図２を用いて本発明の実施の形態１にかかる電子ブック装置１０の詳細な構成例について説明する。電子ブック装置１０は、表示部１１と、視線位置特定部１２と、表示制御部１３と、表情認識部１４と、撮影部１５と、アイコン操作部１６と、外部記憶媒体１７と、記憶部１８と、を備えている。なお、表示部１１と、視線位置特定部１２と、表示制御部１３と、表情認識部１４とは、図１と同様の機能を有するため、図１と重複する機能の説明は省略する。
【００１９】
撮影部１５は、ユーザの視線位置を特定するために用いられるユーザの瞳孔の向きを撮影する。さらに、ユーザの表情を認識するために、ユーザの表情を撮影する。撮影部１５は、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等が用いられる小型カメラである。撮影部１５は、撮影した画像データを、視線位置特定部１２及び表情認識部１４へ出力する。
【００２０】
視線位置特定部１２は、撮影部１５から出力された画像データを用いて、ユーザの瞳孔が向いている方向を特定する。さらに、ユーザの瞳孔が向いている方向から、表示部１１におけるユーザの視線位置を示す座標位置を特定する。視線位置特定部１２は、ユーザの視線位置を示す座標位置が、カーソルを表示するために用いられるカーソル表示領域に属するか否かに関する情報を表示制御部１３へ通知する。さらに、視線位置特定部１２は、ユーザの視線位置が、表示部１１内のアイコンと重なり、アイコンを選択しているか否かに関する情報を表情認識部１４へ出力する。
【００２１】
表情認識部１４は、ユーザの視線位置が、アイコンを選択しているとの情報を視線位置特定部１２から取得した場合、撮影部１５から出力された画像データを用いて、ユーザの表情を認識する。表情認識部１４は、眉の位置及び口角等のうち少なくとも１つを用いて、ユーザの表情を認識する。例えば、ユーザの入力確定動作に用いられる表情を予め撮影し保存していた場合、保存されているユーザの表情における眉の位置と、撮影部１５から出力された画像データのユーザの表情における眉の位置とを比較し、実質的に一致する場合は、表情認識部１４は、撮影部１５から出力された画像データにおけるユーザの表情と、入力確定動作に用いられるユーザの表情とは一致するとの情報をアイコン操作部１６へ出力する。もしくは、眉の位置のみではなく、口角についても、保存されているユーザの表情と比較してもよい。比較する部位が多いほど、ユーザの表情を識別する精度が向上し、誤入力を行う可能性が低減される。また、比較する部位が少ないほど、ユーザの表情を識別する精度は低下するが、入力確定動作におけるユーザの表情の変化を許容する範囲が拡大し、操作性におけるユーザへのストレス負荷が軽減される。
【００２２】
また、表情認識部１４は、ユーザの表情を識別する精度を向上するために、ユーザの読書時における通常の表情をあらかじめ撮影し保存しておいてもよい。通常の表情と入力確定動作用の表情における特徴差分の中間に境界（閾値）を設けることにより、通常時と入力確定動作時とにおける表情を明確に分けることができる。特徴差分とは、例えば、通常の表情と入力確定動作用の表情とにおける眉の位置の違いである。通常の表情における眉の位置が眼の位置よりも０．５ｃｍ上方にあり、入力確定動作用の表情における眉の位置が眼の位置よりも１ｃｍ上方にある場合、閾値を０．７５ｃｍとする。この場合、表情認識部１４は、撮影部１５から出力された画像データにおいて、眉の位置が眼の位置よりも０．７５ｃｍを超えて上方にある場合、入力確定動作に用いられるユーザの表情と一致すると判定してもよい。閾値は、中間値に制限されず、任意に設定することができる。また、通常時の表情と、入力確定動作時における表情との特徴差分が、閾値を超えない場合、つまり通常時の表情と入力確定動作時における表情との差分が少ない場合、撮影された入力確定動作時における表情のデータを破棄し、再度入力確定動作用の表情を撮影して登録するようにしてもよい。
【００２３】
アイコン操作部１６は、表情認識部１４から、撮影部１５から出力された画像データにおけるユーザの表情と、保存されているユーザの表情とが一致するとの情報を取得した場合、アイコン操作を実行する。アイコン操作部１６は、アイコンの操作内容に関する情報を表示制御部１３へ出力する。アイコン操作部１６は、表情認識部１４から、撮影部１５から出力された画像データにおけるユーザの表情と、保存されているユーザの表情とは一致しないとの情報を取得した場合、アイコン操作を実行しない。
【００２４】
表示制御部１３は、ユーザの視線位置を示す座標位置が、カーソルを表示するために用いられるカーソル表示領域に属するとの情報を視線位置特定部１２から通知された場合、ユーザの視線位置を示すカーソルを表示する画像データを生成し、記憶部１８へ出力する。また、表示制御部１３は、アイコン操作部１６からアイコン操作の実行に関する情報が出力された場合、頁めくり等の、アイコン操作の実行内容を示す画像データを生成し、記憶部１８へ出力する。さらに、表示制御部１３は、外部記憶媒体１７から電子文書を取得し、テキストデータ及び画像データ等を、表示部１１に表示する頁単位に分割する。表示制御部１３は、分割したデータを記憶部１８へ出力する。
【００２５】
表示部１１は、記憶部１８に記憶された画像データを取得し、表示する。
【００２６】
続いて、図３を用いて本発明の実施の形態１にかかる表示部１１における表示例について説明する。表示部１１には、操作内容を示すアイコンとして、前頁に頁をめくるアイコン２１と、次頁に頁をめくるアイコン２２とが配置されている。また、表示部１１には、カーソル表示領域２３及び２４が配置されている。ユーザの視線位置がカーソル表示領域２３又は２４にあることが検出された場合に、表示部１１にカーソル２５が表示される。カーソル表示領域２３及び２４は、表示部１１に表示されなくてもよく、明確にカーソル表示領域を示すために、表示部１１に表示されてもよい。図３においては、文章が区切られる位置に、２箇所カーソル表示領域が配置されている。これにより、ユーザが文章を読み進み、１つの文章を読み終え、視線がカーソル表示領域２３又は２４に向けられた場合に、カーソル２５が表示される。ユーザは視線を動かすことにより、表示されたカーソル２５をアイコン２１又は２２へ移動させる。なお、図３に示されている点線の矢印は、カーソル２５が移動した軌跡を説明するために示しており、実際には表示部１１に表示されない。
【００２７】
また、表示制御部１３は、カーソル２５が、所定の時間経過してもアイコン２１又は２２を示す領域に移動しない場合に、カーソル２５の表示を中止するように制御してもよい。また、表示制御部１３は、カーソル２５がアイコン２１又は２２を示す領域に移動した場合に、ユーザに対して入力確定動作を実行する表情への変化を促すために、アイコン２１又は２２の表示色又はサイズ等を変更するように制御してもよい。これにより、ユーザは、入力確定動作を実行するための表情へ変化するタイミングを得られるため、円滑な操作を実行することができる。
【００２８】
また、表情認識部１４は、アイコン２１又は２２の表示色又はサイズ等が変化した後に、ユーザの表情を認識する制御を実行し、認識したユーザの表情に基づいて、入力確定動作を実行してもよい。これにより、表情認識部１４は、アイコン２１又は２２の表示色等が変化するまで、ユーザの表情認識を実行する必要がないため、表情認識部１４における処理負荷を軽減することができる。
【００２９】
また、図３においては、カーソル表示領域を、文章が区切られる位置に２箇所配置している例について説明しているが、カーソル表示領域が配置される場所は、文章が区切られる位置に制限されず、また、配置箇所も２箇所に制限されるものではない。
【００３０】
続いて、図４を用いて本発明の実施の形態１の電子ブック装置１０におけるアイコン操作を実行するための処理の流れについて説明する。初めに、視線位置特定部１２は、ユーザの視線位置を特定する（Ｓ１１）。
【００３１】
次に、視線位置特定部１２は、ユーザの視線位置が、カーソルを表示するために設けられたカーソル表示領域に向けられているか否かを検出する（Ｓ１２）。視線位置特定部１２は、ユーザの視線位置が、カーソル表示領域に向けられていないと判定した場合、再度ユーザの視線位置を特定するステップＳ１１の処理を実行する。視線位置特定部１２によってユーザの視線位置が、カーソル表示領域に向けられていると判定された場合、表示制御部１３は、表示部１１にユーザの視線位置を示すカーソルを表示する（Ｓ１３）。
【００３２】
次に、視線位置特定部１２は、カーソルの位置を特定する（Ｓ１４）。視線位置特定部１２は、カーソルが表示部１１に表示されているアイコンを選択しているか否かを判定する（Ｓ１５）。視線位置特定部１２は、カーソルがアイコンを選択していないと判定した場合、再度カーソル位置を特定するステップＳ１４の処理を実行する。視線位置特定部１２によってカーソルがアイコンを選択していると判定された場合、表情認識部１４は、ユーザの表情を認識し、ユーザの表情が、入力確定動作を実行する際に用いられる表情であるか否かを判定する（Ｓ１６）。表情認識部１４は、ユーザの表情が、入力確定動作を実行する際に用いられる表情ではないと判定した場合、処理を終了する。表情認識部１４によって、ユーザの表情が、入力確定動作を実行する際に用いられる表情であると判定した場合、アイコン操作部１６は、アイコン操作を実行する（Ｓ１７）。表示制御部１３は、アイコン操作を実行する画像データを生成し、記憶部１８へ出力する。
【００３３】
以上説明したように、本発明の実施の形態１にかかる電子ブック装置を用いることにより、読書を妨げることなくユーザの視線位置を特定するカーソルを用いて、アイコンを容易に操作することができる。つまり、表示部１１内に１又は複数のカーソル表示領域を設け、視線位置特定部１２が、ユーザの視線がカーソル表示領域内にあるか否かを判定することにより、ユーザが頁内の文章を読んでいる最中には、カーソルを表示させず、ユーザが文章を読み終えた後に、カーソルを表示させアイコンを選択させるように制御することができる。
【００３４】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００３５】
１０  電子ブック装置
１１  表示部
１２  視線位置特定部
１３  表示制御部
１４  表情認識部
１５  撮影部
１６  アイコン操作部
１７  外部記憶媒体
１８  記憶部
２１、２２  アイコン
２３、２４  カーソル表示領域
２５  カーソル
【図１】
2011243108.tif 000003
【図２】
2011243108.tif 000004
【図３】
2011243108.tif 000005
【図４】
2011243108.tif 000006