(57)【要約】【課題】読書中の視点移動に不慣れなユーザ等であっても、円滑に読書を行えるとともに、効率よく読むことが可能な表示端末装置等を提供すること。【解決手段】通信端末装置１０は、電子書籍のコンテンツをユーザに閲覧させる際に、（１）カメラユニット１２０によりユーザの両眼の画像を撮像し、（２）当該画像データを解析しつつ、ユーザの注視点座標を検出し、（３）当該注視点の移動を検出すると、移動先の注視点座標を予測し、（４）当該予測した移動先の注視点座標に基づいてユーザが認識可能な部位（セグメント）を特定し、（５）当該特定されたセグメントを視認可能としつつ、他の部位を視認不能とするマスク画像を生成し、（６）生成したマスク画像と表示部１３０に表示すべきコンテンツとを重畳させて当該表示部に１３０に表示する、構成を有している。【選択図】図３
2015230632.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツデータに基づいて、ユーザによって閲覧可能にコンテンツを表示する表示手段と、
前記表示手段に表示されたコンテンツを閲覧するユーザの視点を注視点として検出する検出手段と、
前記検出された注視点を基準に、前記コンテンツの所定の部分を視認不能にする不透過領域を有するマスク画像を、前記コンテンツに重畳させ、前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする表示端末装置。
【請求項２】
請求項１に記載の表示端末装置において、
前記マスク画像が、前記不透過領域とともに、前記検出された注視点を基準に、前記コンテンツの一部を視認可能に透過する透過領域を有する、表示端末装置。
【請求項３】
請求項１又は２に記載の表示端末装置において、
前記検出された注視点が移動した否かを検出するとともに、当該注視点の移動を検出した場合に、当該注視点の移動を検出した際に用いた情報に基づいて、当該注視点の移動先を予測する予測手段を更に備え、
前記表示制御手段が、前記移動先の注視点を基準に前記不透過領域が形成された前記マスク画像を前記コンテンツとともに前記表示手段に表示させる、表示端末装置。
【請求項４】
請求項３に記載の表示端末装置において、
前記予測手段が、
前記注視点の移動に関する情報として、前記注視点の移動開始から所定時間経過後までの移動距離に基づいて、前記注視点の移動開始速度を算出し、
当該算出した移動開始速度に基づいて、前記移動先を予測する、表示端末装置。
【請求項５】
請求項４に記載の表示端末装置において、
前記予測手段が、前記移動速度と、移動先までの距離の関係を示すアルゴリズムに従い、前記移動先を予測する、表示端末装置。
【請求項６】
請求項１〜５のいずれか１項に記載の表示端末装置において、
前記コンテンツには文章が含まれており、
前記検出された注視点に前記ユーザの視点を停留させることによって前記ユーザが認識すべき前記表示手段に表示された文章の部位を、認識部位として、特定する特定手段を更に備え、
前記表示制御手段が、前記特定された認識部位が視認可能に形成されたマスク画像を、前記コンテンツに重畳させて前記表示手段に表示させる、表示端末装置。
【請求項７】
請求項６に記載の表示端末装置において
前記コンテンツに含まれる文章が所定の分割条件に従って複数のセグメントに分割されており、
前記特定手段が、前記認識可能部位として前記セグメント単位で特定する、表示端末装置。
【請求項８】
請求項７に記載の表示端末装置において、
前記表示制御手段が、前記視認可能部位として特定されたセグメントが複数の行に跨る場合には、それぞれの行における特定されたセグメントが視認可能に形成されたマスク画像を前記コンテンツに重畳させて前記表示手段に表示させる、表示端末装置。
【請求項９】
請求項１〜８のいずれか１項に記載の表示端末装置において、
前記検出手段が、表示端末装置における前記表示手段の近傍に設けられる、表示端末装置。
【請求項１０】
請求項１〜４のいずれか１項に記載の表示端末装置において、
前記注視点の座標の軌跡を登録する登録手段を更に備え、
前記マスク画像が、視覚障害者の視覚状態に基づいて前記マスク画像が形成されている、表示端末装置。
【請求項１１】
前記コンピュータを、
コンテンツデータに基づいて、ユーザによって閲覧可能にコンテンツを表示する表示手段を制御する制御手段、
前記表示手段に表示されたコンテンツを閲覧するユーザの視点を注視点として検出する検出手段、及び、
前記検出された注視点を基準に、前記コンテンツの所定の部分を視認不能にする不透過領域を有するマスク画像を、前記コンテンツに重畳させ、前記表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
【請求項１２】
コンテンツデータに基づいて、ユーザによって閲覧可能にコンテンツを表示手段に表示する際に、
前記表示手段に表示されたコンテンツを閲覧するユーザの視点を注視点として検出するステップと、
前記検出された注視点を基準に、前記コンテンツの所定の部分を視認不能にする不透過領域を有するマスク画像を、前記コンテンツに重畳させ、前記表示手段に表示させるステップと、
を含むことを特徴とする表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子書籍の閲覧に用いる表示端末装置、プログラム及び表示方法に関する。
【背景技術】
【０００２】
近年、タブレット型情報通信端末、スマートフォン、電子書籍閲覧用端末装置等の情報通信端末装置（以下、「通信端末装置」という）の機能向上及び普及に伴い、ユーザは、自身の所望する書籍に対応するコンテンツデータ（いわゆる、電子書籍）をＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）上のサーバ装置から取得して、いつでも閲覧（読書）できるようになっている。また、この種の通信端末装置においては、画面の表示設定に従って文章が表示されるようになっており、読者（ユーザ）に表示された文章や画像を視認させることができるようになっている。
【０００３】
一般的に、人間の視野は、注視点を中心とした解像度の高い、およそ直径５度の中心視野と、そのまわりの解像度の低い周辺視野から構成されている。また、文字の認識には中心視野の解像度を必要とするため、人間は注視点を２〜８文字程度の間隔で移動させつつ、文章を読み進めていく。特に、読書中の眼球運動は、文字を認識している間の注視状態を示す「停留」と、次の停留場所への移動運動を示す「サッカード（Ｓｃｃａｄｅ）」を繰り返すことが知られており、停留中には中心視によって文字を認識すると同時に、周辺視によって次の停留場所（すなわち、注視点の移動先）の選定を行っていることが知られている。
【０００４】
一方、読書を行うユーザの中には、読書中の注視点移動（サッカード）に不慣れなユーザも存在し、このような注視点移動に不慣れなユーザは、周辺視による移動先の選定が難しいとされている。このため、注視点移動に不慣れなユーザは、サッカードの距離が短くなって、文章を読み終えるまでにより多くの停留を必要とするとともに、内容を読み取るのに最適な文字に停留できず何度も戻って読む必要もあり、読書に時間がかかって読み効率が低下する傾向がある。特に、注視点移動に不慣れなユーザは、自身が読んでいる場所を見失うこともあるので、さらに読書時間が長くなる傾向にある。
【０００５】
そこで、最近では、表示された文章の行末と次行の行頭に同一のマークを付与することによって、ユーザの読書を補助する表示装置が提案されている（例えば、特許文献１）。また、最近では、通信端末装置における、新たな入力インターフェースとして利用するため、ユーザの注視点位置を検出する装置（例えば、非特許文献１）、及び、ユーザの注視点の移動先を予測する装置（非特許文献２）が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２９５８５６号
【非特許文献】
【０００７】
【非特許文献１】大野  健彦、武川  直樹、吉川  厚共著、「２点補正による簡易キャリブレーションを実現した視線測定システム」情報処理学会論文誌ｖｏｌ４４  Ｎｏ４、２００３年４月発行、ｐ．１１３６〜ｐ．１１４９
【０００８】
【非特許文献２】川上  隼斗、笹田  裕太、五十嵐  覚、秋田  純一、「サッケード追尾可能な視線計測カメラの開発とそれを用いるインタラクションの可能性」、情報処理学会インタラクション２０１４、２０１４年２月２８日発行、ｐ．４９〜ｐ．５６
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１に記載の表示装置にあっては、文字認識に加えてマーク認識を必要とするため、行末から行頭へのサッカードを誘導する効果が期待できるものの、読む効率を高めるには不十分である。
【００１０】
また、非特許文献１及び２に記載の装置は、ユーザの現在の注視点を検出し、次のサッカードによる移動先を予測することはできるが、電子書籍の読書時に適用する手法についての示唆がなく、読み効率を向上させる手法への応用が難しい。
【００１１】
本発明は、上記課題を解決するためになされたものであり、読書中の注視点移動に不慣れなユーザ等であっても、注視点の移動先を容易にかつ的確に認識させることができ、円滑に読書を行えるとともに、効率よく読むことが可能な表示端末装置等を提供することにある。
【課題を解決するための手段】
【００１２】
（１）上述した課題を解決するため、本発明の表示端末装置は、コンテンツデータに基づいて、ユーザによって閲覧可能にコンテンツを表示する表示手段と、前記表示手段に表示されたコンテンツを閲覧するユーザの視点を注視点として検出する検出手段と、前記検出された注視点を基準に、前記コンテンツの所定の部分を視認不能にする不透過領域を有するマスク画像を、前記コンテンツに重畳させ、前記表示手段に表示させる表示制御手段と、  を備える構成を有している。
【００１３】
この構成により、本発明の表示端末装置は、電子書籍等のコンテンツを表示手段に表示させる際に、視認させるべきコンテンツの周辺の領域の視認を防止し、かつ、ユーザの注視点を含むコンテンツの一部の領域のみを的確に視認させることができるので、注視点への停留時に読むべきコンテンツの一部のみを視認可能に表示させることができる。
【００１４】
したがって、本発明に係る表示端末装置は、注視点が移動すると、移動した注視点によって視認させるためのコンテンツの一部を強制的に視認させることができるので、コンテンツを閲覧中のユーザにおいて、注視点の誘導を強制的に誘導することができるとともに、読書中の視点移動に不慣れなユーザ等であっても、視点の移動先を見失うことなく、確実に視点移動を誘導して、円滑な読書を実現し、かつ、効率よく読ませることができる。
【００１５】
（２）また、本発明に係る表示端末装置は、前記マスク画像が、前記不透過領域とともに、前記検出された注視点を基準に、前記コンテンツの一部を視認可能に透過する透過領域を有する、構成を有している。
【００１６】
この構成により、本発明に係る表示装置は、視認させるべきコンテンツの周辺の領域の視認を防止し、かつ、ユーザの注視点を含むコンテンツの一部の領域のみを的確に視認させることができるので、注視点への停留時に読むべきコンテンツの一部のみを視認可能に表示させることができる。
【００１７】
（３）また、本発明に係る表示端末装置は、前記検出された注視点が移動した否かを検出するとともに、当該注視点の移動を検出した場合に、当該注視点の移動を検出した際に用いた情報に基づいて、当該注視点の移動先を予測する予測手段を更に備え、前記表示制御手段が、前記移動先の注視点を基準に前記不透過領域が形成された前記マスク画像を前記コンテンツとともに前記表示手段に表示させる、構成を有している。
【００１８】
この構成により、本発明に係る表示装置は、注視点の移動開始時の速度など情報に基づいて、注視点の移動先を事前に予測することができるので、マスク画像を次の注視点に基づいて重畳表示するまでの処理時間を短縮することができる。
【００１９】
したがって、本発明に係る表示装置は、マスク画像の表示のリアルタイム性を確保し、かつ、ユーザに違和感を与えることなく、ユーザが閲覧すべきコンテンツ部分を表示することができる。
【００２０】
（４）また、本発明に係る表示端末装置は、前記予測手段が、前記注視点の移動に関する情報として、前記注視点の移動開始から所定時間経過後までの移動距離に基づいて、前記注視点の移動開始速度を算出し、当該算出した移動開始速度に基づいて、前記移動先を予測する、構成を有している。
【００２１】
この構成により、本発明に係る表示装置は、注視点の移動開始時の移動距離によって移動先の位置を算出することが可能な視点の移動開始時の速度（初速度）を特定することができるので、簡易に、且つ、正確に、移動速度から注視点の移動先を予測し、当該次の注視点に基づくマスク画像の重畳表示を行うことができる。
【００２２】
（５）また、本発明に係る表示端末装置は  前記予測手段が、前記移動速度と、移動先までの距離の関係を示すアルゴリズムに従い、前記移動先を予測する、構成を有している。
【００２３】
この構成により、本発明に係る表示装置は、事前にアルゴリズムを決定しておくことにより、次の注視点の位置を算出する演算量を削減しつつ、正確に注視点の移動先を予測することができる。
【００２４】
（６）また、本発明に係る表示端末装置は、前記コンテンツには文章が含まれており、前記検出された注視点に前記ユーザの視点を停留させることによって前記ユーザが認識すべき前記表示手段に表示された文章の部位を、認識部位として、特定する特定手段を更に備え、前記表示制御手段が、前記特定された認識部位が視認可能に形成されたマスク画像を、前記コンテンツに重畳させて前記表示手段に表示させる、構成を有している。
【００２５】
この構成により、本発明に係る表示装置は、例えば、注視点を停留させた際に一度に認識可能な文章の部位や当該部位に加えて次に注視点が停留することによって認識可能な文章の部位など、ユーザが認識すべき文章の部位のみ認識可能にマスク画像をコンテンツに重畳表示することができるので、サッカードの誘導をスムーズにすることによって文章の読み効率を向上させることができる。
【００２６】
（７）また、本発明に係る表示端末装置は、前記コンテンツに含まれる文章が所定の分割条件に従って複数のセグメントに分割されており、前記特定手段が、前記認識可能部位として前記セグメント単位で特定する、構成を有している。
【００２７】
この構成により、本発明に係る表示装置は、文章をサッカードにしたがって複数のセグメントに分割することができるので、ユーザの読みレベルに合わせてスムーズにかつ確実に注視点の移動運動を実行することができる。
【００２８】
（８）また、本発明に係る表示端末装置は、前記表示制御手段が、前記視認可能部位として特定されたセグメントが複数の行に跨る場合には、それぞれの行における特定されたセグメントが視認可能に形成されたマスク画像を前記コンテンツに重畳させて前記表示手段に表示させる、構成を有している。
【００２９】
この構成により、本発明に係る表示装置は、ユーザによって一度の停留にて読むべきセグメントが複数行に跨る場合であっても、ユーザの読みレベルに合わせてスムーズにかつ確実に注視点の移動運動を実行することができる。
【００３０】
（９）また、本発明に係る表示端末装置は、前記検出手段が、表示端末装置における前記表示手段の近傍に設けられる、構成を有している。
【００３１】
この構成により、本発明に係る表示装置は、表示手段に表示された、電子書籍データを読書中のユーザの注視点を確実に検出することができるので、他の装置を必要とせずに簡易な構成にて、ユーザの読み効率を向上させることができる。
【００３２】
（１０）また、本発明に係る表示端末装置は、前記注視点の座標の軌跡を登録する登録手段を更に備え、前記マスク画像が、視覚障害者の視覚状態に基づいて前記マスク画像が形成されている、構成を有している。
【００３３】
この構成により、本発明に係る表示装置は、例えば、視野狭窄などの視野障害者における視界をシミュレートできるので、電子書籍作成時における文字のフォント、文字サイズ、文章レイアウト、文字間隔等を視野障害者に合わせつつ、電子書籍を作成する際の参考とすることができる。
【００３４】
（１１）また、本発明に係るプログラムは、前記コンピュータを、コンテンツデータに基づいて、ユーザによって閲覧可能にコンテンツを表示する表示手段を制御する制御手段、前記表示手段に表示されたコンテンツを閲覧するユーザの視点を注視点として検出する検出手段、及び、前記検出された注視点を基準に、前記コンテンツの所定の部分を視認不能にする不透過領域を有するマスク画像を、前記コンテンツに重畳させ、前記表示手段に表示させる表示制御手段、として機能させる構成を有している。
【００３５】
この構成により、本発明のプログラムは、電子書籍等のコンテンツを表示手段に表示させる際に、視認させるべきコンテンツの周辺の領域の視認を防止し、かつ、ユーザの注視点を含むコンテンツの一部の領域のみを的確に視認させることができるので、注視点への停留時に読むべきコンテンツの一部のみを視認可能に表示させることができる。
【００３６】
したがって、本発明に係るプログラムは、注視点が移動すると、移動した注視点によって視認させるためのコンテンツの一部を強制的に視認させることができるので、コンテンツを閲覧中のユーザにおいて、注視点の誘導を強制的に誘導することができるとともに、読書中の視点移動に不慣れなユーザ等であっても、視点の移動先を見失うことなく、確実に視点移動を誘導して、円滑な読書を実現し、かつ、効率よく読ませることができる。
【００３７】
（１２）また、本発明に係る表示方法は、コンテンツデータに基づいて、ユーザによって閲覧可能にコンテンツを表示手段に表示する際に、前記表示手段に表示されたコンテンツを閲覧するユーザの視点を注視点として検出するステップと、前記検出された注視点を基準に、前記コンテンツの所定の部分を視認不能にする不透過領域を有するマスク画像を、前記コンテンツに重畳させ、前記表示手段に表示させるステップと、を含む構成を有している。
【００３８】
この構成により、本発明の表示方法は、電子書籍等のコンテンツを表示手段に表示させる際に、視認させるべきコンテンツの周辺の領域の視認を防止し、かつ、ユーザの注視点を含むコンテンツの一部の領域のみを的確に視認させることができるので、注視点への停留時に読むべきコンテンツの一部のみを視認可能に表示させることができる。
【００３９】
したがって、本発明に係る表示方法は、注視点が移動すると、移動した注視点によって視認させるためのコンテンツの一部を強制的に視認させることができるので、コンテンツを閲覧中のユーザにおいて、注視点の誘導を強制的に誘導することができるとともに、読書中の視点移動に不慣れなユーザ等であっても、視点の移動先を見失うことなく、確実に視点移動を誘導して、円滑な読書を実現し、かつ、効率よく読ませることができる。
【発明の効果】
【００４０】
本発明に係る表示端末装置等は、コンテンツを閲覧中のユーザにおいて、そのサッカードを誘導することができるので、読み効率が悪いなどのコンテンツの視認が遅い不慣れなユーザであっても、視点の移動先を見失うことなく、円滑に、かつ、効率よくコンテンツを閲覧させることができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１実施形態における電子書籍提供システムの構成を示すシステム構成図である。
【図２】第１実施形態の通信端末装置において用いるマスク画像の一例を示す図である。
【図３】第１実施形態の通信端末装置の構成を示すブロック図である。
【図４】第１実施形態の通信端末装置に記録される予測アルゴリズムの一例を示す図である。
【図５】第１実施形態においてセグメント化されたコンテンツとなる文章を説明するための図である。
【図６】第１実施形態の通信端末装置において実行される電子書籍閲覧処理を示すフローチャート（その１）である。
【図７】第１実施形態の通信端末装置において実行される電子書籍閲覧処理を示すフローチャート（その２）である。
【図８】本発明の第２実施形態の通信端末装置において用いるマスク画像の一例を示す図である。
【図９】第２実施形態の通信端末装置の構成を示すブロック図である。
【図１０】本発明の変形例において読書ユーザが注視点座標を移動させた場合における座標の変化状況を示す概念図である。
【発明を実施するための形態】
【００４２】
以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、書を行うユーザにより利用される通信端末装置と、当該通信端末装置とネットワークを介して接続される電子書籍サーバ装置と、を有する電子書籍提供システムに対し、本発明の表示端末装置、プログラム、及び表示方法を適用した場合の実施形態である。
【００４３】
［Ａ］第１実施形態
まず、図１〜図７を用いて本発明に係る電子書籍提供システムの第１実施形態について説明する。
【００４４】
［Ａ１］電子書籍提供システム
はじめに、図１及び図２を用いて本実施形態における電子書籍提供システム１の構成及び概要について説明する。
【００４５】
なお、図１は、本実施形態における電子書籍提供システム１の構成を示すシステム構成図であり、図２は、本実施形態の通信端末装置１０おいて書籍データを表示する際のマスク画像の一例を示す図である。また、図が煩雑になることを防止するために、図１においては、一部のユーザのみを示している。すなわち、実際の電子書籍提供システム１においては、図１に表示するよりも多数の通信端末装置１０が存在している。
【００４６】
本実施形態の電子書籍提供システム１は、コンテンツデータとして文章を含む電子書籍データをユーザに閲覧可能に提供するシステムであって、ユーザによって利用される通信端末装置１０と、ネットワーク２０と、電子書籍を管理するための電子書籍提供サーバ装置３０と、を有している。
【００４７】
通信端末装置１０は、パーソナルコンピュータ、タブレット型情報通信端末装置、スマートフォン、電子書籍リーダ等の通信端末装置であり、ネットワーク２０を介して、電子書籍提供サーバ装置３０から電子書籍データを取得（ダウンロード）する機能を有している。そして、通信端末装置１０は、ＥＰＵＢ(イーパブ)等の形式にて記述された電子書籍データを表示パネルに表示させるリーダ機能を有している。
【００４８】
特に、通信端末装置１０は、本実施形態の電子書籍提供システム１は、所定のマスク画像を、電子書籍データに基づいて表示すべき文章を含むコンテンツに対して重畳し、当該コンテンツの一部（具体的には、文章の一部）のみをユーザに視認させ、読み効率の向上をサポートする表示制御を行う構成を有している。
【００４９】
すなわち、通信端末装置１０は、電子書籍データをコンテンツとして表示する際に、例えば、図２に示すように、注視点Ｏを検出すると、当該注視点Ｏへの停留時にユーザが読むべき文字列（後述するセグメントＳ１及びセグメントＳ２）のみを視認可能としつつ、他の文字列を視認不能にするマスク画像を重畳した状態（マスキング状態）にて当該電子書籍データ（すなわち、電子書籍データに基づいて表示すべき文章のコンテンツ）を閲覧可能にする構成を有している。
【００５０】
また、図２には、検出された又は予測された注視点（注視点座標）Ｏと注視点Ｏを含むセグメントＳ１及び当該セグメントＳ１の文章の文字配列方向における次のセグメントＳ２のみを視認可能とする透過領域Ａ１と、他のセグメント（コンテンツの所定の部分）の視認を不能にする不透過領域Ａ２と、を有するマスク画像Ｍが表示すべき文章を含むコンテンツ上に重畳されて表示されていることを示す例を示している。ただし、図２においては、説明の都合上コンテンツの文章が透過されているが、説明の便宜上のみの理由で有り、当該図２の不透過領域は、実際には完全に視認不能な領域であり、黒塗りなどによりマスキングされている。
【００５１】
具体的には、本実施形態の通信端末装置１０は、電子書籍データに基づいて、ユーザによって閲覧可能にその文章を含むコンテンツを表示する際に、
（１）表示しているコンテンツを閲覧するユーザの視点を注視点として検出し、
（２）検出した注視点を基準に、コンテンツの所定の部分を視認不能にする不透過領域と、コンテンツの一部を視認可能に透過する透過領域と、を有するマスク画像を、コンテンツに重畳させた画像を、表示させる
電子書籍閲覧処理を実行する構成となっている。
【００５２】
そして、通信端末装置１０は、検出した注視点が移動した否かを検出するとともに、当該注視点の移動を検出した場合に、当該注視点の移動を検出した際に用いた情報に基づいて、当該注視点の移動先を予測する、構成を有している。
【００５３】
一般的に、人間の視野は、解像度の高いおよそ直径５度の中心視野と、そのまわりの解像度の低い周辺視野から構成されている。そして、文字の認識には中心視野の解像度を必要とするため、人間は中心視野を２〜６文字程度の間隔で移動させつつ、文章を読み進めていく。また、読書中の眼球運動は、文字を認識している間の注視状態を示す「停留」と、次の停留点への移動運動を示す「サッカード」と、を繰り返すことが知られており、効率よく読むためには、視点をサッカードさせる位置に当該視点を停滞させるための強調を行うことが有効である。
【００５４】
そこで、本実施形態の通信端末装置１０は、読書中（すなわち、閲覧中）に移動するユーザの注視点を検出しつつ、当該注視点が停留した際に、ユーザが認識すべきコンテンツの文章の部位を視認可能にし、かつ、当該部位以外を視認不能に表示する電子書籍閲覧処理を実行することによって、ユーザの注視点の移動に伴って視認すべき部位を的確に視認させて、すなわち、次に注視点を移すべき文字列を強制的に視認させて、ユーザの視点移動を的確に誘導することができるようになっている。
【００５５】
そして、通信端末装置１０は、読書中の視点移動に不慣れなユーザ等であっても、視点の移動先を見失うことなく、確実に視点移動を誘導して、円滑な読書を実現することができるとともに、効率よく読ませることができるようになっている。
【００５６】
なお、マスク画像の形態に関しては、任意であり、例えば、図２に示すように、特定した認識部位以外の文章（すなわち、文字列）を黒等に塗り潰すような形態に限らず、特定した認識部位のみ視認可能になる形状であればよい。
【００５７】
電子書籍提供サーバ装置３０は、ユーザに提供可能な電子書籍に対応する電子書籍データが記録される電子書籍データベース４０を有し、通信端末装置１０からの要求に従い、電子書籍データを配信する構成を有している。
【００５８】
［Ａ２］通信端末装置
次に、図３〜５を参照しつつ、本実施形態の通信端末装置１０について説明する。なお、図３は、本実施形態の通信端末装置１０の構成を示すブロック図であり、図４は、本実施形態の注視点移動予測アルゴリズムの一例であって、文字の配列方向としてのＸ軸方向に対する注視点の移動距離と、初速の関係を示すグラフである。また、図５は、セグメント化された文章（コンテンツ）を説明するための図である。
【００５９】
本実施形態の通信端末装置１０は、図３に示すように、ネットワーク２０に通信接続される通信制御部１１０と、ユーザの両眼の画像を撮像するためのカメラユニット１２０と、表示部１３０と、表示部１３０に対する画像の表示を制御する表示制御部１４０と、各種の情報に対応するデータが記録されるデータ記録部１５０と、タッチパネルなどにより構成される操作部１７０と、電子書籍閲覧処理を実行するアプリケーション実行部１８０と、端末管理制御部１９０と、を有し、上記の各部は、バスＢによって相互に接続される
【００６０】
通信制御部１１０は、所定のネットワークインターフェースであり、アプリケーション実行部１５０及び端末管理制御部１９０の制御の下、基地局ＢＳを介してネットワーク２０に接続される電子書籍提供サーバ装置３０、又は、図示しない他の通信端末装置と通信回線を構築し、電子書籍提供サーバ装置３０又は図示しない他の通信端末装置と種々のデータの授受を行う。
【００６１】
カメラユニット１２０は、光学システムと、当該光学システムから入力された光学画像を電気信号に変換するＣＣＤＩセンサ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）と、ＣＣＤＩセンサ部において生成された電気信号に基づいて、１２０ｆｐｓのフレームレートにて、画像データを生成する生成部と、を有する。
【００６２】
特に、本実施形態のカメラユニット１２０は、注視点の移動先を迅速に予測するために、６０ｆｐｓ又は１２０ｆｐｓ（フレーム／秒）の撮像能力を有している。ただし、２４０ｆｐｓ（フレーム／秒）の撮像能力を有していてもよい。
【００６３】
なお、画像データの形式は任意であり、例えば、ＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ２）形式、又は、Ｈ．２６４形式にて、動画像データを生成するようにしてもよい。
【００６４】
また、カメラユニット１２０は、通信端末装置１０にカメラを内蔵するとともに、当該カメラユニット１２０の画角内にユーザの顔全体が収まるように、通信端末装置１０の表示部１３０の近傍に配置されている。そして、カメラユニット１２０は、電子書籍閲覧処理中に、常時、読書中におけるユーザの顔を画像化し、画像化した顔の画像データを出力する構成を有している。ただし、カメラユニット１２０は、通信端末装置１０とは、別個に設け、読書中のユーザの顔を撮像するようにしてもよい。
【００６５】
表示部１３０は、所定のサイズ（例えば、５インチ、Ｗ１９２０×Ｈ１０８０ピクセル）の画像表示領域を有する液晶素子又はＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部１４０において生成された描画データに基づいて所定の画像を表示する。なお、例えば、本実施形態の表示部１３０は、例えば、本発明の表示手段を構成する。
【００６６】
表示制御部１４０は、電子書籍データに基づいてそのコンテンツを表示部１３０に表示させる際に、電子書籍データに基づいて表示すべきコンテンツにマスク画像が重畳した画像を表示させるための描画データを生成して表示部１３０に出力する。
【００６７】
データ記録部１５０は、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥｒａＳｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やフラッシュメモリにより構成される。
【００６８】
そして、データ記録部１５０は、電子書籍閲覧処理を実行し、ユーザが電子書籍を閲覧（読書）するための電子書籍リーダアプリケーション（以下、「リーダアプリ」という。）を含む各種のアプリケーションが記録されるアプリケーション記録部１５１と、電子書籍閲覧処理に用いるアルゴリズム等が記録されるアルゴリズム記録部１５２と、電子書籍データが記録される電子書籍データ記録部１５３と、マスク画像のデータ（以下、「マスク画像」という。）が記録されるマスク画像記録部１５４と、ワークエリアとして用いられるＲＡＭ１５５と、を有している。
【００６９】
特に、アルゴリズム記録部１５２には、サッカードによる注視点の移動先を予測するための予測用アルゴリズムと、注視点の検出に用いる注視点検出アルゴリズムと、注視点の検出時に瞳孔の中心座標（以下、「瞳孔中心座標」という。）を検出する際の補正用データと、が記録される。
【００７０】
具体的には、予測用アルゴリズムとしては、図４に例示するように、サッカードの移動開始速度（すなわち、初速）と、当該サッカードによる注視点の文字配列方向（表示部１３０のＸ軸方向）に対する移動距離との関係を示すアルゴリズムが記録されている。特に、図４には、文字の配列方向としてのＸ軸方向に対する注視点の移動距離Ｌ（ｐｉｘｅｌ）と、初速ｖ（ｐｉｘｅｌ／ｆｒａｍｅ）の関係を示している。
【００７１】
また、注視点検出アルゴリズムとしては、カメラユニット１２０により撮像されたフレーム画像からユーザの注視点を検出するためのアルゴリズムが記録される。
【００７２】
さらに、補正用データとしては、予めキャリブレーションを実行して得られたデータであって、注視点検出時の検出誤差及び移動先予測時の誤差を最小化するために利用されるデータが記録される。
【００７３】
なお、予測用アルゴリズム、注視点検出アルゴリズム及び補正用データの詳細については後述する。
【００７４】
また、電子書籍データ記録部１５３には、電子書籍ＩＤなどの所定の情報に対応付けて電子書籍提供サーバ装置３０から取得した電子書籍データが記録される。
【００７５】
さらに、マスク画像記録部１５４は、電子書籍閲覧処理にて、生成されたマスク画像を記録する。なお、マスク画像記録部１５４に記録されるマスク画像は、ユーザの注視点移動に伴い、順次更新される。
【００７６】
操作部１７０は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキー等の多数のキーであって、表示部１３０上に設けられたタッチセンサにより構成され、各操作を行う際に用いられるようになっている。特に、操作部１７０は、文章データを閲覧する際に、スクロール操作、ページ送り操作（ページめくり）、その他操作を行う際に用いられる。
【００７７】
アプリケーション実行部１８０は、独立した中央演算処理装置（ＣＰＵ）によって構成され、又は、端末管理制御部１９０の中央演算処理装置（ＣＰＵ）を用いて構成されるとともに、端末管理制御部１９０による制御の下、リーダアプリを実行することにより、電子書籍閲覧処理を実行する。
【００７８】
具体的には、アプリケーション実行部１８０は、リーダアプリを実行することにより、電子書籍データを取得し、そのコンテンツの表示管理を行うデータ取得管理部１８１と、ユーザの注視点の座標を検出する注視点検出部１８２と、サッカードによる注視点の移動先を予測する移動先予測部１８３と、注視点に基づいてユーザが認識する認識部位（セグメント）を特定する認識部位特定部１８４と、マスク画像を生成するマスク画像生成部１８５と、表示すべきコンテンツにマスク画像とを重畳する画像処理部１８６と、を実現する。
【００７９】
なお、例えば、本実施形態のデータ取得管理部１８１は、通信制御部１１０と連動しつつ、本発明の取得手段を構成し、注視点検出部１８２は、カメラユニット１２０と連動することにより、検出手段を構成する。また、例えば、本実施形態の移動先予測部１８３は、本発明の予測手段を構成し、認識部位特定部１８４は、本発明の特定手段を構成し、さらに、例えば、マスク画像生成部１８５は、表示制御部１４０及びデータ記録部１５０と連動して、表示制御手段を構成する。
【００８０】
データ取得管理部１８１は、通信制御部１１０と連動しつつ、ユーザの操作部１７０に対する入力操作に基づいて、電子書籍提供サーバ装置３０から電子書籍データを取得して、電子書籍データ記録部１５３に記録させる。
【００８１】
また、データ取得管理部１８１は、ユーザの操作に基づく表示制御を実行するとともに、電子書籍データに基づいてそのコンテンツを表示部１３０に表示する際に、操作部１７０の操作に基づいて表示部１３０に表示すべき文章（コンテンツとしての該当する部分の文章）及び必要な情報の管理を行う。
【００８２】
特に、データ取得管理部１８１は、必要な情報として、電子書籍データをコンテンツとして表示部１３０に表示する前に、電子書籍データに含まれる各文章に対して、セグメント単位のマーキングの情報（以下、「セグメント情報」という。）を生成し、各部に提供する。
【００８３】
具体的には、データ取得管理部１８１は、図５に示すように、コンテンツに含まれる文章データの各文章に形態素解析（文章解析）を実行するとともに、形態素解析された各文章に対して、予め定められた文字数又はユーザによって設定された読書レベルに対応する基準文字数に基づいて、所定の文字数（例えば、８〜１０文字程度）のセグメントに分割してセグメント情報を生成し、該当する電子書籍データとともに電子書籍データ記録部１５３に記録する。
【００８４】
なお、データ取得管理部１８１は、所定の文字数として、基準文字数またはその前後の文字数における句読点単位又は意味のある纏まりとなる文節などのセグメントに分割し、セグメント情報を生成する。また、基準文字数は、固定長であってもよく、予めユーザの読書への熟練度を登録させておき、ユーザに合わせて、セグメント長を変えつつ、分割するようにしてもよい。ただし、電子書籍提供サーバ装置３０から電子書籍データを取得する際に、当該電子書籍データにセグメント情報が付さていてもよい。
【００８５】
一方、データ取得管理部１８１は、操作部１７０の操作によって閲覧すべく特定の電子書籍データが選択された場合には、該当する電子書籍データ及びセグメント情報を読み出すとともに、電子書籍閲覧処理の実行中、操作部１７０の操作に伴って該当する部分の文章及びセグメント情報を認識部位特定部１８４及び画像処理部１８６に出力する。
【００８６】
注視点検出部１８２は、電子書籍閲覧処理の実行中、カメラユニット１２０によって撮像されたフレーム毎のユーザの顔の画像データに基づいてユーザの両眼を特定することによってその注視点を検出する注視点検出アルゴリズムを実行し、検出したフレーム毎の注視点の座標（以下、「注視点座標」という。）を移動先予測部１８３に供給する。
【００８７】
具体的には、注視点検出部１８２は、カメラユニット１２０を制御し、所定のタイミングの到来をトリガとして、ユーザの顔（両眼の瞳孔）を撮像して顔画像の画像データを生成させ、生成させた画像データを取得する。
【００８８】
そして、注視点検出部１８２は、フレーム毎に、顔画像の画像データを取得すると、注視点検出アルゴリズムを実行し、
（１）当該取得した画像データの中からユーザの両眼の瞳孔を検出し、
（２）当該両眼の瞳孔中心座標を算出し、
（３）当該算出した瞳孔中心座標に基づいて、表示部１３０上における注視点座標を検出し、
検出した注視点座標を移動先予測部１８３に供給する。
【００８９】
特に、注視点検出部１８２は、注視点検出アルゴリズムとしては、フレーム画像を２値化するとともに、当該２値化された画像から瞳孔中心座標を検出し、瞳孔中心座標と、ユーザの眼から表示部１３０の表示パネルまでの距離と、に基づいて、注視点座標を検出するための各処理を実行する。
【００９０】
なお、眼から表示部１３０の表示パネルまでの距離は、ユーザの読書姿勢等に応じて変化するが、一般に３０〜４０ｃｍ程度が推奨されているため、予め、この範囲内に距離を固定化しておくものとする。また、具体的な注視点検出アルゴリズムは、非特許文献１及び２に記載のように公知であるためその説明は省略する。
【００９１】
一方、注視点検出部１８２は、補正用データを利用して、算出したフレーム毎の注視点座標を補正してもよい。すなわち、注視点検出部１８２は、予めキャリブレーションを実行して得られた補正用データをアルゴリズム記録部１５２から読み出し、注視点検出時の検出誤差及び移動先予測時の誤差を最小化してもよい。
【００９２】
特に、キャリブレーションの手法については、任意である。例えば、ユーザの頭を固定した状態にて、３０〜４０ｃｍ離れた位置に１０点程度の光源を配置し、ユーザに各光源を注視させ、その状態での瞳孔中心座標と実空間上における光源位置座標との差分値に基づき、補正用データを生成してアルゴリズム記録部１５２に予め記録しておく。そして、注視点検出部１８２は、注視点検出時に瞳孔中心座標から補正用データにより示される差分値を減じ、検出座標を補正する。キャリブレーションの手法は、非特許文献１及び２に記載のように公知であるため、詳細は省略する。
【００９３】
なお、カメラユニット１２０におけるユーザの顔の撮像開始タイミングは、任意に設定可能である。例えば、注視点検出部１８２は、該当する電子書籍データが選択されて表示開始の操作が実行された際に撮像を開始するようにしてもよい。ただし、本実施形態においては、説明を具体化するため、以下においては、ユーザが操作部１７０に読書を行う旨の入力を行った際に撮像を開始するものとして説明する。
【００９４】
移動先予測部１８３は、電子書籍閲覧処理の実行中、注視点検出部１８２によって検出されたフレーム毎の注視点座標に基づいて、注視点が移動したか否かを検出するとともに、当該注視点の移動を検出した場合に、当該注視点の移動を検出した際に用いた情報に基づいて、当該注視点の移動先を予測する。
【００９５】
具体的には、移動先予測部１８３は、注視点検出部１８２によって検出されたフレーム毎の注視点座標の変化量（例えば、現フレームと、直前の過去２フレームの注視点座標の変化量）が所定の条件を具備するか否か（例えば、変化量が閾値を超えるか否か）を判定する。このとき、移動先予測部１８３は、現フレームと過去のフレームのいずれかのフレームと変化量が所定の条件を具備するか否かを判定してもよいし、現フレームと過去のフレームのそれぞれの変化量の双方又はその合計した値が所定の条件を具備するか否かを判定してもよい。
【００９６】
そして、移動先予測部１８３は、検出されたフレーム毎の注視点座標の変化量が所定の条件を具備する場合に、当該変化量に基づいてサッカードの移動開始速度（すなわち、初速度）を算出するとともに、当該算出した移動開始速度と、アルゴリズム記録部１５２に記録されている予測アルゴリズムと、に基づいて、注視点の移動距離を推定しつつ、当該注視点の移動先を予測する。
【００９７】
特に、移動先予測部１８３は、
（１）アルゴリズム記録部１５２から、例えば、図５に示す予測アルゴリズム読み出し、
（２）フレーム間の変化量とフレームレートに基づいて、注視点の移動速度（具体的には、移動開始速度（サッカードの初速ｖ））を算出し、
（３）算出した速度（すなわち、移動開始速度（初速ｖ））を予測アルゴリズムに代入して文章の文字配列方向（表示部１３０上のＸ軸）に対する注視点の移動距離（ピクセル数）を決定し、
（４）決定した移動距離をサッカード開始時における注視点座標（すなわち、ピクセルに基づくｘ及びｙの座標）に加算し、サッカードによる注視点の移動先の注視点座標（以下、「移動先注視点座標」ともいい、ｘ及びｙ座標を示す。）を予測する。
【００９８】
例えば、移動先予測部１８３は、移動開始速度の算出においては、現フレームにおける注視点座標と、直前の過去の２フレームにおける注視点の中心座標の３フレーム分の注視点座標の変化量（差分値）を算出し、当該変化量を３フレームの撮像時間（例えば、１２０ｆｐｓ（フレーム／秒）の場合には２５ｍｓ）にて除算して、サッカードの移動開始速度を算出する。このとき、移動先予測部１８３は、現フレームと過去のフレームのいずれかのフレームと変化量に基づいて移動開始速度を算出してもよいし、現フレームと過去のフレームのそれぞれの変化量を合計した値に基づいて移動開始速度を算出してもよい。
【００９９】
なお、移動開始速度の算出に用いるフレーム数においては、カメラユニット１２０のフレームレートに依存する。すなわち、サッカードに要する時間（注視点の移動時間）は、通常５０ｍｓ（ミリ秒）程度であり、表示部１３０における画像描画には、１０ｍｓ程度必要となるため、ユーザに違和感を与えることなく、マスク画像とコンテンツとの重畳画像の描画を行うには、「５０ｍｓ（サッカード時間）−１０ｍｓ（再描画時間）＝４０ｍｓ」以内に、認識部位の特定及びマスク画像の生成を行う必要がある。
【０１００】
一方、サッカードの開始を検出するためには、サッカード開始直前のフレーム画像における注視点座標と次のフレームにおける注視点座標の変化量を監視することが必要になるため、最低２フレーム分の画像が必要となる。
【０１０１】
したがって、フレームレートが１２０ｆｐｓ（フレーム／秒）の撮像能力を有するカメラユニット１２０の倍には、サッカードの開始を検出するためには、最低でも約１７ｍｓ（２フレームの撮像時間）程度の時間が必要となるので、マスク画像の生成には、「４０ｍｓ−１７ｍｓ＝約２３ｍｓ」を確保することができる。
【０１０２】
ただし、フレームレートが低速となる６０ｆｐｓの撮像能力であっても、処理に時間がかかるものの、十分に電子書籍閲覧処理を実行することが可能である。また、フレームレートがさらに高速となる２４０ｆｐｓの撮像能力を有するカメラユニット１２０を備えることができれば、サッカードの開始を検出するためのフレームとしては、３フレーム確保することができる。また、注視点は微動することが知られており、サッカードの開始を検出するためのフレームとしては、３フレーム確保することができれば、的確に移動開始を検出することができるとともに、注視点の移動開始検出時間を短縮することもできる。
【０１０３】
他方、移動先予測部１８３は、現フレーム及び直前のフレームの２フレームの注視点座標の変化量に基づいて終始点の移動を検出し、移動開始速度を算出してもよいし、座標及び移動距離を、Ｘ軸及びＹ軸の二次元として算出してもよい。ただし、二次元として座標及び移動距離を用いる場合の詳細については、後述する。また、図４に示す予測アルゴリズムは、公知である（非特許文献２参照）ため詳細は省略する。さらに、移動先予測部１８３は、このとき、補正用データを用いて移動先の予測値を補正することを可能である。
【０１０４】
認識部位特定部１８４は、電子書籍閲覧処理の実行中、表示部１３０表示されているコンテンツの文章の中から、検出された注視点又は予測された注視点（具体的には注視点座標や移動先注視点座標）にユーザの視点を停留させることによってユーザが認識すべき文章の部位（すなわち、該当するセグメント）を認識部位として特定し、当該特定した認識部位の表示部１３０上の位置座標を特定する。
【０１０５】
具体的には、認識部位特定部１８４は、データ取得管理部１８１によって生成されたセグメント情報と、注視点検出部１８２により算出された注視点座標又は移動先予測部１８３によって予測された移動先注視点座標と、表示部１３０の表示領域及び文章のフォントサイズなどのコンテンツを表示する際に必要な情報と、に基づいて、注視点座標上に存在するセグメントと、当該セグメントの文章の文字配列方向において次のセグメントの２つのセグメントを認識部位として特定する。
【０１０６】
そして、認識部位特定部１８４は、コンテンツを表示する際に必要な情報と、特定したセグメントと当該セグメントの次のセグメントと、に基づいて、表示部１３０上における座標範囲を特定し、特定した座標範囲をマスク画像生成部１８５及び画像処理部１８６に出力する。
【０１０７】
なお、認識部位特定部１８４は、注視点座標上に存在するセグメントと、当該セグメントの次のセグメントの２つのセグメントを認識部位として特定しているが、注視点座標上に存在するセグメントのみを認識部位として特定してもよいし、３以上のセグメントを認識部位として特定してもよい。
【０１０８】
マスク画像生成部１８５は、電子書籍閲覧処理の実行中、認識部位特定部１８４によって認識部位が特定される毎に、例えば、図２に示すような、認識部位特定部１８４による特定された認識部位であるセグメントの表示部１３０上の領域を透過し、他のセグメントを視認不能に不透過にするマスク画像を生成し、画像処理部１８６に順次出力する。
【０１０９】
なお、マスク画像生成部１８５は、特定された認識部位が表示部１３０において表示される際に複数行に跨がっている場合であっても、特定されたセグメントを透過可能なマスク画像を生成する。
【０１１０】
画像処理部１８６は、表示部１３０に表示すべきコンテンツとマスク画像生成部１８５によって順次生成されたマスク画像をリアルタイムで順次重畳し、重畳した画像を表示制御部１４０に出力する。
【０１１１】
端末管理制御部１９０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、通信端末装置１０の全般的な機能を総括的に制御する。
【０１１２】
［Ａ３］電子書籍閲覧処理
次に、図６及び７を参照しつつ本実施形態の通信端末装置１０において実行される電子書籍閲覧処理の動作について説明する。なお、図６及び図７は、本実施形態の通信端末装置１０にて実行される電子書籍閲覧処理を示すフローチャートである。
【０１１３】
本動作においては、データ記録部１５０に、図４に示す予測アルゴリズム、注視点検出アルゴリズム及び補正用データが記録済みの状態にあるものとする。また、本動作に先立って閲覧が実行される電子書籍データに関するセグメント情報が生成されて既に電子書籍データ記録部１５３に電子書籍データに対応付けて記録されているものとする。さらに、本動作においては、リーダアプリが実行されているものとする。
【０１１４】
なお、本動作においては、表示部１３０の表示領域及び文字フォントなどの条件に沿って当該表示部１３０に一度に表示されるべきコンテンツを１ページのコンテンツであると定義して説明するとともに、表示部１３０に表示されているページのコンテンツとは、マスク画像によって透過されているか否かにかかわらず当該表示部１３０の表示領域に形成されるコンテンツを示すものとする。
【０１１５】
まず、データ取得部１８１は、操作部１７０を介して特定の電子書籍データの閲覧開始を指示する入力を検出すると（ステップＳ１００）、電子書籍データ記録部１５３から該当する電子書籍データ及びセグメント情報を取得し、コンテンツの表示開始位置を特定する（ステップＳ１０１）。
【０１１６】
このとき、データ取得部１８１は、表示制御部１４０及び操作部１７０と連動して、コンテンツの表示部１３０上の表示領域及び文字フォントなど表示に関する情報を設定する。また、データ取得部１８１は、以前に当該電子書籍において閲覧の中断がされたなどによって表示再開場所がマーキング（以下、「表示再開マーキング」という。）されている場合には、当該表示再開マーキングされた文章を有するコンテンツ内の位置を表示開始位置と特定し、当該表示再開マーキングがない場合には、電子書籍データに基づいて形成されるコンテンツの先頭を表示開始位置として特定する。
【０１１７】
次いで、データ取得部１８１は、マスク画像生成部１８５及び画像処理部１８６と連動し、該当するコンテンツのページにマスク画像が重畳された初期画像として表示部１３０に表示す（ステップＳ１０２）。
【０１１８】
具体的には、データ取得部１８１は、コンテンツの表示開始位置を基準として表示部１３０の表示領域に表示可能な文章をページのコンテンツとして特定する。また、マスク画像生成部１８５は、当該最初のページのコンテンツにおいて表示開始位置を含むセグメントと次のセグメントのみを透過表示するマスク画像を生成する。そして、画像処理部１８６は、当該ページのコンテンツに生成されたマスク画像を重畳して表示制御部１４０を介して表示部１３０に表示する。
【０１１９】
次いで、注視点検出部１８２は、カメラユニット１２０に制御コマンドを供給し、ユーザの顔（具体的には両眼）の撮像を開始させ、顔画像の画像データを出力させる（ステップＳ１０３）。
【０１２０】
次いで、注視点検出部１８２は、カメラユニット１２０から最初のフレーム又は該当するフレームの画像データを取得し（ステップＳ１０４）、アルゴリズム記録部１５２に記録されている注視点検出アルゴリズムに従って、注視点座標を算出する（ステップＳ１０５）。
【０１２１】
具体的には、注視点検出部１８２は、
（１）フレーム画像を２値化して当該画像上のユーザの両眼の瞳孔を検出し、
（２）フレーム画像上の検出した両眼の瞳孔の瞳孔中心座標を補正データに基づいて算出し、
（３）当該算出した瞳孔中心座標と、ユーザの両眼から表示部１３０までの距離に基づいて、注視点座標を検出する。
【０１２２】
次いで、注視点検出部１８２は、過去のフレームにおける注視点座標と現在のフレームにおける注視点座標とを比較し（ステップＳ１０６）、両フレーム間における注視点座標の変化量（文字の文字配列方向における変化量Δｘ）が所定の条件を具備するか否か（予め定められた閾値を超えるか否か）を判定する（ステップＳ１０７）。
【０１２３】
このとき、注視点検出部１８２は、変化量が所定の条件を具備すると判定した場合には、注視点の移動が検出されたとしてステップＳ１１１に移行し、当該変化量が所定の条件を具備しないと判定した場合には、注視点の移動がないとしてステップＳ１０４の処理に戻る。なお、過去フレームが存在しない場合には、注視点検出部１８２は、注視点座標の変化量が所定の条件を具備しないと判定する。
【０１２４】
次いで、移動先予測部１８３は、注視点座標の変化量が所定の条件を具備すると判定した場合には、過去のフレームにおける注視点座標及び現在のフレームにおける注視点座標の差分（すなわち、注視点の移動距離）と、フレームレートと、に基づいて移動開始速度（初速度ｖ）を算出する（ステップＳ１１１）。
【０１２５】
次いで、移動先予測部１８３は、アルゴリズム記録部１５２から予測アルゴリズム及び補正用データを参照し、セグメント情報に基づいて、サッカードによる注視点座標の移動先を算出する（ステップＳ１１２）。
【０１２６】
具体的には、移動先予測部１８３は、予測アルゴリズムを参照しつつ、算出した移動開始速度に基づいて、文章の文字配列方向（表示部１３０上のＸ軸方向）に対する注視点の移動距離を推定しつつ、当該注視点の移動先（すなわち、表示部１３０上における座標）を推定する。
【０１２７】
次いで、認識部位特定部１８４は、当該移動先の注視点座標の属するセグメント及び文章の文字配列方向において次のセグメントを特定する（ステップＳ１１３）。具体的には、認識部位特定部１８４は、表示部１３０に表示されているページの各セグメントの座標範囲と、予測された移動先注視点座標と、に基づいて、予測された移動先注視点の座標を含むセグメントと文章の文字配列方向において当該セグメントの次のセグメントとの２つのセグメントを認識部位として特定する。
【０１２８】
次いで、認識部位特定部１８４は、特定したセグメントと当該セグメントの次のセグメントとの表示部１３０上における座標範囲を特定する（ステップＳ１１４）。
【０１２９】
次いで、マスク画像生成部１８５は、特定された２つのセグメントを視認可能にしつつ、他の部位を視認不能にするためのマスク画像を生成し、画像処理部１８６に提供する（ステップＳ１１５）。
【０１３０】
次いで、画像処理部１８６は、データ取得管理部１８１から取得した該当するページのコンテンツとマスク画像を重畳し、当該重畳した画像を、表示制御部１４０を介して表示部１３０に表示する（ステップＳ１１６）。
【０１３１】
次いで、データ取得管理部１８１は、操作部１７０の操作に基づいて表示されているコンテンツにおいてページが切り替わったか若しくは又はスクロールされたか、又は、ステップＳ１１３の処理で特定されたセグメントが表示されているページの最後のセグメントであるかなど、表示部１３０に表示されているコンテンツのページの切り替えの有無を判定する（ステップＳ１１７）。
【０１３２】
このとき、データ取得管理部１８１は、表示されているコンテンツのページの切り替えが実行されたと判定した場合には、ステップＳ１０２の処理に戻り、当該ページの切り替えがないと判定した場合には、ステップＳ１２１の処理に移行する。
【０１３３】
次いで、データ取得管理部１８１は、電子書籍の閲覧の終了又は電源のＯＦＦなど、コンテンツの表示の終了操作が実行された否かを判定する（ステップＳ１２１）。このとき、データ取得管理部１８１は、当該終了操作が実行されていないと判定した場合には、ステップＳ１０４の処理に移行し、終了していないと判定した場合には、本動作を終了させる。
【０１３４】
以上、本実施形態の通信端末装置１０は、注視点が移動すると、移動した注視点によって視認させるためのコンテンツの一部を強制的に視認させることができるので、コンテンツを閲覧中のユーザにおいて、注視点の誘導を強制的に誘導することができるとともに、読書中の視点移動に不慣れなユーザ等であっても、視点の移動先を見失うことなく、確実に視点移動を誘導して、円滑な読書を実現し、かつ、効率よく読ませることができる。
【０１３５】
また、本実施形態の通信端末装置１０は、注視点を停留させた際に一度に認識可能な文章の部位や当該部位に加えて次に注視点が停留することによって認識可能な文章の部位など、ユーザが認識すべき文章の部位のみ認識可能にマスク画像をコンテンツに重畳表示することができるので、サッカードの誘導をスムーズにすることによって文章の読み効率を向上させることができる。
【０１３６】
また、本実施形態の通信端末装置１０は、ユーザによって一度の停留にて読むべきセグメントが複数行に跨る場合であっても、ユーザの読みレベルに合わせてスムーズにかつ確実に注視点の移動運動を実行することができる。
【０１３７】
［Ｂ］第２実施形態
次に、図８及び図９を用いて本発明に係る電子書籍提供システムの第２実施形態について説明する。
【０１３８】
［Ｂ１］第２実施形態の概要
まず、図８を用いて本発明に係る電子書籍提供システム１の第２実施形態の概要について説明する。なお、図８は、本実施形態の通信端末装置１０において電子書籍閲覧処理を実行して電子書籍データを表示する際のマスク画像の一例を示す図である。
【０１３９】
本実施形態の電子書籍提供システムは、視野障害者に対して読み効率の向上をサポートするために、電子書籍データに基づいて表示されるコンテンツを用いて当該視野障害者による読書状態をシミュレートする点に特徴があり、その他の構成は第１実施形態と同様の構成を有している。なお、本実施形態において、第１実施形態と同一の部材については、同一の符号を付してその説明を省略する。
【０１４０】
特に、本実施形態の通信端末装置１０は、実際のエンドユーザが利用するのではなく、電子書籍提供サーバ装置３０の運営者が、視野障害状態をシミュレートしつつ、文字のフォント、文字サイズ、文章レイアウト、文字間隔等を変更して、電子書籍データを作成、配信することにより、視野障害のあるユーザにも読み易い電子書籍データを提供するための構成を有している。
【０１４１】
例えば、通信端末装置１０は、図８（Ａ）〜（Ｃ）に示すように、視野狭窄などの視野障害と同様なマスク画像を用いてユーザの視界をシミュレートする構成を有している。なお、図８（Ａ）は、代表的な視界が円形に狭まっている視野狭窄者の視界をシミュレートするためのマスク画像であり、図８（Ｂ）は、注視点近傍に視野欠損が生じている視野障害者の視界をシミュレートするためのマスク画像である。また、図８（Ｃ）は、司会が半月又は三日月状に狭窄している視野障害者の視界をシミュレートするためのマスク画像である。
【０１４２】
このような構成を有することによって、本実施形態の通信端末装置１０は、視野狭窄のあるユーザ、注視点近傍に視野欠損のあるユーザ及び半月型又は三日月型に視野障害の生じているユーザなど、視野障害のあるユーザと同様にコンテンツを視認すること可能なシミュレーション結果を得ることができる。
【０１４３】
通常、視野健常者の両眼に眼鏡などの補助器具によってマスクを強制的にすることも可能であるが、マスク形状に対応してそれぞれの補助器具を用意しなければならず、また、たとえ補助器具を用いて視野障害者と同様に視認範囲を実現したとしても、視野健常者は、制限された視認範囲の中で注視点をコントロールすることができるので、厳密にシミュレーションすることができない場合も多い。
【０１４４】
そこで、本実施形態においては、注視点に基づいて視認範囲を制限することができるので、視野健常者であっても視野障害者と同等の視認範囲を実現し、かつ、当該注視点のトラッキングを行うことができるので、的確に、視野障害者のシミュレーションを行うことができるようになっている。そして、本実施形態においては、表示態様やフォントサイズなどの電子書籍データに基づいてコンテンツを表示する際のデータ構成に反映させることができるようになっている。
【０１４５】
なお、本実施形態の通信端末装置１０は、シミュレーション端末装置として、単体にて利用するようにしてもよいが、電子書籍データの作成装置の一部として表示部を構成するようにしてもよい。
【０１４６】
［Ｂ２］通信端末装置
次に、図９を用いて本実施形態の通信端末装置１０の構成について説明する。なお、図９は、本実施形態の通信端末装置１０の構成を示すブロック図である。なお、本実施形態の通信端末装置１０によって実行される電子書籍閲覧処理については、特定された認識部位に基づいてマスク画像の位置及び形状を特定する処理に代えて、検出された注視点の座標に基づいて予め定められた形状のマスク画像を生成する処理を用いる以外は、同一の処理を実行するので、その説明は省略する。
【０１４７】
本実施形態の通信端末装置１０は、図８に示すように、通信制御部１１０と、カメラユニット１２０と、表示部１３０と、表示制御部１４０と、各種の情報に対応するデータとシミュレーション結果を記録するデータ記録部２５０と、操作部１７０と、注視点のトラッキングを行うアプリケーション実行部２８０と、端末管理制御部１９０と、を有し、上記の各部は、バスＢによって相互に接続される。
【０１４８】
データ記録部２５０は、アプリケーション記録部１５１、アルゴリズム記録部１５２、電子書籍データ記録部１５３、マスク画像記録部１５４及びＲＡＭ１５５の他に、注視点のトラッキングをシミュレーション結果として記録するトラッキングデータ記録部２５１と、を有している。
【０１４９】
トッラキングデータ記録部２５１には、電子書籍データの種別毎に、表示部１３０の表示領域のサイズ、文字フォントの大きさその他の表示に関する情報と、マスク画像の形状の種別と、注視点の表示部１３０上の座標位置の軌跡と、をシミュレーション結果のデータとして記録する。
【０１５０】
アプリケーション実行部２８０は、リーダアプリを実行することにより、データ取得管理部１８１と、注視点検出部１８２と、移動先予測部１８３と、検出された注視点など座標を中心に、透過領域及び不透過領域が設定されたマスク画像を生成するマスク画像生成部２８１と、表示部１３０に表示すべきコンテンツにマスク画像を重畳し、かつ、その結果をデータ記録部２５０に記録する画像処理部２８２と、を実現する。
【０１５１】
マスク画像生成部２８１は、電子書籍閲覧処理の実行中、検出された注視点又は予測された注視点（具体的には注視点座標や移動先注視点座標）を中心に、例えば、図８に示すような、透過領域及び不透過領域が設定されたマスク画像を生成し、生成したマスク画像を画像処理部２８２に出力する。なお、本実施形態においてマスク画像の種別は、電子書籍閲覧処理を実行する際にユーザの操作に基づいて予め設定される。
【０１５２】
画像処理部２８２は、表示部１３０に表示すべきコンテンツとマスク画像生成部１８５によって順次生成されたマスク画像をリアルタイムで順次重畳し、重畳した画像を表示制御部１４０に出力するとともに、注視点の座標の軌跡を、予め設定された表示部１３０の表示領域のサイズ、文字フォントの大きさその他の表示に関する情報及びマスク画像の形状の種別に対応付けてトラッキングデータ記録部２５１に記録する。
【０１５３】
以上、本実施形態の通信端末装置１０は、第１実施形態における効果に加えて、視野狭窄などの視野障害者における視界をシミュレートできるので、電子書籍作成時における文字のフォント、文字サイズ、文章レイアウト、文字間隔等を視野障害者に合わせつつ、電子書籍を作成する際の参考とすることができる。
【０１５４】
［Ｃ］変形例
［Ｃ１］変形例１
上記第１実施形態においては、文字配列方向（Ｘ軸方向）に対する、ユーザの注視点移動のみを検出する構成としたが、Ｘ軸方向のみならず、行方向（Ｙ軸方向）に対するユーザの注視点移動を検出し、二次元にて、ユーザの注視点の移動を検出するようにしてもよい。
【０１５５】
この場合、例えば、図１０に示すように、サッカード前の注視点座標を（ｘ１、ｙ１）、サッカード後の注視点を（ｘ２、ｙ２）として、Ｘ軸方向の移動量Δｘ＝ｘ２−ｘ１と、Ｙ軸方向の移動量Δｙ＝ｙ２−ｙ１を算出する。また、予測アルゴリズム、補正用データ及び注視点検出アルゴリズムを、各々、Ｘ軸方向とＹ軸方向の各々について、予め、別個に設けておく。
【０１５６】
なお、サッカードの初速算出時には、初速ｖをベクトル（ｖｘ、ｖｙ）として、（ｖｘ、ｖｙ）＝（Δｘ／Δｔ、Δｙ／Δｔ）により算出する。なお、Δｔは、上記第１実施形態と同様に２５ｍｓである。
【０１５７】
また、移動先の予測も、Ｘ軸、Ｙ軸の各々について、別個に算出する。すなわち、各軸に対する移動量を、各々、別個に算出するとともに、当該算出された移動量を（ｘ１、ｙ１）に加算することにより、サッカードに伴う移動先（ｘ２、ｙ２）を算出するようにすればよい。
【０１５８】
この構成により、ユーザが、例えば、読み直し、又は、読み位置を遡るために、サッカードを行い、注視点を移動させた場合においても、文字の配列方向及び行方向に対する移動を予測して、マスクにより視認可能とすべき部位を正確に予測することができる。
また、電子書籍データが、写真等の画像を含む場合においても、ユーザの視点移動に合わせて、マスクする箇所を変更して、円滑な読書を実現することができる。
【０１５９】
［Ｃ２］変形例２
上記の各実施形態においては、注視点の移動が検出された際に、マスク画像を生成し、かつ、コンテンツに重畳するマスク画像を切り換えて表示部１３０に重畳された画像を表示するようになっているが、注視点の移動が検出された際に、現在の注視点から次の注視点まで移動する動画像としてのマスク画像をリアルタイムに生成してコンテンツに重畳して表示部１３０に表示するようにしてもよい。
【０１６０】
具体的には、マスク画像生成部１８５又は２８１は、次の注視点座標に到着時刻を予測し、算出された移動開始速度と到着時刻に基づいて、移動速度を制御しつつ、現在の注視点座標から予測された移動先の注視点座標までのルートに従って、マスク画像を移動させる動画像を生成する。そして、画像処理部１８６又は２８２は、生成された動画像のマスク画像をフレーム毎にコンテンツに重畳して表示部１３０に出力する。
【０１６１】
この場合には、マスク画像生成部１８５又は２８１は、移動開始してから移動先の注視点座標に決定された到着時刻まで、予め定められたアルゴリズムによって、透過領域が変化するマスク画像を生成する。例えば、マスク画像生成部１８５又は２８１は、透過領域を徐々に文章の文字配列方向に動かすようなマスク画像の動画像を生成する。なお、マスク画像生成部１８５又は２８１は、この場合においてセグメントの関係で透過領域の領域サイズが変化する場合には、徐々に領域サイズを変化させるようになっている。
【０１６２】
［Ｃ３］変形例３
上記各実施形態においては、サッカードの初速に基づき移動先を予測し，その位置に基づいて、マスク画像を生成する構成としたが、同じコンテンツを読んだ他人の停留位置や文章の意味的まとまりなどのデータに基づいて、サッカードによる移動先を予測するようにしてもよい。
【０１６３】
この構成を採用した場合には、例えば速読のできるユーザのサッカード状態をユーザに提示し、速読の練習用に用いることも可能となる。
【０１６４】
また、注視点の移動先を予測するのではなく、サッカード開始前の注視点の属するセグメントの次のセグメントを、機械的に移動先とするように構成してもよい。
【符号の説明】
【０１６５】
１  …  電子書籍提供システム
１０  …  通信端末装置
３０  …  電子書籍提供サーバ装置
４０  …  電子書籍データベース
１１０  …  通信制御部
１２０  …  カメラ
１３０  …  表示部
１４０  …  表示制御部
１５０  …  記録部
１５１  …  アプリケーション記録部
１５２  …  アルゴリズム記録部
１５３  …  電子書籍データ記録部
１５４  …  マスク画像記録部
１５５  …  ＲＡＭ
１７０  …  操作部
１８０  …  アプリケーション実行部
１８１  …  データ取得管理部
１８２  …  注視点座標検出部
１８３  …  移動先予測部
１８４  …  認識部位特定部
１８５  …  マスク画像生成部
１８６  …  画像処理部
１９０  …  端末管理制御部
【図１】
2015230632.tif 000003
【図２】
2015230632.tif 000004
【図３】
2015230632.tif 000005
【図４】
2015230632.tif 000006
【図５】
2015230632.tif 000007
【図６】
2015230632.tif 000008
【図７】
2015230632.tif 000009
【図８】
2015230632.tif 000010
【図９】
2015230632.tif 000011
【図１０】
2015230632.tif 000012