(57)【特許請求の範囲】
【請求項１】
コンテンツを表示する画面と、
利用者の顔画像を撮像する映像取得部と、
前記映像取得部が撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析部と、
コンテンツを表示している前記画面の表示状態を前記解析部が推定した生理状態に応じて制御する表示制御部と、
前記コンテンツを切り替える操作ボタンとを備え、
前記解析部は、前記操作ボタンからの入力があったとき、これを視覚情報処理課題が終了したときとして前記生理情報の取得を開始し、当該取得の開始から所定時間経過後に当該生理情報の取得を終了する、電子表示媒体。
【請求項２】
コンテンツとして、番組とＣＭとを選択的に表示する画面と、
番組からＣＭへと前記コンテンツが切り替わったことを検出するＣＭ検出手段と、
利用者の顔画像を撮像する映像取得部と、
前記映像取得部が撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析部と、
コンテンツを表示している前記画面の表示状態を前記解析部が推定した生理状態に応じて制御する表示制御部とを備え、
前記解析部は、番組からＣＭへと前記コンテンツが切り替わったとき、これを視覚情報処理課題が終了したときとして前記生理情報の取得を開始し、当該取得の開始から所定時間経過後に当該生理情報の取得を終了する、電子表示媒体。
【請求項３】
コンピュータが、電子表示媒体として動作するために実行する画面表示制御方法であって、
利用者の顔画像を撮像する映像取得ステップと、
前記映像取得ステップが撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析ステップと、
コンテンツを表示している画面の表示状態を前記解析ステップが推定した生理状態に応じて制御する表示制御ステップと、
前記コンテンツを切り替える操作ボタンからの入力を検出するステップとを備え、
前記解析ステップは、前記操作ボタンからの入力があったとき、これを視覚情報処理課題が終了したときとして前記生理情報の取得を開始し、当該取得の開始から所定時間経過後に当該生理情報の取得を終了する、画面表示制御方法。
【請求項４】
コンピュータが、電子表示媒体として動作するために実行する画面表示制御方法であって、
利用者の顔画像を撮像する映像取得ステップと、
前記映像取得ステップが撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析ステップと、
コンテンツとして番組とＣＭとを選択的に表示している画面の表示状態を前記解析ステップが推定した生理状態に応じて制御する表示制御ステップと、
番組からＣＭへと前記コンテンツが切り替わったことを検出するＣＭ検出ステップとを備え、
前記解析ステップは、番組からＣＭへと前記コンテンツが切り替わったとき、これを視覚情報処理課題が終了したときとして前記生理情報の取得を開始し、当該取得の開始から所定時間経過後に当該生理情報の取得を終了する、画面表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子表示媒体に関する発明であって、より特定的には、電子表示媒体の画面表示制御に関する発明である。
【背景技術】
【０００２】
近年、電子表示媒体の解像度やコントラストなどハード面の性能の向上と価格の低下、及び紙を使わないというエコロジーの観点から、単行本などを携帯用の表示装置に表示して読むための電子表示装置、いわゆる電子ブックが市販されている（例えば、特許文献１）。
【特許文献１】特開２００３−１９６０１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述したような上記特許文献１に開示された電子ブックにおいては、画面のコントラストや輝度の調整を利用者が自分で行う必要がある。そのため、輝度等の調整操作を行わないまま長時間画面を見続けていると、徐々に眼の疲労、ひいては肉体的な疲労が蓄積してくる。その結果、例えば輝度が変化していないにも拘わらず画面が暗く感じ、文字が読みにくくなってくる、あるいは疲労の蓄積による眠気を感じて集中して読むことができない、等の状態になる。更に、電子ブックに限らず、テレビの視聴やパソコン、携帯電話の画面など、電子表示媒体をずっと見続けているとき（視覚情報処理課題に従事しているとき）も、視覚情報（コンテンツ等、画面に表示される内容）の損失を防ぐため、瞬目（瞬き）活動は一般に抑制される。そのため、長時間画面を見続けていると、徐々に眼の疲労、ひいては肉体的な疲労が蓄積してくる。その結果、画面に表示されている画像や文字が見えにくくなってくる、あるいは疲労の蓄積による眠気を感じてくる、等の状態となる。
【０００４】
それ故に、本発明の目的は、利用者の生理状態を推定し、生理状態に応じてコントラストや輝度等の表示制御を行う電子表示媒体を提供することである。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明は以下のような構成を採用した。
【０００６】
本発明の第１の発明は、コンテンツを表示する画面と、利用者の顔画像を撮像する映像取得部と、映像取得部が撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析部と、コンテンツを表示している画面の表示状態を解析部が推定した生理状態に応じて制御する表示制御部と、コンテンツを切り替える操作ボタンとを備え、解析部は、操作ボタンからの入力があったとき、これを視覚情報処理課題が終了したときとして生理情報の取得を開始し、当該取得の開始から所定時間経過後に当該生理情報の取得を終了する、電子表示媒体である。なお、ここでいう電子表示媒体とは、電子ブック、テレビ、パソコン、カーナビゲーション装置や携帯電話等が相当する。また、画面の表示状態の制御とは、画面の輝度・コントラストや、コンテンツの文字、画像の大きさを変化させることをいう。すなわち、ページめくりコマンド等による、表示されるコンテンツ内容そのものが変化するような制御は、ここでいう画面の表示状態の制御には含まれない。また、視覚情報処理課題とは、テレビ視聴、電子ブック閲覧、運転、連続監視作業等の、視覚情報処理の対象となる課題をいう。また、その終了時とは、テレビ番組がＣＭに入ったときや、電子ブックのページめくり操作を行ったとき、運転中に信号で停止したとき等の、一連の視覚情報処理が途切れるタイミングをいう。
【０００７】
本発明の第２の発明は、コンテンツとして、番組とＣＭとを選択的に表示する画面と、番組からＣＭへとコンテンツが切り替わったことを検出するＣＭ検出手段と、利用者の顔画像を撮像する映像取得部と、映像取得部が撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析部と、コンテンツを表示している画面の表示状態を解析部が推定した生理状態に応じて制御する表示制御部とを備え、
解析部は、番組からＣＭへとコンテンツが切り替わったとき、これを視覚情報処理課題が終了したときとして生理情報の取得を開始し、当該取得の開始から所定時間経過後に当該生理情報の取得を終了する、電子表示媒体である。
【０００８】
本発明の第３の発明は、コンピュータが、電子表示媒体として動作するために実行する画面表示制御方法であって、利用者の顔画像を撮像する映像取得ステップと、映像取得ステップが撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析ステップと、コンテンツを表示している画面の表示状態を解析ステップが推定した生理状態に応じて制御する表示制御ステップと、コンテンツを切り替える操作ボタンからの入力を検出するステップとを備え、解析ステップは、操作ボタンからの入力があったとき、これを視覚情報処理課題が終了したときとして生理情報の取得を開始し、当該取得の開始から所定時間経過後に当該生理情報の取得を終了する、画面表示制御方法である。
【０００９】
本発明の第４の発明は、コンピュータが、電子表示媒体として動作するために実行する画面表示制御方法であって、利用者の顔画像を撮像する映像取得ステップと、映像取得ステップが撮像した顔画像から人間の生理情報を取得し、当該生理情報を解析して利用者の生理状態を推定する解析ステップと、コンテンツとして番組とＣＭとを選択的に表示している画面の表示状態を解析ステップが推定した生理状態に応じて制御する表示制御ステップと、番組からＣＭへとコンテンツが切り替わったことを検出するＣＭ検出ステップとを備え、解析ステップは、番組からＣＭへとコンテンツが切り替わったとき、これを視覚情報処理課題が終了したときとして生理情報の取得を開始し、当該取得の開始から所定時間経過後に当該生理情報の取得を終了する、画面表示制御方法である。
【発明の効果】
【００１０】
上記第１の発明によれば、利用者の顔画像から利用者の生理状態を推定し、推定した生理状態に応じて画面の表示制御を行う。そのため、利用者の生理状態に応じて電子表示媒体の可読性、視認性を向上させることができる。
また、視覚情報処理課題の終了時に解析処理を行うことができ、処理負荷を軽減しつつ、より効果的に生理状態の解析を行うことが可能となる。
【００１１】
上記第２乃至第３の発明によれば、第１の発明と同様の効果が得られる。
【００１２】
また、本発明の電子表示媒体に用いられる画面表示制御方法によれば、上記第１の発明と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して説明する。尚、この実施例により本発明が限定されるものではない。
【００１４】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る電子表示媒体の一例である電子ブックの概観図である。また、図２は、本発明の第１の実施形態に係る電子ブックの機能構成を示すブロック図である。図２において、電子ブック１は、映像取得部２、コンテンツ取得部３、解析部４、表示制御部５、画面６を備えている。
【００１５】
映像取得部２は、電子ブック１の利用者の顔を撮像し、映像データとして解析部４へ出力するものであって、典型的にはカメラである。好ましい例として、映像取得部２は、例えば低照度時に対応すべく、利用者の顔を照明する発光部を備えていても良い。また、当該発光部の光源としては、利用者にまぶしさを与えないようにするため、近赤外光を用いることが考えられる。
【００１６】
コンテンツ取得部３は、例えばＣＤ−ＲＯＭやメモリーカード等の可搬性記憶媒体からコンテンツを読み出し、表示制御部５に出力する。また、外部との通信が可能な通信部（図示せず）を設け、アンテナなどを介して、外部からコンテンツを入手してもよい。
【００１７】
解析部４は、映像取得部２が撮像した利用者の画像を解析し、生理状態を推定する。また、解析部４は、推定した生理状態を解析結果として表示制御部５へ出力する。
【００１８】
表示制御部５は、上記取得したコンテンツを画面６に表示する。また、図示しない操作部を通じて入力されるユーザからの指示を受け、コンテンツのページめくり動作等を行う。また、上記解析部４による解析結果に基づいて画面６の輝度・コントラストの調整等の画面表示制御を行う。
【００１９】
画面６は、反射型液晶ディスプレイ等が該当する。ここでは、電子表示媒体の一例として電子ブックをあげているが、電子表示媒体がテレビやパソコンであれば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）等も該当する。
【００２０】
図３は、解析部４の機能構成を示すブロック図である。解析部４は、画像切り出し部４１、瞬目計測部４２、および生理状態推定部４３を備えている。画像切り出し部４１は、映像取得部２から出力される映像データから、目付近の小領域の画像データを抽出する。瞬目計測部４２は、画像切り出し部４１が切り出した眼の付近の画像データから、眼の開き度合いを表す上下まぶたの間隔（以下、眼の開度と称す）を計測する。また、瞬目計測部４２は、１フレームごとの眼の開度を計測し、目の開度の時間変化を示す波形（以下、瞬目波形と称す；図５参照）を作成する。生理状態推定部４３は、上記瞬目波形に基づいて利用者の生理状態を推定し、解析結果として表示制御部５へ出力する。
【００２１】
本実施形態では、電子ブック１が起動すると共に、カメラ（映像取得部２）が利用者の顔の撮像を開始する。電子ブック１の動作中は、１分毎に、その直前１分間の利用者の映像を解析し、瞬目情報を用いて生理状態を推測する。そして、当該生理状態に応じて、画面の表示状態を変化させる。すなわち、電子ブック１は、１分毎に利用者の生理状態に応じて画面の表示状態を変えていく。なお、ここでいう画面の表示状態の変化（画面表示制御）とは、画面の輝度・コントラストや、コンテンツの文字、画像の大きさを変化させることをいう。すなわち、ページめくりコマンド等による、表示されるコンテンツ内容そのものが変化するような制御は、ここでいう画面の表示状態の変化には含まれない。
【００２２】
ここで、生理状態の推定に瞬目情報を用いる理由を説明する。例えば、テレビ観視時には、瞬目回数は顕著に低下する。しかも、テレビ番組が面白い、すなわち興味・関心の度合いが高いときほど瞬目が少なくなる。つまり、関心度の高いものを見ているときは、瞬目回数は少なくなる。また、緊張や作業が長時間続くと、瞼が重い、あるいは眼を開けているのがつらく感じられるようになる。このような場合、すなわち、疲労している状態のときは、瞼が閉じるまでの時間、あるいは瞼が開くまでの時間が有意に長くなる。また、眠くなってきたときは、１〜２秒間の間に数回の瞬目が連続的に発生（これは、瞬目群発と呼ばれる）するようになる。以上のような瞬目の特性を計測すれば、利用者がコンテンツに集中しているか、読み疲れてきているか、あるいは眠い状態なのか等を推定することができる。
【００２３】
以下、図４〜図６を用いて、電子ブック１が行う表示制御処理の詳細動作を説明する。まず、利用者が図示しない電源スイッチを入れることで電子ブック１が起動する。電子ブック１の起動後、利用者が、コンテンツの入ったＣＤ−ＲＯＭをコンテンツ取得部３に挿入するのを受け、コンテンツ取得部３は、当該ＣＤ−ＲＯＭからコンテンツを読み込み、表示制御部５にデータを渡す。表示制御部５は、初期設定されている画面設定（輝度・コントラスト等）で、コンテンツの内容を画面６に表示する。併せて、映像取得部２は、利用者の顔撮像を開始する。撮像された画像データは、図示しないバッファに蓄積されていく。ここで、例えば上述した近赤外光による画像においては、虹彩での反射率が高いため、瞳孔だけが暗く、虹彩は眼球の白目より若干暗い程度の明るさとなる。すなわち、近赤外光による画像では、瞳孔が一番暗く、次に虹彩、白目、まぶたなどの皮膚、の順に明るくなる。そのため、この明るさの差を利用して瞳孔やまぶた等を識別することが可能となる。
【００２４】
映像取得部２が撮像を開始してから１分後、解析部４は以下に述べる解析処理を始める。図４は、解析部４が行う解析処理の詳細を示すフローチャートである。まず、画像切り出し部４１は、映像取得部２が取得した過去１分間分の映像データを上記バッファから取得する。そして、画像切り出し部４１は、１フレーム単位で眼の付近の領域の画像（以下、眼領域画像）を切り出す（ステップＳ１１）。
【００２５】
次に、瞬目計測部４２は、上述したような明るさの差を利用して、眼領域画像から眼の開度（眼の開き度合いを表す上下まぶたの間隔）を計測し、上述した瞬目波形を作成する。図５は、瞬目波形の一例である。利用者がまばたきを行うと、目の開度は一瞬小さくなる。そのため、図５において、まばたきした区間は、下向きのパルス状の部分として検出することができる。そして、瞬目計測部４２は、瞬目波形から、瞬目回数、瞬目間隔、瞬目の動特性（１回のまばたきにおいて、まぶたが閉じ始めてから完全に閉じるまでの時間や、閉じたまぶたが開き始めてから開き終わるまでの時間）等の瞬目情報を計測する（ステップＳ１２）。次に、生理状態推定部４３は、当該瞬目情報に基づき、利用者の生理状態を推定する（ステップＳ１３）。ステップＳ１３における生理状態の推定例として、以下のようなものがあげられる。
例えば、瞬目回数の通常の平均値を毎分２０回とすると、
（１）計測された瞬目回数＜＝２０
→コンテンツに熱中している状態：生理状態を「集中状態」とする。
（２）（瞬目回数＞２０）＆（１〜２秒の間に数回の瞬目群発がある）
→覚醒水準（覚醒の程度）が低下している状態：生理状態を「居眠り状態」とする。
（３）瞬目の動特性（例えば、閉じたまぶたが開き始めてから開き終わるまでの時間）が所定値より長い
→疲労している状態：生理状態を「疲労状態」とする。
というように推定することができる。そして、生理状態推定部４３は、上述のように推定した生理状態を表示制御部５に出力する（ステップＳ１４）。
【００２６】
次に、表示制御部５は、出力された生理状態に応じて、画面の表示制御を行う。図６は、表示制御部５が行う表示制御処理の詳細を示すフローチャートである。図６において、まず、表示制御部５は、生理状態が集中状態か否かを判定する（ステップＳ２１）。当該判定の結果、集中状態であれば（ステップＳ２１でＹＥＳ）、表示制御部５は画面６の表示状態は変更せずに（ステップＳ２２）、表示制御処理を終了する。
【００２７】
一方、ステップＳ２１の判定の結果、集中状態でないときは（ステップＳ２１でＮＯ）、次に、表示制御部５は、生理状態が疲労状態か否かを判定する（ステップＳ２３）。当該判定の結果、疲労状態のときは（ステップＳ２３でＹＥＳ）、利用者の覚醒水準を高めるように誘導するため、画面６の輝度・コントラストを上げる。併せて、利用者が疲労していることを伝える旨のメッセージを画面６に表示する。更に、輝度・コントラストを調整した旨のメッセージを所定時間だけ画面６に表示する。例えば、「疲労状態です」「輝度７０％→８５％に変更しました」等のメッセージを画面左上端に表示する（ステップＳ２４）。一方、疲労状態でないときは（ステップＳ２３でＮＯ）、利用者は居眠り状態であると推定されるため、表示制御部５は、画面６の輝度・コントラストを下げる。併せて、輝度・コントラストを調整した旨のメッセージを所定時間だけ画面６に表示する。例えば、「輝度７０％→５０％に変更しました」等のメッセージを画面左上端に表示する（ステップＳ２５）。これにより、利用者が居眠りをしていて画面をあまり注視していない状態のときは、画面の省電力化を図ることができる。また、画面の表示状態を変更した旨を利用者に伝えることもできる。
【００２８】
電子ブック１は、上述したような解析処理および表示制御処理を、１分毎に行う。すなわち、電子ブック１は、その動作中は１分毎に利用者の生理状態を推定し、その結果に応じて画面６の表示制御を行っていくことになる。以上で、第１の実施形態に係る表示制御処理は終了する。
【００２９】
このように、第１の実施形態では、利用者の生理状態を推定することにより、生理状態に応じて画面の表示制御を行うことができる。その結果、利用者が疲れているときは、画面の輝度を上げて見易くする等の制御を行うことができる。また、瞬目情報を用いているため、利用者の関心度合いや疲労状態や眠気等について、より正確に推定することができ、利用者の生理状態により適切に応じた表示制御ができる。
【００３０】
なお、表示制御の手法としては、上述の輝度・コントラスト調整の他に、画面の色調を変更しても良い。更に、画面に表示するコンテンツを拡大して表示してもよい。
【００３１】
また、表示制御に関して、画面の表示状態を現状のまま何も変化させない第１の表示モードと、画面のコントラスト、輝度、色調、および表示する画像の大きさのうち少なくともいずれか１つを変更する第２の表示モードと、上述したような利用者が疲労している旨のメッセージを表示する第３の表示モードとを電子ブック１に持たせておいてもよい。そして、表示制御部５は、上述した生理状態に応じて、上記３つの表示モードの切替えを行うようにしてもよい。
【００３２】
（第２の実施形態）
次に、図７から図１１を参照して、本発明の第２の実施形態について説明する。上述の第１の実施形態では、瞬目情報を用いて生理状態を推定している。これに対して、第２の実施形態では、瞬目情報の代りに瞳孔情報を用いて生理状態を推定する。
【００３３】
ここで、瞳孔と生理状態との関係について説明する。まず、瞳孔の大きさ（瞳孔径）に関して説明する。光が眼に入ったときには瞳孔は小さくなり（対光反応と呼ばれる）、暗いところでは大きくなる。そして、瞳孔径は、若年者では直径最小２ｍｍ、最大８ｍｍ程度まで変化する。一方、高齢者では、暗いところでも瞳孔径は若年者のようには大きくならず、最大６ｍｍ程度までである。また、対光反応についても、若年者と高齢者とでは応答速度特性が異なり、高齢者のほうが反応が遅い。次に、瞳孔径の変化に関して説明する。眼に入射する光の量が一定でも、瞳孔の大きさは低周波で揺らいでいる。そして、緊張時は瞳孔が大きく開いており（散瞳）、動揺も目立たない。しかし、疲労を感じてくる、あるいは眠くなってくると瞳孔は小さくなり（縮瞳）、動揺し始める。そして、疲れているほど、あるいは眠いほど、動揺は大きくなる。また、関心があるものを見るときにも瞳孔は大きくなる。一方、退屈な写真や意味不明な抽象画等の関心の薄いものに対しては、瞳孔の大きさはほとんど変化しない。このように、瞳孔の変化は人間の心理状態を反映する。そのため、瞳孔径や瞳孔反応等を計測すれば、利用者の年齢層や対象物への関心度や疲労状態等を推定することができる。
【００３４】
図７は、本発明の第２の実施形態に係る電子ブック１０の機能構成を示すブロック図である。本実施形態に係る電子ブック１０は、上述した第１の実施形態で図２を用いて説明した電子ブック１に明るさ検出部７を加えたものである。また、解析部が第１の実施形態と異なるため、解析部４０として区別する。第２の実施形態における他の構成部は、第１の実施形態と同様であるため、同一部位に同一の参照符号を付して詳細な説明を省略する。図７において、明るさ検出部７は、光センサー等で実現され、電子ブック１０の周囲の明るさを検出する。また、周囲の明るさの変化等に関する情報（以下、周囲光情報と称す）を解析部４０に出力する。
【００３５】
図８は、本発明の第２の実施形態に係る解析部４０の構成を示したブロック図である。図８において、解析部４０は、第１の実施形態で図３を用いて説明した解析部４の機能構成の瞬目計測部４２を瞳孔計測部４５に置き換えたものに相当し、他の構成部は、解析部４と同様である。従って、解析部４と同様の解析部４０の構成部については、同一の参照符号を付して詳細な説明を省略する。図８において、瞳孔計測部４５は、画像切り出し部４１が切り出した眼の付近の画像データから、瞳孔径等を計測し、瞳孔情報として生理状態推定部４３に出力する。
【００３６】
以下、本発明の第２の実施形態にかかる表示制御処理の詳細動作を説明する。まず、利用者が図示しない電源スイッチを入れることで電子ブック１０が起動する。電子ブック１０の起動後、利用者が、コンテンツの入ったＣＤ−ＲＯＭをコンテンツ取得部３に挿入する。コンテンツ取得部３は、当該ＣＤ−ＲＯＭからコンテンツを読み込み、表示制御部５にデータを渡す。表示制御部５は、初期設定されている画面設定（輝度・コントラスト等）で、コンテンツの内容（例えば表紙）を画面６に表示する。併せて、映像取得部２は、利用者の顔撮像を開始する。撮像された画像データは、図示しないバッファに蓄積されていく。
【００３７】
映像取得部２が撮像を開始してから１分後、解析部４０は以下に述べる解析処理を始める。図９は、解析部４０で行われる解析処理を示すフローチャートである。まず、画像切り出し部４１は、映像取得部２が取得した過去１分間の映像データを上記バッファから取得する。そして、画像切り出し部４１は、１フレーム単位で上記眼領域画像を切り出す。併せて、明るさ検出部７は、過去１分間の周囲光情報を瞳孔計測部４５に出力する（ステップＳ３１）。
【００３８】
次に、瞳孔計測部４５は、瞳孔径や瞳孔の応答速度特性等の瞳孔情報を計測する（ステップＳ３２）。瞳孔径の計測方法としては、例えば、上記眼領域画像のコントラストを上げて黒い部分（黒目）と白い部分（白目）の面積等を計測する等の手法が考えられる。また、応答速度特性は、例えば電車に乗っていてトンネルの中から外に出たとき等の、明るさ検出部７が周囲の光量の変化を検出したときにおける瞳孔径の変化率を計測することが考えられる。そして、瞳孔計測部４５は、計測した瞳孔情報を生理状態推定部４３へ出力する。
【００３９】
次に、生理状態推定部４３は、瞳孔情報を基に利用者の生理状態を推定する（ステップＳ３３）。図１０は、上記ステップＳ３３で示した生理状態推定処理の詳細を示すフローチャートである。図１０において、まず、生理状態推定部４３は、電子ブックが起動してから本処理までの間に瞳孔径が６ｍｍを越えたことが一度でもあるか否かを判定する（ステップＳ４１）。一度でも６ｍｍを越えたことがあれば（ステップＳ４１でＹＥＳ）、高齢者ではないと考えられるため、利用者が高齢者か否かを示すフラグである老人瞳孔フラグをＯＦＦにする（ステップＳ４２）。一方、６ｍｍを一度も越えたことがなければ（ステップＳ４１でＮＯ）、老人瞳孔フラグをＯＮにする（ステップＳ４３）。
【００４０】
次に、生理状態推定部４３は、ステップＳ４１で切り出した眼領域画像のうち最新の画像における瞳孔径が３ｍｍ以下か否かを判定する（ステップＳ４４）。３ｍｍを越えていないときは（ステップＳ４４でＹＥＳ）、生理状態推定部４３は、処理を次のステップＳ４５に進める。ステップＳ４５においては、生理状態推定部４３は、上記応答速度特性が所定値以下で且つ老人瞳孔フラグがＯｆｆか否かを判定する（ステップＳ４５）。その結果、本条件を満たしていれば（ステップＳ４５でＹＥＳ）、生理状態推定部４３は、利用者の生理状態を疲労状態とする（ステップＳ４６）。一方、本条件を満たしていないとき（ステップＳ４５でＮＯ）は、生理状態推定部４３は、利用者の生理状態を居眠り状態とする（ステップＳ４７）。
【００４１】
一方、ステップＳ４４の判定の結果、瞳孔径が３ｍｍを越えているときは（ステップＳ４４でＮＯ）、生理状態推定部４３は、上記最新の画像における瞳孔径が５ｍｍより大きいか否かを判定する（ステップＳ４８）。当該判定の結果、５ｍｍより大きいときは（ステップＳ４８でＹＥＳ）、生理状態推定部４３は、上記応答速度特性が所定値以下で且つ老人瞳孔フラグがＯｎか否かを判定する（ステップＳ４９）。当該条件を満たしているときは（ステップＳ４９でＹＥＳ）、生理状態推定部４３は、生理状態を老人覚醒状態とする（ステップＳ５０）。一方、本条件を満たしていないとき（ステップＳ４９でＮＯ）は、生理状態推定部４３は、生理状態を集中状態とする（ステップＳ５１）。ステップＳ４８の判定の結果、瞳孔径が５ｍｍ以下であれば（ステップＳ４８でＮＯ）、生理状態推定部４３は、生理状態を通常覚醒状態とする（ステップＳ５２）。以上で生理状態推定処理は終了する。
【００４２】
図９に戻り、生理状態推定部４３は、ステップＳ４２で推定した生理状態を表示制御部５に出力する（ステップＳ３４）。以上で、解析部４０における解析処理が終了する。
【００４３】
次に、表示制御部５は、出力された生理状態に応じて、画面６の表示制御処理を行う。図１１は、表示制御部５が行う表示制御処理の詳細を示すフローチャートである。図１１において、まず、表示制御部５は、生理状態が集中状態か否かを判定する（ステップＳ６１）。当該判定の結果、集中状態であれば（ステップＳ６１でＹＥＳ）、表示制御部５は画面６の表示状態は現状のままにして（ステップＳ６２）、表示制御処理を終了する。
【００４４】
一方、ステップＳ６１の判定の結果、集中状態でないときは（ステップＳ６１でＮＯ）、次に、表示制御部５は、生理状態が通常覚醒状態か否かを判定する（ステップＳ６３）。当該判定の結果、通常覚醒状態のときは（ステップＳ６３でＹＥＳ）、予め定められている若年者向けの輝度・コントラストでの画面表示の設定を行う（ステップＳ６４）。
【００４５】
一方、ステップＳ６３の判定の結果、通常覚醒状態でないときは（ステップＳ６３でＮＯ）、次に、表示制御部５は、生理状態が老人覚醒状態か否かを判定する（ステップＳ６５）。当該判定の結果、老人覚醒状態のときは（ステップＳ６５でＹＥＳ）、予め定められている高齢者向けの輝度・コントラスト設定を行う（ステップＳ６６）。ここで、高齢者は若年者よりも感度が落ちてくる（例えば、色覚機能の加齢効果により青系統の色に対する感度が低下する）ことに鑑みて、当該高齢者向けの設定内容には、若年者向けの設定に比べ相対的に高い値が用いられる。
【００４６】
一方、ステップＳ６５の判定の結果、老人覚醒状態でないときは（ステップＳ６５でＮＯ）、次に、表示制御部５は、生理状態が疲労状態か否かを判定する（ステップＳ６７）。当該判定の結果、疲労状態のときは（ステップＳ６７でＹＥＳ）、利用者が覚醒するように誘導するため、画面６の輝度・コントラストを上げる。併せて、利用者が疲労していることを伝える旨のメッセージを画面６に表示する（ステップＳ６８）。一方、疲労状態でないときは（ステップＳ６７でＮＯ）、居眠り状態であるとして、表示制御部５は、画面６の省電力化を図るために輝度・コントラストを下げる（ステップＳ６９）。また、このとき、上述した第１の実施形態におけるステップＳ２４やＳ２５と同様に、輝度やコントラストを変更した旨のメッセージを画面６上に表示する。以上で、表示制御部５における表示制御処理が終了する。
【００４７】
このように、第２の実施形態では、瞳孔情報を用いて利用者の生理状態を推定することにより、利用者の生理状態に応じた表示制御ができる。また、瞳孔情報を用いているため、利用者の関心度合い、眼の疲労状態、眠気、利用者の年齢層等について、より正確に推定することができ、利用者の生理状態により適切に応じた表示制御ができる。
【００４８】
なお、上述した応答速度特性に基づいて高齢者か若年者かを判定するほか、事前に利用者の年齢を入力させて、老人瞳孔フラグのＯＮ／ＯＦＦを決定してもよい。
【００４９】
また、上記ステップＳ２５およびＳ６９における省電力化について、上述したように輝度やコントラストを下げる他、電子ブック１，１０における電力供給の制御を行うようにしてもよい。例えば、電子ブック１，１０の電力供給制御を管理する電力制御部を更に電子ブック１，１０に設けておく。そして、上述のステップＳ２５およびＳ６９において、表示制御部５は、その時点で表示しているコンテンツのページ番号等の表示コンテンツ内容に関する情報を、図示しない揮発性メモリあるいはハードディスク等の記憶媒体に保持する。次に、電力制御部が画面６への電力供給を停止することで、省電力モードに移行するようにすればよい。その後、利用者が所定の操作を行うことにより、電力制御部は、画面６の電力供給を再開する（省電力モードの解除）。併せて、表示制御部５は、上記表示コンテンツ内容に関する情報に基づいて、省電力モード移行直前のコンテンツ内容を画面６に表示する。このような制御を行うことにより、利用者が居眠りをしていてコンテンツを読んでいないときには、画面６への電源供給を停止して、電子ブックの省電力化を図ることができる。また、省電力モード移行直前のコンテンツ内容に関する情報を保持しておくことで、再開動作の迅速化を図ることもできる。
【００５０】
更に、上記ステップＳ２５およびＳ６９における省電力化について、上記電力制御部は、電子ブック１，１０自体の電源を落とす制御を行っても良い。上述した画面６への電力供給停止の場合は、上記揮発性メモリ等には電力が供給されつづけている。これに比べ、電子ブック１，１０自体の電源を落とすことによって、より一層、電子ブック１，１０の省電力化を図ることができる。なお、この場合は、電子ブック１，１０の再起動が必要となるため、上述のような省電力モード直前のコンテンツの内容に関する情報に基づいた表示はできない。
【００５１】
また、上述した瞬目情報と瞳孔情報とを併用して利用者の生理情報を推定してもよい。これにより、より正確に利用者の生理状態を推定することができる。
【００５２】
また、上述したような電子ブック１に限らず、テレビやパソコンのモニタ、カーナビのモニタや携帯電話について、上記映像取得部２、解析部４、および表示制御部５を設けて、上述した解析処理や表示制御処理を行っても良い。この際、上記映像取得部２は、画面６近傍に搭載するようにすることが望ましい。一般に、コンテンツ等を視聴する際、利用者は画面６を見るため、画面６近傍にカメラを取り付けるようにすることで顔画像を撮像しやすくなるからである。図１２は、上述したようなカメラを搭載したテレビ１００の外観図である。図１２においては、画面６の上部に映像取得部２（カメラ）が搭載されている。なお、映像取得部２の搭載位置は、これに限らず、画面６の下部や、左側あるいは右側であっても良い。更には、複数のカメラを搭載して用いても良い。このようなテレビ１００においては、映像取得部２で利用者の顔を撮像し、上述したような生理状態の解析を行い、解析結果に応じて、上述したような表示制御処理を行うことで、画面６の輝度やコントラストを調整する。
【００５３】
図１３は、上記映像取得部２を搭載したカーナビゲーション装置１０１（以下、カーナビ）の外観図である。また、図１４は、上記映像取得部２を搭載したパソコン１０２の外観図である。また、図１５は、上記映像取得部２を搭載した携帯電話１０３の外観図である。いずれの場合も、上記テレビ１００と同様に映像取得部２で顔画像を撮像し、生理状態を解析して、解析結果に応じて、上述のように各画面６の表示制御処理を行う。なお、図１４における映像取得部２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などを介して着脱可能である。
【００５４】
また、上記実施形態では、解析処理を一分毎に行っていたが、これに限らず、所定のタイミングで解析処理を行うようにしてもよい。例えば、上記電子ブック１の場合、顔画像の撮像は常時行うが、解析処理については、電子ブック１のページめくりボタンが押されたときやコンテンツ切替操作が行われたときに開始するようにしてもよい。また、解析の対象となるデータも、例えば、ページめくりボタンが押されてから３〜５分間で得られた映像データだけを解析するようにしてもよい。これは、以下のような理由による。視覚情報処理課題（テレビ視聴、電子ブック閲覧、運転、連続監視作業等）に従事してるときは、視覚情報の損失を防ぐために瞬目活動は一般に抑制される。しかし、この反動で、課題終了後の瞬目率は上昇すると共に、瞬目群発の個数も増加する。そこで、コンテンツを連続してみているときのデータは解析せずに、操作ボタンの入力等が起こった際の、視覚情報処理課題が終了したタイミングからのデータを取得して、上記解析処理を行うものである。これによって、より一層効率的な処理を行うことができる。上記テレビ１００の場合であれば、例えば、音声信号のステレオ／モノラルの切り替わりを検出することで番組からＣＭに入ったことを検出するようなＣＭ検出手段を設けておく。そして、ＣＭが検出されたときから１分〜３分間の映像データについて上記解析処理を行い、その結果に応じて上記表示制御処理を行うようにすればよい。これは、メインのコンテンツ（番組など）からＣＭに切り替わったときが、視覚情報処理課題が終了したタイミングと考えられるからである。
【００５５】
また、上記カーナビ１０１の場合は、例えば、速度センサを用いて車の速度を検出する速度検出手段を設ける。そして、速度が０のとき、すなわち車が停止したタイミングで、上記解析処理を行うようにすればよい。これは、運転中は、一般に進行方向を見ており、カーナビを見るのは、信号待ち等の車が停止しているときであると考えられるからである。すなわち、車が停止したタイミングが、視覚情報処理課題が終了したタイミングであると考えられるため、このタイミングで上記解析処理を行うものである。また、例えば、渋滞のときのように、速度が所定値以下になった状態が一定時間継続しているときに行うようにしても良い。渋滞中は、視覚情報処理課題に従事していなくとも、疲れが溜まりやすいからである。
【００５６】
また、例えば、パソコン１０２でＣＡＤソフトを使用している場合は、利用者が作業対象である図面（のデータ）を別の図面に切り替えたタイミングで上記解析処理を行うようにすればよい。当該タイミングが視覚情報処理課題が終了したタイミングであると考えられるためである。
【００５７】
また、映像取得部２による顔画像の撮像も、常時行わずに、上記解析処理を行うタイミングに併せるようにしてもよい。これにより、処理負荷の軽減や消費電力の抑制を図ることができる。
【産業上の利用可能性】
【００５８】
本発明にかかる電子表示媒体は、人間の生理状態に応じた表示制御ができ、特に高齢者に適した電子表示媒体として有用である。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施形態に係る電子ブック１の外観図
【図２】本発明の第１の実施形態に係る電子ブック１を示す機能ブロック図
【図３】図１の解析部４の機能構成を示すブロック図
【図４】本発明の第１の実施形態に係る解析処理を示すフローチャート
【図５】瞬目波形の一例を示す図
【図６】本発明の第１の実施形態に係る表示制御処理を示すフローチャート
【図７】本発明の第２の実施形態に係る電子ブック１を示す機能ブロック図
【図８】図６の解析部４０の機能構成を示すブロック図
【図９】本発明の第２の実施形態に係る解析処理を示すフローチャート
【図１０】図８のステップＳ３３で示した生理状態推定処理の詳細を示したフローチャート
【図１１】本発明の第２の実施形態に係る表示制御処理を示すフローチャート
【図１２】本発明の実施形態に係るテレビの外観図
【図１３】本発明の実施形態に係るカーナビゲーション装置の外観図
【図１４】本発明の実施形態に係るパソコンの外観図
【図１５】本発明の実施形態に係る携帯電話の外観図
【符号の説明】
【００６０】
１  電子ブック
２  映像取得部
３  コンテンツ取得部
４  解析部
５  表示制御部
６  画面
７  明るさ検出部
１０  電子ブック
４０  解析部
４１  画像切り出し部
４２  瞬目計測部
４３  生理状態推定部
４５  瞳孔計測部
１００  テレビ
１０１  カーナビゲーション装置
１０２  パソコン
１０３  携帯電話
【図１】
0004896002.tif 000002
【図２】
0004896002.tif 000003
【図３】
0004896002.tif 000004
【図４】
0004896002.tif 000005
【図５】
0004896002.tif 000006
【図６】
0004896002.tif 000007
【図７】
0004896002.tif 000008
【図８】
0004896002.tif 000009
【図９】
0004896002.tif 000010
【図１０】
0004896002.tif 000011
【図１１】
0004896002.tif 000012
【図１２】
0004896002.tif 000013
【図１３】
0004896002.tif 000014
【図１４】
0004896002.tif 000015
【図１５】
0004896002.tif 000016