(57)【要約】ユーザの視聴状況を考慮した、さりげない情報通知を実現する。ユーザに情報通知しようとする際に、第１の刺激度の知覚刺激要素を提示し、ユーザ反応分析部（１０４）によって決定された反応の大きさに基づいて知覚刺激要素の刺激度を第１の刺激度から変動させ、第１の刺激度の知覚刺激を提示してから所定の時間内に知覚刺激要素に対する反応の大きさが所定の閾値未満であれば、知覚刺激制御部（１０２）は知覚刺激要素の刺激度を弱める、もしくは知覚刺激要素の提示を停止する。
2013018267.tif 000002
【特許請求の範囲】
【請求項１】
映像を表示する表示部と、
前記表示部を介してユーザに通知したい情報の存在を知らせるための知覚刺激要素を提示する知覚刺激制御部と、
前記ユーザの状況を計測するユーザ状況計測部と、
前記ユーザ状況計測部の出力に基づいて前記知覚刺激要素に対する前記ユーザの反応の大きさを決定するユーザ反応分析部と
を備え、
前記知覚刺激制御部は
第１の刺激度の前記知覚刺激要素を提示し、
前記ユーザ反応分析部によって決定された反応の大きさに基づいて前記知覚刺激要素の刺激度を前記第１の刺激度から変動させて前記知覚刺激要素を提示し、
前記第１の刺激度の前記知覚刺激要素を提示してから所定の時間内に前記知覚刺激要素に対する前記ユーザの反応の大きさが所定の閾値未満であれば、前記知覚刺激要素の刺激度を弱める、または前記知覚刺激要素の提示を停止する
提示制御装置。
【請求項２】
前記知覚刺激制御部は、前記第１の刺激度の知覚刺激を提示してから所定の時間内に前記知覚刺激要素に対する前記ユーザの反応の大きさが所定の閾値以上であれば、前記ユーザに通知したい情報を提示する
請求項１に記載の提示制御装置。
【請求項３】
前記知覚刺激制御部は、前記知覚刺激要素として視覚刺激要素を提示し、
前記知覚刺激要素の前記刺激度を前記視覚刺激要素に対する誘目性の高低に基づき算出する
請求項１に記載の提示制御装置。
【請求項４】
前記知覚刺激制御部は、前記知覚刺激要素として聴覚刺激要素を提示し、
前記知覚刺激要素の前記刺激度を前記聴覚刺激要素の音量、音程、または音量及び音程に基づき算出する
請求項１に記載の提示制御装置。
【請求項５】
前記知覚刺激制御部は、前記知覚刺激要素として触覚刺激要素を提示し、
前記知覚刺激要素の前記刺激度を前記触覚刺激要素の圧迫感、触感、または圧迫感及び触感に基づき算出する
請求項１に記載の提示制御装置。
【請求項６】
前記知覚刺激制御部は、前記知覚刺激要素として嗅覚刺激要素を提示し、
前記知覚刺激要素の前記刺激度を前記嗅覚刺激要素のにおいの強弱、良否、または強弱及び良否に基づき算出する
請求項１に記載の提示制御装置。
【請求項７】
前記知覚刺激制御部は、さらに、複数の前記刺激度の前記知覚刺激要素を格納する知覚刺激要素データベースを備え、
前記知覚刺激要素データベースに格納されたデータを参照して前記知覚刺激要素を提示する
請求項１に記載の提示制御装置。
【請求項８】
前記知覚刺激制御部は、前記表示部の画面内に前記知覚刺激要素を提示する
請求項１に記載の提示制御装置。
【請求項９】
前記知覚刺激制御部は、前記表示部のベゼル部に設置された提示装置によって前記知覚刺激要素を提示する
請求項１に記載の提示制御装置。
【請求項１０】
前記知覚刺激制御部は、前記表示部の外部に前記知覚刺激要素を提示する
請求項１に記載の提示制御装置。
【請求項１１】
前記知覚刺激制御部は、前記表示部が表示する前記映像に重畳して前記知覚刺激要素を提示する
請求項３に記載の提示制御装置。
【請求項１２】
前記知覚刺激制御部は、前記表示部が表示する前記映像の輝度、または色のコントラストに対応した、前記知覚刺激要素を提示する
請求項１１に記載の提示制御装置。
【請求項１３】
前記知覚刺激制御部は、前記表示部が表示する前記映像を縮小し、
当該映像と前記知覚刺激要素が重畳しないように前記知覚刺激要素を提示する
請求項３に記載の提示制御装置。
【請求項１４】
前記知覚刺激制御部は、前記表示部が表示する前記映像の音声に対応した音声特性を持つ前記聴覚刺激要素を提示する
請求項４に記載の提示制御装置。
【請求項１５】
前記知覚刺激制御部は、前記ユーザに通知したい情報の重要度に基づいた前記刺激度の前記知覚刺激要素を提示する
請求項１に記載の提示制御装置。
【請求項１６】
前記ユーザ状況計測部は、さらに、前記ユーザの状況として前記ユーザの視線運動を計測する視線計測部を備える
請求項１に記載の提示制御装置。
【請求項１７】
前記ユーザ反応分析部は、前記視線計測部が、前記ユーザの視線運動として計測する、前記知覚刺激要素への視線滞留時間に基づいて、前記知覚刺激要素に対する前記ユーザの反応の大きさを決定する
請求項１６に記載の提示制御装置。
【請求項１８】
前記ユーザ反応分析部は、前記視線計測部が、前記ユーザの視線運動として計測する、前記表示部が表示する前記映像の主領域と前記知覚刺激要素との間のサッケード回数に基づいて、前記知覚刺激要素に対する前記ユーザの反応の大きさを決定する
請求項１６に記載の提示制御装置。
【請求項１９】
前記ユーザ反応分析部は、前記視線計測部が、前記ユーザの視線運動として計測する、瞬目回数に基づいて、前記知覚刺激要素に対する前記ユーザの反応の大きさを決定する
請求項１６に記載の提示制御装置。
【請求項２０】
前記ユーザ状況計測部は、さらに、前記ユーザの状況として前記ユーザの表情を計測する表情計測部を備え、
前記ユーザ反応分析部は、前記表情計測部が計測する、前記ユーザの表情の変化に基づいて、前記知覚刺激要素に対する前記ユーザの反応の大きさを決定する
請求項１に記載の提示制御装置。
【請求項２１】
前記ユーザ状況計測部は、さらに、前記ユーザの状況として前記ユーザの姿勢を計測する姿勢計測部を備え、
前記ユーザ反応分析部は、前記姿勢計測部が計測する、前記ユーザの姿勢の変化に基づいて、前記知覚刺激要素に対する前記ユーザの反応の大きさを決定する
請求項１に記載の提示制御装置。
【請求項２２】
前記表示部は、第１の映像と、前記第１の映像よりも前記表示部の画面上における大きさが小さい第２の映像とを同時に表示し、
前記第２の映像は、前記ユーザに通知したい情報であり、かつ、前記知覚刺激制御部が提示する前記知覚刺激要素であり、
前記ユーザ反応分析部は、前記ユーザ状況計測部の出力に基づいて前記第２の映像に対する前記ユーザの反応の大きさを決定し、
前記知覚刺激制御部は、
第１の刺激度の前記第２の映像を提示し、
前記ユーザ反応分析部によって決定された反応の大きさに基づいて、前記第２の映像の刺激度を前記第１の刺激度から変動させて前記第２の映像を提示し、
前記第１の刺激度の前記第２の映像を提示してから所定の時間内に、
前記第２の映像に対する前記ユーザの反応の大きさが所定の閾値未満であれば、前記第２の映像の刺激度を弱め、
前記第２の映像に対する前記ユーザの反応の大きさが所定の閾値以上であれば、前記第２の映像の前記表示部の画面上における大きさが前記第１の映像よりも大きくなるように前記表示部に前記第２の映像を表示させる
請求項２に記載の提示制御装置。
【請求項２３】
前記知覚刺激制御部は、前記第２の映像の表示態様を変更することによって前記第２の映像の刺激度を変動させる
請求項２２に記載の提示制御装置。
【請求項２４】
前記知覚刺激制御部は、前記第２の映像の表示内容を変更することで前記第２の映像の刺激度を変動させる
請求項２２に記載の提示制御装置。
【請求項２５】
前記知覚刺激制御部は、
前記第２の映像として静止画を提示し、
提示した前記静止画を当該静止画とは異なる静止画に変更することによって前記第２の映像の刺激度を変動させる
請求項２４に記載の提示制御装置。
【請求項２６】
提示制御を行う集積回路であって、 
ユーザに通知したい情報の存在を知らせるための知覚刺激要素を提示する知覚刺激制御部と、
前記ユーザの状況を計測するユーザ状況計測部と、
前記ユーザ状況計測部の出力に基づいて前記知覚刺激要素に対する前記ユーザの反応の大きさを決定するユーザ反応分析部と
を備え、
前記知覚刺激制御部は、
第１の刺激度の前記知覚刺激要素を提示し、
前記ユーザ反応分析部によって決定された反応の大きさに基づいて前記知覚刺激要素の刺激度を前記第１の刺激度から変動させて前記知覚刺激要素を提示し、
前記第１の刺激度の前記知覚刺激要素を提示してから所定の時間内に前記知覚刺激要素に対する前記ユーザの反応の大きさが所定の閾値未満であれば、前記知覚刺激制御部は前記知覚刺激要素の刺激度を弱める、または前記知覚刺激要素の提示を停止する
集積回路。
【請求項２７】
表示部を介してユーザに通知したい情報の存在を知らせるための知覚刺激要素を提示する知覚刺激制御ステップと、
前記ユーザの状況を計測するユーザ状況計測ステップと、
前記ユーザ状況計測部の出力に基づいて前記知覚刺激要素に対する前記ユーザの反応の大きさを決定するユーザ反応分析ステップと
を含み、
前記知覚刺激制御ステップでは第１の刺激度の前記知覚刺激要素を提示し、
前記ユーザ反応分析ステップで決定された反応の大きさに基づいて前記知覚刺激要素の刺激度を前記第１の刺激度から変動させて前記知覚刺激要素を提示し、
前記第１の刺激度の前記知覚刺激要素を提示してから所定の時間内に前記知覚刺激要素に対する前記ユーザの反応の大きさが前記所定の閾値未満であれば、前記知覚刺激制御ステップでは前記知覚刺激要素の刺激度を弱める、または前記知覚刺激要素の提示を停止する
提示制御方法。
【請求項２８】
請求項２７に記載の提示制御方法をコンピュータに実行させるためのプログラム。
【請求項２９】
請求項２８に記載のプログラムを記録した非一時的な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザに情報を提示する情報提示装置に関するものである。
【背景技術】
【０００２】
ディスプレイの大画面化・薄型化、及び放送と通信の融合の進展により、テレビは単に放送コンテンツを視聴する機能だけでなく、複数のコンテンツの同時視聴機能や、コンテンツに関連した情報の取得機能を備えるなど、多機能化が進んでいる。テレビの新しい機能の一つとして、生活に関連したさまざまな情報を適切なタイミングで通知する機能も提案されている。【０００３】
近年では、電気機器のネットワーク機能が普及し、ＢＤレコーダーや、ネットワークカメラなどをテレビと連携させ、一つのリモコンで複数の機器を操作することや、テレビの画面でネットワークカメラの映像を確認するといったことも可能である。また、これらの機器に加えて、洗濯機や冷蔵庫、電子レンジといった家電機器をテレビと連携させることで、各機器の稼働状態など、各機器に関する情報をテレビで確認することも可能である。すなわち、テレビのような表示装置と他の複数の機器とをネットワークを通じて連携させ、表示装置に各機器からの情報を送信することでユーザは各機器の近くに行かなくとも、表示装置から、各機器の情報を取得できる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２７０２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような表示装置において、ユーザが映像を視聴中に視聴コンテンツと関係のない情報が突然表示されることは、ユーザが上記情報を望まない場合、視聴の妨げとなってしまう。つまり、表示装置、またはこれに関連するシステムがユーザの状態を察知し、適切な形態でさりげなく情報を通知する手段が望まれる。【０００６】
そこで本発明は、ユーザの視聴状況を考慮した、さりげない情報通知を実現する提示制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一態様に係る提示制御装置は、映像を表示する表示部と、前記表示部を介してユーザに通知したい情報の存在を知らせるための知覚刺激要素を提示する知覚刺激制御部と、前記ユーザの状況を計測するユーザ状況計測部と、前記ユーザ状況計測部の出力に基づいて前記知覚刺激要素に対する前記ユーザの反応の大きさを決定するユーザ反応分析部とを備え、前記知覚刺激制御部は第１の刺激度の前記知覚刺激要素を提示し、前記ユーザ反応分析部によって決定された反応の大きさに基づいて前記知覚刺激要素の刺激度を前記第１の刺激度から変動させて前記知覚刺激要素を提示し、前記第１の刺激度の前記知覚刺激要素を提示してから所定の時間内に前記知覚刺激要素に対する前記ユーザの反応の大きさが所定の閾値未満であれば、前記知覚刺激制御部は前記知覚刺激要素の刺激度を弱める、または前記知覚刺激要素の提示を停止する。【０００８】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００９】
本発明に係る提示制御装置及び提示制御方法によれば、ユーザの視聴状況を考慮した、さりげない情報通知を実現することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施の形態１における提示制御装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１における提示制御処理の流れを示すフローチャートである。
【図３Ａ】図３Ａは、本発明の実施の形態１における視線方向検出処理において取得される画像を撮像する撮像装置を説明するための図である。
【図３Ｂ】図３Ｂは、本発明の実施の形態１における視線方向検出処理において取得される画像を撮像する撮像装置を説明するための図である。
【図３Ｃ】図３Ｃは、本発明の実施の形態１における視線方向検出処理において取得される画像を撮像する撮像装置を説明するための図である。
【図４】図４は、本発明の実施の形態１における視線方向検出処理の流れを示すフローチャートである。
【図５】図５は、本発明の実施の形態１における視線方向検出処理において顔向きを検出する処理を説明するための図である。
【図６】図６は、本発明の実施の形態１における視線方向基準面の算出について説明するための図である。
【図７】図７は、本発明の実施の形態１における黒目中心の検出について説明するための図である。
【図８】図８は、本発明の実施の形態１における黒目中心の検出について説明するための図である。
【図９Ａ】図９Ａは、本発明の実施の形態１における知覚刺激要素の例を示す図である。
【図９Ｂ】図９Ｂは、本発明の実施の形態１における知覚刺激要素を表示部に提示する例を示す図である。
【図９Ｃ】図９Ｃは、本発明の実施の形態１における知覚刺激要素をベゼル部に提示する例を示す図である。
【図９Ｄ】図９Ｄは、本発明の実施の形態１における知覚刺激要素を表示部の外部に提示する例を示す図である。
【図９Ｅ】図９Ｅは、本発明の実施の形態１における表示部が表示する映像を縮小し、映像と知覚刺激要素が重畳しないように知覚刺激要素を提示する例を示す図である。
【図９Ｆ】図９Ｆは、本発明の実施の形態１における知覚刺激要素データベースの例を示す図である。
【図９Ｇ】図９Ｇは、本発明の実施の形態１における知覚刺激要素のバリエーションの例を説明する図である。
【図１０】図１０は、本発明の実施の形態１における情報提示の例を説明する図である。
【図１１】図１１は、本発明の実施の形態１における情報提示の例を説明する図である。
【図１２】図１２は、本発明の実施の形態１における情報提示の例を説明する図である。
【図１３】図１３は、本発明の実施の形態２における提示制御装置を表す図である。
【図１４】図１４は、本発明の実施の形態２における提示制御装置の別の例を表す図である。
【発明を実施するための形態】
【００１１】
（発明の基礎となった知見）
背景技術で説明したように、表示装置と他の機器とをネットワークを通じて連携させ、表示装置から他の機器の情報を取得できる技術が提案されている。
【００１２】
例えば、ユーザによるリモコンの把持状態をリモコンが具備する把持センサで検出し、把持センサの出力に応じて、カーソル及びＧＵＩの表示・非表示を切り替える表示装置が提案されている（例えば、特許文献１参照）。これは、ユーザが所定のボタンを押下することなく、リモコンを把持したタイミングで、情報を通知するものである。
【００１３】
しかしながら、このような構成では、リモコンに備えられた把持センサの出力に応じて画面表示を切り替えるため、リモコンを把持せずに映像を視聴し続けるような場合、情報を通知することができない。また、ユーザが何らかの操作を行おうとリモコンを把持した場合、ユーザの意思とは無関係に情報が通知されてしまうため、ユーザの視聴を妨げずに情報を通知することができないことが課題である。
【００１４】
このような課題を解決するために、本発明の一態様に係る提示制御装置は、映像を表示する表示部と、前記表示部を介してユーザに通知したい情報の存在を知らせるための知覚刺激要素を提示する知覚刺激制御部と、前記ユーザの状況を計測するユーザ状況計測部と、前記ユーザ状況計測部の出力に基づいて前記知覚刺激要素に対する前記ユーザの反応の大きさを決定するユーザ反応分析部とを備え、前記知覚刺激制御部は第１の刺激度の前記知覚刺激要素を提示し、前記ユーザ反応分析部によって決定された反応の大きさに基づいて前記知覚刺激要素の刺激度を前記第１の刺激度から変動させて前記知覚刺激要素を提示し、前記第１の刺激度の前記知覚刺激要素を提示してから所定の時間内に前記知覚刺激要素に対する前記ユーザの反応の大きさが所定の閾値未満であれば、前記知覚刺激要素の刺激度を弱める、または前記知覚刺激要素の提示を停止する。
【００１５】
この構成により、ユーザが、表示部が表示する映像に集中し、知覚刺激要素に対する反応が小さい場合には、表示部には情報は表示されない。したがって、ユーザの意に反して唐突に通知がなされることを防ぐことができ、ユーザの視聴状況を考慮した、情報通知機能を備えた情報制御装置を提供することができる。
【００１６】
また、前記知覚刺激制御部は、前記第１の刺激度の知覚刺激を提示してから所定の時間内に前記知覚刺激要素に対する前記ユーザの反応の大きさが所定の閾値以上であれば、前記ユーザに通知したい情報を提示してもよい。
【００１７】
この場合、ユーザが表示部が表示する映像に集中しておらず、知覚刺激要素に対する反応が大きい場合には通知したい情報が表示部に表示される。
【００１８】
また、前記知覚刺激制御部は、前記知覚刺激要素として視覚刺激要素を提示し、前記知覚刺激要素の前記刺激度を前記視覚刺激要素に対する誘目性の高低に基づき算出してもよい。
【００１９】
また、前記知覚刺激制御部は、前記知覚刺激要素として聴覚刺激要素を提示し、前記知覚刺激要素の前記刺激度を前記聴覚刺激要素の音量、音程、または音量及び音程に基づき算出してもよい。
【００２０】
また、前記知覚刺激制御部は、前記知覚刺激要素として触覚刺激要素を提示し、前記知覚刺激要素の前記刺激度を前記触覚刺激要素の圧迫感、触感、または圧迫感及び触感に基づき算出してもよい。
【００２１】
また、前記知覚刺激制御部は、前記知覚刺激要素として嗅覚刺激要素を提示し、前記知覚刺激要素の前記刺激度を前記嗅覚刺激要素のにおいの強弱、良否、または強弱及び良否に基づき算出してもよい。
【００２２】
また、前記知覚刺激制御部は、さらに、複数の前記刺激度の前記知覚刺激要素を格納する知覚刺激要素データベースを備え、前記知覚刺激要素データベースに格納されたデータを参照して前記知覚刺激要素を提示してもよい。
【００２３】
また、前記知覚刺激制御部は、前記表示部の画面内に前記知覚刺激要素を提示してもよい。
【００２４】
また、前記知覚刺激制御部は、前記表示部のベゼル部に設置された提示装置によって前記知覚刺激要素を提示してもよい。
【００２５】
さらに、前記知覚刺激制御部は、前記表示部の外部に前記知覚刺激要素を提示してもよい。
【００２６】
前記知覚刺激制御部は、前記表示部が表示する前記映像に重畳して前記知覚刺激要素を提示してもよいし、前記知覚刺激制御部は、前記表示部が表示する前記映像の輝度、または色のコントラストに対応した、前記知覚刺激要素を提示するしてもよいし、前記知覚刺激制御部は、前記表示部が表示する前記映像を縮小し、当該映像と前記知覚刺激要素が重畳しないように前記知覚刺激要素を提示してもよい。
【００２７】
また、前記知覚刺激制御部は、前記表示部が表示する前記映像の音声に対応した音声特性を持つ前記聴覚刺激要素を提示してもよい。
【００２８】
また、前記知覚刺激制御部は、前記ユーザに通知したい情報の重要度に基づいた前記刺激度の前記知覚刺激要素を提示してもよい。
【００２９】
前記ユーザ状況計測部は、さらに、前記ユーザの状況として前記ユーザの視線運動を計測する視線計測部を備えてもよい。前記ユーザ反応分析部は、前記視線計測部が、前記ユーザの視線運動として計測する、前記知覚刺激要素への視線滞留時間に基づいて、前記知覚刺激要素に対する前記ユーザの反応の大きさを決定してもよいし、前記ユーザ反応分析部は、前記視線計測部が、前記ユーザの視線運動として計測する、前記表示部が表示する前記映像の主領域と前記知覚刺激要素との間のサッケード回数に基づいて、前記知覚刺激要素に対する前記ユーザの反応の大きさを決定してもよいし、前記ユーザ反応分析部は、前記視線計測部が、前記ユーザの視線運動として計測する、瞬目回数に基づいて、前記知覚刺激要素に対する前記ユーザの反応の大きさを決定してもよい。
【００３０】
前記ユーザ状況計測部は、さらに、前記ユーザの状況として前記ユーザの表情を計測する表情計測部を備え、前記ユーザ反応分析部は、前記表情計測部が計測する、前記ユーザの表情の変化に基づいて、前記知覚刺激要素に対する前記ユーザの反応の大きさを決定してもよい。また、前記ユーザ状況計測部は、さらに、前記ユーザの状況として前記ユーザの姿勢を計測する姿勢計測部を備え、前記ユーザ反応分析部は、前記姿勢計測部が計測する、前記ユーザの姿勢の変化に基づいて、前記知覚刺激要素に対する前記ユーザの反応の大きさを決定してもよい。
【００３１】
また、前記表示部は、第１の映像と、前記第１の映像よりも前記表示部の画面上における大きさが小さい第２の映像とを同時に表示し、前記第２の映像は、前記ユーザに通知したい情報であり、かつ、前記知覚刺激制御部が提示する前記知覚刺激要素であり、前記ユーザ反応分析部は、前記ユーザ状況計測部の出力に基づいて前記第２の映像に対する前記ユーザの反応の大きさを決定し、前記知覚刺激制御部は、第１の刺激度の前記第２の映像を提示し、前記ユーザ反応分析部によって決定された反応の大きさに基づいて、前記第２の映像の刺激度を前記第１の刺激度から変動させて前記第２の映像を提示し、前記第１の刺激度の前記第２の映像を提示してから所定の時間内に、前記第２の映像に対する前記ユーザの反応の大きさが所定の閾値未満であれば、前記第２の映像の刺激度を弱め、前記第２の映像に対する前記ユーザの反応の大きさが所定の閾値以上であれば、前記第２の映像の前記表示部の画面上における大きさが前記第１の映像よりも大きくなるように前記表示部に前記第２の映像を表示させてもよい。
【００３２】
つまり、複数の映像を同時に表示する表示装置において、複数の映像のうちの１つを知覚刺激要素として用いてもよい。
【００３３】
また、前記知覚刺激制御部は、前記第２の映像の表示態様を変更することによって前記第２の映像の刺激度を変動させてもよい。
【００３４】
また、前記知覚刺激制御部は、前記第２の映像の表示内容を変更することで前記第２の映像の刺激度を変動させてもよい。
【００３５】
また、前記知覚刺激制御部は、前記第２の映像として静止画を提示し、提示した前記静止画を当該静止画とは異なる静止画に変更することによって前記第２の映像の刺激度を変動させてもよい。
【００３６】
このように、知覚刺激要素である映像の表示態様及び表示内容を変更することにより、知覚刺激制御部は、刺激度を変更することが可能である。
【００３７】
また、本発明の一態様に係る集積回路は、提示制御を行う集積回路であって、 ユーザに通知したい情報の存在を知らせるための知覚刺激要素を提示する知覚刺激制御部と、前記ユーザの状況を計測するユーザ状況計測部と、前記ユーザ状況計測部の出力に基づいて前記知覚刺激要素に対する前記ユーザの反応の大きさを決定するユーザ反応分析部とを備え、前記知覚刺激制御部は、第１の刺激度の前記知覚刺激要素を提示し、前記ユーザ反応分析部によって決定された反応の大きさに基づいて前記知覚刺激要素の刺激度を前記第１の刺激度から変動させて前記知覚刺激要素を提示し、前記第１の刺激度の前記知覚刺激要素を提示してから所定の時間内に前記知覚刺激要素に対する前記ユーザの反応の大きさが所定の閾値未満であれば、前記知覚刺激制御部は前記知覚刺激要素の刺激度を弱める、または前記知覚刺激要素の提示を停止する。
【００３８】
この構成により、上記提示制御装置と同様の効果を奏することができる。
【００３９】
また、本発明の一態様に係る提示制御方法は、表示部を介してユーザに通知したい情報の存在を知らせるための知覚刺激要素を提示する知覚刺激制御ステップと、前記ユーザの状況を計測するユーザ状況計測ステップと、前記ユーザ状況計測部の出力に基づいて前記知覚刺激要素に対する前記ユーザの反応の大きさを決定するユーザ反応分析ステップとを含み、前記知覚刺激制御ステップでは第１の刺激度の前記知覚刺激要素を提示し、前記ユーザ反応分析ステップで決定された反応の大きさに基づいて前記知覚刺激要素の刺激度を前記第１の刺激度から変動させて前記知覚刺激要素を提示し、前記第１の刺激度の前記知覚刺激要素を提示してから所定の時間内に前記知覚刺激要素に対する前記ユーザの反応の大きさが前記所定の閾値未満であれば、前記知覚刺激制御ステップでは前記知覚刺激要素の刺激度を弱める、または前記知覚刺激要素の提示を停止する。
【００４０】
これにより、上記提示制御装置と同様の効果を奏することができる。
【００４１】
なお、本発明は、提示制御方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【００４２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００４３】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４４】
（実施の形態１）
図１は、本発明の実施の形態１における提示制御装置の機能構成を示すブロック図である。
【００４５】
図１に示すように、提示制御装置１００は、映像を表示する表示部１０１と、表示部１０１を介してユーザに通知したい情報の存在を知らせる知覚刺激要素を提示する知覚刺激制御部１０２と、ユーザの状況を計測するユーザ状況計測部１０３と、ユーザ状況計測部１０３の出力に基づいて知覚刺激要素に対するユーザの反応の大きさを決定するユーザ反応分析部１０４とを備える。
【００４６】
また、提示制御装置１００は、一台、または複数の電気機器１０５と接続される。電気機器１０５は、例えばエアコン、冷蔵庫、電子レンジ、またはＢＤレコーダーなどである。提示制御装置１００と電気機器１０５はＬＡＮ、ＵＳＢケーブルなどの有線ネットワークや、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）などの無線ネットワークで接続される。
【００４７】
提示制御装置１００は上記ネットワークを通じ各電気機器１０５から、各機器の稼動状態や、通信状態などの情報を取得する。上記情報には提示制御装置１００がアンテナなどから直接受信する視聴コンテンツのデータなども含まれる。
【００４８】
表示部１０１は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）であり、映像を表示するものである。表示部１０１は、ＬＣＤに限らず、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）や有機ＥＬディスプレイ（ＯＬＥＤ：Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｓｐｌａｙ）であってもよい。また、表示部１０１は、プロジェクターによって壁などの面に映像を投影する構成でもよい。
【００４９】
知覚刺激制御部１０２は、ユーザに通知したい情報が存在する場合に、ユーザの知覚を刺激する知覚刺激要素をユーザに提示する。知覚刺激要素とは、視覚刺激要素、聴覚刺激要素、触覚刺激要素、嗅覚刺激要素などである。実施の形態１では視覚刺激要素を使用する。
【００５０】
ユーザ状況計測部１０３は、一つまたは複数の撮像装置（カメラ）１１０を備える。また、ユーザの視線を計測する視線計測部１０６を備える。なお、ユーザ状況計測部１０３は、ユーザの視線を計測する視線計測部１０６、表情を計測する表情計測部、姿勢を計測する姿勢計測部の少なくとも一つを備える構成であってもよい。ユーザの視線や、表情、姿勢は、ユーザの知覚刺激要素に対する反応の大きさを決定する上で、有益な情報である。
【００５１】
例えば、視線計測部１０６は、ユーザの視線方向、つまり、ユーザが見ている方向を検出し、これに基づいて、画面上におけるユーザの注視位置の移動軌跡である注視座標系列を計測する。具体的には、視線方向とユーザの位置とを利用して、ユーザから視線方向に伸びる直線と画面との交点を注視位置とし、注視位置の移動軌跡を注視座標系列として計測する。
【００５２】
ユーザ反応分析部１０４は、ユーザ状況計測部１０３の出力に基づいて知覚刺激要素に対するユーザの反応の大きさを決定する。例えば、ユーザ反応分析部１０４は、上記の視線計測部１０６で計測する注視座標系列に基づいて、知覚刺激要素の提示位置への視線滞留時間を計測し、この視線滞留時間が長いほど、知覚刺激要素に対するユーザの反応の大きさが大きいと決定する。また、ユーザの反応の大きさは表示部１０１が表示する映像の主領域と知覚刺激要素の提示位置との間のサッケード回数に基づいて決定されてもよい。具体的には、知覚刺激要素の提示位置へのサッケード回数が多いほど、知覚刺激要素に対するユーザの反応が大きい。さらに、ユーザの反応の大きさは、視線計測部が計測する瞬目回数に基づいて決定されてもよい。具体的には、瞬目回数が多いほど、ユーザの反応が大きい。
【００５３】
次に、以上のように構成された提示制御装置１００における各種動作について説明する。
【００５４】
図２は、本発明の実施の形態１における提示制御処理の流れを示すフローチャートである。
【００５５】
提示制御装置１００が電気機器１０５などからデータを受信し、ユーザへ通知したい情報が発生した場合（Ｓ１０）、知覚刺激制御部１０２は、視覚刺激要素を提示する（Ｓ１１）。ユーザ状況計測部１０３は、ユーザの状況を計測する（Ｓ１２）。ユーザ反応分析部１０４はユーザ状況計測部１０３の計測結果に基づき、知覚刺激要素に対するユーザの反応の大きさを決定する（Ｓ１３）。この知覚刺激要素に対するユーザの反応の大きさは、知覚刺激要素に対するユーザの注目度と捉えることができる。ここで、知覚刺激要素に対するユーザの反応の大きさが第１閾値以上（Ｓ１４）であれば、知覚刺激制御部１０２は、知覚刺激要素の刺激度を強める（Ｓ１５）。もし、知覚刺激要素に対するユーザの反応の大きさが第１閾値未満であれば、知覚刺激制御部１０２は、知覚刺激要素の刺激度を弱める（Ｓ１６）。そして、知覚刺激要素の提示開始から所定の時間が経過（Ｓ１７）していれば、知覚刺激要素の提示を停止する（Ｓ１８）。知覚刺激要素の提示開始から所定の時間が経過していなければ、知覚刺激要素に対するユーザの反応の大きさが第２閾値以上であるかを判定し（Ｓ１９）、ユーザの反応の大きさが第２閾値以上であれば、通知情報を展開する（Ｓ２０）。
【００５６】
なお、ステップＳ１１と、ステップＳ１２及びＳ１３との処理は、並行して行われてもよい。また、ステップＳ１１と、ステップＳ１２とは逆順でもよい。
【００５７】
以上のように、提示制御装置１００は、ユーザに通知したい情報の存在を知らせる知覚刺激要素の提示を制御し、ユーザの視聴状況を考慮した、さりげない情報通知を実現する。
【００５８】
以下に、上記の提示制御処理に含まれる各処理について、図面を用いてさらに詳細に説明する。
【００５９】
＜ユーザ状況の計測＞
まず、ユーザ状況の計測の詳細について説明する。
【００６０】
ユーザ状況計測部１０３は、ユーザの状況として、ユーザの視線を計測する視線計測部１０６、撮像装置１１０を備える。以下、視線計測部１０６の視線方向を検出する視線方向検出処理の詳細について説明する。
【００６１】
実施の形態１において、視線方向は、ユーザの顔の向き（以下、「顔向き」と記載）と、ユーザの顔向きに対する目の中の黒目部分の方向（以下、「黒目方向」と記載）との組み合わせを基に計算される。そこで、視線計測部１０６は、まず人物の三次元の顔向きを推定し、次に、黒目方向を推定し、最後に、顔向き及び黒目方向の２つを統合して視線方向を計算する。
【００６２】
なお、視線計測部１０６は、必ずしも、顔向きと黒目方向との組み合わせを基に視線方向を計算しなくてもよい。例えば、視線計測部１０６は、眼球中心と虹彩（黒目）中心とに基づいて視線方向を計算してもよい。つまり、視線計測部は、眼球中心の三次元位置と虹彩（黒目）中心の三次元位置とを結ぶ三次元ベクトルを視線方向として計算してもよい。
【００６３】
図３Ａ、図３Ｂ、及び図３Ｃは、本発明の実施の形態１における視線方向検出処理において取得される画像を撮像する撮像装置１１０の配置を示す図である。撮像装置１１０は、提示制御装置１００の表示部１０１の前方に位置するユーザを撮像可能なように配置される。例えば、撮像装置１１０は、図３Ａのように提示制御装置１００のベゼル部１１１に配置される。また図３Ｂや、図３Ｃに示すように提示制御装置１００とは別に撮像装置１１０を配置する構成であってもよい。
【００６４】
図４は、本発明の実施の形態１における視線方向検出処理の流れを示すフローチャートである。
【００６５】
まず、視線計測部１０６は、撮像装置１１０が画面の前方に存在するユーザを撮像した画像を取得する（Ｓ５０１）。続いて、視線計測部１０６は、取得された画像から顔領域を検出する（Ｓ５０２）。次に、視線計測部１０６は、検出した顔領域に対し、各基準顔向きに対応した顔部品特徴点の領域を当てはめ、各顔部品特徴点の領域画像を切り出す（Ｓ５０３）。
【００６６】
そして、視線計測部１０６は、切り出された領域画像と、あらかじめ保持されたテンプレート画像の相関度を計算する（Ｓ５０４）。続いて、視線計測部１０６は、各基準顔向きが示す角度を、計算された相関度の比に応じて重み付けして加算した重み付け和から求め、これを検出した顔領域に対応するユーザの顔向きとして検出する（Ｓ５０５）。
【００６７】
次に、視線計測部１０６は、撮像装置１１０によって撮像された画像を用いて、ユーザの左右の目頭の三次元位置を検出し、検出した左右の目頭の三次元位置を用いて視線方向基準面を算出する（Ｓ５０６）。続いて、視線計測部１０６は、撮像装置１１０によって撮像された画像を用いて、ユーザの左右の黒目中心の三次元位置を検出する（Ｓ５０７）。さらに、視線計測部１０６は、視線方向基準面と左右の黒目中心の三次元位置とを用いて、黒目方向を検出する（Ｓ５０８）。
【００６８】
そして、視線計測部は、検出されたユーザの顔向きと黒目方向とを用いて、ユーザの視線方向を検出する（Ｓ５０９）。
【００６９】
図４のＳ５０１からＳ５０５に対応する顔向きの検出処理について、図５を用いて詳細に説明する。
【００７０】
視線計測部１０６は、各基準顔向きに対応した顔部品特徴点の領域を記憶している、顔部品領域データベース（ＤＢ）１１２と、顔部品領域テンプレートデータベース（ＤＢ）１１３とを備える。図５の（ａ）に示すように、視線計測部１０６は顔部品領域ＤＢ１１２から、顔部品特徴点の領域を読み出す。続いて、視線計測部１０６は、図５の（ｂ）に示すように、撮影された画像の顔領域に対し顔部品特徴点の領域を基準顔向きごとに当てはめ、顔部品特徴点の領域画像を基準顔向きごとに切り出す。
【００７１】
そして、視線計測部１０６は、図５の（ｃ）に示すように、切り出された領域画像と、顔部品領域テンプレートＤＢ１１３に保持されたテンプレート画像との相関度を基準顔向きごとに計算する。また、視線計測部１０６は、このように計算された相関度が示す相関度合いの高さに応じて、基準顔向きごとの重みを算出する。例えば、視線計測部１０６は、基準顔向きの相関度の総和に対する各基準顔向きの相関度の比を重みとして算出する。
【００７２】
続いて、視線計測部１０６は、図５の（ｄ）に示すように、基準顔向きが示す角度に、算出された重みを乗算した値の総和を計算し、計算結果をユーザの顔向きとして検出する。
【００７３】
図５の（ｄ）の例では、基準顔向き＋２０度に対する重みが「０．８５」、正面向きに対する重みが「０．１４」、−２０度に対する重みが「０．０１」であるので、視線計測部１０６は、顔向きを１６．８度（＝２０×０．８５＋０×０．１４＋（−２０）×０．０１）と検出する。
【００７４】
なお、本実施の形態１では、視線計測部１０６は、顔部品特徴点の領域画像を対象として相関度を計算したが、顔領域全体の画像を対象として相関度を計算してもよい。
【００７５】
また、顔向きを検出する方法は、顔画像から目・鼻・口などの顔部品特徴点を検出し、顔部品特徴点の位置関係から顔向きを計算する方法であってもよい。
【００７６】
上記顔部品特徴点の位置関係から顔向きを計算する方法として、１つのカメラから得られた顔部品特徴点に最も一致するように、あらかじめ用意した顔部品特徴点の三次元モデルを回転・拡大縮小してマッチングし、得られた三次元モデルの回転量から顔向きを計算する方法があり、この方法を用いてもよい。
【００７７】
また、上記顔部品特徴点の位置関係から顔向きを計算する他の方法として、２台のカメラにより撮影された画像を基にステレオ視の原理を用いて、左右のカメラにおける顔部品特徴点位置の画像上のずれから各顔部品特徴点の三次元位置を計算し、得られた顔部品特徴点の位置関係から顔向きを計算する方法がある。具体的には、例えば、両目及び口の三次元座標点で張られる平面の法線方向を顔向きとして検出する方法などがある。本装置の視線方向検出処理においても、このような方法を用いてよい。
【００７８】
次に、図４のＳ５０６からＳ５０８に対応する黒目方向を検出する方法の詳細について、図６〜図８を用いて説明する。
【００７９】
本実施の形態１では、視線計測部１０６は、視線方向基準面を算出し、続いて、黒目中心の三次元位置を検出し、最後に、黒目方向を検出する。
【００８０】
まず、視線方向基準面の算出について説明する。
【００８１】
図６は、本発明の実施の形態１における視線方向基準面の算出について説明するための図である。
【００８２】
視線方向基準面とは、黒目方向を検出する際に基準となる面のことであり、図６に示すように顔の左右対称面と同一である。なお、目頭の位置は、目尻、口角、または眉など他の顔部品に比べて、表情による変動が少なく、また誤検出が少ない。そこで、視線計測部１０６は、顔の左右対称面である視線方向基準面を目頭の三次元位置を用いて算出する。
【００８３】
具体的には、視線計測部１０６は、撮像装置１１０の一種であるステレオカメラで撮像した２枚の画像（ステレオ画像）のそれぞれにおいて、視線計測部１０６が備える顔検出モジュールと顔部品検出モジュールとを用いて、左右の目頭領域を検出する。そして、視線計測部１０６は、検出した目頭領域の画像間の位置のずれ（視差）を利用して、左右の目頭それぞれの三次元位置を計測する。さらに、視線計測部１０６は、図６に示すように、検出した左右の目頭の三次元位置を端点とする線分の垂直二等分面を視線方向基準面として算出する。
【００８４】
次に、黒目中心の検出に関して説明する。図７、及び図８は、本発明の実施の形態１における黒目中心の検出について説明するための図である。
【００８５】
対象物からの光が瞳孔を通って網膜に届き電気信号に変換され、その電気信号が脳に伝達されることにより、人は対象物を視覚的に認識する。したがって、瞳孔の位置を用いれば、視線方向を検出することができる。しかし、日本人の虹彩は、黒または茶色であり、画像処理によって瞳孔と虹彩とを判別することが難しい。そこで、本実施の形態１では、瞳孔の中心と黒目（瞳孔及び虹彩の両方を含む）の中心とがほぼ一致することから、視線計測部１０６は、黒目方向を検出する際に、黒目中心の検出を行う。
【００８６】
視線計測部１０６は、まず、撮影された画像から目尻と目頭との位置を検出する。そして、視線計測部１０６は、図７のような、目尻と目頭とを含む領域１１４から輝度が小さい領域１１５を、黒目領域として検出する。具体的には、視線計測部１０６は、例えば、輝度が所定閾値以下なる領域であって、所定の大きさよりも大きい領域を黒目領域として検出する。
【００８７】
次に、視線計測部１０６は、図８のような、第１領域１２０と第２領域１３０とからなる黒目検出フィルタ１４０を黒目領域の任意の位置に設定する。そして、視線計測部１０６は、第１領域１２０内の画素の輝度と第２領域１３０内の画素の輝度との領域間分散が最大となるような黒目検出フィルタ１４０の位置を探索し、探索結果が示す位置を黒目中心として検出する。最後に、視線計測部１０６は、上記と同様に、ステレオ画像における黒目中心の位置のずれを利用して、黒目中心の三次元位置を検出する。
【００８８】
さらに、黒目方向の検出について説明する。
【００８９】
視線計測部１０６は、算出した視線方向基準面と、検出した黒目中心の三次元位置とを用いて、黒目方向を検出する。成人の眼球直径は、ほとんど個人差がないことが知られており、例えば日本人の場合約２４ｍｍである。したがって、基準となる方向（例えば正面）を向いたときの黒目中心の位置が分かっていれば、そこから現在の黒目中心の位置までの変位を求めることで黒目方向に変換算出することができる。
【００９０】
ユーザが正面を向いたときは、左右の黒目中心の中点が顔の中心、すなわち視線方向基準面上に存在することを利用して、視線計測部１０６は、左右の黒目中心の中点と視線方向基準面との距離を算出することにより、黒目方向を検出する。
【００９１】
具体的には、視線計測部１０６は、眼球半径Ｒと左右の黒目中心を結んだ線分の中点と視線方向基準面との距離ｄとを用いて、式（１）に示すように、顔向きに対する左右方向の回転角θを黒目方向として検出する。
【００９２】
【数１】
2013018267.tif 000003
【００９３】
以上のように、視線計測部１０６は、視線方向基準面と黒目中心の三次元位置とを用いて、黒目方向を検出する。そして、視線計測部１０６は、検出された顔向きと黒目方向とを用いて、実空間におけるユーザの視線方向を検出する。
【００９４】
なお、視線方向の検出方法は、角膜反射法、ＥＯＧ（Ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｐｈｙ）法、サーチコイル法及び強膜反射法など多種多様な方法がある。したがって、視線計測部１０６は、必ずしも上述した方法によって視線方向を検出する必要はない。例えば、視線計測部１０６は、角膜反射法を用いて、視線方向を検出してもよい。
【００９５】
角膜反射法は、点光源照明を角膜に照射した際に明るく現れる角膜反射像（プルキニエ像）の位置をもとに、眼球運動を計測する手法である。眼球回転中心と角膜の凸面の中心とが一致しないため、角膜を凸面鏡とし光源の反射点を凸レンズなどで集光すると、この集光点は眼球の回転にともなって移動する。この点を撮像装置１１０で撮影することで、眼球運動を計測するものである。
【００９６】
実施の形態１ではユーザ状況計測部１０３は視線計測部１０６を備える構成であるが、ユーザ状況計測部１０３はさらに、ユーザの状況としてユーザの表情を計測する表情計測部を備え、ユーザ反応分析部１０４は、表情計測部が計測する、ユーザの表情の変化に基づいて、知覚刺激要素に対する反応の大きさを決定する構成であってもよい。表情の認識については、非常に多くの手法が提案されており、オプティカルフローに基づく動的な特徴量を抽出し、テンプレートマッチングや主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）、判別分析、サポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）などのパターン認識手法を適用する方法がある。また、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｅｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）などの時系列パターン認識手法を用いる方法も数多く提案されている。表情計測部は、これらの手法を適宜利用し、表情を計測する。
【００９７】
また、ユーザ状況計測部１０３はさらに、ユーザの状況としてユーザの姿勢を計測する姿勢計測部を備え、ユーザ反応分析部１０４は、姿勢計測部が計測する、ユーザの姿勢の変化に基づいて、知覚刺激要素に対する反応の大きさを決定する構成であってもよい。姿勢の計測についても、いくつかの手法が知られている。例えば、非特許文献「倉沢央、川原圭博、森川博之、青山友紀：センサ装着場所を考慮した３軸加速度センサを用いた姿勢推定手法、情報処理学会研究報告、ＵＢＩユビキタスコンピューティングシステム、ｐｐ．１５−２２、２００６」や非特許文献「鷲見和彦、田中宏一、松山隆司：三次元姿勢計測を用いた人の動作特徴の記述、画像の認識理解シンポジウムＭＩＲＵ２００４、ｖｏｌ．１、ｐｐ．６６０−６６５、２００４」に記載、開示されている。姿勢計測部は、これらの手法を適宜利用し、姿勢を計測する。
【００９８】
＜ユーザ反応の分析＞
次に、知覚刺激要素に対するユーザの反応の大きさの決定方法の詳細について説明する。  この知覚刺激要素に対するユーザの反応の大きさは、知覚刺激要素に対するユーザの注目度と捉えることができる。
【００９９】
ユーザ反応分析部１０４は、視線計測部１０６が、ユーザの視線運動として計測する、知覚刺激要素への視線滞留時間に基づいて、知覚刺激要素に対するユーザの反応の大きさを決定する構成であってもよい。一般に、人は興味がある対象をじっくりと注視するものであり、視線の滞留時間は、その対象への興味の大きさ、注目度の大きさを示す。そこで、ユーザ反応分析部１０４は、視線計測部１０６の出力値から算出される注視座標系列と、視覚刺激要素の提示位置を比較し、知覚刺激要素への視線滞留時間を計測し、この視線滞留時間が長いほど、知覚刺激要素に対するユーザの反応の大きさが大きいと判定する。
【０１００】
また、ユーザ反応分析部１０４は、視線計測部１０６が、ユーザの視線運動として計測する、表示部１０１が表示する映像の主領域と知覚刺激要素との間のサッケード回数に基づいて、知覚刺激要素に対するユーザの反応の大きさを決定する構成であってもよい。人は何らかのタスクを実行している際に、割り込まれた刺激に対して興味を持った場合、何度もその割り込まれた刺激に注意を向け、サッケードが発生する。そのため、テレビなどの表示装置で映像を視聴中に、当該映像は異なる割り込み刺激が提示され、その刺激に興味を持った場合には、その刺激の提示位置の方にサッケードが発生する。そこで、ユーザ反応分析部１０４は、視線計測部１０６の出力値から算出される注視座標系列に基づいて、表示部１０１が表示する映像の主領域と知覚刺激要素の提示位置との間でのサッケード回数を計測し、知覚刺激要素の提示位置へのサッケードの回数が多いほど、知覚刺激要素に対するユーザの反応が大きい。
【０１０１】
さらに、ユーザ反応分析部１０４は、視線計測部１０６が、ユーザの視線運動として計測する、瞬目回数に基づいて、知覚刺激要素に対するユーザの反応の大きさを決定する構成であってもよい。瞬目の発生は、人の注意や興味に影響されることが知られている。そこで、ユーザ反応分析部１０４は、視線計測部１０６が計測する瞬目回数に基づいて、知覚刺激要素に対する注目度を決定してもよい。具体的には、瞬目回数が多いほど、知覚刺激要素に対するユーザの注目度は高い。
【０１０２】
なお、ユーザ反応分析部１０４は、ユーザ状況計測部１０３が表情計測部１０７を備える構成である場合は、ユーザの表情の変化に基づいて、知覚刺激要素に対する反応の大きさを決定してもよい。ユーザ状況計測部１０３がユーザの姿勢を計測する姿勢計測部１０８を備える構成である場合は、ユーザ反応分析部１０４は、ユーザの姿勢の変化に基づいて、知覚刺激要素に対する反応の大きさを決定してもよい。
【０１０３】
＜知覚刺激の制御＞
次に、知覚刺激の制御の詳細について説明する。
【０１０４】
まず、知覚刺激制御部１０２は、第１の刺激度の知覚刺激要素を提示し、ユーザ反応分析部１０４によって決定された反応の大きさに基づいて知覚刺激要素の刺激度を第１の刺激度から変動させて知覚刺激要素を提示し、第１の刺激度の知覚刺激要素を提示してから所定の時間内に知覚刺激要素に対する反応の大きさが所定の閾値未満であれば、知覚刺激制御部１０２は知覚刺激要素の刺激度を弱める、または知覚刺激要素の提示を停止する。また、知覚刺激制御部１０２は、第１の刺激度の知覚刺激要素を提示してから所定の時間内に知覚刺激要素に対する反応の大きさが所定の閾値以上であれば、ユーザに通知したい情報を提示する。
【０１０５】
図２に示すように、知覚刺激要素に対するユーザの反応の大きさが第１の閾値以上であれば、知覚刺激要素の強度を上げ、ユーザの反応が一時的なものではないかを確認してもよい。また、知覚刺激要素に対するユーザの反応の大きさが第１の閾値未満であれば、知覚刺激要素の刺激度を下げることにより、知覚刺激要素が必要以上にユーザの映像視聴の妨げになることを防ぐことができる。一方で、知覚刺激要素に対するユーザの注目度が第１の閾値よりも高い場合に、知覚刺激要素の刺激度を上げ、ユーザの反応の大きさを探ることも有効である。
【０１０６】
実施の形態１では、知覚刺激制御部１０２は、知覚刺激要素として視覚刺激要素を提示し、知覚刺激要素の刺激度を視覚刺激要素に対する誘目性の高低に基づき算出する。つまり、知覚刺激要素の刺激度はユーザの視線の引きやすさを示す誘目性の高低で決定される。図９Ａは視覚刺激要素として図柄１５０を用いる場合の例を示す図である。知覚刺激要素の刺激度は図９Ａの（例１）ように同一の図柄１５０の数を変更したり、（例２）のように図柄１５０自体の色や明るさ、コントラストなどを変更したりすることで調整できる。この他、図９Ａの（例３）のように図柄１５０自体を変更することで刺激度を変更してもよいし、（例４）のように同一の図柄１５０の大きさを変更してもよい。
【０１０７】
また、知覚刺激制御部１０２は、表示部１０１の画面内に知覚刺激要素を提示してもよい。さらに、知覚刺激制御部１０２は、表示部１０１が表示する映像に重畳して知覚刺激要素を提示してもよい。図９Ｂは知覚刺激要素である図柄１５０が表示部１０１の画面内に提示され、かつ表示部１０１が表示する映像に重畳される場合の一例である。また、知覚刺激制御部１０２は、表示部１０１が表示する映像の輝度、または色のコントラストに対応した、知覚刺激要素を提示してもよい。例えば、表示部１０１に表示されている映像の輝度が低い場合には輝度の低い知覚刺激要素を提示し、コントラストの高い映像の場合にはコントラストの高い知覚刺激要素を提示することで映像と知覚刺激要素の刺激度のバランスをとる構成であってもよい。また、図９Ｂの（例５）のように知覚刺激要素の刺激度は図柄１５０の表示位置によって決定される構成であってもよい。
【０１０８】
また、知覚刺激制御部１０２は、表示部１０１のベゼル部１１１に設置された提示装置によって知覚刺激要素を提示してもよい。図９Ｃは表示部１０１のベゼル部１１１に提示装置が配置される場合の一例である。本実施例ではベゼル部１１１にＬＥＤ等で構成されるレベルインジケータ１６０を設け、レベルインジケータ１６０の発光個数によって知覚刺激要素の刺激度を調節している。
【０１０９】
また、知覚刺激制御部１０２は、表示部１０１の外部に知覚刺激要素を提示してもよい。例えば、図９Ｄのように表示部１０１とは別に知覚刺激装置１７０を設ける構成であってもよい。
【０１１０】
また、知覚刺激制御部１０２は、表示部１０１が表示する映像を縮小し、映像と知覚刺激要素が重畳しないように知覚刺激要素を提示する構成であってもよい。例えば図９Ｅのように映像を縮小し、映像が表示されない部分に図柄１５０を提示する構成であってもよい。
【０１１１】
また、知覚刺激制御部１０２は、ユーザに通知したい情報の重要度に基づいた刺激度の知覚刺激要素を提示する構成であってもよい。この場合、重要度が高いほど、知覚刺激要素の刺激度を強くするとよい。例えば提示制御装置１００に接続される電気機器１０５から、電気機器１０５の故障や動作不良などといった重要度の高い情報を受信するような場合には知覚刺激要素の刺激度を強くするとよい。
【０１１２】
なお、知覚刺激制御部１０２は、さらに、複数の刺激度の知覚刺激要素を格納する知覚刺激要素データベース１８０を備え、知覚刺激要素データベース１８０に格納されたデータを参照して知覚刺激要素を提示する構成であっても良い。図９Ｆに知覚刺激要素データベース１８０の一例を示す。図９Ｆの例では上述のサッケード回数や、視線滞留時間、及び瞬目回数と、図柄１５０で構成された知覚刺激要素が関連付けられており、上述のサッケード回数や、視線滞留時間、及び瞬目回数に対応した知覚刺激要素を参照し、提示することができる。
【０１１３】
図９Ｇは、本発明の実施の形態１における知覚刺激要素のバリエーションの例を説明する図である。図９Ｇの（ａ）に示すように、知覚刺激要素のバリエーションは２段階でもよいし、図９Ｇの（ｂ）に示すように、６段階程度でもよいし、それ以上でももちろんよい。
【０１１４】
図１０、図１１、及び図１２は、本発明の実施の形態１における情報通知の例を説明する図である。図１０、図１１、及び図１２は３者とも知覚刺激要素として図柄１５０を用い、表示部１０１の画面内に表示する構成である。
【０１１５】
図１０の（ａ）、図１１の（ａ）、及び図１２の（ａ）は、知覚刺激要素を提示していない状態を示しており、図１０の（ｂ）、図１１の（ｂ）、及び図１２の（ｂ）は、第１の刺激度の知覚刺激要素である図柄１５０を提示した状態を示している。図１０の（ｃ）、図１１の（ｃ）、及び図１２の（ｃ）は、知覚刺激要素の刺激度を強めた状態を示しており、図１０の（ｄ）、図１１の（ｄ）、及び図１２の（ｄ）は、通知情報１９０を表示した状態を示している。
【０１１６】
図１０の（ｂ）から図１０の（ｃ）、図１１の（ｂ）から図１１の（ｃ）、及び図１２の（ｂ）から図１２の（ｃ）では知覚刺激要素の刺激度を強めている。つまり、図１０の（ｂ）から図１０の（ｃ）では、図柄１５０を大きくし、かつ明るくすることで知覚刺激要素の刺激度を強めている。図１１の（ｂ）から図１１の（ｃ）では、図柄１５０の位置を表示部１０１の画面の端から中央寄りに移動させることで、知覚刺激要素の刺激度を強めている。図１２の（ｂ）から図１２の（ｃ）では、図柄１５０の数を増やすことで知覚刺激要素の刺激度を強めている。
【０１１７】
かかる構成によれば、知覚刺激制御部１０２は第１の刺激度の知覚刺激要素を提示し、ユーザ反応分析部１０４によって算出された反応の大きさに基づいて知覚刺激要素の刺激度を第１の刺激度から変動させて知覚刺激要素を提示し、第１の刺激度の知覚刺激要素を提示してから所定の時間内に知覚刺激要素に対する反応の大きさが所定の閾値未満であれば、知覚刺激制御部１０２は知覚刺激要素の刺激度を弱める、もしくは知覚刺激要素の提示を停止する。これにより、ユーザの視聴状況を考慮した、さりげない情報通知を実現することができる。
【０１１８】
なお、知覚刺激制御部１０２は、知覚刺激要素として聴覚刺激要素を提示し、知覚刺激要素の刺激度を聴覚刺激要素の音量、音程、または音量及び音程に基づき算出する構成であってもよい。知覚刺激制御部１０２は、表示部１０１が表示する映像の音声に対応した音声特性を持つ聴覚刺激要素を提示する構成であってもよい。例えば、ユーザが視聴している映像の音声に自然に調和するような音を聴覚刺激要素として提示し、その音量や音程を変えることで刺激度を変化させるとよい。この場合、音量が大きいほど刺激度は強い。また、映像の音声と知覚刺激要素の音程との差が大きいほど刺激度は強い。
【０１１９】
また、知覚刺激制御部１０２は、知覚刺激要素として触覚刺激要素を提示し、知覚刺激要素の刺激度を触覚刺激要素の圧迫感、触感、または圧迫感及び触感に基づき算出してもよい。例えば、知覚刺激制御部１０２とユーザの座るソファや椅子などを連動させ、ソファや椅子などからの振動を触覚刺激要素としてユーザに提示する構成などが考えられる。この場合、振動が大きいほど刺激度は強い。
【０１２０】
また、知覚刺激要素は、嗅覚刺激要素であり、嗅覚刺激要素の刺激度は、においが強い、においが臭い、またはにおいが強い及びにおいが臭いほど刺激度は強い構成であってもよい。例えば、知覚刺激制御部１０２と、におい発生装置を連動させ、におい発生装置からのにおいを嗅覚刺激要素としてユーザに提示する構成などが考えられる。この場合、臭いが強いほど刺激度は強い。
【０１２１】
（実施の形態２）
本発明は、複数の映像を同時に表示する表示装置についても適用可能である。実施の形態２では、表示装置の同一の画面に同時に複数の映像を表示する場合の提示制御装置について説明する。
【０１２２】
なお、実施の形態２に係る提示制御装置の機能構成を示すブロック図は、図１と同様である。また、ユーザ状況計測部１０３、及びユーザ反応分析部１０４の動作については、実施の形態１と同様であるものとして説明を省略する。
【０１２３】
図１３は、実施の形態２に係る提示制御装置を表す図である。
【０１２４】
提示制御装置２００は、表示部２０１の表示画面サイズが２０インチの大型タブレット端末である。言い換えれば、提示制御装置２００は、コンテンツ提示ユーザインターフェースに適用される。表示部２０１の表示画面の解像度は、水平画素数が約４０００画素のいわゆる４ｋ解像度である。なお、提示制御装置２００のベゼル部２１１には、ユーザ反応分析部１０４である撮像装置１１０が設けられる。もちろん、提示制御装置２００の外部に、撮像装置１１０が設けられても良い。
【０１２５】
図１３の（ａ）に示すように、表示部２０１は、表示画面上に同時に複数の映像を表示することが可能である。ここで、映像とは、画像やテキストなどで構成された電子雑誌や電子教材などのコンテンツも含む。具体的には、実施の形態２では、表示部２０１が表示画面上に同時に４つの映像を表示する例について説明する。しかしながら、同時に表示される映像の数は、これに限定されない。
【０１２６】
提示制御装置２００は、様々なコンテンツを表示部２０１の表示画面上に同時に表示することができる。例えば、提示制御装置２００は、ニュースなどのテレビ放送、広告、ＶｏＤ（Ｖｉｄｅｏ  Ｏｎ  Ｄｅｍａｎｄ）、ＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｙｓｔｅｍ）、電子雑誌、電子教材などのコンテンツのうち４つのコンテンツを映像Ａ、Ｂ、Ｃ、及びＤとして同時に表示することができる。
【０１２７】
表示部２０１によって表示される４つの映像のうち、映像Ａ（第１の映像）は、ユーザが主に視聴しているメインコンテンツである。したがって、図１３の（ａ）では、映像Ａの表示画面上における大きさは、映像Ｂ、Ｃ、及びＤの表示画面上の大きさに比べて大きい。４つの映像のうち映像Ｄ（第２の映像）は、ユーザが主に視聴していないサブコンテンツであり、なおかつ知覚刺激制御部１０２が提示する知覚刺激要素である。また、映像Ｄは、ユーザに提示したい情報でもある。映像Ｄの表示画面上における大きさは、映像Ａの表示画面上における大きさよりも小さい。
【０１２８】
図１３の例では、上述のように知覚刺激制御部１０２は、映像Ｄを知覚刺激要素としてユーザに提示する。ユーザ反応分析部１０４は、ユーザ状況計測部１０３が計測したユーザの状況に基づいて、映像Ｄに対するユーザの反応の大きさを決定する。
【０１２９】
知覚刺激制御部１０２は、ユーザ反応分析部１０４によって決定された反応の大きさに基づいて映像Ｄの刺激度を第１の刺激度から変動させて提示（表示）する。具体的には、知覚刺激制御部１０２は、映像Ｄの表示態様を変更することにより、映像Ｄの刺激度を変動させる。
【０１３０】
ここで、表示態様を変更するとは、映像Ｄとして表示されているコンテンツの内容を変更することなく、映像Ｄの態様を変更することを意味する。例えば、映像ＤがＶｏＤコンテンツである場合、ＶｏＤコンテンツはそのまま表示したうえで当該ＶｏＤコンテンツに別の映像を重畳させたり、ＶｏＤコンテンツの色調、コントラストなどを変えたりすることを意味する。また、映像Ｄを点滅させるなどの映像に対して特定の効果を適用することも表示態様の変更に含まれる。
【０１３１】
図１３では、映像Ｄに外枠を追加することで映像Ｄの刺激度を変更する。具体的には、図１３の（ａ）の状態から、図１３の（ｂ）に示されるように映像Ｄに外枠２５０を重畳することにより、映像Ｄの刺激度を強める。さらに、図１３の（ｃ）に示されるように、より太い外枠２５０を映像Ｄに重畳することにより、知覚刺激制御部１０２は、図１３の（ｂ）の状態よりもさらに映像Ｄの刺激度を強めることができる。なお、図１３のように映像Ｄに外枠を追加する場合の刺激度の変更方法は、外枠の太さを変更することに限定されない。例えば、外枠を点滅させ、外枠の点滅の時間間隔によって刺激度を変更してもよいし、外枠の色を変更することによって刺激度を変更してもよい。
【０１３２】
また、第１の刺激度の映像Ｄを提示してから所定の時間内に映像Ｄに対するユーザの反応の大きさが所定の閾値以上であれば、知覚刺激制御部１０２は、ユーザに通知したい情報である映像Ｄをメインコンテンツとしてユーザに提示する。
【０１３３】
具体的には、図１３の（ｄ）に示されるように、映像Ｄの表示画面上における大きさが映像Ａの表示画面上における大きさよりも大きくなるように映像Ｄを表示部２０１に表示させる。
【０１３４】
なお、例えば、第１の刺激度の映像Ｄを提示してから所定の時間内に映像Ｄに対するユーザの反応の大きさが所定の閾値以上であれば、知覚刺激制御部１０２は、図１３の（ａ）における映像Ａの位置及び大きさで映像Ｄを表示してもよい。つまり、映像Ａと映像Ｄとの表示画面上における位置を入れ替えてもよい。
【０１３５】
このように、ユーザの視聴状況に応じて複数の映像の表示画面上の大きさ及びレイアウトを変更する画面遷移を行うことによって、知覚刺激制御部１０２は、さりげない映像表示（情報通知）を実現することができる。
【０１３６】
なお、知覚刺激制御部１０２は、映像Ｄの表示内容を変更することにより、映像Ｄの刺激度を変動させてもよい。
【０１３７】
ここで、表示内容を変更するとは、映像Ｄとして表示されているコンテンツの内容を変更することを意味する。例えば、映像Ｄが静止画（写真）である場合、表示内容を変更するとは、現在映像Ｄとして表示されている静止画とは別の静止画を表示することを意味する。また、例えば、映像ＤにＳＮＳのテキストが表示されているような場合、表示内容を変更するとは、テキストを動かしたり、テキストの文字サイズを変更したりすることを意味する。また、例えば、映像Ｄがテレビ放送である場合、表示内容を変更するとは、典型的には、映像Ｄとして表示されているテレビ放送の受信チャンネルを変更することを意味する。
【０１３８】
図１４は、映像Ｄの表示内容を変更して刺激度を変動させる例を示す図であり、映像Ｄとして静止画が表示されている場合の例を表す図である。
【０１３９】
図１４の（ａ）では、映像Ｄとして風景が撮影された静止画が表示されている。この状態から、例えば、図１４の（ｂ）に示されるように映像Ｄとして建築物が撮影された静止画を表示することによって、知覚刺激制御部１０２は、映像Ｄの刺激度を変動させる。また、例えば、図１４の（ｂ）の状態から図１４の（ｃ）に示されるように映像Ｄとして動物が撮影された静止画を表示することによって、知覚刺激制御部１０２は、映像Ｄの刺激度をさらに変動させる。最終的には、図１４の（ｄ）に示されるように第１の刺激度の映像Ｄを提示してから所定の時間内に映像Ｄに対するユーザの反応の大きさが所定の閾値以上であれば、映像Ｄは、メインコンテンツ（ユーザに通知したい情報）としてユーザに提示される。
【０１４０】
以上のように通常の静止画を表示する状態から、異なる静止画を表示することによって映像Ｄは知覚刺激要素として機能する。
【０１４１】
なお、この場合の刺激度は、例えば、静止画の切り替え頻度（静止画の切り替えの時間間隔）によって決定される。切り替え頻度が高い場合は、刺激度が高いことを意味し、切り替え頻度が低い場合は、刺激度が低いことを意味する。
【０１４２】
また、静止画自体に刺激度を対応させてもよい。例えば、知覚刺激制御部１０２は、あらかじめ複数の静止画それぞれについて、静止画を構成する各画素の輝度の平均値を求めておく。このような画素の輝度の平均値が高い（明るい）静止画ほど、ユーザに知覚されやすく、刺激度が高い静止画であるといえる。つまり、知覚刺激制御部１０２は、このような輝度の平均値に応じて提示したい刺激度の静止画を選択して提示することによって刺激度を変更してもよい。知覚刺激制御部１０２は、あらかじめ複数の静止画それぞれについて、周辺の画素に対する輝度の変化が所定の値よりも大きい画素の数を求めておく。このような周辺の画素に対する輝度の変化が所定の値よりも大きい画素の数が多い静止画ほど、ユーザに知覚されやすく、刺激度が高い静止画であるといえる。つまり、知覚刺激制御部１０２は、このような画素数に応じて提示したい刺激度の静止画を選択して提示することによって刺激度を変更してもよい。さらに、静止画の視覚的注意の引きやすさ、すなわち顕著性を刺激度と対応づけても良い。顕著性が大きい場合は、刺激度が高いことを意味し、顕著性が小さい場合は、刺激度が低いことを意味する。顕著性を算出する方法には、非特許文献「Ｉｔｔｉ，Ｌ．  ａｎｄ  Ｋｏｃｈ，Ｃ．：Ｃｏｍｐｕｔａｔｉｏｎａｌ  ｍｏｄｅｌｉｎｇ  ｏｆ  ｖｉｓｕａｌ  ａｔｔｅｎｔｉｏｎ．Ｎａｔｕｒｅ  Ｒｅｖｉｅｗｓ  Ｎｅｕｒｏｓｃｉｅｎｃｅ，２（３），ｐｐ．１９４−２０３．」などが知られている。
【０１４３】
以上、図１３及び図１４を用いて本発明の実施の形態２について説明した。
【０１４４】
なお、図１３及び図１４の説明では、第１の刺激度の映像Ｄを提示してから所定の時間内に映像Ｄに対するユーザの反応の大きさが所定の値以上であれば、知覚刺激制御部１０２は、映像Ｄの表示画面上における大きさとともに、映像Ｄの情報量を大きくして映像Ｄを表示してもよい。
【０１４５】
ここでの情報量とは、具体的には、例えば、映像ＤとしてＳＮＳコンテンツが表示されているような場合、表示画面上に表示される文字数を意味する。また、例えば、知覚刺激要素である映像Ｄとして、複数の静止画がサムネイル状態で縮小されて表示されているような場合に、メインコンテンツとして拡大して表示される映像Ｄが、通常の（サムネイル状態でない）静止画として表示されるような場合が、情報量を大きくして表示することに対応する。
【０１４６】
これにより、ユーザが知覚刺激要素である映像Ｄに注意を向けた場合に、映像Ｄが拡大されメインコンテンツとして表示されると共に、表示画面を介してより詳細な情報を得ることが可能である。つまり、さりげない情報通知が実現される。
【０１４７】
なお、実施の形態２では、本発明の提示制御装置をタブレット端末に適用したが、実施の形態２のような態様の提示制御装置は、スマートフォンにももちろん適用可能である。
【０１４８】
以上、本発明の一態様に係る提示制御装置について、実施の形態及びその変形例に基づいて説明したが、本発明は、これらの実施の形態又はその変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態又はその変形例に施したもの、あるいは異なる実施の形態又はその変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１４９】
さらに、本発明は、以下のように変形することもできる。
【０１５０】
（１）上記の提示制御装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＯＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、提示制御装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。
【０１５１】
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムで実現できる。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１５２】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１５３】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１５４】
（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有してもよい。
【０１５５】
（４）本発明は、上記に示す提示制御装置が備える特徴的な構成部の動作をステップとする方法であってもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであってもよいし、前記コンピュータプログラムからなるデジタル信号であってもよい。
【０１５６】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（登録商標））、半導体メモリなど、に記録したもので実現してもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号で本発明を実現してもよい。
【０１５７】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
【０１５８】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【０１５９】
本発明の一態様に係る提示制御装置は、さりげない情報通知機能を備えるテレビなどの映像表示装置として有用である。
【符号の説明】
【０１６０】
１００、２００  提示制御装置
１０１、２０１  表示部
１０２  知覚刺激制御部
１０３  ユーザ状況計測部
１０４  ユーザ反応分析部
１０５  電気機器
１０６  視線計測部
１１０  撮像装置
１１１、２１１  ベゼル部
１１２  顔部品領域データベース（ＤＢ）
１１３  顔部品領域テンプレートデータベース（ＤＢ）
１１４  目尻と目頭とを含む領域
１１５  輝度が小さい領域
１２０  第１領域
１３０  第２領域
１４０  黒目検出フィルタ
１５０  図柄
１６０  レベルインジケータ
１７０  知覚刺激装置
１８０  知覚刺激要素データベース
１９０  通知情報
２５０  外枠
【図１】
2013018267.tif 000004
【図２】
2013018267.tif 000005
【図３Ａ】
2013018267.tif 000006
【図３Ｂ】
2013018267.tif 000007
【図３Ｃ】
2013018267.tif 000008
【図４】
2013018267.tif 000009
【図５】
2013018267.tif 000010
【図６】
2013018267.tif 000011
【図７】
2013018267.tif 000012
【図８】
2013018267.tif 000013
【図９Ａ】
2013018267.tif 000014
【図９Ｂ】
2013018267.tif 000015
【図９Ｃ】
2013018267.tif 000016
【図９Ｄ】
2013018267.tif 000017
【図９Ｅ】
2013018267.tif 000018
【図９Ｆ】
2013018267.tif 000019
【図９Ｇ】
2013018267.tif 000020
【図１０】
2013018267.tif 000021
【図１１】
2013018267.tif 000022
【図１２】
2013018267.tif 000023
【図１３】
2013018267.tif 000024
【図１４】
2013018267.tif 000025
【国際調査報告】
2013018267.tif 000026
2013018267.tif 000027
2013018267.tif 000028