(57)【要約】【課題】  任意の画像コンテンツに対して鑑賞者に提供する適切な感覚情報を即時に自動生成し、感覚情報を含む高臨場感での画像鑑賞を随時可能とする。【解決手段】  画像中の所定の動きを抽出する画像解析手段１０６と、抽出された動きに基づき鑑賞者へ提供すべき皮膚感覚情報を生成する皮膚感覚情報生成手段１０７と、生成された皮膚感覚情報を鑑賞者に提供する皮膚感覚情報提供手段１０８とを設けた。【選択図】  図１
2006270711.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置において、
特定の画像に限られることなく、すべての画像入力に対応可能であり、前記入力された画像の動きベクトルを検出して前記画像中の所定の動きを抽出する画像解析手段と、
抽出された前記動きに基づき鑑賞者へ提供すべき風向・風圧・振動の少なくとも１つを含む皮膚感覚情報を生成する皮膚感覚情報生成手段と、
生成された前記皮膚感覚情報を前記鑑賞者に提供する皮膚感覚情報提供手段とを、
設けたことを特徴とする情報提供装置。
【請求項２】
前記鑑賞者の生理的情報を取得する生理的情報取得手段と、
前記生理的情報に基づいて前記鑑賞者の状態を判定する鑑賞者状態判定手段とを、
備え、前記鑑賞者状態判定手段の出力信号に応じて前記皮膚感覚情報提供手段を制御し、よって前記画像中の動きと前記鑑賞者の生理状態に基づいて前記皮膚感覚情報を提供することを特徴とする請求項１に記載の情報提供装置。
【請求項３】
入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置の制御をコンピュータに実現させるためのプログラムにおいて、
特定の画像に限られることなく、すべての画像入力に対応可能であり、前記入力された画像の動きベクトルを検出して前記画像中の所定の動きを抽出する画像解析ステップと、
抽出された前記動きに基づき鑑賞者へ提供すべき風向・風圧・振動の少なくとも１つを含む皮膚感覚情報を生成する皮膚感覚情報生成ステップと、
生成された前記皮膚感覚情報を前記鑑賞者に提供する皮膚感覚情報提供ステップとを、  設けたことを特徴とする情報提供装置の制御用プログラム。
【請求項４】
前記鑑賞者の生理的情報を取得する生理的情報取得ステップと、
前記生理的情報に基づいて前記鑑賞者の状態を判定する鑑賞者状態判定ステップとを、  備え、前記鑑賞者状態判定ステップの判定結果に応じて前記皮膚感覚情報提供ステップを実行し、よって前記画像中の動きと前記鑑賞者の生理状態に基づいて前記皮膚感覚情報を提供することを特徴とする請求項３に記載の情報提供装置の制御用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置に関し、特に鑑賞者に画像情報に加えて画像以外の感覚情報を提供し高臨場感での画像鑑賞を可能とする情報提供装置及びその制御用プログラムに関する。
【背景技術】
【０００２】
高臨場感の情報提供を目的として画像・音声に加えて複数の感覚を同時に体験させる試みが従来より行われている。映像に合わせた座面の移動や空調制御は娯楽施設のアトラクションでしばしば用いられるが、一般の映像鑑賞においては風の効果も臨場感を増すために重要である。乗り物に乗ったときなどに必ず感じる風の効果をシミュレーションすることにより、リアルな感覚を得ることができる。下記の特許文献１では、この点に着目して画像表示装置の背面に送風装置を組み込み風の効果の有る仮想空間を生成する方法を開示している。
【特許文献１】特開２０００−７８４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献１に記載されている従来技術においては、画像再生と送風のタイミングをシナリオに合わせてあらかじめ設定しておく必要があるため、感覚情報を含む高臨場感での画像鑑賞はあらかじめ提供者がタイミングを設定し編集したコンテンツに限られる。すなわち、任意の画像コンテンツを随時高臨場感で鑑賞することはできないという問題があった。また、上記従来技術においては、送風装置の規模が大きく実現可能な環境が限られているという点も問題であった。
【０００４】
そこで本発明は、任意の画像コンテンツに対して鑑賞者に提供する適切な感覚情報を即時に自動生成し、感覚情報を含む高臨場感での画像鑑賞を随時可能とすることを目的とする。さらに、限られた情報提供環境で効果的な感覚情報提供による臨場感の演出を可能とすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は上記目的を達成するため、画像中の所定の動きを抽出して画像を解析し、抽出された動きに基づき鑑賞者へ提供すべき皮膚感覚情報を生成し、生成された皮膚感覚情報を鑑賞者に提供するようにしたものである。
【０００６】
すなわち、本発明によれば、入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置において、
特定の画像に限られることなく、すべての画像入力に対応可能であり、前記入力された画像の動きベクトルを検出して前記画像中の所定の動きを抽出する画像解析手段と、
抽出された前記動きに基づき鑑賞者へ提供すべき風向・風圧・振動の少なくとも１つを含む皮膚感覚情報を生成する皮膚感覚情報生成手段と、
生成された前記皮膚感覚情報を前記鑑賞者に提供する皮膚感覚情報提供手段とを、
設けたことを特徴とする情報提供装置が提供される。
【０００７】
また本発明によれば、入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置の制御をコンピュータに実現させるためのプログラムにおいて、
特定の画像に限られることなく、すべての画像入力に対応可能であり、前記入力された画像の動きベクトルを検出して前記画像中の所定の動きを抽出する画像解析ステップと、
抽出された前記動きに基づき鑑賞者へ提供すべき風向・風圧・振動の少なくとも１つを含む皮膚感覚情報を生成する皮膚感覚情報生成ステップと、
生成された前記皮膚感覚情報を前記鑑賞者に提供する皮膚感覚情報提供ステップとを、  設けたことを特徴とする情報提供装置の制御用プログラムが提供される。
【０００８】
なお、鑑賞者の生理的情報を取得し、生理的情報に基づいて鑑賞者の状態を判定し、判定結果に応じて皮膚感覚情報を提供することは、本発明の好ましい態様である。
【発明の効果】
【０００９】
本発明の情報提供装置又はその制御用プログラムによれば、画像情報中の動き情報に基づき皮膚感覚情報を生成することにより、任意の画像コンテンツに対して鑑賞者に提供する適切な感覚情報を即時に自動生成し、感覚情報を含む高臨場感での画像鑑賞を随時可能とするという効果を得ることができる。さらに、本発明は、画像情報中の動き情報に基づき、対象とする情報提供装置で実現容易な感覚情報を生成することにより、限られた情報提供環境で効果的な感覚情報提供による臨場感の演出を可能とするという効果を得ることができる。また、本発明の一態様では、鑑賞者の状態に基づいて提供情報を制御することにより、鑑賞者の健康維持増進に適切な情報提供を可能とするという効果を得ることができる。
【発明を実施するための最良の形態】
【００１０】
以下図面を参照して本発明の好ましい実施の形態について説明する。なお、本発明の情報提供装置は画像情報を表示可能な各種装置に皮膚感覚情報の生成・提供機能を付加する形態で実現することができる。
＜第１の実施の形態＞
図２は本発明の情報提供装置の第１の実施の形態を示す構成図である。テレビジョン装置１は、ビデオカメラ２、光ディスクプレーヤなどの画像記録再生装置３、デジタル放送受信アンテナ４などの画像入力手段と接続し画像情報を入力することができる。表示画面５の周囲には図示しないスピーカと送風装置６が設置されている。図１は本発明の情報提供装置の第１の実施の形態を示すブロック図である。情報提供装置１０１はデジタル映像信号及びアナログ映像信号を入力するデータ入力部１０２、データ変換及び画質改善処理を行う画像処理部１０３、表示デバイスを駆動する出力ドライバ１０４、表示パネルからなる画像表示部１０５、画像情報から所定の動きを検出する動き検出部１０６、動き情報を基に送風部１０８のコントロール情報を生成する送風情報生成部１０７、静音型ファンからなる送風部１０８、各部を統括制御する制御部１０９を備える。
【００１１】
画像表示処理の流れは通常のテレビジョン装置と同様である。データ入力部１０２ではデジタル映像信号はデコードされ、アナログ映像信号はデジタル化されてデジタル画像情報として画像処理部１０３に送られる。画像処理部１０３では画像情報を分析しガンマ補正、コントラスト補正、色彩補正などを行い出力ドライバ１０４に送る。出力ドライバ１０４では画像情報を出力デバイスに最適化し画像表示部１０５に出力し、画像表示部１０５では高精細画像として表示する。
【００１２】
一方、データ入力部１０２でデジタル化された画像情報は動き検出部１０６に送られる。動き検出処理の流れを図３を用いて説明する。各フレームごとの入力画像情報に対し、ノイズ除去・エッジ抽出などの前処理を施し(S201)、前フレームとの差分を取る(S202)。フレーム差分結果から画像中に動きが有れば(S203→Y)、動きを領域として抽出し(S204)、動きベクトルviを抽出する(S205)。さらに、各領域の動きベクトルの平均Vave及び動きベクトルの分散Vvarの統計値を算出し(S206)、フレーム情報を保存しておく(S207)。画像中に動きが無ければ(S203→N)、フレーム情報を保存して(S207)終了する。ここで処理フレームにおける各動き領域の動き情報及び統計値が求められる。
【００１３】
動き情報を基に送風情報生成部１０７で送風情報を生成する。送風情報生成処理の流れを図４を用いて説明する。動きベクトルの平均Vaveの値が所定の閾値Thaveより大きければ(S211→Y)、送風情報決定処理(S212)を行い、送風設定をオン（ON）にする(S215)。動きベクトルの平均Vaveの値が所定の閾値Thave以下ならば(S211→N)、動きベクトルの分散Vvarと所定の閾値Thvarを比較する(S213)。動きベクトルの分散Vvarが所定の閾値Thvarより大きければ(S213→Y)、送風領域を限定せず全面送風する設定とし(S214)、送風設定をONとする(S215)。動きベクトルの分散Vvarが所定の閾値Thvarより小さければ(S213→N)、送風設定をオフ（OFF）とする(S216)。
【００１４】
動きベクトルの平均Vaveの値が所定の閾値Thaveより大きい場合の送風情報決定処理(S212)について図５を用いて説明する。送風情報決定処理(S212)では、動き物体の位置を送風元として定位し、風向及び風量を設定する。まず、画像情報の構図を基に奥行き情報の有無を検出する(S221)。具体的にはハフ変換を用いて車線などの本来の平行線を表す一定角度関係の複数の線分を検出し消失点を求める。消失点が高い確度で求まり奥行情報が有る画像と判断されれば(S222→Y)、動き領域の位置情報を補正する(S223)。さらに、動き領域の分布を評価し背景画像が移動していると判断されれば(S224→Y)、風向を奥行情報に従って補正する(S225)。その後動き領域の位置に合わせて送風元を定位し(S226)、動き量に応じて風量の設定を行う(S227)。
【００１５】
送風情報を基に送風部１０８を駆動し所定の風向及び風量での送風を行う。具体的な送風情報生成処理を図６の画像例を用いて説明する。動きベクトルの平均Vaveの値が閾値Thaveより大きい場合は、図６(a)、(c)のように画面中に一定レベルのサイズ及び速度の動き物体が存在するか、図６(b)、(d)のように画面の広範囲に一定方向の動きが有る場合が想定され、送風情報決定処理の対象となる。動きベクトルの平均Vaveの値が閾値Thave以下の場合は、画面中にほとんど動きが存在しない場合(Vvar≦Thvar)と、図６(e)の水面の小波のように画面中に様々な方向の動きが存在する場合（Vvar＞Thvar）が想定される。動きが存在しない場合は送風情報の設定は行わない。画面中に様々な方向の動きが存在する場合、個々の動き物体の位置を特定しそれぞれの動きを送風情報に反映させるのは小規模な装置では困難である。そこでこのような場合は、画面全体の動きを想定した送風元設定を行い小風量での送風を行う。
【００１６】
図４に示す送風情報決定処理S212では送風元の定位及び風向、風量を決定する。基本的には図６(c)のように動き物体の位置を送風元として定位し、動きベクトル量に対応した風量を設定することにより物体の移動に伴って鑑賞者が受ける風圧を表現する。図６(d)の流し撮りのように広範囲で動きが有る場合は画面全体を送風元として定位することにより風を切る感覚を表現することができる。ただし図６(a)、(b)のように奥行情報の有る画像の場合にはこれを補正して定位する必要がある。例えば図６(a)の車両は画面上の座標では上から下に移動しているが、実際には平面上を遠方から近づいてくるのであって、上下に移動している訳ではない。このために図６(a)のように本来の平行線を表す一定角度関係の複数の線分を近似し消失点Pを求め、消失点Pに向かう本来の平行線を表す一定角度関係の複数の線分の向きを奥行方向として、動き領域で奥行方向に動く物体について、その位置を画面上の座標からPを奥行方向とした位置座標に変換する。奥行方向の動きか否かを判定する際、動き領域の大きさの変化を用いて精度を向上させることができる。
【００１７】
さらに、図６(b)の車載カメラからの映像のように背景が奥行方向に移動する場合、送風元は画面全体に定位するが、背景が近づく方向に動く場合は鑑賞者に向けて送風し風を切る感覚を表現するのに対し、背景が遠ざかる方向に動く場合は逆に風向を設定し背景空間から遠ざかる感覚を表現する。
【００１８】
送風元の定位は複数の送風ファンのオン／オフ（ON/OFF）及び風向制御で行う。また、制御部１０９では画像表示と送風が対応するフレーム位置で行われるようタイミング制御する。特に、送風動作のタイムラグが大きいときや、送風装置と鑑賞者の距離が遠いときなどは、画像の動きが送風動作に対して先行してしまうので、画像データを遅延させるなどして画像の動きと送風動作の同期をとることにより時間差を解消することができる。画像データを遅延させるためには、例えば図１中の画像表示部１０５の内部のメモリに格納した画像データを遅延させて読み出すことができる。
【００１９】
なお、画像中の動きを検出する手法としては、様々な手法を用いることができるが、本出願人が先に出願した特許出願２００３−２７８８４１号に記載した手法を用いることが好ましい。この手法は、下記の（１）−（４）に記載の装置又はプログラムにより実行されるものである。
【００２０】
（１）
時系列に入力される画像情報を記憶して画像の動きを検出する動き検出装置において、入力された画像フレームを複数のブロックに分割するフレーム分割手段と、分割された各分割ブロックに掛かる輝度の代表値を求める第１演算手段と、前記画像フレーム全体の輝度の代表値を求める第２演算手段と、前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第１記憶手段と、前記第１記憶手段から読み出された各輝度の代表値を用いて、時系列に入力された２つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する動きブロック検出手段と、前記動きブロックを記憶する第２記憶手段と、前記第２記憶手段から読み出された動きブロックのうち隣接するものを統合し動き領域候補とするとともに、その動き領域候補に関する情報である動き領域候補情報を作成する動き領域候補抽出手段と、前記動き領域候補抽出手段によって現フレームについて作成された動き領域候補情報を記憶する第３記憶手段と、前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記第３記憶手段から読み出された現フレームの動き領域候補情報とに基づいて作成する動き領域候補対応付け手段と、前記前フレームまでの動き領域候補対応付け情報を前記動き領域候補対応付け手段に供給するとともに、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第４記憶手段と、前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する動き領域判定手段と、前記動き領域判定手段による判定結果を出力する出力手段とを具備したことを特徴とする画像の動き検出装置。
【００２１】
（２）
前記判定手段において、動き領域の判定基準は、前記対応付けられた動き領域候補に含まれる動きブロックの数、動きの対応付けられたフレーム数、前記対応付けられた動き領域候補に含まれる各動きブロックの位置の平均の連続するフレーム間の変位量又は変位方向、前記対応付けられた動き領域候補に含まれる各動きブロックの位置の平均の前記動き領域候補検出開始時からの変位量又は変位方向の内の、少なくとも１つを用いたものであることを特徴とする上記（１）に記載の画像の動き検出装置。
【００２２】
（３）
時系列に入力される画像情報を記憶して画像の動きを検出するための動き検出用のコンピュータプログラムであって、入力された画像フレームを複数のブロックに分割する第１手順と、分割された各分割ブロックに掛かる輝度の代表値を求める第２手順と、前記画像フレーム全体の輝度の代表値を求める第３手順と、前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第４手順と、前記記憶された各輝度の代表値を用いて、時系列に入力された２つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する第５手順と、前記動きブロックを記憶する第６手順と、前記記憶された動きブロックのうち隣接するものを統合し動き領域候補とするとともに、その動き領域候補に関する情報である動き領域候補情報を作成する第７手順と、前記第７手順によって現フレームについて作成された動き領域候補情報を記憶する第８手順と、前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記記憶された現フレームの動き領域候補情報とに基づいて作成する第９手順と、前記前フレームまでの動き領域候補対応付け情報を出力するとともに、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第１０手順と、前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する第１１手順と、前記第１１手順による判定結果を出力する第１２手順とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【００２３】
（４）
前記第１１手順において、動き領域の判定基準は、前記対応付けられた動き領域候補に含まれる動きブロック候補の数、動きの対応付けられたフレーム数、前記対応付けられた動き領域候補に含まれる各動きブロック候補の位置の平均のフレーム間の変位量又は変位方向、前記対応付けられた動き領域候補に含まれる各動きブロック候補の位置の平均の前記動き領域候補検出開始時からの変位量又は変位方向の内の、少なくとも１つを用いたものであることを特徴とする上記（３）に記載のコンピュータプログラム。
【００２４】
この先願にかかる画像の動き検出装置によれば、照明状態の変化の影響を受けにくい動き判定を可能にし、監視システムなどにおいて照明状態の変化に伴う動きの誤検出によって発生するトラブルを有効に防止する。加えて、ユーザの監視したい対象物の動きの特徴を動き判定基準に反映させることで、検出が必要な動きを精度良く検出し、背景の検出不要な動きを排除することができるため、効率の良い監視システム構築が可能となる。また、分割ブロックや画像フレーム全体の輝度に掛かる代表値(平均値など)を動き検出の演算に用いることで、フリッカーなどのノイズの影響をあらかじめ低減させ、動き判定処理を効率化できるという利点がある。
【００２５】
＜第２の実施の形態＞
図７は本発明の情報提供装置の第２の実施の形態を示すブロック図である。情報提供装置１０１は情報提供装置本体１２０にデジタル映像信号及びアナログ映像信号を入力するデータ入力部１０２、データ変換及び画質改善処理を行う画像処理部１０３、表示デバイスを駆動する出力ドライバ１０４、表示パネルからなる画像表示部１０５、画像情報から所定の動きを検出する動き検出部１０６、動き情報を基に送風部のコントロール情報を生成する送風情報生成部１０７、静音型ファンからなる送風部１０８、各部を統括制御する制御部１０９を備える点は第１の実施の形態と同様である。本実施の形態では更に、血圧センサ１１３、脈拍センサ１１４、データ送信部１１５、制御部１１６を備えた生理的情報取得装置１１２を備え、情報提供装置本体１２０にデータ受信部１１１、ユーザ状態判定部１１０を備える。
【００２６】
生理的情報取得装置１１２は鑑賞者に装着され、血圧センサ１１３、脈拍センサ１１４を制御して鑑賞者の生理的情報を取得し、生理的情報をデータ送信部１１５より情報提供装置本体１２０に送信する。情報提供装置本体１２０のデータ受信部１１１は生理的情報を受信し、ユーザ状態判定部１１０は鑑賞者の生理的情報に基づいて鑑賞者の状態を判定し、判定結果を画像処理部１０３と送風情報生成部１０７の双方に出力する。
具体的には、ユーザ状態判定部１１０は、例えば血圧が高く、脈拍が速い場合には、鑑賞者は興奮状態にあると判定する。画像処理部１０３ではこれを受けて画像のコントラストなどを鑑賞者の興奮を和らげる方向に調整する。送風情報生成部１０７では鑑賞者への刺激を和らげる方向で風量設定を所定より少なく設定する。なお、ユーザ状態判定部１１０は、画像鑑賞時に想定される適切な範囲での状態変化は許容範囲内として判定する。一方、鑑賞者の状態が通常の範囲を著しく超える場合には、画像処理部１０３を制御して、画像表示部１０５にアラーム情報を出力することが望ましい。
【００２７】
＜第３の実施の形態＞
図８は本発明の情報提供装置の第３の実施の形態を示すブロック図である。携帯型情報提供端末３０１は無線によるデジタル信号を入力するデータ入力部３０２、データ変換及び画質改善処理を行う画像処理部３０３、表示デバイスを駆動する出力ドライバ３０４、表示パネルからなる画像表示部３０５、画像情報から所定の動きを検出する動き検出部３０６、動き情報を基に振動部３０８のコントロール情報を生成する振動情報生成部３０７、バイブレータからなる振動部３０８、各部を統括制御する制御部３０９を備える。
【００２８】
画像表示処理の流れは通常の携帯型情報提供端末と同等である。データ入力部３０２ではデジタル信号がデコードされ、デジタル画像情報として画像処理部３０３に送られる。画像処理部３０３では画像情報のサイズ変換、画像効果処理などを行い出力ドライバ３０４に送る。出力ドライバ３０４では画像情報を出力デバイスに最適化し画像表示部３０５に出力し、画像表示部３０５に表示する。
【００２９】
一方、データ入力部３０２でデジタル化された画像情報は動き検出部３０６に送られる。動き検出処理の流れを図１０を用いて説明する。各フレームごとの入力画像情報に対し、ノイズ除去エッジ抽出などの前処理を施し(S401)、前フレームとの差分を取る(S402)。フレーム差分結果から画像中に動きが有れば(S403→Y)、動きピクセル位置の平均Atを算出し(S404)、前フレームの動きピクセル位置の平均At-1との差分Vtを算出する(S405)。算出処理が終わればフレーム情報を保存する(S406)。画像中に動きが無ければ(S403→N)、フレーム情報を保存して(S406)終了する。この時点で処理フレームにおける動きピクセル位置の平均At及び、動きピクセル位置の平均Atの移動量Vt（上記差分）が得られている。平均を算出する過程でカウントした各処理フレームの動きピクセル数Ctも保存する。
【００３０】
動き情報を基に振動情報生成部３０７で振動情報を生成する。振動情報生成処理の流れを図１１を用いて説明する。現フレームで検出された動きピクセル数Ctと前フレームで検出された動きピクセル数Ct-1の変化量Ct-Ct-1が所定の負値の閾値Thcより小さい場合(S411→Y)、及び、現フレームで検出された動きピクセル位置の平均At移動量Vtの変化量の絶対値｜Vt-Vt-1|が所定の閾値Thvより大きい場合(S412→Y)は、振動設定をONにする(S413)。Ct-Ct-1が所定の閾値Thc以上で(S411→N)、かつ、｜Vt-Vt-1|が所定の閾値Thv以下の場合(S412→N)は、振動設定をOFFにする(S414)。
【００３１】
図１２に本実施の形態における動きピクセル数の変化と振動情報発生タイミングを人が手を叩くシーンを例に示す。画面上の動きピクセル数は両手が合って動きが止まると減少する。閾値Thcを-5000と設定すると、図１２中の↑のフレームで振動設定がONになる。
【００３２】
図９は本発明の情報提供装置の第３の実施の形態における提供情報例であり、画面上で人物が手を叩くシーンで両手が合って動きが止まったフレームで振動が発生するものである。通常人が手を叩く時には手の表面に衝撃を受けるので、このタイミングに合わせて端末を把持した手に振動情報を受けることは自然な感覚である。またボールが壁に跳ね返って向きを変えるように瞬間的な力が加わる時に圧力を感じることは自然な感覚である。このようにユーザが端末を把持して画像を参照する際に、画面上の動きと合った振動情報を与えることにより高い臨場感を得ることができる。
【００３３】
図８に示す振動部３０８には従来マナーモードとして使用されているバイブレータ機能を流用することができる。なお、各実施の形態では実用的で簡単な動き情報抽出の例を示したが、画面上の動きとより一致度の高い皮膚感覚情報設定を精度良く行うために、処理リソースに応じて動きの詳細な情報を抽出利用することは本発明の範囲内である。また、各実施の形態には特記しないが、本発明の実施の形態に対応する従来の情報提供装置に含まれる、映像と同期する音声情報の処理機能は本発明の実施の形態の情報提供装置の構成に当然含まれるものとする。
【産業上の利用可能性】
【００３４】
以上説明したように、本発明の情報提供装置及び情報提供装置の制御用プログラムでは、画像中の所定の動きを抽出して画像を解析し、抽出された動きに基づき鑑賞者へ提供すべき皮膚感覚情報を生成し、生成された皮膚感覚情報を鑑賞者に提供するようにしたので、動きにマッチしたリアルタイムな皮膚感覚情報を容易に鑑賞者に提供することを可能とするものであり、よって、本発明は画像表示装置を含む情報提供装置である、ビデオ再生装置、テレビ受信機、各種画像モニタなど、様々な情報提供装置の分野で有用である。
【図面の簡単な説明】
【００３５】
【図１】本発明の情報提供装置の第1の実施の形態を示すブロック図である。
【図２】本発明の情報提供装置の第1の実施の形態を示す構成図である。
【図３】本発明の情報提供装置の第1の実施の形態における動き検出処理の流れを示すフローチャートである。
【図４】本発明の情報提供装置の第1の実施の形態における送風情報生成処理の流れを示すフローチャートである。
【図５】本発明の情報提供装置の第１の実施の形態における送風情報決定処理の流れを示すフローチャートである。
【図６】本発明の情報提供装置の第１の実施の形態における画像の例である。
【図７】本発明の情報提供装置の第２の実施の形態を示すブロック図である。
【図８】本発明の情報提供装置の第３の実施の形態を示すブロック図である。
【図９】本発明の情報提供装置の第３の実施の形態における提供情報の例である。
【図１０】本発明の情報提供装置の第３の実施の形態における動き検出処理の流れを示すフローチャートである。
【図１１】本発明の情報提供装置の第３の実施の形態における振動情報生成処理の流れを示すフローチャートである。
【図１２】本発明の情報提供装置の第３の実施の形態における動きピクセル数の変化と振動情報発生タイミングを示す図である。
【符号の説明】
【００３６】
１  テレビジョン装置
２  ビデオカメラ
３  画像記録再生装置
４  デジタル放送受信アンテナ
５  表示画面
６  送風装置
１０１  情報提供装置
１０２、３０２  データ入力部
１０３、３０３  画像処理部
１０４、３０４  出力ドライバ
１０５、３０５  画像表示部
１０６、３０６  動き検出部（画像解析手段）
１０７  送風情報生成部（皮膚感覚情報生成手段）
１０８  送風部（皮膚感覚情報提供手段）
１０９、１１６、３０９  制御部
１１０  ユーザ状態判定部
１１１  データ受信部
１１２  生理的情報取得装置
１１３  血圧センサ
１１４  脈拍センサ
１１５  データ送信部
１２０  情報提供装置本体
３０１  携帯型情報提供端末
３０７  振動情報生成部
３０８  振動部
【図１】
2006270711.tif 000003
【図２】
2006270711.tif 000004
【図３】
2006270711.tif 000005
【図４】
2006270711.tif 000006
【図５】
2006270711.tif 000007
【図６】
2006270711.tif 000008
【図７】
2006270711.tif 000009
【図８】
2006270711.tif 000010
【図９】
2006270711.tif 000011
【図１０】
2006270711.tif 000012
【図１１】
2006270711.tif 000013
【図１２】
2006270711.tif 000014