(57)【要約】【課題】  視聴者の心理状態を推定し、最適な状態で映像や音響を再生することが可能な再生装置を提供する。【解決手段】  映像信号および音響信号の少なくとも一方を再生する再生手段３６と、視聴者の複数の生体情報をそれぞれ計測して複数のアナログ生体信号を出力する複数の生体情報センサ１１〜１５とを設ける。複数のアナログ生体信号の測定値と、その初期値あるいは標準値とから視聴者の心理状態およびその強度を推定する回路２０と、再生手段３６により再生される映像信号および音響信号の少なくとも一方を、推定する回路２０の推定結果により変化させる手段２６とを設ける。【選択図】  図１
2006006355.tif 000002
【特許請求の範囲】
【請求項１】
対象者の複数の生体情報をそれぞれ計測して複数のアナログ生体信号を出力する複数の生体情報センサと、
上記複数のアナログ生体信号の測定値と、その初期値あるいは標準値とから上記対象者の心理状態およびその強度を推定する回路と
を有する生体情報の処理装置。
【請求項２】
請求項１に記載の処理装置において、
上記複数のアナログ生体信号の少なくとも１つが、上記対象者の呼吸、脈拍あるいは筋電の信号である
ようにした生体情報の処理装置。
【請求項３】
請求項２に記載の処理装置において、
上記対象者の心理状態が、その対象者の情動、気分、覚醒度および感情価の少なくとも１つである
ようにした生体情報の処理装置。
【請求項４】
請求項３に記載の処理装置において、
上記複数の生体情報センサの少なくとも１つが上記対象者に装着されるタイプのセンサである
ようにした生体情報の処理装置。
【請求項５】
請求項３に記載の映像音響再生装置において、
上記複数の生体情報センサの少なくとも１つが上記対象者の身体と非接触で計測を行うタイプのセンサである
ようにした生体情報の処理装置。
【請求項６】
映像信号および音響信号の少なくとも一方を再生する再生手段と、
視聴者の複数の生体情報をそれぞれ計測して複数のアナログ生体信号を出力する複数の生体情報センサと、
上記複数のアナログ生体信号の測定値と、その初期値あるいは標準値とから上記視聴者の心理状態およびその強度を推定する回路と、
上記再生手段により再生される映像信号および音響信号の少なくとも一方を、上記推定する回路の推定結果により変化させる手段と
を有する映像音響再生装置。
【請求項７】
請求項６に記載の映像音響再生装置において、
上記複数の生体情報センサの少なくとも１つが上記視聴者に装着されるタイプのセンサである
ようにした映像音響再生装置。
【請求項８】
請求項６に記載の映像音響再生装置において、
上記複数の生体情報センサの少なくとも１つが上記視聴者の身体と非接触で計測を行うタイプのセンサである
ようにした映像音響再生装置。
【請求項９】
請求項６に記載の映像音響再生装置において、
上記複数の生体情報センサの１つは、上記視聴者の表情、音声、体動、呼吸、心拍数、発汗、皮膚表面温度、ＭＶ、心電、筋電、血中酸素飽和度、皮膚抵抗値、瞬目および眼球運動の少なくとも１つを計測するセンサである
ようにした映像音響再生装置。
【請求項１０】
請求項６に記載の映像音響再生装置において、
上記視聴者の心理状態として、その視聴者の情動、気分、覚醒度および感情価の少なくとも１つを推定する
ようにした映像音響再生装置。
【請求項１１】
請求項１０に記載の映像音響再生装置において、
上記覚醒度を、上記視聴者の心拍数、呼吸数および脈拍数の少なくとも１つの変動から判断する
ようにした映像音響再生装置。
【請求項１２】
請求項１０に記載の映像音響再生装置において、
上記感情価を、上記視聴者の表情および筋電の少なくとも１つの変化から判断する
ようにした映像音響再生装置。
【請求項１３】
請求項６に記載の映像音響再生装置において、
上記映像信号あるいは上記音響信号の少なくとも一方を変化させる手段が、その信号の再生速度、音量、色およびコンテンツの少なくとも１つを変化させる
ようにした映像音響再生装置。
【請求項１４】
請求項６に記載の映像音響再生装置において、
上記生体情報、この生体情報に基づいて変化させた音響信号および上記映像信号の少なくとも１つを記録するための記録手段を有する。
ようにした映像音響再生装置。
【請求項１５】
請求項１４に記載の映像音響再生装置において、
上記記録手段が、光ディスク、光磁気ディスク、磁気テープ、ハードディスク、半導体メモリおよびＩＣカードのいずれかである
ようにした映像音響再生装置。
【請求項１６】
請求項１５に記載の映像音響再生装置において、
上記光ディスクが、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＤ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭおよびブルーレイディスクのいずれかである
ようにした映像音響再生装置。
【請求項１７】
請求項６ないし請求項１６に記載の映像音響再生装置において、
上記生体情報により映像信号および上記音響信号の少なくとも一方に変化を与える機能の禁止・許可をユーザが選択できる
ようにした映像音響再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、生体情報の処理装置および映像音響再生装置に関する。
【背景技術】
【０００２】
近年、人の生体情報から心理状態を推定し、バイオフィードバックやユーザインターフェイスに利用する試みが行われている。
【０００３】
例えば、人の表情から心理状態を推定する方法がある。この方法では、ビデオカメラにより対象者の表情を撮影し、これをあらかじめデータベースに蓄えられている表情パターンや顔の筋肉の動きのパターンと比較することにより、心理状態を「笑い、怒り、悲しみ、困惑、驚き」に分類している（例えば、特許文献１および２参照）。
【０００４】
また、脈拍数（脈拍には、心拍を含む）の変動から心理状態を推定する方法もあり、対象者の身体に心電位検出手段や脈拍センサを装着して脈拍数を測定し、その変動から対象者の緊張度あるいは感情の変化を検出するようにしている（例えば、特許文献３および４参照）。
【０００５】
さらに、光血流量、心電、皮膚電気活動、皮膚温度などの複数の生理信号から心理状態を推定する方法もある。この場合には、対象者の身体に腕時計型のセンサを装着して光血流量、心電、皮膚電気活動、皮膚温度を測定するとともに、その測定結果からそれぞれの指標の特徴を抽出した特徴ベクトルを生成する。そして、この特徴ベクトルと、あらかじめデータベースに蓄えられている複数の情緒状態値とを比較することにより、心理状態を「喜び、安堵、満足、落ち着き、増長、悲しみ、不満、怒り、驚き、恐怖、憂鬱、ストレス」などに分類している（例えば、特許文献５参照）。
【０００６】
そして、上記のような心理状態を推定できれば、例えば機器の操作が困難な病人であっても、そのときの心理状態に応じた適切な環境を自動的に得ることができる。
【０００７】
なお、上記の文献は以下のとおりである。
【特許文献１】特開平３−２５２７７５号公報
【特許文献２】特開２０００−７６４２１号公報
【特許文献３】特開平７−３２３１６２号公報
【特許文献４】特開２００２−２３９１８号公報
【特許文献５】特開２００２−１１２９６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、上述の方法により心理状態を推定しようとしても、これが困難なことが多い。例えば、表情を利用する場合には、「驚き」と「困惑」などのように分類の難しいものがある。また、覚醒度（arousal）の高い状態では、感情価（valence）が正に高いとき（快のとき）と、負に高いとき（不快のとき）とで、脈拍数は同様の変化を示すことが知られている。したがって、脈拍数から感情価を推定する場合には、覚醒度の高い状態では誤りを生じることがある。
【０００９】
さらに、上述の推定方法では、生体情報から心理状態を分類することに主眼が置かれているので、例えば「非常に快適である」、「少し快適である」のように、心理状態の強度を測定する点については十分には考慮されていない。
【００１０】
この発明は、以上のような点にかんがみ、複数の生体情報を組み合わせることにより、対象者の心理状態とその強度とを推定できる装置を提供しようとするものである。また、その推定結果により、対象者の心理状態に最適な映像や音響などの環境を提供しようとするものである。
【課題を解決するための手段】
【００１１】
この発明においては、
映像信号および音響信号の少なくとも一方を再生する再生手段と、
視聴者の複数の生体情報をそれぞれ計測して複数のアナログ生体信号を出力する複数の生体情報センサと、
上記複数のアナログ生体信号の測定値と、その初期値あるいは標準値とから上記視聴者の心理状態およびその強度を推定する回路と、
上記再生手段により再生される映像信号および音響信号の少なくとも一方を、上記推定する回路の推定結果により変化させる手段と
を有する映像音響再生装置
とするものである。
【発明の効果】
【００１２】
この発明によれば、複数の生体情報センサから得られる複数の生体情報を利用して、対象者の覚醒度および感情価を算出しているので、対象者の心理状態とその強度を推定することができる。また、その推定結果により対象者の心理状態に最適な状態で映像や音響などを提供することができる。
【発明を実施するための最良の形態】
【００１３】
この発明においては、各種の生体情報センサにより対象者の生体状態を測定し、その生体信号からそのときの対象者の心理状態を表す指標として覚醒度および感情価を求め、これらの値に応じて対象者の環境に変化を与えるものである。
【００１４】
〔１〕  映像音響再生装置の例
図１はこの発明を映像音響再生装置に適用した場合の一例を示す。この映像音響再生装置は、対象者の覚醒度および感情価の値に応じて再生される映像や音響を制御するものである。
【００１５】
このため、映像音響再生装置は、視聴者から非接触で生体情報を取得する非接触型の生体情報センサとして、この例においては、サーモグラフィ１１およびビデオカメラ１２を有し、これらの出力が生体情報解析回路１６に供給される。
【００１６】
この場合、図２に示すように、サーモグラフィ１１は視聴者の顔の表面温度を測定し、この測定結果を生体情報解析回路１６が解析して鼻孔および末梢部の温度の時間変化から呼吸および脈拍の変化を間接的に求める。また、ビデオカメラ１２は視聴者の顔を撮影し、生体情報解析回路１６は、ビデオカメラ１２の出力から頬、眉間、額などのあらかじめ設定した点の変位量を求める。つまり、視聴者の頬骨筋や皺眉筋などが伸縮すると、頬、眉間、額などに設定した点が変位するので、その変位量から筋肉の伸縮量を知ることができ、その結果、筋電を間接的に測定できる。
【００１７】
さらに、映像音響再生装置は、視聴者の身体に装着されて生体情報を取得する接触型の生体情報センサとして、この例においては、呼吸センサ１３、脈拍センサ１４および筋電センサ１５を有し、これらの出力も生体情報解析回路１６に供給される。
【００１８】
この場合、呼吸センサ１３は、視聴者の胸あるいは腹に装着され、脈拍センサ１４は視聴者の指先に装着され、生体情報解析回路１６は、センサ１３、１４の出力から視聴者の呼吸および脈拍の変化を求める。また、筋電センサ１５は、図３に示すように、視聴者の頬、眉間、額に装着された電極であり、生体情報解析回路１６は、筋電センサ１５の出力から筋電を求め、活動部位、振幅の大きさおよびその変化量を求める。
【００１９】
なお、センサ１１〜１５およびそのセンサ出力は、視聴者の視聴状況、測定条件、測定環境などに応じて適切なものだけを使用することができる。
【００２０】
そして、生体情報解析回路１６の解析結果が、マイクロコンピュータ２０に供給されて視聴者の覚醒度および感情価が算出され、その結果にしたがって映像および音響が適切に再生される。すなわち、マイクロコンピュータ２０は、プログラムを実行するＣＰＵ２１と、各種のプログラムの書き込まれたＲＯＭ２２と、ワークエリア用のＲＡＭ２３とを有し、これらがシステムバス２９を通じて互いに接続されている。
【００２１】
この場合、ＲＯＭ２２には、ＣＰＵ２１が実行するプログラムの一部として、例えば図４に示すようなルーチン１００も用意される。このルーチン１００の詳細については後述するが、ルーチン１００は、視聴者の生体情報に基づいて視聴者が映像や音響を心地よく感じるように、映像信号あるいは音響信号を制御するためのものである。なお、図４においては、ルーチン１００は、この発明に関係する部分だけを抜粋して示している。
【００２２】
さらに、マイクロコンピュータ２０は、大容量の記録装置としてハードディスク装置２４と、キーボードやマウスなどのユーザインターフェイス２５とを有し、これらもシステムバス２９に接続されている。また、映像信号および音響信号の信号源として、この例においては、ＤＶＤプレーヤ３６が用意され、このＤＶＤプレーヤ３６は、映像音響制御回路２７を通じてシステムバス２９に接続されている。
【００２３】
この場合、映像音響制御回路２６は、ＤＶＤプレーヤ３６により再生された映像信号を制御して表示される映像の状態、例えばコントラスト、明るさ、色相、色飽和度などを変更するとともに、ＤＶＤプレーヤ３６の再生速度なども制御するものである。さらに、映像音響制御回路２６は、ＤＶＤプレーヤ３６により再生された音響信号を制御して再生される音響の音量、周波数特性、残響などを制御するものである。
【００２４】
また、システムバス２９には表示制御回路２７を通じてディスプレイ３７が接続され、映像音響制御回路２６から出力された映像信号が表示制御回路２７により表示用の信号に変換され、この表示信号がディスプレイ３７に供給される。さらに、システムバス２９には音響処理回路２８が接続され、この処理回路２８を通じてスピーカ３８に音響信号が供給されるとともに、マイクロフォン３９からの音響信号が音響処理回路２８を通じてマイクロコンピュータ２０に取り込まれる。
【００２５】
さらに、この装置や他の同様の装置により測定した視聴者の生体情報やデータをそれらの装置との間でやりとりするため、送受信回路３１および通信回路３２がシステムバス２９に接続され、通信回路３２は他のネットワーク、例えばインターネット４０に接続される。
【００２６】
このような構成において、ユーザインターフェイス２５を操作すると、ＤＶＤプレーヤ３６により映像信号および音響信号が再生され、その映像信号が、映像音響制御回路２６および表示制御回路２７を通じてディスプレイ３７に供給されて映像が表示されるとともに、音響信号が、映像音響制御回路２６および音響処理回路２８を通じてスピーカ３８に供給されて音響が再生される。
【００２７】
そして、このとき、ＣＰＵ２１によりルーチン１００が実行されて、ディスプレイ３７の映像およびスピーカ３８の音響に対する視聴者の覚醒度および感情価が算出され、この算出結果により、視聴者が映像や音響を心地よく感じるように、その映像および音響が制御される。
【００２８】
すなわち、ルーチン１００が実行されると、ステップ１０１において、生体情報解析回路１６から、センサ１１〜１５により測定された生体情報がマイクロコンピュータ２０に取り込まれ、次にステップ１０２においてステップ１０１により取り込まれた生体情報から覚醒度および感情価が算出される。この算出方法については、〔２〕により後述するが、それぞれ正および負の極性を取り得るアナログ値として算出される。
【００２９】
続いて、処理はステップ１０３に進み、このステップ１０３において、ステップ１０２により算出された覚醒度および感情価の極性が判別され、その極性の組み合わせにしたがって処理が分岐される。すなわち、覚醒度が正および負の値を取り得るとともに、感情価も正および負の値を取り得るので、覚醒度および感情価を２次元の座標により表現すると、図５に示すようになり、このとき、
領域１は、覚醒度＞０、かつ、感情価＞０（覚醒度が高く、心地よい）
領域２は、覚醒度＞０、かつ、感情価＜０（覚醒度が高いが、不快である）
領域３は、覚醒度＜０、かつ、感情価＞０（覚醒度が低くいが、心地よい）
領域４は、覚醒度＜０、かつ、感情価＜０（覚醒度が低く、不快でもある）
となる。
【００３０】
そこで、覚醒度および感情価が領域１に含まれる場合には、このときの映像および音響を心地よく感じていると視聴者の心理状態を推定し、処理はステップ１０３からステップ１１１に進む。そして、ステップ１１１においては、ディスプレイ３７およびスピーカ３８に供給される映像信号および音響信号を変更することなくステップ１０１に戻る。つまり、領域１の場合には、視聴者がこのときの映像および音響に満足していると判断し、それらの再生状態を変更しない。
【００３１】
しかし、覚醒度および感情価が領域２に含まれる場合には、このときの映像および音響を不快に感じていると視聴者の心理状態を推定し、処理はステップ１０３からステップ１１２に進む。そして、ステップ１１２において、視聴者の不快感を取り除くため、例えば、ディスプレイ３７に供給される映像信号の直流レベルや交流レベルを下げてディスプレイ３７に表示される映像の輝度やコントラストを下げる。また、スピーカ３８に供給される音響信号のレベルを下げたり、周波数特性を変更するなどしてスピーカ３８から出力される音響の音量を下げたり、低域や高域を弱めたり、あるいはリズムを弱めたりする。そして、その後、処理はステップ１０１に戻る。
【００３２】
なお、ステップ１１２により設定した状態が所定の期間にわたって続くときには、視聴者の覚醒度および感情価が改善されないときなので、このときには、ステップ１１２により、例えば映像および音響の再生が停止される。
【００３３】
さらに、覚醒度および感情価が領域３に含まれる場合には、処理はステップ１０３からステップ１１３に進み、このステップ１１３において、覚醒度を高めて満足度を高めたり、気分を高揚させたりするため、ステップ１１２とは逆に、例えば、ディスプレイ３７に供給される映像信号の直流レベルや交流レベルを上げてディスプレイ３７に表示される映像の輝度やコントラストを上げる。また、スピーカ３８に供給される音響信号のレベルを上げたり、周波数特性を変更するなどしてスピーカ３８から出力される音響の音量を上げたり、低域や高域を強めたり、あるいはリズムを強調したりし、その後、ステップ１０１に戻る。
【００３４】
なお、例えば視聴者がユーザインターフェイス２５を通じて就寝モードに設定している場合に、この領域３の状態になったときには、視聴者の安眠を妨げないため、このときの再生状態を維持する。
【００３５】
また、覚醒度および感情価が領域４に含まれる場合には、このときの映像および音響を不快に感じていると視聴者の心理状態を推定し、処理はステップ１０３からステップ１１２に進み、領域２の場合と同様、視聴者の不快感を取り除く。
【００３６】
したがって、ルーチン１００によれば、視聴者は映像および音響を常に心地よく視聴することができる。
【００３７】
こうして、上述の映像音響再生装置によれば、複数の生体情報センサ１１〜１５から得られる複数の生体情報を利用して、視聴者の覚醒度および感情価を算出しているので、視聴者の心理状態とその強度を推定することができる。そして、その推定結果により心理状態に最適な状態で映像および音響を再生することができる。
【００３８】
〔２〕  覚醒度および感情価の算出
視聴者の覚醒度および感情価が、現在、図５のどこに位置しているかは、次に述べる〔２−１〕、〔２−２〕の処理により知ることができる。そして、視聴者の現在の覚醒度および感情価が例えば図５の点Ｐにあるとき、その覚醒度および感情価が、点Ｐを含む曲線Ａのどちらに向かうかは、覚醒度および感情価の変化の履歴から判断することができる。
【００３９】
したがって、視聴者の現在の状態にもっともふさわしい映像および音響を常に提供することができる。また、視聴者の状態が良好なときには、これを維持したり、視聴者の状態が不良なときには、これを抑制したりすることができる。
【００４０】
〔２−１〕  覚醒度の算出
覚醒度は、生体情報センサが非接触式および接触式のどちらであっても、呼吸数や脈拍数の初期値または標準値に対する変動から求めることができる。すなわち、覚醒度は、
覚醒度＝Ｒrm−Ｒrr                                    ・・・ (1)
Ｒrm：単位時間あたりの呼吸数の測定値
Ｒrr：単位時間あたりの呼吸数の初期値または標準値
または
覚醒度＝Ｐrm−Ｐrr                                    ・・・ (2)
Ｐrm：単位時間あたりの脈拍数の測定値
Ｐrr：単位時間あたりの脈拍数の初期値または標準値
から算出することができる。なお、脈拍数として心拍数を利用する場合にも、(2)式により覚醒度を求めることができる。
【００４１】
〔２−２〕  感情価の算出
感情価は、筋電センサ１５の出力を使用して、例えば次の(3)式により算出することができる。  
感情価＝∫｜Ｖemg(t)｜dt−Ｖemg_init                  ・・・ (3)
Ｖemg     ：筋電の振幅の測定値
Ｖemg_init：筋電の振幅の積分値（初期値）
または
感情価＝∫｜Ｖemg(t)｜dt−Ｖemg_ref                   ・・・ (4)
Ｖemg_ref ：筋電の振幅の積分値（標準値）
なお、正の感情価の決定は頬骨筋の筋電により行い、負の感情価の決定は皺眉筋あるいは輪筋の筋電により行うことができる。
【００４２】
また、図３に示すように非接触式センサにより測定する場合には、上述のように筋電を間接的に測定することになるが、この場合には、顔面上の指定した点の変位あるいは複数の点の間隔の変化から筋電を求めることができる。
【００４３】
すなわち、物理学における２次元調和振動の力ｆ(ｒ)およびポテンシャルエネルギφ(ｒ)は、座標の原点を（ｘ，ｙ）＝（０，０）にとると、
Ｆ(ｒ)＝−ｋｒ
＝−ｋ（ｘｉ＋ｙｊ）                            ・・・ (5)
φ(ｒ)＝Ｋｒ^2
＝Ｋ（ｘ^2＋ｙ^2）                              ・・・ (6)
ただし、ｒ、ｉ、ｊはベクトル値
で表される。
【００４４】
したがって、図６に示すように、座標の原点を、時刻ｔ＝０における指定された座標点（ｘ(0)，ｙ(0)）にとると、時刻ｔ＝ｔにおける調和振動の力ｆ(ｒ)およびポテンシャルエネルギφ(ｒ)は、以下のようになる。
【００４５】
Ｆ(ｒ)＝−ｋｒ
＝−（ｋ1・（ｘ(t)−ｘ(0)）＋ｋ2・（ｙ(t)−ｙ(0)））
＝−ｋ1・（ｘ(t)−ｘ(0)）−ｋ2・（ｙ(t)−ｙ(0)）         ・・・ (7)
φ(ｒ)＝Ｋｒ^2
＝ｋ1・（ｘ(t)−ｘ(0)）^2＋ｋ2・（ｙ(t)−ｙ(0)）^2）     ・・・ (8)
ｘ(t)、ｙ(t)：時刻ｔにおける座標
ｘ(0)、ｙ(0)：ｔ＝０における座標（初期値または参照座標）
ｋ1、ｋ2    ：定数
そこで、この例においては、筋電ｖ(t)を次の(9)式により求める。すなわち、(7)式および(8)式を使用して
ｖ(t)＝ｆ(ｒ)×φ(ｒ)
＝（−ｋ1・（ｘ(t)−ｘ(0)）−ｋ2・（ｙ(t)−ｙ(0)））
×（（ｋ1・（ｘ(t)−ｘ(0)）^2＋ｋ2・（ｙ(t)−ｙ(0)）^2））
・・・ (9)
とする。
【００４６】
ここで、力ｆ(ｒ)とポテンシャルエネルギφ(ｒ)との積をとっているのは、筋電ｖ(t)に正負の極性を持たせるためであり、物理的な意味はない。すなわち、顔の筋電を直接測定すると、正負の極性を持つ信号が得られるので、同様の信号を得るために、力ｆ(ｒ)とポテンシャルエネルギφ(ｒ)との積をとるものである。(9)式が目的とするものは、顔面に設定した測定点の位置（あるいは間隔）の変位方向および変位量（変化方向および変化量）である。
【００４７】
〔３〕  その他
上述において、生体情報センサは、視聴者（対象者）の表情、音声、体動、呼吸、脈拍数、発汗、皮膚表面温度、ＭＶ、心電、筋電、血中酸素飽和度、皮膚抵抗値、瞬目あるいは眼球運動などを計測するものであればよい。また、視聴者の心理状態として、その視聴者の情動や気分を推定してもよい。
【００４８】
さらに、視聴者の心理状態およびその強度の推定結果により、映像信号あるいは音響信号を変化させるとき、再生速度、音量、色およびコンテンツなどを変化させることができる。また、測定した生体情報およびその生体情報に基づいて変化させた映像信号あるいは音響信号を記録しておくこともできる。
【００４９】
そして、その記録媒体として、ハードディスク装置２４、光ディスク、光磁気ディスク、磁気テープ、ハードディスク、半導体メモリあるいはＩＣカードなどを使用することができる。さらに、その記録用の光ディスクは、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＤ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ブルーレイディスクなどとすることができる。また、生体情報により映像信号および音響信号を変更するとしたが、その変更の許可・禁止を選択可能にすることもできる。
【００５０】
また、上述においては、算出した覚醒度および感情価により映像や音響の再生状態を制御したが、例えば家、オフィス、対人関係などのような対象者の環境を評価したり、製品などの使いやすさを評価したりすることもできる。さらに、覚醒度および感情価の算出結果をグラフや数値として表示することもできる。
【００５１】
〔略語の一覧〕
ＣＤ      ：Compact Disc
ＣＤ−Ｒ  ：CD Recordable
ＣＤ−ＲＷ：CD ReWritable
ＣＰＵ    ：Central Processing Unit
ＤＶＤ±Ｒ：DVD +Recordable, DVD Recordable
ＤＶＤ−ＲＡＭ：DVD Random Access Memory
ＤＶＤ±ＲＷ：DVD +ReWritable, DVD ReWritable
ＩＣ      ：Integrated Circuit
ＭＤ      ：Mini Disc
ＭＶ      ：Micro Vibration
ＲＡＭ    ：Random Access Memory
ＲＯＭ    ：Read Only Memory
【図面の簡単な説明】
【００５２】
【図１】この発明の一形態を示す系統図である。
【図２】この発明に使用できる生体情報センサの出力データの一例を示す図である。
【図３】この発明に使用できる生体情報センサの使用方法の一例を示す図である。
【図４】この発明による制御フローの一例を示すフローチャートである。
【図５】この発明を説明するための図である。
【図６】この発明を説明するための図である。
【符号の説明】
【００５３】
１１…サーモグラフィ、１２…ビデオカメラ、１３…呼吸センサ、１４…脈拍センサ、１５…筋電センサ、１６…生体情報解析回路、２０…マイクロコンピュータ、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ハードディスク装置、２５…ユーザインターフェイス、２６…映像音響制御回路、２７…表示制御回路、２８…音響処理回路、２９…システムバス、３１…送受信回路、３２…通信回路、３６…ＤＶＤプレーヤ、３７…ディスプレイ、３８…スピーカ、４０…インターネット、１００…ルーチン
【図１】
2006006355.tif 000003
【図２】
2006006355.tif 000004
【図３】
2006006355.tif 000005
【図４】
2006006355.tif 000006
【図５】
2006006355.tif 000007
【図６】
2006006355.tif 000008
【手続補正書】
【提出日】平成17年7月1日(2005.7.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象者の複数の生体情報をそれぞれ計測して複数の生体信号を出力する複数の生体情報センサと、
上記複数の生体信号の測定値と、その初期値あるいは標準値とから上記対象者の心理状態およびその強度を推定する回路と
を有する生体情報の処理装置。
【請求項２】
請求項１に記載の処理装置において、
上記複数の生体信号の少なくとも１つが、上記対象者の呼吸、脈拍あるいは筋電の信号である
ようにした生体情報の処理装置。
【請求項３】
請求項２に記載の処理装置において、
上記対象者の心理状態が、その対象者の情動、気分、覚醒度および感情価の少なくとも１つである
ようにした生体情報の処理装置。
【請求項４】
請求項３に記載の処理装置において、
上記複数の生体情報センサの少なくとも１つが上記対象者に装着されるタイプのセンサである
ようにした生体情報の処理装置。
【請求項５】
請求項３に記載の映像音響再生装置において、
上記複数の生体情報センサの少なくとも１つが上記対象者の身体と非接触で計測を行うタイプのセンサである
ようにした生体情報の処理装置。
【請求項６】
映像信号および音響信号の少なくとも一方を再生する再生手段と、
視聴者の複数の生体情報をそれぞれ計測して複数の生体信号を出力する複数の生体情報センサと、
上記複数の生体信号の測定値と、その初期値あるいは標準値とから上記視聴者の心理状態およびその強度を推定する回路と、
上記再生手段により再生される映像信号および音響信号の少なくとも一方を、上記推定する回路の推定結果により変化させる手段と
を有する映像音響再生装置。
【請求項７】
請求項６に記載の映像音響再生装置において、
上記複数の生体情報センサの少なくとも１つが上記視聴者に装着されるタイプのセンサである
ようにした映像音響再生装置。
【請求項８】
請求項６に記載の映像音響再生装置において、
上記複数の生体情報センサの少なくとも１つが上記視聴者の身体と非接触で計測を行うタイプのセンサである
ようにした映像音響再生装置。
【請求項９】
請求項６に記載の映像音響再生装置において、
上記複数の生体情報センサの１つは、上記視聴者の表情、音声、体動、呼吸、心拍数、発汗、皮膚表面温度、ＭＶ、心電、筋電、血中酸素飽和度、皮膚抵抗値、瞬目および眼球運動の少なくとも１つを計測するセンサである
ようにした映像音響再生装置。
【請求項１０】
請求項６に記載の映像音響再生装置において、
上記視聴者の心理状態として、その視聴者の情動、気分、覚醒度および感情価の少なくとも１つを推定する
ようにした映像音響再生装置。
【請求項１１】
請求項１０に記載の映像音響再生装置において、
上記覚醒度を、上記視聴者の心拍数、呼吸数および脈拍数の少なくとも１つの変動から判断する
ようにした映像音響再生装置。
【請求項１２】
請求項１０に記載の映像音響再生装置において、
上記感情価を、上記視聴者の表情および筋電の少なくとも１つの変化から判断する
ようにした映像音響再生装置。
【請求項１３】
請求項６に記載の映像音響再生装置において、
上記映像信号あるいは上記音響信号の少なくとも一方を変化させる手段が、その信号の再生速度、音量、色およびコンテンツの少なくとも１つを変化させる
ようにした映像音響再生装置。
【請求項１４】
請求項６に記載の映像音響再生装置において、
上記生体情報、この生体情報に基づいて変化させた音響信号および上記映像信号の少なくとも１つを記録するための記録手段を有する。
ようにした映像音響再生装置。
【請求項１５】
請求項１４に記載の映像音響再生装置において、
上記記録手段が、光ディスク、光磁気ディスク、磁気テープ、ハードディスク、半導体メモリおよびＩＣカードのいずれかである
ようにした映像音響再生装置。
【請求項１６】
請求項１５に記載の映像音響再生装置において、
上記光ディスクが、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＤ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭおよびブルーレイディスクのいずれかである
ようにした映像音響再生装置。
【請求項１７】
請求項６ないし請求項１６に記載の映像音響再生装置において、
上記生体情報により映像信号および上記音響信号の少なくとも一方に変化を与える機能の禁止・許可をユーザが選択できる
ようにした映像音響再生装置。