(57)【要約】【課題】  非接触・非拘束で視聴者の心理状態を推定し、最適な状態で映像や音響を再生することのできる再生装置を提供する。【解決手段】  ビデオ信号およびオーディオ信号の少なくとも一方を再生する再生手段３６と、視聴者の生体情報を非接触・非拘束で測定する生体情報センサ１１とを設ける。この生体情報センサ１１により測定した生体情報の測定値と、その初期値あるいは標準値とから視聴者の心理状態およびその強度を推定する回路２０を設ける。再生手段３６により再生されるビデオ信号およびオーディオ信号の少なくとも一方を、推定する回路２０の推定結果により変化させる手段２６を設ける。【選択図】  図１
2006115865.tif 000002
【特許請求の範囲】
【請求項１】
対象者の生体情報を非接触・非拘束で測定する生体情報センサと、
この生体情報センサにより測定した生体情報の測定値と、その初期値あるいは標準値とから上記対象者の心理状態およびその強度を推定する回路と
を有する生体情報の処理装置。
【請求項２】
請求項１に記載の処理装置において、
上記生体情報センサが、ビデオカメラあるいは赤外線ビデオカメラである
ようにした生体情報の処理装置。
【請求項３】
請求項１に記載の処理装置において、
上記生体情報センサは、上記対象者の体動、呼吸、心拍、脈拍、瞬目、体表面温度の少なく１つを測定するセンサである
ようにした生体情報の処理装置。
【請求項４】
請求項１に記載の処理装置において、
上記対象者の心理状態が、覚醒度、集中度、興味、情動、気分の少なくとも１つである
ようにした生体情報の処理装置。
【請求項５】
請求項１あるいは請求項４に記載の処理装置において、
上記対象者の心理状態を、心拍数、呼吸数、瞬目数の少なくとも１つの変化から判別する
ようにした生体情報の処理装置。
【請求項６】
ビデオ信号およびオーディオ信号の少なくとも一方を再生する再生手段と、
視聴者の生体情報を非接触・非拘束で測定する生体情報センサと、
この生体情報センサにより測定した生体情報の測定値と、その初期値あるいは標準値とから上記対象者の心理状態およびその強度を推定する回路と
上記再生手段により再生されるビデオ信号およびオーディオ信号の少なくとも一方を、上記推定する回路の推定結果により変化させる手段と
を有する再生装置。
【請求項７】
請求項６に記載の再生装置において、
上記生体情報センサが、ビデオカメラあるいは赤外線ビデオカメラである
ようにした再生装置。
【請求項８】
請求項６に記載の再生装置において、
上記生体情報センサは、上記対象者の体動、呼吸、心拍、脈拍、瞬目、体表面温度の少なく１つを測定するセンサである
ようにした再生装置。
【請求項９】
請求項６に記載の再生装置において、
上記対象者の心理状態が、覚醒度、集中度、興味、情動、気分の少なくとも１つである
ようにした再生装置。
【請求項１０】
請求項６あるいは請求項９に記載の再生装置において、
上記対象者の心理状態を、心拍数、呼吸数、瞬目数の少なくとも１つの変化から判別する
ようにした再生装置。
【請求項１１】
請求項６に記載の再生装置において、
上記ビデオ信号あるいは上記オーディオ信号の少なくとも一方を変化させる手段が、その信号の再生速度、音量、色およびコンテンツの少なくとも１つを変化させる
ようにした再生装置。
【請求項１２】
請求項６に記載の再生装置において、
上記生体情報、この生体情報に基づいて変化させたオーディオ信号および上記ビデオ信号の少なくとも１つを記録するための記録手段を有する
ようにした再生装置。
【請求項１３】
請求項１２に記載の再生装置において、
上記記録手段が、光ディスク、光磁気ディスク、磁気テープ、ハードディスク、半導体メモリおよびＩＣカードのいずれかである
ようにした再生装置。
【請求項１４】
請求項１２に記載の再生装置において、
上記光ディスクが、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＤ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭおよびブルーレイディスクのいずれかである
ようにした再生装置。
【請求項１５】
請求項６ないし請求項１４に記載の再生装置において、
上記生体情報によりビデオ信号および上記オーディオ信号の少なくとも一方に変化を与える機能の禁止・許可をユーザが選択できる
ようにした再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、生体情報の処理方法およびその処理装置に関する。
【背景技術】
【０００２】
対象者の生体情報をセンサにより検出し、この検出した生体情報からその対象者の感情や心理状態を推定することが考えられている。
【０００３】
例えば、対象者の身体に心電位検出手段や脈拍センサを装着して心拍数や脈拍数を測定し、その変動から対象者の緊張度あるいは感情の変化を推定する方法がある（例えば、特許文献１および２参照）。
【０００４】
また、対象者の指先や手首に直接に装着したセンサ、あるいはネックレス、めがね、カード、歩数計などに装着したセンサにより、心拍や脈拍を測定して緊張度や感情の変化を推定する方法もある。あるいは、対人交渉の際の相手と自分の脈拍数の一致度を評価し、相手との同調度（引き込み現象における引き込みの程度）を推定する方法もある（例えば、特許文献２および３参照）。
【０００５】
さらに、対象者の目に赤外線を照射し、その反射光の光量変化から対象者の瞬きを検出し、居眠りや興味などの心理状態を推定する方法もある（例えば、特許文献４参照）。また、対象者に超音波を照射し、その反射波のレベル変化から対象者の身体の動きを捕らえ、居眠りなどを推定する方法もある（例えば、特許文献５参照）。
【０００６】
なお、上記の文献は次のとおりである。
【特許文献１】特開平７−３２３１６２号公報
【特許文献２】特開２００２−２３９１８号公報
【特許文献３】特開平１１−４８９２号公報
【特許文献４】特開２００２−３５５２３８号公報
【特許文献５】特開平４−２１２３３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、上述の方法により心理状態を推定する場合、接触式の生体情報センサのときには、センサを装着することが煩わしいばかりでなく、装着したことによりセンサを意識してしまい、心理的な影響が測定結果に現れてしまう。また、非接触式の生体情報センサのときには、人体に赤外線や超音波を長時間にわたって照射することになるので、人体への影響を無視できないことがある。
【０００８】
この発明は、以上のような問題点を解決しようとするものである。
【課題を解決するための手段】
【０００９】
この発明においては、
ビデオ信号およびオーディオ信号の少なくとも一方を再生する再生手段と、
視聴者の生体情報を非接触・非拘束で測定する生体情報センサと、
この生体情報センサにより測定した生体情報の測定値と、その初期値あるいは標準値とから上記対象者の心理状態およびその強度を推定する回路と
上記再生手段により再生されるビデオ信号およびオーディオ信号の少なくとも一方を、上記推定する回路の推定結果により変化させる手段と
を有する再生装置
とするものである。
【発明の効果】
【００１０】
この発明によれば、対象者の覚醒度および対象への集中度（あるいは興味）を推定することができるとともに、その推定結果により対象者のそのときの心理状態に最適な状態で映像あるいは音響を再生することができる。
【００１１】
そして、その場合、非接触・非拘束で対象者の生体情報を得ることができ、対象者に心理的な負担や肉体的な負担を負わせることがなく、測定結果に影響の現れることがない。また、長時間にわたって測定を行っても、対象者の人体に影響を与えることがない。
【発明を実施するための最良の形態】
【００１２】
この発明においては、非接触・非拘束で対象者の生体情報を取得し、この取得した生体情報から対象者の心理状態や情動を推定し、また、その推定結果に応じて対象者の環境に変化を与えるものである。
【００１３】
〔１〕  映像音響再生装置の例（その１）
図１はこの発明を映像音響再生装置に適用した場合の一例を示す。この映像音響再生装置は、対象者である視聴者の心理状態を表す指標として覚醒度および対象への集中度を求め、この覚醒度および集中度に応じて再生される映像や音響を制御するものである。
【００１４】
このため、映像音響再生装置は、視聴者（対象者）から非接触・非拘束で生体情報を取得する生体情報センサとして、この例においては、サーモグラフィ（赤外線ビデオカメラ）１１を有する。そして、このサーモグラフィ１１により、例えば図２Ａあるいは図３Ａに示すように、視聴者の顔面の表面温度が測定され、その測定出力が生体情報解析回路１３に供給される。
【００１５】
この場合、視聴者が目を開けているときには、目を含む領域Ａ（図２Ａの白枠内）は、眼球のため顔面よりも温度が低い。しかし、視聴者が目を閉じたときには、眼球が瞼で覆われるため、領域Ａは顔面と同程度の温度となる。
【００１６】
図２Ｂは、領域Ａの温度をサーモグラフィにより測定した場合の測定結果の一例を示すもので、横軸ｔはビデオ信号のフレーム数を単位とする時間、縦軸Ｔは領域Ａの温度である。そして、この測定結果のうち、温度が低くなっている部分は、瞼を開けたときであり、温度が高くなっている部分は、瞼を閉じたときである。そこで、解析回路１３において、サーモグラフィ１１の測定出力のうち、領域Ａの温度を示す値と、領域Ａの周囲の顔面の温度を示す値とが比較されて単位時間あたりの瞬目の回数を示す解析結果が取り出される。
【００１７】
さらに、視聴者が呼吸をすると、呼気のときには、体内で温められた空気が鼻孔から出ていくので、鼻孔付近（図３Ａに黒枠で示す領域Ｂ）の体表面温度は上がり、吸気のときには、温度の低い空気が鼻孔から体内に入っていくので、鼻孔付近の体表面温度は下がる。
【００１８】
図３Ｂは、領域Ｂの温度をサーモグラフィにより測定した場合の測定結果の一例を示すもので、横軸ｔはビデオ信号のフレーム数を単位とする時間、縦軸Ｔは領域Ｂの体表面温度である。そして、この測定結果のうち、温度が高くなっている部分は、呼気の期間であり、温度が低くなっている部分は、吸気の期間である。そこで、解析回路１３において、サーモグラフィ１１の測定出力のうち、領域Ｂの温度を示す値と、領域Ｂの周囲の顔面の温度を示す値が比較されて呼吸数を示す解析結果が取り出される。
【００１９】
そして、この瞬目数および呼吸数の解析結果がマイクロコンピュータ２０に供給され、瞬目数および呼吸数の変化から視聴者の覚醒度および対象への集中度が算出され、その結果にしたがって映像および音響が適切に再生される。すなわち、マイクロコンピュータ２０は、プログラムを実行するＣＰＵ２１と、各種のプログラムの書き込まれたＲＯＭ２２と、ワークエリア用のＲＡＭ２３とを有し、これらがシステムバス２９を通じて互いに接続されている。
【００２０】
この場合、ＲＯＭ２２には、ＣＰＵ２１が実行するプログラムの一部として、例えば図４に示すようなルーチン１００も用意される。このルーチン１００の詳細については後述するが、ルーチン１００は、視聴者の生体情報に基づいて視聴者が映像や音響を心地よく感じるように、ビデオ信号あるいはオーディオ信号を制御するためのものである。なお、図４においては、ルーチン１００は、この発明に関係する部分だけを抜粋して示している。
【００２１】
さらに、マイクロコンピュータ２０は、大容量の記録装置としてハードディスク装置２４と、キーボードやマウスなどのユーザインターフェイス２５とを有し、これらもシステムバス２９に接続されている。また、ビデオ信号およびオーディオ信号の信号源として、この例においては、ＤＶＤプレーヤ３６が用意され、このＤＶＤプレーヤ３６は、映像音響制御回路２７を通じてシステムバス２９に接続されている。
【００２２】
この場合、映像音響制御回路２６は、ＤＶＤプレーヤ３６により再生されたビデオ信号を制御して表示される映像の状態、例えばコントラスト、明るさ、色相、色飽和度などを変更するとともに、ＤＶＤプレーヤ３６の再生速度なども制御するものである。さらに、映像音響制御回路２６は、ＤＶＤプレーヤ３６により再生されたオーディオ信号を制御して再生される音響の音量、周波数特性、残響などを制御するものである。
【００２３】
また、システムバス２９には表示制御回路２７を通じてディスプレイ３７が接続され、映像音響制御回路２６から出力されたビデオ信号が表示制御回路２７により表示用の信号に変換され、この表示信号がディスプレイ３７に供給される。さらに、システムバス２９には音響処理回路２８が接続され、この処理回路２８を通じてスピーカ３８にオーディオ信号が供給されるとともに、マイクロフォン３９からのオーディオ信号が音響処理回路２８を通じてマイクロコンピュータ２０に取り込まれる。
【００２４】
さらに、この装置や他の同様の装置により測定した視聴者の生体情報やデータをそれらの装置との間でやりとりするため、送受信回路３１および通信回路３２がシステムバス２９に接続され、通信回路３２は他のネットワーク、例えばインターネット４０に接続される。
【００２５】
このような構成において、ユーザインターフェイス２５を操作すると、ＤＶＤプレーヤ３６によりビデオ信号およびオーディオ信号が再生され、そのビデオ信号が、映像音響制御回路２６および表示制御回路２７を通じてディスプレイ３７に供給されて映像が表示されるとともに、オーディオ信号が、映像音響制御回路２６および音響処理回路２８を通じてスピーカ３８に供給されて音響が再生される。
【００２６】
そして、このとき、ＣＰＵ２１によりルーチン１００が実行されて、ディスプレイ３７の映像およびスピーカ３８の音響に対する視聴者の覚醒度および集中度が算出され、この算出結果により、視聴者が映像や音響を心地よく感じるように、その映像および音響が制御される。
【００２７】
すなわち、ルーチン１００が実行されると、ステップ１０１において、生体情報解析回路１３からの解析結果（瞬目数および呼吸数）がマイクロコンピュータ２０に取り込まれ、次にステップ１０２においてステップ１０１により取り込まれた解析結果から覚醒度および集中度が算出される。この算出方法については、〔３〕により後述するが、それぞれ正および負の極性を取り得るアナログ値として算出される。
【００２８】
続いて、処理はステップ１０３に進み、このステップ１０３において、ステップ１０２により算出された覚醒度および集中度の極性が判別され、その極性の組み合わせにしたがって処理が分岐される。すなわち、覚醒度が正および負の値を取り得るとともに、集中度も正および負の値を取り得るので、覚醒度および集中度を２次元の座標により表現すると、図５に示すようになり、このとき、
領域１は、覚醒度＞０、かつ、集中度＞０（覚醒度が高く、興味もある）
領域２は、覚醒度＞０、かつ、集中度＜０（覚醒度が高いが、興味がない）
領域３は、覚醒度＜０、かつ、集中度＞０（覚醒度が低くいが、興味はある）
領域４は、覚醒度＜０、かつ、集中度＜０（覚醒度が低く、興味もない）
となる。
【００２９】
そこで、覚醒度および集中度が領域１に含まれる場合には、このときの映像および音響を心地よく感じていると視聴者の心理状態を推定し、処理はステップ１０３からステップ１１１に進む。そして、ステップ１１１においては、ディスプレイ３７およびスピーカ３８に供給されるビデオ信号およびオーディオ信号を変更することなくステップ１０１に戻る。つまり、領域１の場合には、視聴者がこのときの映像および音響に満足していると判断し、それらの再生状態を変更しない。
【００３０】
しかし、覚醒度および集中度が領域２に含まれる場合には、このときの映像および音響に興味がないと視聴者の心理状態を推定し、処理はステップ１０３からステップ１１２に進む。そして、ステップ１１２において、例えば、ディスプレイ３７に供給されるビデオ信号の直流レベルや交流レベルを下げてディスプレイ３７に表示される映像の輝度やコントラストを下げる。また、スピーカ３８に供給されるオーディオ信号のレベルを下げたり、周波数特性を変更するなどしてスピーカ３８から出力される音響の音量を下げたり、低域や高域を弱めたり、あるいはリズムを弱めたりする。そして、その後、処理はステップ１０１に戻る。
【００３１】
なお、ステップ１１２により設定した状態が所定の期間にわたって続くときには、視聴者の覚醒度および集中度が改善されないときなので、このときには、ステップ１１２により、例えば映像および音響の再生が停止される。
【００３２】
さらに、覚醒度および集中度が領域３に含まれる場合には、処理はステップ１０３からステップ１１３に進み、このステップ１１３において、覚醒度を高めて満足度を高めたり、集中度を高めたりするため、ステップ１１２とは逆に、例えば、ディスプレイ３７に供給されるビデオ信号の直流レベルや交流レベルを上げてディスプレイ３７に表示される映像の輝度やコントラストを上げる。また、スピーカ３８に供給されるオーディオ信号のレベルを上げたり、周波数特性を変更するなどしてスピーカ３８から出力される音響の音量を上げたり、低域や高域を強めたり、あるいはリズムを強調したりし、その後、ステップ１０１に戻る。
【００３３】
なお、例えば視聴者がユーザインターフェイス２５を通じて就寝モードに設定している場合に、この領域３の状態になったときには、視聴者の安眠を妨げないため、このときの再生状態を維持する。
【００３４】
また、覚醒度および集中度が領域４に含まれる場合には、このときの映像および音響を不満に感じていると視聴者の心理状態を推定し、処理はステップ１０３からステップ１１２に進み、領域２の場合と同様、視聴者の不満を取り除く。
【００３５】
したがって、ルーチン１００によれば、視聴者は映像および音響を常に心地よく視聴することができる。
【００３６】
こうして、上述の映像音響再生装置によれば、視聴者（対象者）の覚醒度および対象への集中度を推定することができるとともに、その推定結果により視聴者のそのときの心理状態に最適な状態で映像および音響を再生することができる。
【００３７】
そして、その場合、非接触・非拘束で視聴者の生体情報を得ることができるので、視聴者はセンサを装着することの煩わしさを感じることがなく、また、センサを意識することもない。したがって、測定結果に心理的な影響の現れることがない。また、生体情報の測定はサーモグラフィ１１により行っているので、長時間にわたって測定を行っても、人体に影響を与えることがない。
【００３８】
〔２〕  映像音響再生装置の例（その２）
図６は、〔１〕により説明した映像音響再生装置において、非接触・非拘束の生体情報センサとして通常のビデオカメラ１２を使用する場合である。このビデオカメラ１２により、視聴者の例えば全身が撮像され、そのビデオ信号が生体情報解析回路１３に供給される。
【００３９】
この解析回路１３においては、例えば図７に示すような信号処理が行われる（図７は、視聴者の目および瞼を含む領域Ｃのみを示す）。すなわち、ビデオカメラ１２から供給されたもとのビデオ信号（図７Ａ）がグレースケール化され（図７Ｂ）、このグレー化されたビデオ信号と、１フレーム前のグレー化されたビデオ信号との差分のビデオ信号（図７Ｃ）が取り出される。したがって、この差分のビデオ信号は、視聴者を撮像した画像のうち、動きのあった部分を示していることになる。そして、この差分のビデオ信号が解析されて体動、呼吸、瞬きなどの生体情報が出力され、これがマイクロコンピュータ２０に供給される。
【００４０】
したがって、以後、〔１〕で述べたような処理を行うことにより、視聴者の覚醒度および対象への集中度を推定することができるとともに、その推定結果によりそのときの視聴者の心理状態に最適な状態で映像および音響を再生することができる。
【００４１】
そして、この場合も、非接触・非拘束で視聴者の生体情報を得ることができるので、視聴者に心理的な負担や肉体的な負担を負わせることがなく、測定結果に影響の現れることがない。
【００４２】
〔３〕  覚醒度および集中度の算出
視聴者の覚醒度および集中度が、現在、図５のどこに位置しているかは、次に述べる〔３−１〕、〔３−２〕の処理により知ることができる。そして、視聴者の現在の覚醒度および集中度が例えば図５の点Ｐにあるとき、その覚醒度および集中度が、点Ｐを含む曲線Ｄのどちらに向かうかは、覚醒度および集中度の変化の履歴から判断することができる。
【００４３】
したがって、視聴者の現在の状態にもっともふさわしい映像および音響を常に提供することができる。また、視聴者の状態が良好なときには、これを維持したり、視聴者の状態が不良なときには、これを抑制したりすることができる。
【００４４】
〔３−１〕  覚醒度の算出
覚醒度は、呼吸数や脈拍数の初期値または標準値に対する変動から求めることができる。すなわち、覚醒度は、
覚醒度＝Ｒrm−Ｒrr                                    ・・・ (1)
Ｒrm：単位時間あたりの呼吸数の測定値
Ｒrr：単位時間あたりの呼吸数の初期値または標準値
または
覚醒度＝Ｐrm−Ｐrr                                    ・・・ (2)
Ｐrm：単位時間あたりの脈拍数の測定値
Ｐrr：単位時間あたりの脈拍数の初期値または標準値
から算出することができる。
【００４５】
〔３−２〕  集中度の算出
対象への集中度は、瞼の瞬きから例えば次の(3)式あるいは(4)式
集中度＝−（Ｎebm−Ｎeb_init）                        ・・・ (3)
Ｎebm    ：瞬きの回数の測定値
Ｎeb_init：瞬きの回数の初期値
または
集中度＝−（Ｎebm−Ｎeb_ref）                         ・・・ (4)
Ｎeb_ref：瞬きの回数の標準値
により算出することができる。
【００４６】
〔４〕  その他
上述において、視聴者の心理状態およびその強度の推定結果により、ビデオ信号あるいはオーディオ信号を変化させるとき、再生速度、音量、色およびコンテンツなどを変化させることができる。また、測定した生体情報およびその生体情報に基づいて変化させたビデオ信号あるいはオーディオ信号を記録媒体に記録しておくこともできる。
【００４７】
そして、その記録媒体として、ハードディスク装置２４、光ディスク、光磁気ディスク、磁気テープ、ハードディスク、半導体メモリあるいはＩＣカードなどを使用することができる。さらに、その記録用の光ディスクは、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＤ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ブルーレイディスクなどとすることができる。また、生体情報によりビデオ信号およびオーディオ信号を変更するとしたが、その変更の許可・禁止を選択可能にすることもできる。
【００４８】
〔略語の一覧〕
ＣＤ−Ｒ  ：CD Recordable
ＣＤ−ＲＷ：CD ReWritable
ＣＰＵ    ：Central Processing Unit
ＤＶＤ−ＲＡＭ：DVD Random Access Memory
ＤＶＤ±Ｒ    ：DVD +Recordable, DVD Recordable
ＤＶＤ±ＲＷ  ：DVD +ReWritable, DVD ReWritable
ＩＣ      ：Integrated Circuit
ＭＤ      ：Mini Disc
ＲＡＭ    ：Random Access Memory
ＲＯＭ    ：Read Only Memory
【図面の簡単な説明】
【００４９】
【図１】この発明の一形態を示す系統図である。
【図２】この発明に使用できる生体情報センサの出力データの一例を示す図である。
【図３】この発明に使用できる生体情報センサの出力データの一例を示す図である。
【図４】この発明による制御フローの一例を示すフローチャートである。
【図５】この発明を説明するための図である。
【図６】この発明の他の形態を示す系統図である。
【図７】この発明を説明するための図である。
【符号の説明】
【００５０】
１１…サーモグラフィ、１２…ビデオカメラ、１３…生体情報解析回路、２０…マイクロコンピュータ、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ハードディスク装置、２５…ユーザインターフェイス、２６…映像音響制御回路、２７…表示制御回路、２８…音響処理回路、２９…システムバス、３１…送受信回路、３２…通信回路、３６…ＤＶＤプレーヤ、３７…ディスプレイ、３８…スピーカ、４０…インターネット、１００…ルーチン
【図１】
2006115865.tif 000003
【図２】
2006115865.tif 000004
【図３】
2006115865.tif 000005
【図４】
2006115865.tif 000006
【図５】
2006115865.tif 000007
【図６】
2006115865.tif 000008
【図７】
2006115865.tif 000009