(57)【特許請求の範囲】
【請求項１】
複数の生命体が存在する所定の空間を撮像する撮像手段と、前記複数の各生命体には、その生命体の生理情報を表わす可視光信号を出力する生体情報出力装置が取り付けられており、
前記撮像手段が撮像した映像中の前記可視光信号の位置もしくは各生命体の映像から前記複数の生命体それぞれの位置情報を特定する位置特定手段と、
前記撮像手段が撮像した映像中の前記可視光信号から前記複数の生命体それぞれの生理情報を取得する生理情報取得手段と、
前記位置特定手段により特定された前記複数の生命体それぞれの位置情報と、前記生理情報取得手段により取得された前記複数の生命体それぞれの生理情報とを関連付けて特定する生体情報特定手段と、
前記撮像手段が撮像した映像中の前記複数の生命体の画像から、前記複数の生命体のそれぞれの顔画像を認識し、前記認識した顔画像の表情情報及び個人識別情報のうちの少なくとも１つを有する顔画像認識情報を取得する顔画像認識情報取得手段と
を具備し、
前記生体情報特定手段は、
前記撮像手段が撮像した映像中の前記可視光信号の位置と、前記各生命体の映像の位置の最も近いもの同士を関連付けることによって、前記顔画像認識情報取得手段により取得された前記複数の生命体それぞれの顔画像認識情報を、前記複数の生命体それぞれの位置情報及び生理情報に関連付けて特定する、
生体情報取得装置。
【請求項２】
複数の生命体が存在する所定の空間を撮像する撮像手段と、前記複数の各生命体には、その生命体の生理情報を表わす可視光信号を出力する生体情報出力装置が取り付けられており、
前記撮像手段が撮像した映像中の前記可視光信号の位置もしくは各生命体の映像から前記複数の生命体それぞれの位置情報を特定する位置特定手段と、
前記撮像手段が撮像した映像中の前記可視光信号から前記複数の生命体それぞれの生理情報を取得する生理情報取得手段と、
前記位置特定手段により特定された前記複数の生命体それぞれの位置情報と、前記生理情報取得手段により取得された前記複数の生命体それぞれの生理情報とを関連付けて特定する生体情報特定手段と、
前記撮像手段が撮像した映像中の前記複数の生命体の画像から、前記複数の生命体の姿勢情報を認識する姿勢情報認識手段と
を具備し、
前記生体情報特定手段は、
前記撮像手段が撮像した映像中の前記可視光信号の位置と、前記各生命体の映像の位置の最も近いもの同士を関連付けることによって、前記姿勢情報認識手段により認識された前記複数の生命体それぞれの姿勢情報を、前記複数の生命体それぞれの位置情報及び生理情報に関連付けて特定する、
生体情報取得装置。
【請求項３】
前記撮像手段が撮像した映像中の前記複数の生命体の画像から、前記複数の生命体のそれぞれの顔画像を認識し、前記認識した顔画像の表情情報及び個人識別情報のうちの少なくとも１つを有する顔画像認識情報を取得する顔画像認識情報取得手段をさらに具備し、
前記生体情報特定手段は、
前記顔画像認識情報取得手段により取得された前記複数の生命体それぞれの顔画像認識情報を、前記複数の生命体それぞれの位置情報及び生理情報に関連付けて特定する請求項２に記載の生体情報取得装置。
【請求項４】
前記撮像手段が撮像した映像中の前記複数の生命体の画像から、前記複数の生命体の姿勢情報を認識する姿勢情報認識手段をさらに具備し、
前記生体情報特定手段は、
前記姿勢情報認識手段により認識された前記複数の生命体それぞれの姿勢情報を、前記複数の生命体それぞれの位置情報及び生理情報に関連付けて特定する請求項１に記載の生体情報取得装置。
【請求項５】
前記生理情報は、心電図、筋電図、発汗、心拍数、心音強度、血圧、呼吸、声、発汗、皮膚温度の情報のうち、少なくとも１つを含む情報である請求項１又は請求項２に記載の生体情報取得装置。
【請求項６】
複数の生命体が存在する所定の空間を撮像する撮像手段と、前記複数の各生命体には、その生命体の生理情報を表わす可視光信号を出力する生体情報出力装置が取り付けられており、
前記撮像手段が撮像した映像中の前記可視光信号の位置もしくは各生命体の映像から前記複数の生命体それぞれの位置情報を特定する位置特定手段と、
前記撮像手段が撮像した映像中の前記可視光信号から前記複数の生命体それぞれの生理情報を取得する生理情報取得手段と、
前記位置特定手段により特定された前記複数の生命体それぞれの位置情報と、前記生理情報取得手段により取得された前記複数の生命体それぞれの生理情報とを関連付けて特定する生体情報特定手段と
を具備し、
前記複数の各生命体に取り付けられた生体情報出力装置から出力されるその生命体の生理情報を表わす可視光信号の少なくとも１つは、その生命体の所定のイベントを検出したタイミングを示すタイミング情報を含み、
前記生理情報取得手段は、さらに、
前記撮像手段が撮像した映像中の前記可視光信号のうち前記少なくとも１つの可視光信号からタイミング情報を取得し、
前記生体情報特定手段は、さらに、
前記生理情報取得手段が取得した前記少なくとも１つの可視光信号から取得したタイミング情報を前記少なくとも１つの可視光信号に対応する位置情報及び生理情報に関連付けて特定する、
生体情報取得装置。
【請求項７】
複数の生命体が存在する所定の空間を撮像する撮像手段と、前記複数の各生命体には、その生命体の生理情報を表わす可視光信号を出力する生体情報出力装置が取り付けられており、
前記撮像手段が撮像した映像中の前記可視光信号の位置もしくは各生命体の映像から前記複数の生命体それぞれの位置情報を特定する位置特定手段と、
前記撮像手段が撮像した映像中の前記可視光信号から前記複数の生命体それぞれの生理情報を取得する生理情報取得手段と、
前記位置特定手段により特定された前記複数の生命体それぞれの位置情報と、前記生理情報取得手段により取得された前記複数の生命体それぞれの生理情報とを関連付けて特定する生体情報特定手段と
を具備する生体情報取得装置と、
前記生体情報取得装置の前記生体情報特定手段により特定された前記複数の生命体の位置情報及び生理情報に基づいて、前記所定の空間のイベントに関する情報を判定する判定手段と
を具備するイベント判定装置。
【請求項８】
複数の生命体が存在する所定の空間を撮像し、前記複数の各生命体には、その生命体の生理情報を表わす可視光信号を出力する生体情報出力装置が取り付けられており、
前記撮像した映像中の前記可視光信号の位置もしくは各生命体の映像から前記複数の生命体それぞれの位置情報を特定し、
前記撮像した映像中の前記可視光信号から前記複数の生命体それぞれの生理情報を取得し、
前記特定された前記複数の生命体それぞれの位置情報と、前記取得された前記複数の生命体それぞれの生理情報とを関連付けて特定し、
前記撮像した映像中の前記複数の生命体の画像から、前記複数の生命体のそれぞれの顔画像を認識し、前記認識した顔画像の表情情報及び個人識別情報のうちの少なくとも１つを有する顔画像認識情報を取得し、
前記特定された前記複数の生命体それぞれの位置情報と、前記取得された前記複数の生命体それぞれの生理情報とを関連付けて特定することは、
前記撮像した映像中の前記可視光信号の位置と、前記各生命体の映像の位置の最も近いもの同士を関連付けることによって、前記取得された前記複数の生命体それぞれの顔画像認識情報を、前記複数の生命体それぞれの位置情報及び生理情報に関連付けて特定する、
生体情報取得方法。
【請求項９】
複数の生命体が存在する所定の空間を撮像し、前記複数の各生命体には、その生命体の生理情報を表わす可視光信号を出力する生体情報出力装置が取り付けられており、
前記撮像した映像中の前記可視光信号の位置もしくは各生命体の映像から前記複数の生命体それぞれの位置情報を特定し、
前記撮像した映像中の前記可視光信号から前記複数の生命体それぞれの生理情報を取得し、
前記特定された前記複数の生命体それぞれの位置情報と、前記取得された前記複数の生命体それぞれの生理情報とを関連付けて特定し、
前記撮像した映像中の前記複数の生命体の画像から、前記複数の生命体の姿勢情報を認識し、
前記特定された前記複数の生命体それぞれの位置情報と、前記取得された前記複数の生命体それぞれの生理情報とを関連付けて特定することは、
前記撮像した映像中の前記可視光信号の位置と、前記各生命体の映像の位置の最も近いもの同士を関連付けることによって、前記認識された前記複数の生命体それぞれの姿勢情報を、前記複数の生命体それぞれの位置情報及び生理情報に関連付けて特定する、
生体情報取得方法。
【請求項１０】
複数の生命体が存在する所定の空間を撮像し、前記複数の各生命体には、その生命体の生理情報を表わす可視光信号を出力する生体情報出力装置が取り付けられており、
前記撮像した映像中の前記可視光信号の位置もしくは各生命体の映像から前記複数の生命体それぞれの位置情報を特定し、
前記撮像した映像中の前記可視光信号から前記複数の生命体それぞれの生理情報を取得し、
前記特定された前記複数の生命体それぞれの位置情報と、前記取得された前記複数の生命体それぞれの生理情報とを関連付けて特定し、
前記複数の各生命体に取り付けられた生体情報出力装置から出力されるその生命体の生理情報を表わす可視光信号の少なくとも１つは、その生命体の所定のイベントを検出したタイミングを示すタイミング情報を含み、
前記生理情報を取得することは、さらに、
前記撮像した映像中の前記可視光信号から前記少なくとも１つの可視光信号からタイミング情報を取得し、
前記特定された前記複数の生命体それぞれの位置情報と、前記取得された前記複数の生命体それぞれの生理情報とを関連付けて特定することは、さらに、
前記取得した前記少なくとも１つの可視光信号から取得したタイミング情報を前記少なくとも１つの可視光信号に対応する位置情報及び生理情報に関連付けて特定する、
生体情報取得方法。
【請求項１１】
複数の生命体が存在する所定の空間を撮像し、前記複数の各生命体には、その生命体の生理情報を表わす可視光信号を出力する生体情報出力装置が取り付けられており、
前記撮像した映像中の前記可視光信号の位置もしくは各生命体の映像から前記複数の生命体それぞれの位置情報を特定し、
前記撮像した映像中の前記可視光信号から前記複数の生命体それぞれの生理情報を取得し、
前記特定された前記複数の生命体それぞれの位置情報と、前記取得された前記複数の生命体それぞれの生理情報とを関連付けて特定し、
前記特定された前記複数の生命体の位置情報及び生理情報に基づいて、前記所定の空間のイベントに関する情報を判定する
イベント判定方法。
【請求項１２】
請求項１乃至７いずれか１項に記載の装置を機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の空間における生体情報の取得装置、取得方法及び取得プログラムに関する。
【背景技術】
【０００２】
スポーツやエンタテイメント産業では、観客の観覧内容に対する満足度を知ることがサービスの質を評価する上で重要となる。通常は、観客に対するアンケート調査などで満足度評価を行なうが、そのような方法では多数の観客から一度に情報を取得するのは難しく、多くの人手や費用が必要となる。
【０００３】
そのため、近年、顔画像認識技術によって観客の表情や顔の向きなどの情報を自動的に取得し、それらに基づいて観客の満足度を機械的に推定するシステムが開発されている（非特許文献１）。
【０００４】
また、近年、近赤外光通信を含む可視光を利用した通信技術が広く知られている可視光通信技術の一例として、例えば、ＬＥＤ照明の速い応答速度、及び電気的に制御できることに着目し、ＬＥＤ照明に信号伝送機能を持たせる技術が開発されている（非特許文献２）。このＬＥＤ照明を使用した信号伝送（照明光信号伝送）は、信号伝送媒体として可視光（照明光）を用いるものである。そして、ＬＥＤを送信信号に応じ、光の強度を変化させ、受信側ではその光の強弱により信号を判別することで信号を伝送する。この可視光通信と生理情報計測の技術を組み合わせることによって、生理情報を可視光通信で送信することは可能である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】松川  徹、  日高  章理、  栗田  多喜男  ”複数人物の顔方向・表情認識に基づく映像中の観客の満足度の自動定量評価”  情報処理学会論文誌  vol. 50 No.12 3222-3232 (Dec. 2009)
【非特許文献２】小峰  俊彦、  田中  裕一、  中川  正雄  ”白色ＬＥＤ照明信号伝送と電力線信号伝送の融合システム”  信学技法, IT2001-91, ISEC2001-129, SST2001-207, ITS2001-145(2002-03)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の可視光通信技術と生理情報計測を組み合わせるだけでは、通常の撮像手段を持っても計測可能であるという可視光信号の特徴を有効に活用しているとはいえなかった。
【０００７】
本発明は、上記実情に鑑みてなされたものであり、所定の空間における複数の生命体に取り付けられた装置から出力される生理情報を伝送する可視光信号を有効に利用して、複数の生命体の生体情報及び位置情報を関連付けて特定することができる生体情報取得装置、生体情報取得方法及び生体情報取得プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の観点の発明によれば、複数の生命体が存在する所定の空間を撮像する撮像手段と、前記複数の各生命体には、その生命体の生理情報を表わす可視光信号を出力する生体情報出力装置が取り付けられており、前記撮像手段が撮像した映像中の前記可視光信号の位置情報もしくは各生命体の映像から前記複数の生命体それぞれの位置情報を特定する位置特定手段と、前記撮像手段が撮像した映像中の前記可視光信号から前記複数の生命体それぞれの生理情報を取得する生理情報取得手段と、前記位置特定手段により特定された前記複数の生命体それぞれの位置情報と、前記生理情報取得手段により取得された前記複数の生命体それぞれの生理情報とを関連付けて特定する生体情報特定手段と、前記撮像手段が撮像した映像中の前記複数の生命体の画像から、前記複数の生命体のそれぞれの顔画像を認識し、前記認識した顔画像の表情情報及び個人識別情報のうちの少なくとも１つを有する顔画像認識情報を取得する顔画像認識情報取得手段とを具備し、前記生体情報特定手段は、前記撮像手段が撮像した映像中の前記可視光信号の位置と、前記各生命体の映像の位置の最も近いもの同士を関連付けることによって、前記顔画像認識情報取得手段により取得された前記複数の生命体それぞれの顔画像認識情報を、前記複数の生命体それぞれの位置情報、生理情報に関連付けて特定する生体情報取得装置、である。
【発明の効果】
【０００９】
本発明によれば、所定の空間における複数の生命体に取り付けられた装置から出力される生理情報を伝送する可視光信号を有効に利用して、複数の生命体の生体情報及び位置情報を関連付けて特定することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態に係る所定の空間における複数の観客の生体情報取得装置を示す図である。
【図２】顔画像認識部１４の機能ブロック図を示す図である。
【図３】生体情報特定部１６により特定される情報を示す図である。
【図４】本実施の形態に係る生体情報取得装置の動作を説明するためのフローチャートである。
【図５】イベント判定装置の学習部を示す図である。
【図６】イベント判定装置のカテゴリ判定部を示す図である。
【図７】判定器５１における判定の際に使用され、判定器生成部４２により生成される判定ベースを説明するための図である。
【図８】本発明の実施の形態に係るイベント判定装置の動作を説明するためのフローチャートを示す図である。
【図９】本発明の他の実施の形態に係る可視光通信システム６００を示す図である。
【図１０】同他の実施の形態に係る送信装置１１０の構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態について、図面を参照して説明する。
【００１２】
図１は、本実施の形態に係る所定の空間における生体情報取得装置を示す図である。
【００１３】
同図において、所定の空間には複数の観客（生命体）Ｍ−１〜Ｍ−４が存在しており、各観客には、生理情報を可視光により送信する生理情報出力装置１−１〜１−４が取り付けられている。
【００１４】
なお、所定の情報（本実施の形態では、生理情報）を可視光通信を使用して送信する技術については、公知の技術であるのでここでは詳述しない（例えば、非特許文献２の「白色ＬＥＤ照明信号伝送と電力線信号伝送の融合システム」  小峰他  電子情報通信学会技術研究報告  SST，  スペクトル拡散  101(730), 99-104, 2002-03-12）。
【００１５】
ここで、本実施の形態において「生理情報」とは、心電図、筋電図、発汗、心拍数、心音強度、血圧、呼吸（数、深さ）、声（高さ）、発汗、皮膚温度などであり、可視光通信により送られる情報である。なお、本実施の形態においては、生理情報は、複数の観客Ｍ−１〜Ｍ−４の外観からは取得できない情報を意図するが、外観から取得できる情報であって、観客に関する情報を可視光通信により送信しても良い。
【００１６】
撮像部（例えば、ビデオカメラ）１１は、複数の観客Ｍ−１〜Ｍ−４が存在する所定の空間を撮像する。従って、この撮像部１１により撮像される映像には、複数の観客Ｍ−１〜Ｍ−４と、各観客Ｍ−１〜Ｍ−４に取り付けられた生理情報出力装置１−１〜１−４から出力された生理情報を表わす可視光とが含まれる。
【００１７】
位置情報取得部１２は、撮像部１１が撮像した映像中の可視光信号の位置から複数の観客Ｍ−１〜Ｍ−４の位置を特定し、その特定された位置を示す位置情報を取得する。位置の特定は、例えば、映像を構成する画像から生理情報出力装置１−１〜１−４から出力された生理情報を表わす可視光が映っている領域を検出し、その検出された領域に対応付られた位置を特定するなど種々の方法が考えられる。また、位置情報は、所定の空間に存在する複数の観客Ｍ−１〜Ｍ−４の位置をｘ−ｙ座標で表わすものとするが、これに限られるものではない。
【００１８】
生理情報取得部１３は、撮像部１１が撮像した映像中における各観客Ｍ−１〜Ｍ−４に取り付けられた生理情報出力装置１−１〜１−４から出力された生理情報を表わす可視光を復号して、各観客Ｍ−１〜Ｍ−４の生理情報を取得して出力する。
【００１９】
顔画像認識部１４は、撮像部１１が撮像した映像中における各観客Ｍ−１〜Ｍ−４の顔画像を認識し、その認識した顔画像の表情情報、個人識別（顔画像）情報を出力する。図２は、顔画像認識部１４の機能ブロック図を示す図である。
【００２０】
同図に示すように、顔画像認識部１４は、顔画像抽出部２１、表情情報抽出部２２及び個人識別（顔認識）情報取得部２３及び顔認識データベース２４を具備する。
【００２１】
顔画像抽出部２１は、撮像部１１が撮像した映像中における各観客Ｍ−１〜Ｍ−４の顔画像を抽出する。
【００２２】
表情情報抽出部２２は、顔画像抽出部２１により抽出された各観客Ｍ−１〜Ｍ−４の顔画像から表情情報を抽出する。なお、顔画像から観客の表情情報を取得する手法は公知の技術であり、例えば、非特許文献１の「松川  徹、  日高  章理、  栗田  多喜夫  ”複数人物の顔方向・表情認識に基づく映像中の観客の満足度の自動定量評価”  情報処理学会論文  ｖｏｌ  ５０  Ｎｏ．１２  ３２２２−３２３２（Ｄｅｃ．  ２００９）」などに開示されている。
【００２３】
また、顔の特徴量に基づいて顔の表情を得る手法としては、例えば、「宮原  正憲、  滝口  哲也、  有木  康雄  ”顔特徴点移動量・点間距離変化量の組み合わせに基づく顔表情認識”  ２００７年電子情報通信学会総合大会  Ｄ−１２−８０  ｐ．１９６」、「野宮  浩揮、  宝珍  輝尚  ”顔特徴点を用いた特徴選択と特徴抽出による表情認識に基づく映像中の表情表出シーン検出”  ＤＥＩＭ  Ｆｏｒｕｍ  ２０１１  Ｃ１−５」などに開示されている。
【００２４】
ここで、表情情報とは、例えば、”喜んでいる”、”喜んでいない”、”真剣に観戦している”、”真剣に観戦していない”、”悲しんでいる”、”悲しんでいない”、嫌悪”、”恐怖”、”幸福”、”悲しみ”、”驚き”、”無表情”などの情報である。
【００２５】
個人識別（顔認識）情報取得部２３は、顔画像抽出部２１により抽出された各観客Ｍ−１〜Ｍ−４の顔画像から個人識別（顔認識）情報を取得して出力する。この個人識別情報の取得は、例えば、顔画像と個人識別情報とが関連付けて記憶された顔認識データベース２４を使用して、顔画像抽出部２１により抽出された各観客Ｍ−１〜Ｍ−４の顔画像と、顔認識データベース２４に格納された顔画像との照合処理を行ない、一致した顔画像に対応する個人識別情報を顔認識データベース２４から取得することにより行なわれる。
【００２６】
なお、位置情報取得部１２により取得された複数の観客Ｍ−１〜Ｍ−４の位置を示す位置情報に代えて、顔画像抽出部２１により抽出された各観客Ｍ−１〜Ｍ−４の顔画像の位置を観客の位置情報としても良い。
【００２７】
姿勢認識部１５は、撮像部１１が撮像した映像中における各観客Ｍ−１〜Ｍ−４の姿勢を認識し、その認識した各観客Ｍ−１〜Ｍ−４の姿勢を示す姿勢情報を出力する。なお、このような画像から人物の姿勢を推定する技術は広く知られている技術である（例えば、「安藤  慎吾  他  ”映像モニタリングのための人物姿勢推定技術”  ＮＴＴ技術ジャーナル  ２００７．８」）。また、本実施の形態においては、姿勢認識部１５を用いる場合について説明したが、姿勢認識部１５は必ずしも必要ではなく省略しても良い。
【００２８】
生体情報特定部１６は、位置情報取得部１２により特定された複数の観客Ｍ−１〜Ｍ−４の位置情報と、生理情報取得部１３により取得された複数の観客Ｍ−１〜Ｍ−４の生理情報、顔画像認識部１４により認識された顔画像の表情情報及び個人識別（顔認証）情報、姿勢認識部１５により認識された複数の観客Ｍ−１〜Ｍ−４の姿勢情報を取得し、互いに関連付けて特定し、記憶する。
【００２９】
この関連付けは、図３に示すように、撮像部１１により撮像された映像の複数の観客Ｍ−１〜Ｍ−４の位置情報３１に、生理情報３２、表情情報３３、個人識別情報３４及び姿勢情報３５が関連付けられる。撮像部１１により撮像された映像には、複数の観客Ｍ−１〜Ｍ−４及び各観客Ｍ−１〜Ｍ−４に取り付けられた生理情報出力装置１−１〜１−４から出力された生理情報を表わす可視光が含まれていることから、この可視光の位置を位置情報に関連付けることにより、生理情報３２、表情情報３３、個人識別情報３４及び姿勢情報３５を関連付けることができる。
【００３０】
この関連付けは、例えば、各観客Ｍ−１〜Ｍ−４（顔、姿勢）の位置と、可視光の位置とが最も近いもの同士が関連付けられる。その結果、可視光の位置情報３１と、可視光の位置に最も近い観客の生理情報３２、表情情報３３、個人識別情報３４及び姿勢情報３５が関連付けられる。
【００３１】
本実施の形態においては、位置情報３１に、生理情報３２、表情情報３３、個人識別情報３４及び姿勢情報３５を関連付ける場合については説明したが、表情情報３３、個人識別情報３４及び姿勢情報３５は必ずしも必須ではない。また、他の生体情報を位置情報３１及び生理情報３２に関連付けても良い。
【００３２】
表情情報３３、個人識別情報３４を用いない場合には、顔画像認識部１４はなくても良い。また、姿勢情報３５を用いない場合には、姿勢認識部１５はなくても良い。この場合、生体情報特定部１６により、位置情報取得部１２により特定された複数の観客Ｍ−１〜Ｍ−４の位置情報と、生理情報取得部１３により取得された複数の観客Ｍ−１〜Ｍ−４の生理情報とが関連付けられることになる。
【００３３】
図４は、本実施の形態に係る生体情報取得装置の動作を説明するためのフローチャートである。
【００３４】
まず、撮像部１１により、複数の観客Ｍ−１〜Ｍ−４が存在する所定の空間を撮像する（Ｓ１）。次に、位置情報取得部１２が複数の観客Ｍ−１〜Ｍ−４の位置情報、生理情報取得部１３が複数の観客Ｍ−１〜Ｍ−４の生理情報、顔画像認識部１４が複数の観客Ｍ−１〜Ｍ−４の顔画像の表情情報及び個人識別（顔画像）情報を含む顔画像認識情報及び姿勢認識部１５が複数の観客Ｍ−１〜Ｍ−４の姿勢情報を取得する（Ｓ２）。
【００３５】
次に、Ｓ２において取得された複数の観客Ｍ−１〜Ｍ−４の位置情報、生理情報、顔画像認識情報及び姿勢情報を関連付けて特定する（Ｓ３）。
【００３６】
したがって、本実施の形態によれば、撮像部１１により撮像された映像に基づいて、生体情報特定部１６により、図３に示すように、位置情報３１、生理情報３２、表情情報３３、個人識別情報３４及び姿勢情報３５を関連付けることにより、大量に存在する計測点からのデータを一箇所で収集することができる。
【００３７】
また、単に、生理情報３２を取得する場合に比較して、位置情報３１及び生理情報３２に関連する他の情報（表情情報３３、個人識別情報３４及び姿勢情報３５）をも取得することができることから、生体情報を使用した所定の空間におけるイベントに関する情報の推定精度を向上することができる。
＜応用例＞
上述の実施の形態では、撮像部１１により撮像された映像に基づいて、生体情報特定部１６から位置情報３１、生理情報３２、表情情報３３、個人識別情報３４及び姿勢情報３５を関連付けて出力する場合について説明した。
【００３８】
ここでは、これら情報を、所定の空間におけるイベントを判定するためのイベント判定装置において使用する場合について説明する。なお、これらデータは本応用例に限らず、他の用途においても使用することができる。
【００３９】
本応用例では、コンサートホールにおける観客の位置情報及び生体情報を取得し、これら取得された位置情報及び生体情報から判定器を使用して、コンサートホールにおいて行われているロック、クラシック、演歌などのイベントカテゴリを判定する場合について説明するが、これに限られるものではない。
【００４０】
イベント判定装置は、判定器を生成するための学習部及びカテゴリ判定部を有する。図５は、イベント判定装置の学習部を示す図である。
【００４１】
同図に示すように、学習部は、撮像部１１、位置情報取得部１２、生理情報取得部１３、顔画像認識部１４、姿勢認識部１５、生体情報特定部１６、イベントカテゴリ入力部４１、判定器生成部４２を有している。
【００４２】
撮像部１１、位置情報取得部１２、生理情報取得部１３、顔画像認識部１４、姿勢認識部１５、生体情報特定部１６は、上述の実施の形態において説明したので、ここでは説明を省略する。
【００４３】
イベントカテゴリ入力部４１は、コンサートホールにおいて行なわれている（正解となる）イベントカテゴリ（ロック、クラシック、演歌など）を入力する。
【００４４】
判定器生成部４２は、生体情報特定部１６により特定された複数の観客Ｍ−１〜Ｍ−４の位置情報、生理情報、表情情報、個人識別情報、姿勢情報と、イベントカテゴリ入力部４１に入力された（正解となる）イベントカテゴリ（ロック、クラシック、演歌など）とを関連付けて判定器５１の判定ベースを生成する。
【００４５】
図７は、判定器５１における判定の際に使用され、判定器生成部４２により生成される判定ベースを説明するための図である。
【００４６】
同図に示すように、判定のために使用される判定ベースは、位置情報３１、生理情報３２、表情情報３３、個人識別情報３４、姿勢情報３５及びイベントカテゴリ６１を含む。
【００４７】
判定ベースは、イベントカテゴリ毎に作成される。なお、学習の方法については、同一のイベントカテゴリについて１回に限らず、同一のイベントカテゴリについて複数回、位置情報及び生体情報を取得し、これら取得した複数の位置情報及び生体情報の平均値を使用してもよく、また、他の学習方法を採用しても良い。
【００４８】
図６は、イベント判定装置のカテゴリ判定部を示す図である。
【００４９】
同図に示すように、カテゴリ判定部は、撮像部１１、位置情報取得部１２、生理情報取得部１３、顔画像認識部１４、姿勢認識部１５、生体情報特定部１６、判定器５１を有している。
【００５０】
撮像部１１、位置情報取得部１２、生理情報取得部１３、顔画像認識部１４、姿勢認識部１５、生体情報特定部１６は、上述の実施の形態において説明したので、ここでは説明を省略する。
【００５１】
判定器５１は、学習時に判定器生成部４２によってカテゴリ毎に生成された判定ベースに基づいて、生体情報特定部１６により特定され、判定の対象となる複数の観客Ｍ−１〜Ｍ−４の位置情報３１、生理情報３２、表情情報３３、個人識別情報３４及び姿勢情報３５の情報からイベントのカテゴリの判定を行なう。
【００５２】
この判定は、判定時に取得された位置情報及び生体情報（生理情報３２、表情情報３３、個人識別情報３４及び姿勢情報３５）と、学習により生成された判定ベースとを比較し、その比較の結果、最も一致率の高い判定ベースのカテゴリをイベントのカテゴリとして判定して出力する。なお、判定器５１による判定方法はこれに限られるものではない。
【００５３】
図８は、本発明の実施の形態に係るイベント判定装置の動作を説明するためのフローチャートを示す図である。
【００５４】
最初に、学習により判定器５１の生成が行われる（学習モード）。
【００５５】
まず、撮像部１１により、複数の観客Ｍ−１〜Ｍ−４が存在する所定の空間を撮像する（Ｓ１１）。次に、位置情報取得部１２が複数の観客Ｍ−１〜Ｍ−４の位置情報、生理情報取得部１３が複数の観客Ｍ−１〜Ｍ−４の生理情報、顔画像認識部１４が複数の観客Ｍ−１〜Ｍ−４の顔画像の表情情報及び個人識別（顔画像）情報を含む顔画像認識情報及び姿勢認識部１５が複数の観客Ｍ−１〜Ｍ−４の姿勢情報を取得する（Ｓ１２）。
【００５６】
次に、Ｓ１２において取得された複数の観客Ｍ−１〜Ｍ−４の位置情報、生理情報、顔画像認識情報及び姿勢情報を関連付けて特定する（Ｓ１３）。
【００５７】
そして、判定器生成部４２は、複数の観客Ｍ−１〜Ｍ−４それぞれの生体情報及び位置情報と、取得されたイベントのカテゴリとを関連付けて判定器５１の判定ベースを生成する（Ｓ１４）。
【００５８】
次に、予め定められた基準（例えば、カテゴリの数、学習の回数など）に従って、判定器生成部４２により学習が終了したか否かの判定が行なわれる（Ｓ１５）。学習が終了していないとされた場合には、Ｓ１１の処理に戻り、学習モードを継続する。
【００５９】
一方、学習が終了したと判定された場合には、生成された判定ベースを使用した判定器５１によるイベント判定モードが実行可能になる。
【００６０】
イベント判定モードにおいては、判定の対象となる位置情報３１及び生体情報（生理情報３２、表情情報３３、個人識別情報３４、姿勢情報３５）が取得され（Ｓ１６）、これら情報が生体情報特定部１６により特定されて、判定器５１に入力される。
【００６１】
判定器５１は、学習時に判定器生成部４２によってカテゴリ毎に生成された判定ベースに基づいて、生体情報特定部１６により特定され、判定の対象となる複数の観客Ｍ−１〜Ｍ−４の位置情報３１、生理情報３２、表情情報３３、個人識別情報３４及び姿勢情報３５のイベントのカテゴリの判定を行なう（Ｓ１７）。
【００６２】
そして、判定器５１は、Ｓ１７において判定された結果であるイベントのカテゴリを出力する（Ｓ１８）。
【００６３】
したがって、本実施の形態のイベント判定装置によれば、所定の空間に存在する複数の生命体の位置情報及び生体情報を基に、その空間で行なわれている音楽の種類などのイベントの判定を行なうことができ、いままでにない用途において生体情報を有効活用することができる。
【００６４】
なお、上述の実施の形態では、コンサートホールにて行われる歌のカテゴリ（ロック、クラシック、演歌など）を例に説明したが、これに限られるものではない。例えば、本実施の形態は、講演や演説会場（内容、シリアスさ）、落語（人）、演劇・映画（アクション、ホラー、コメディ、恋愛）にも適用することができる。
＜他の実施の形態＞
上述の実施の形態においては、複数の観客複数の観客Ｍ−１〜Ｍ−４の位置情報と生体情報（生理情報３２、表情情報３３、個人識別情報３４及び姿勢情報３５）とを関連付けて特定する場合について説明した。
【００６５】
他の実施の形態においては、位置情報と、生体情報の一例としてのタイミング情報とを関連付けて特定する場合について説明する。なお、位置情報とタイミング情報との関連付けは、上述の実施の形態と組み合わせて、他の生体情報（生理情報３２、表情情報３３、個人識別情報３４及び姿勢情報３５など）とともに関連付けて特定されても良いことはいうまでもない。
【００６６】
図９は、本発明の他の実施の形態における可視光通信システム６００を示す図である。以下、可視光通信システム６００について説明する。＜可視光通信システム６００＞
本実施形態では、可視光通信システム６００は、Ｐ台の送信装置１１０と１台の受信装置６２０とを含む。ただし、図９では、送信装置自体ではなく、その発光部１１４の配置を示す。Ｐ台の送信装置１００と１台の受信装置６２０との間で可視光通信を行う。Ｐを1以上の何れかの整数とし、Ｐ＝１，２，…,Ｐとする。
＜送信装置１１０＞
図１０は、送信装置１１０の構成を示す図である。
【００６７】
同図に示すように、送信装置１１０は、情報取得部１１１とイベント検出部１１２と符号化部１１３と発光部１１４とを含む。例えば、送信装置１１０は、各部が一体化されたユニットからなる。例えば、送信装置１１０は、心拍計からなる情報取得部１１１と、マイコンからなるイベント検出部１１２及び符号化部１１３と、LEDからなる発光部１１４とが一体化された装置である。
【００６８】
情報取得部１１１は、伝送レートよりも時間間隔が小さいサンプリングレートで、所定の情報をサンプリングし、出力する。ここで、伝送レートの時間間隔とは点滅情報を一回送るのに使う時間間隔（=1/f）であり、サンプリングレートの時間間隔とはサンプルを1個取得するのに使う時間間隔(=1/fs)である。例えば、情報取得部１１１は、心電図の電気的な波形や、腕や足につけた加速度計の波形を所定のサンプリングレート（例えば、500Hz）でサンプリングし、サンプル値をイベント検出部１１２に出力する。なお、心電図の波形や、加速度計の波形の元となる情報を測定する心電計や加速度計自体を情報取得部として用い、波形となる前のサンプル値を出力してもよい。
【００６９】
イベント検出部１１２は、情報取得部１１１でサンプリングした情報を受け取り、この情報から所定のイベントを検出し、所定のイベントを検出したタイミングを示すタイミング情報を出力する。
【００７０】
例えば、心電図計測の場合、心臓の拍動タイミングとしてR波の発生イベントを検出し、その発生時刻を符号化部１１３に送る。Rの発生タイミングは、例えば心電図波形のピークを検出することによって行われる（参考文献１参照）。同様に、「腕が振られた」、あるいは、「歩く」といったイベントを腕、足、腰などにつけられた加速度計の加速度の方向の変化点として検出し、そのタイミング情報を符号化部１１３に送る。
【００７１】
（参考文献１） B.-U. Kohler, C. Hennig, and R. Orlgmeister, “The principles of software QRS detection”, IEEE Engineering in Medicine and Biology Magazine, 2002, vol. 21, no. 1, pp. 42-57.
符号化部１１３は、タイミング情報を受け取り、タイミング情報を符号化し、送信信号を生成し、出力する。
【００７２】
本実施形態では、符号化部１１３は、タイミング情報をLEDの点滅パターン信号に変換し、発光部１１４に送る。本実施形態ではタイミング情報を受け取ってから、人間が視覚的に認知可能で、かつ、次のイベントと十分な間隔をあけられるような時間の長さだけLEDを点灯させる信号を出力する。例えば、拍動イベント発生のタイミングは300ms〜1100ms程度の間隔を持っている。このとき、50msの間点灯する信号を発光部１１４に送る。そうすると、発光部１１４は、点灯状態と点灯状態との間に250ms〜1050ms程度の消灯状態を持つこととなる。人間の目の時間分解能は約50ms〜100ms程度であり、この時間よりも短い光の点滅は、連続点灯しているように知覚される。そのため、あるイベントの発生を示す点灯状態とその次のイベントの発生を示す点灯状態との間に、人間が視覚的に二つの点灯状態を区別することができる程度の消灯状態(例えば、100ms以上の消灯状態)を設けて、点滅パターン信号を生成すればよい。例えば、あるイベントの発生を知らせる信号と少なくとも1/4以上の間隔をあけることにより、視覚的に次のイベントの発生を区別できるようにする。拍動イベント発生のタイミングは、短くとも300ms程度の間隔を持っているので、1/4以上の間隔をあける場合には、300/4=75ms以上の消灯時間を設ければいいため、50msの間点灯する信号であれば、少なくとも250msの消灯時間を持つ点滅パターン信号を生成することができるため十分である。
【００７３】
発光部１１４は、送信信号を受け取り、この信号に基づき点滅する。なお、送信装置１１０は、発光部１１４の点滅により光信号を送信する。例えば、発光部１１４は、一個のLEDからなり、点滅パターン信号に基づき点滅する。また、例えば、発光部１１４は、情報取得部１１１のサンプリングの対象となるものに取り付けてもよい。例えば、心電図の波形をサンプリングする場合には、心電計を取り付けられた人間に発光部１１４を取り付ける。このような構成とすることで、発光部１１４の示す点滅パターン信号が何に対する情報かを視覚的に分かりやすく表現することができる。
【００７４】
送信装置１１０は、生命体（例えば、人間）に、その生体情報（例えば心電図、心拍数、血圧、体温等）を取得するためのセンサが取り付けられ、センサの出力値を送信装置の情報取得部の入力とする。
【００７５】
Ｐ台の送信装置の発光部１１４は全てが、所定の空間内に存在するように配置される。各送信装置の発光部１１４は、生命体の生体情報から得られるタイミング情報を受信装置６２０が検知可能な光信号で送信する。
【００７６】
なお、生体情報を取得するためのセンサは、生命体に取り付けられる必要があり、Ｐ個の発光部１１４はそれぞれサンプリングの対象であるＰ体の生命体に取り付けられる。図９では、各生命体の頭部に発光部１１４を設け、発光部１１４の発光が、その発光部１１４を取り付けている人間の生体情報であることを視覚的に分かりやすく表現している。なお、各送信装置本体はどこに配置されてもよい。
【００７７】
＜受信装置６２０＞  
受信装置６２０は、受光部６２１と位置特定部６２５と復号部６２２と特定生体情報取得部６２６とを含む。受信装置６２０は、複数の光信号を受信し、発光部１１４毎の位置とタイミング情報とを出力する。
【００７８】
＜受光部６２１＞  
受光部６２１は、Ｐ台の送信装置の発光部１１４全てが存在する所定の空間を撮影し、Ｐ台の送信装置がそれぞれ生成したＰ個の送信信号に基づき点滅するＰ個の光信号を撮影し、出力する。受光部６２１は、光信号を受信するとともに、光の発せられた位置を特定するために、画像として、光信号を受信する必要があり、例えば、イメージセンサ等からなる。
【００７９】
＜位置特定部６２５＞  
位置特定部６２５は、受光部６２１で撮影した映像を受け取り、映像中のＰ個の光信号の位置（発光位置）から対応する発光部１１４を取り付けられた生命体の位置を特定し、位置情報を出力する。例えば、映像を構成する画像から発光部１１４が写っている領域を抜き出してその位置を特定し、発光部１１４の位置から生命体の位置を特定する。
【００８０】
＜復号部６２２＞  
復号部６２２は、受光部６２１で撮影した映像を受け取り、映像中のＰ個の光信号から各生命体に関するタイミング情報を復号し、出力する。
【００８１】
＜特定生体情報取得部６２６＞  
特定生体情報取得部６２６は、復号部６２２が復号したタイミング情報と、位置特定部が特定した位置情報とを受け取り、これらの情報から、少なくとも１つの生命体のタイミング情報と位置情報を取得し、紐付けて出力する。さらに、本実施形態では、位置情報と、生命体の識別子とを予め紐付けておき、生命体の識別子（例えば名前）と位置情報とを紐付けて出力する。
【００８２】
＜効果＞  
このような構成により、大量に存在する計測点からのデータを一箇所に簡単に収集でき、収集と同時に計測点の位置情報も比較的容易に復元できる。
【００８３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８４】
１−１〜１−４  生理情報出力装置  １１  撮像部  １２  位置情報取得部  １３  生理情報取得部  １４  顔画像認識部  １５  姿勢認識部  １６  生体情報特定部  ３１  位置情報  ３２  生理情報  ３３  表情情報  ３４  個人識別情報  ３５  姿勢情報
【図１】
0006283620.tif 000002
【図２】
0006283620.tif 000003
【図３】
0006283620.tif 000004
【図４】
0006283620.tif 000005
【図５】
0006283620.tif 000006
【図６】
0006283620.tif 000007
【図７】
0006283620.tif 000008
【図８】
0006283620.tif 000009
【図９】
0006283620.tif 000010
【図１０】
0006283620.tif 000011