(57)【要約】  コヒーレントな光を生体に照射する照射部と、前記生体で反射された前記光を受光する受光部と、前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する算出部と、を備える情報処理装置を提供する。
2020153194.tif 000002
【特許請求の範囲】
【請求項１】
コヒーレントな光を生体に照射する照射部と、
前記生体で反射された前記光を受光する受光部と、
前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する算出部と、
を備える情報処理装置。
【請求項２】
前記照射部はレーザー装置からなる、請求項１に記載の情報処理装置。
【請求項３】
前記受光部は前記生体に非接触に設けられる、請求項１に記載の情報処理装置。
【請求項４】
前記照射部及び前記受光部は、前記生体が存在する室内又は車両内に設けられる、請求項３に記載の情報処理装置。
【請求項５】
前記受光部は、フォトダイオード、ＣＣＤ型センサ、及び、ＣＭＯＳ型センサのうちの少なくともいずれか１つからなる、請求項１に記載の情報処理装置。
【請求項６】
２つの前記受光部を備え、
前記算出部は、
第１の受光部から取得した前記センシングデータを処理することによって得られる前記生体の撮像画像に基づいて、前記位置情報を算出し、
算出した前記位置情報を、第２の受光部から取得した前記センシングデータを処理することによって得られた前記生体情報に紐づける、
請求項１に記載の情報処理装置。
【請求項７】
前記算出部は、
前記受光部から取得した前記センシングデータを処理することによって得られる前記生体の複数の深度情報に基づいて、前記位置情報を算出し、
算出した前記位置情報を、前記受光部から取得した前記センシングデータを処理することによって得られた前記生体情報に紐づける、
請求項１に記載の情報処理装置。
【請求項８】
前記受光部は、複数の受光素子を含み、
前記算出部は、前記受光素子ごとに、当該受光素子の前記センシングデータから得られた前記位置情報と前記生体情報とを紐づける、
請求項７に記載の情報処理装置。
【請求項９】
前記算出部は、前記照射部による前記光の照射から前記受光部による前記光の受光までの時間差を算出することにより、前記深度情報を算出する、
請求項７に記載の情報処理装置。
【請求項１０】
前記算出部は、前記照射部によって照射された前記光の位相と、前記受光部によって受光された前記光の位相の差である位相差を算出することにより、前記深度情報を算出する、
請求項７に記載の情報処理装置。
【請求項１１】
前記受光部は、前記受光部が受光した前記光を互いに異なるタイミングで読み出す第１及び第２の読み出し部を含み、
前記算出部は、前記第１及び第２の読み出し部で読み出した前記光の強度に基づいて、前記位相差を算出する、
請求項１０に記載の情報処理装置。
【請求項１２】
前記算出部は、前記複数の深度情報に対して前記生体の形状モデルをマッチングすることにより、前記位置情報を算出する、請求項７に記載の情報処理装置。
【請求項１３】
前記複数の深度情報に基づいて、前記生体の運動加速度を推定する推定部をさらに備える、
請求項１２に記載の情報処理装置。
【請求項１４】
前記算出部は、前記位置情報に基づき、あらかじめ設定された所定の位置における前記生体情報を連続的に抽出することにより、前記所定の位置における前記生体情報の経時変化を取得する、請求項１に記載の情報処理装置。
【請求項１５】
前記算出部は、
前記生体情報の経時変化に基づき、前記生体の状態を推定する、
請求項１４に記載の情報処理装置。
【請求項１６】
前記算出部は、前記生体情報として、前記センシングデータに含まれる干渉光成分に基づく血流情報、又は、前記センシングデータから得られる吸収スペクトルに基づく血中アルコール濃度もしくは血糖値を算出する、請求項１に記載の情報処理装置。
【請求項１７】
前記算出部は、前記血流情報に基づいて、脈拍数、消費カロリー、血圧、血管年齢、呼吸数、及びＨＲＶ指標のうちの少なくともいずれか１つを算出する、請求項１６に記載の情報処理装置。
【請求項１８】
前記複数の深度情報に基づき、前記生体の照合を行う照合部と、
前記生体情報に基づいて、前記深度情報が生体から得られたものであるか否かを判定する判定部と、
をさらに備える、請求項７に記載の情報処理装置。
【請求項１９】
コヒーレントな光を生体に照射することと、
前記生体で反射された前記光を受光することと、
前記受光した前記光に基づくセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出することと、
を含む、情報処理方法。
【請求項２０】
コヒーレントな光を生体に照射するように照射部を制御する機能と、
前記生体で反射された前記光を受光するように受光部を制御する機能と、
前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する機能と、
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
血流計は、被測定者に不快感、痛み等を与えることなく、被測定者に装着して、脈拍や血流速度等の血流情報（生体情報）を簡単に測定することができる。例えば、その一例として、下記の特許文献１を挙げることができる。さらに、このような血流計によって取得した被測定者の身体の特定の箇所の血流情報の経時変化を解析することにより、被測定者等に有益な、被測定者の身体の状態に関する様々な情報を取得することができる。ここで、特定の箇所とは、好適に血流情報を取得することができる被測定者の身体の領域のことであり、詳細には、例えば、頬、指先、掌等の、血管が集中して存在する領域のことである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−６８４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のような血流計においては、被測定者の身体の一部に装着、固定することにより、特定の箇所の血流情報（生体情報）を連続的に取得することができる。しかしながら、このような血流計を装着することは、被測定者の運動の妨げになる場合がある。さらに、上記血流計は、血管は集中して存在していることから、好適に血流情報を取得することができる箇所であるとしても、被測定者の頬等といった装着が難しい箇所については、血流情報を取得することが難しい。【０００５】
一方、被測定者の身体の一部に装着しなくても被測定者の血流情報を取得することができるような血流計も存在する。しかしながら、このような血流計は、被測定者の身体に固定されていないため、毎回、特定の箇所の血流情報を精度よく取得することが難しい。このような場合、特定の箇所の血流情報を連続的に又は間欠的に取得できないことから、血流情報の経時変化を解析しても、精度の高い、被測定者の身体の状態に関する様々な情報を取得することが難しい。【０００６】
そこで、本開示では、上記事情に鑑みて、装着することなく、被測定者の身体の特定の箇所の生体情報を容易に取得することが可能な、情報処理装置、情報処理方法及びプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、コヒーレントな光を生体に照射する照射部と、前記生体で反射された前記光を受光する受光部と、前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する算出部とを備える情報処理装置が提供される。【０００８】
また、本開示によれば、コヒーレントな光を生体に照射することと、前記生体で反射された前記光を受光することと、前記受光した前記光に基づくセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出することとを含む情報処理方法が提供される。【０００９】
さらに、本開示によれば、コヒーレントな光を生体に照射するように照射部を制御する機能と、前記生体で反射された前記光を受光するように受光部を制御する機能と、前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する機能と、をコンピュータに実現させるためのプログラムが提供される。
【図面の簡単な説明】
【００１０】
【図１】本開示の実施形態に適用される血流測定方法を説明する説明図（その１）である。
【図２】本開示の実施形態に適用される血流測定方法を説明する説明図（その２）である。
【図３】本開示の実施形態に適用される第１の処理方法を説明する説明図である。
【図４】本開示の実施形態に適用される第２の処理方法を説明する説明図である。
【図５】本開示の第１の実施形態に係る情報処理システム１０の構成の一例を説明するための説明図である。
【図６】本開示の第１の実施形態に係る生体情報センサ１００の構成の一例を示すブロック図である。
【図７】本開示の第１の実施形態に係るカメラ２００の構成の一例を示すブロック図である。
【図８】本開示の第１の実施形態に係るサーバ３００の構成の一例を示すブロック図である。
【図９】本開示の第１の実施形態に係る情報処理方法の一例を示すフローチャートである。
【図１０】本開示の第２の実施形態に係る情報処理システム１０ａの構成の一例を説明するための説明図である。
【図１１】本開示の第２の実施形態に係る生体情報センサ１００ａの構成の一例を示すブロック図である。
【図１２】深度情報の算出方法の原理を説明するための説明図である。
【図１３】本開示の第２の実施形態に係る生体情報センサ１００ａを用いた深度情報の算出方法を説明するための説明図である。
【図１４】本開示の第２の実施形態に係る深度情報に基づく画像８０４の一例を説明するための説明図である。
【図１５】本開示の第２の実施形態に係るサーバ３００ａの構成の一例を示すブロック図である。
【図１６】本開示の第２の実施形態に係る情報処理方法の一例を示すフローチャート（その１）である。
【図１７】本開示の第２の実施形態に係る情報処理方法の一例を示すフローチャート（その２）である。
【図１８】本開示の第２の実施形態に係る情報処理方法の一例を示すフローチャート（その３）である。
【図１９】本開示の第２の実施形態に係る深度情報に基づく画像８０４及び検出信号８００の一例を説明するための説明図である。
【図２０】本開示の第１及び第２の実施形態の変形例に係る照射パターン及びサンプリングパターンの一例を説明するための説明図である。
【図２１】本開示の第２の実施形態に係る実施例１を説明する説明図である。
【図２２】本開示の第２の実施形態に係る実施例２を説明する説明図である。
【図２３】本開示の第２の実施形態に係る実施例３を説明する説明図（その１）である。
【図２４】本開示の第２の実施形態に係る実施例３を説明する説明図（その２）である。
【図２５】本開示の一実施形態に係る情報処理装置９００のハードウェア構成の一例を示したブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、本明細書及び図面において、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１３】
なお、以下の説明においては、後述する本開示の実施形態に係る生体情報センサを用いて生体情報（例えば、血流情報）を測定される測定の対象者を被測定者と呼ぶ。また、以下の説明においては、後述する本開示の実施形態に係る情報処理システムを利用する利用者をユーザと呼び、ユーザには上記測定者も含まれるものとする。
【００１４】
なお、説明は以下の順序で行うものとする。
１．本開示の実施形態を創作するに至るまでの背景
１．１．背景
１．２．血流情報測定方法について
２．第１の実施形態
２．１．第１の実施形態に係る情報処理システム１０の構成
２．２．第１の実施形態に係る生体情報センサ１００の構成
２．３．第１の実施形態に係るカメラ２００の構成
２．４．第１の実施形態に係るサーバ３００の構成
２．５．第１の実施形態に係る情報処理方法
３．第２の実施形態
３．１．第２の実施形態に係る情報処理システム１０ａの構成
３．２．第２の実施形態に係る生体情報センサ１００ａの構成
３．３．第２の実施形態に係るサーバ３００ａの構成
３．４．第２の実施形態に係る情報処理方法
３．５．変形例
４．本開示の実施形態に係る実施例
４．１．実施例１
４．２．実施例２
４．３．実施例３
５．まとめ
６．ハードウェア構成について
７．補足
【００１５】
＜＜１．本開示の実施形態を創作するに至るまでの背景＞＞
＜１．１．背景＞
まずは、本開示の実施形態の詳細を説明する前に、本発明者が本開示の実施形態を創作するに至る背景について説明する。
【００１６】
先に説明したように、取得した被測定者の身体の特定の箇所の血流情報（生体情報）の経時変化を解析することにより、被測定者等に有益な、被測定者の身体の状態に関する様々な状態情報（疾患の有無等の情報）を取得することができる。そして、精度の高い状態情報を取得するためには、解析対象となる血流情報の経時変化は、好適な状態で測定を行うことができる特定の箇所から、連続的に又は間欠的に取得されることが好ましい。なお、ここで、特定の箇所とは、例えば、頬、指先、掌等の、血管が集中して存在することから、好適に血流情報を取得することができる被測定者の身体の領域のことである。
【００１７】
そこで、被測定者の身体の一部に装着、固定することにより、特定の箇所の血流情報を連続的に取得することができる装置がある。しかしながら、このような装置を装着することは、被測定者の運動の妨げになる場合がある。さらに、上記装置は、血管は集中して存在していることから、好適に血流情報を取得することができる箇所であるとしても、被測定者の頬等といった装着が難しい箇所については、血流情報を取得することが難しい。
【００１８】
一方、被測定者の身体の一部に装着しなくても被測定者の血流情報を取得することができるような装置も存在する。しかしながら、このような装置は、被測定者の身体に固定されていないため、毎回、特定の箇所の血流情報を精度よく取得することが難しい。このような場合、特定の箇所の血流情報を連続的に又は間欠的に取得できないことから、血流情報の経時変化を解析しても、精度の高い状態情報を取得することが難しい。
【００１９】
そこで、本発明者らは、このような状況を鑑みて、装着することなく、被測定者の身体の特定の箇所の血流情報を容易に取得することが可能な本開示の実施形態を創作した。以下に、本発明者らが創作した本開示の実施形態の詳細を説明する。
【００２０】
ところで、本開示の実施形態においては、生体情報と一例として、被測定者の血流に関する血流情報を取得する。具体的には、血流情報とは、心拍、脈拍、平均血流速度、血流量、血管中の粒子の速度分布等の血流に関する情報のことをいう。また、脈拍数とは、心臓の筋肉が一定のリズムで収縮すること（拍動）により、動脈を通じ全身に血液が送られることにより、動脈内壁に圧力の変化が生じ、体表面等に現れる動脈の拍動の単位時間における回数のことをいう。さらに、血流速度とは、測定対象となる測定領域における１本又は複数の血管中に流れる血液（血液成分）の速度であり、血流量とは、測定領域における１本又は複数の血管を単位時間に通過する血液量のことをいう。血管中の粒子の速度分布は、測定領域における１本又は複数の血管中の赤血球等の血管に滞留又は流れる粒子の密度の速度の分布のことをいう。また、血液は複数の流速を持つ物質の混合体と考えることができるが、血管中の粒子である血球の動き、すなわち、血球の流速によっても、血流の特徴を示すことができる。この血球の流速は、血流の特徴を示す重要な指標として用いることができる。本開示においては、血液中の血球（粒子）の平均移動速度のことを平均血流速度と呼ぶ。
【００２１】
＜１．２．血流情報測定方法について＞
次に、本開示の実施形態における血流情報の測定方法について説明する。本実施形態に係る血流情報測定方法の一例としては、レーザードップラー血流測定法や、動的光散乱（Ｄｙｎａｍｉｃ  ｌｉｇｈｔ  ｓｃａｔｔｅｒｉｎｇ;ＤＬＳ）法を用いた速度分布の分析技術を挙げることができる。まずは、レーザードップラー血流測定法及びＤＬＳ法の両者に共通する血流によるコヒーレント光の干渉現象を、図１及び図２を参照して説明する。図１及び図２は、本開示の一実施形態に適用される血流測定方法を説明する説明図であり、詳細には、図１及び図２は血流によるコヒーレント光の干渉現象を模式的に示し、図１中の符号８００は、当該測定によって得られる検出信号の波形の一例を示す。
【００２２】
本開示の実施形態に係る血流情報測定方法は、例えば、図１に示すように、後述する生体情報センサ１００の照射部１０２から光を被測定者（生体）の測定領域（身体の一部）７００に照射した際に、被測定者の血管中を移動する散乱物質（主に赤血球）によって散乱された光が、散乱物質の位置移動により干渉光を生じさせることを利用した方法である。上記血流情報測定方法においては、上記生体情報センサ１００の受光部１０４によって干渉光は受光され、受光された干渉光におけるドップラーシフト周波数の分布やスペックルコントラストから血流情報を算出することができる。
【００２３】
詳細には、図１に示すように、照射部１０２により被測定者の測定領域７００に照射された周波数ｆの光が、被測定者の皮膚や皮下組織等の静止している静止組織７０２によって散乱された場合には、その散乱光は周波数ｆを維持する。一方、被測定者の測定領域７００に照射された周波数ｆの光が、被測定者の血管中を移動する移動物質（例えば、赤血球が挙げられ、赤血球は直径８〜１０μｍの物質である）７０４によって散乱された場合には、その散乱光は、移動物質７０４の位置移動により周波数シフトし、周波数ｆ＋Δｆを持つこととなる。そして、図２に示されるように、静止組織７０２に散乱された周波数ｆの散乱光と、移動する移動物質７０４によって散乱された周波数ｆ+Δｆの散乱光とが干渉することから、受光部１０４は、光ビート（うなり）を有する干渉光を検出することができる。なお、一般に、シフト周波数Δｆは、照射光の周波数ｆよりも非常に小さくなる。
【００２４】
そして、図１中の符号８００として示されるような、受光部１０４により検出された干渉光（検出信号）を処理することにより、血流情報を得ることができる。なお、検出信号８００は、複数の異なる運動をする血管中の移動物質７０４からの散乱光による複数の異なる周波数の光ビートの重ね合わせ信号であるため、図１に示されるようにホワイトノイズのような不規則な信号に見える。しかしながら、当該検出信号８００は、前述のように複数の周波数の干渉ビートの重ね合わせ信号であるため、当該検出信号に対して後述するような周波数解析的処理を行うことにより、周波数シフト、言い換えると、ドップラーシフトを引き起こす粒子運動の速度分布情報を取得することができる。そこで、レーザードップラー血流測定法においては、血流内の赤血球等の移動物質７０４の速度分布を把握することにより、平均血流速度等の血流情報を取得することができる。
【００２５】
もしくは、被測定者の測定領域７００にコヒーレントな光を照射した場合、測定領域７００の散乱物質による散乱光が干渉することにより、スペックルパターンと呼ばれるパターンを得ることができる。当該スペックルパターンは、移動する移動物質７０４によって散乱されることにより変化を生じる。そこで、ＤＬＳ法においては、受光部１０４により検出された干渉光（検出信号）を処理して得られたスペックルパターンの変動の情報に基づき、血流内の赤血球等の移動物質７０４の速度情報を算出することにより、血流情報を取得することができる。
【００２６】
また、上記血流情報測定方法によれば、照射した光が到達している範囲内の生体組織における血流情報を取得することができるため、被測定者の皮膚の表面の血管だけでなく、被測定者の身体中の皮膚からある程度の深さにある深部の血管を含めた領域における血流情報を取得することも可能である。
【００２７】
さらに、本開示の実施形態においては、上述したように受光部１０４によって検出された検出信号８００を処理することにより血流情報を取得する。本開示の実施形態においては、血流情報を取得するための検出信号８００に対する処理の方法として、例えば、以下に説明する２つの方法を用いることができる。詳細には、本実施形態における処理方法としては、一般にレーザードップラー速度検出で用いられる最初に周波数解析処理（フーリエ変換）を行う第１の処理方法と、ＤＬＳ法で用いられる自己相関関数を算出する第２の処理方法とを挙げることができる。以下に、これら第１及び第２の処理方法の詳細を順次説明する。
【００２８】
〜第１の処理方法〜
まず、第１の処理方法について、図３を参照して説明する。図３は、本実施形態に適用される第１の処理方法を説明する説明図である。第１の処理方法においては、まず、図３に示すように、受光部１０４で得られた検出信号（図３のＩ（ｔ））に対して、複数の範囲（図３のウィンドウ８１０）ごとに、例えば高速フーリエ変換（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ；ＦＦＴ）等の周波数解析処理を行うことにより、血流情報が取得される。
【００２９】
具体的には、第１の処理方法においては、検出信号に対して所定の時間範囲ごとにおいてＦＦＴを行い、周波数の関数である複数のパワースペクトル（図３のＰ（ｆ））を取得する。さらに、取得した各パワースペクトルに対して周波数ごとに速度と比例関係にあるビート周波数との積を取り（図３のｆＰ（ｆ））、パワースペクトル全域で積分を行い規格化することにより、平均血流速度を得ることができる。そして、時間範囲が異なる複数のウィンドウ８１０から求めた複数のパワースペクトルを元に複数の血流速度を取得することにより、平均血流速度の経時変化を示す波形を取得することができる。さらに、第１の処理方法においては、得られた波形に対して補間処理等を行うことにより、脈拍による血流速度の変化を示す脈拍波形（図示省略）を取得し、当該脈拍波形から脈拍数等を算出することもできる。なお、図３においては、パワースペクトル生成のための範囲を定める複数のウィンドウ８１０は互いに重ねて表示されていない。しかしながら、実際の処理においては、これらウィンドウ８１０は互いに重なりを持たせることができ、重なりを持たせたウィンドウ８１０毎に処理することにより、時系列に沿って並ぶ複数のパワースペクトル列をより緻密に生成してもよい。
【００３０】
〜第２の処理方法〜
次に、第２の処理方法について図４を参照して説明する。図４は、本実施形態に適用される第２の処理方法を説明する説明図である。第２の処理方法においては、まず、図４に示すように、検出信号（図４のＩ（ｔ））から自己相関関数を算出し、算出した自己相関関数（図４のＧ（τ））を処理することにより血流情報が取得される。詳細には、ウィーナー・ヒンチン定理に従い、自己相関関数を求めた後に当該自己相関関数をフーリエ変換することで、Ｉ（ｔ）のパワースペクトルが取得される。なお、自己相関関数を用いた第２の処理方法によれば、検出された検出信号が周期性を持っていない本開示のような信号の場合にも、精度よくパワースペクトルを得ることができる。そして取得したパワースペクトルを処理することで、所望する血流情報を取得することができる。
【００３１】
より具体的には、第２の処理方法においては、検出信号に対して、所定の時間範囲ごとにおいて自己相関関数の算出を行い、複数の自己相関関数を取得する。さらに、第２の処理方法においては、ウィーナー・ヒンチン定理に従い、算出した各自己相関関数に対してＦＦＴを行い、周波数の関数である複数のパワースペクトル（図４のＰ（ｆ））を取得する。パワースペクトルは周波数に対応した速度で移動する粒子の存在密度に比例するため、取得したパワースペクトルに対して所定の周波数範囲で積分処理を行うことにより、所定の速度範囲にある血管中の粒子の相対密度を得ることができる。さらに、時間範囲が異なる複数のパワースペクトルから複数の粒子の相対密度を取得することにより、粒子の相対密度の経時変化を示す波形を取得することができる。そして、得られた波形に対して補間処理等を行うことにより、脈拍による粒子の相対密度の変化を示す脈拍波形（図示省略）を取得し、当該脈拍波形から脈拍数等も算出することができる。なお、上述の第１の処理方法と第２の処理方法においては、パワースペクトルの求め方と、その後の血流情報の求め方のそれぞれで異なった方法を用いているが、本開示の実施形態においては、それらの組み合わせは任意である。すなわち、本開示に実施形態においては、第１の処理方法で示した方法でパワースペクトルを求めた後に第２の処理方法で示した所定の速度範囲にある粒子の相対密度を求めることも可能である。また、本開示の実施形態においては、第２の処理方法で示した方法でパワースペクトルを求めた後に第１の処理方法で示した平均血流速度を求めることも可能である。
【００３２】
なお、以下に説明する本開示の実施形態においては、生体情報は、上述したように取得することができる血流情報に限定されるものではない。本開示の実施形態においては、生体情報は、例えば、被測定者の血液中のアルコール成分や糖分による赤外光吸収スペクトルに基づく、血中アルコール濃度や血糖値等であってもよく、被測定者の身体にかかわる生体情報であれば、特に限定されるものではない。
【００３３】
＜＜２．第１の実施形態＞＞
以下に説明する本開示の第１の実施形態は、被測定者の血流情報を取得する生体情報センサと、上記被測定者を撮像するカメラとにより、生体情報センサを装着することなく、被測定者の身体の特定の箇所の血流情報を容易に取得することができるようにした実施形態である。なお、以下の説明においては、生体情報として、血流情報を取得するものとして説明する。
【００３４】
＜２．１．第１の実施形態に係る情報処理システム１０の構成＞
まずは、本開示の第１の実施形態に係る情報処理システムの構成の一例について、図５を参照して説明する。図５は、本実施形態に係る情報処理システム１０の一例を説明するための説明図である。図５に示すように、本実施形態に係る情報処理システム１０は、生体情報センサ１００、カメラ２００、サーバ３００及び表示装置４００を含み、これらは互いにネットワーク５００を介して通信可能に接続される。詳細には、生体情報センサ１００、カメラ２００、サーバ３００及び表示装置４００は、図示しない基地局等（例えば、携帯電話機の基地局、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  ｎｅｔｗｏｒｋ）のアクセスポイント等）を介してネットワーク５００に接続される。なお、ネットワーク５００で用いられる通信方式は、有線又は無線（例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を問わず任意の方式を適用することができるが、安定した動作を維持することができる通信方式を用いることが望ましい。以下に、本実施形態に係る情報処理システム１０の含まれる各装置の概要について説明する。
【００３５】
（生体情報センサ１００）
生体情報センサ１００は、例えば、被測定者の血流情報や、血中アルコール濃度、血糖値等の被測定者の血液中の成分に関する情報のような生体情報を検出する装置である。本実施形態においては、このような生体情報センサ１００により取得されたセンシングデータは、後述するサーバ３００に出力され、処理されることとなる。本実施形態においては、生体情報センサ１００は、被測定者の身体に対して非接触に設けられ、例えば、被測定者が存在する室内の壁や車内に設けられる。なお、生体情報センサ１００の詳細構成については後述する。
【００３６】
（カメラ２００）
カメラ２００は、例えば、可視光を検出するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子（受光素子）、及び撮像素子への被写体像の結像を制御するためのレンズ等の各種の部材を用いて被測定者を撮像し、被測定者の撮像画像を生成する装置である。なお、本実施形態においては、あらかじめ、カメラ２００の撮像範囲と、生体情報センサ１００の検出範囲との対応付けしておくことが求められ、当該対応付けの詳細については、後述する。さらに、カメラ２００の詳細構成については後述する。
【００３７】
（サーバ３００）
サーバ３００は、例えば、コンピュータ等により構成される。サーバ３００は、例えば、本実施形態によってサービスを提供するサービス提供者が保有し、各ユーザ（被測定者を含む）に対してサービスを提供する、すなわち、血流情報（生体情報）等に提供することができる。具体的には、サーバ３００は、生体情報センサ１００及びカメラ２００からのセンシングデータに基づき、血流情報等の生体情報を血流情報の取得箇所（例えば、生体情報センサ１００の照射部１０２が照射した光が反射した箇所）の情報である位置情報に紐づけて算出する。さらに、サーバ３００は、算出した血流情報等を、表示装置４００を介してユーザに提供する。なお、サーバ３００の詳細構成については後述する。
【００３８】
（表示装置４００）
表示装置４００は、ユーザ（被測定者を含む）の近傍に設置され、サーバ３００により得られた血流情報（生体情報）等をユーザに向けて表示するための装置である。例えば、表示装置４００は、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ-Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）等であることができる。さらに、表示装置４００は、ユーザからの操作を受け付ける操作部（図示省略）や、ユーザに向けて音声出力を行うスピーカ（図示省略）等を有してもよい。例えば、表示装置４００は、タブレット型ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、スマートフォン、携帯電話、ラップトップ型ＰＣ、ノート型ＰＣ等のモバイル端末等であることができる。
【００３９】
なお、図５においては、本実施形態に係る情報処理システム１０は、１つの生体情報センサ１００、カメラ２００及び表示装置４００を含むものとして示されているが、本実施形態においてはこれに限定されるものではない。例えば、本実施形態に係る情報処理システム１０は、複数の生体情報センサ１００、カメラ２００及び表示装置４００を含んでもよい。さらに、本実施形態に係る情報処理システム１０は、例えば、生体情報センサ１００からサーバ３００へ情報を送信する際の中継装置のような他の通信装置等を含んでもよい。
【００４０】
＜２．２．第１の実施形態に係る生体情報センサ１００の構成＞
次に、本実施形態に係る生体情報センサ１００の構成の一例について、図６を参照して説明する。図６は、本実施形態に係る生体情報センサ１００の構成の一例を示すブロック図である。本実施形態に係る生体情報センサ１００は、被測定者に対して血流情報（生体情報）の測定を行う装置である。詳細には、生体情報センサ１００は、図６に示すように、照射部１０２と、受光部１０４と、制御部１０６と、通信部１０８を主に有する。以下に、生体情報センサ１００の有する各機能部について説明する。
【００４１】
（照射部１０２）
照射部１０２は、所定の波長を持つ照射光を被測定者の測定領域（身体の一部）７００に向かって照射する。照射部１０２が照射する照射光の波長は、適宜選択することが可能であり、例えば、８００ｎｍ〜９００ｎｍ程度の波長の光を照射する。当該照射部１０２としては、コヒーレント光を照射するためにレーザー装置等を利用することができる。そして、後述する制御部１０６によって、照射部１０２が照射光を照射するタイミング、照射時間、照射間隔、及び強度等は制御されることができる。なお、照射部１０２は、先に説明したように、被測定者に非接触に設けられる。さらに、本実施形態においては、照射部１０２は、被測定者の血管が集中して存在する領域（所定の箇所）に光を照射することが好ましく、例えば、頬、指先、掌等に光を照射することが好ましい。
【００４２】
（受光部１０４）
受光部（第２の受光部）１０４は、被測定者の測定領域７００から反射された光を検出する。受光部１０４は、例えばフォトダイオード（Ｐｈｏｔｏ  Ｄｅｔｅｃｔｏｒ：ＰＤ）を有し、受光した光の強度を電気信号に変換して、後述するサーバ３００へと出力する。なお、受光部１０４としては、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）型センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型センサ等を利用することもできる。また、上述のようなフォトダイオードやセンサ等の素子（受光素子）は、生体情報センサ１００に、複数個設けられることができる。そして、後述する制御部１０６によって、受光部１０４が検出信号を出力する（読み出す）タイミング等が制御される。なお、受光部１０４は、先に説明したように、被測定者に非接触に設けられる。
【００４３】
（制御部１０６）
制御部１０６は、所定の同期信号等に基づいて、照射部１０２の照射パターン（照射タイミング、照射時間及び照射間隔）を制御したり、受光部１０４の読み出し（サンプリング）タイミングを制御したり等、生体情報センサ１００における測定全般を制御する。例えば、制御部１０６は、情報処理システム１０の動作にあわせて、照射部１０２の照射周波数や、照射周波数に同期した、受光部１０４のサンプリング周波数を制御する。また、制御部１０６は、図示しない記憶部をさらに有してもよく、当該記憶部には、照射部１０２等を制御するための各種のプログラムやパラメータ等が格納されていてもよい。さらに、制御部１０６は、検出信号を時刻と紐づけてサーバ３００へと出力するために、正確な時刻を把握する時計機構（図示省略）を内蔵してもよい。具体的には、制御部１０６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等により実現される。なお、制御部１０６の行う機能の一部又は全体は、後述するサーバ３００において行われてもよい。
【００４４】
（通信部１０８）
通信部１０８は、生体情報センサ１００内に設けられ、サーバ３００等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部１０８は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部１０８は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
【００４５】
さらに、当該生体情報センサ１００は、上述の照射部１０２等の他にも、図６に図示しない他の機能部を有していてもよい。
【００４６】
＜２．３．第１の実施形態に係るカメラ２００の構成＞
次に、本実施形態に係るカメラ２００の構成の一例について、図７を参照して説明する。図７は、本実施形態に係るカメラ２００の構成の一例を示すブロック図である。本実施形態に係るカメラ２００は、先に説明したように被測定者を撮像する装置である。詳細には、カメラ２００は、図７に示すように、受光部２０４と、制御部２０６と、通信部２０８を主に有する。以下に、カメラ２００の有する各機能部について説明する。
【００４７】
（受光部２０４）
受光部（第１の受光部）２０４は、例えば複数のＰＤ、ＣＣＤ型センサ、ＣＭＯＳ型センサ（受光素子）を含み、被測定者の撮像画像（可視光画像等）を取得する。そして、後述する制御部１０６によって、受光部１０４が検出信号を出力する（読み出す）タイミング等が制御される。なお、本実施形態においては、生体情報センサ１００及びカメラ２００の位置をあらかじめ固定し、被測定者の身体の同一個所からの光を受光することができる、生体情報センサ１００の受光部１０４の素子と、カメラ２００の受光部２０４の素子とを対応付けておく。このようにすることで、カメラ２００による撮像画像の各領域と、被測定者の身体の各領域からの生体情報とを紐づけることができる。
【００４８】
（制御部２０６）
制御部２０６は、所定の同期信号等に基づいて、受光部２０４の読み出し（サンプリング）タイミングを制御したり等、カメラ２００における測定全般を制御する。具体的には、制御部２０６は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。
【００４９】
（通信部２０８）
通信部２０８は、カメラ２００内に設けられ、サーバ３００等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部２０８は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部２０８は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
【００５０】
さらに、当該カメラ２００は、上述の受光部２０４等の他にも、図７に図示しない他の機能部を有していてもよい。
【００５１】
＜２．４．第１の実施形態に係るサーバ３００の構成＞
次に、図８を参照して、本実施形態に係るサーバ３００の構成について説明する。図８は、本実施形態に係るサーバ３００の構成の一例を示すブロック図である。サーバ３００は、生体情報センサ１００等で得られたセンシングデータを利用し、血流情報（生体情報）や位置情報等を取得することができる装置である。サーバ３００は、図８に示すように、通信部３０８と、記憶部３１０と、算出部３２０とを主に有する。以下に、サーバ３００の有する各機能部について説明する。
【００５２】
（通信部３０８）
通信部３０８は、サーバ３００内に設けられ、生体情報センサ１００等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部３０８は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部３０８は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
【００５３】
（記憶部３１０）
記憶部３１０は、後述する算出部３２０における処理に用いられるプログラムや各種データ、さらには、算出部３２０で取得された血流情報（生体情報）や位置情報等が格納される。また、記憶部３１０には、これらのデータ等以外にも、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等を適宜格納してもよい。さらに、当該記憶部３１０に対しては、算出部３２０等が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
【００５４】
（算出部３２０）
算出部３２０は、生体情報センサ１００等で得られたセンシングデータを処理することにより、血流情報（生体情報）及び位置情報等を取得する。取得した血流情報は、記憶部３１０に出力したり、表示装置４００に出力したりすることができる。詳細には、図８に示すように、算出部３２０は、データ取得部３２２と、位置情報算出部３２４と、生体情報算出部３２６と、情報出力部３２８とを主に有する。以下に、算出部３２０の有する各機能部について説明する。
【００５５】
〜データ取得部３２２〜
データ取得部３２２は、生体情報センサ１００及びカメラ２００から送信されたセンシングデータを取得し、取得したセンシングデータを後述する位置情報算出部３２４及び生体情報算出部３２６へ出力する。
【００５６】
〜位置情報算出部３２４〜
位置情報算出部３２４は、カメラ２００から取得したセンシングデータを処理することに得られる被測定者の撮像画像に基づいて、位置情報を算出する。例えば、位置情報算出部３２４は、既知の人体の形状モデルと撮像画像とをマッチングすることにより、撮像画像に含まれる領域は人体のどの領域であるか、すなわち位置情報を推定することができる。カメラ２００による撮像画像の各領域に対応する位置情報は、撮像画像の各領域に対応するカメラ２００の受光部２０４の素子の情報と紐づけて、生体情報算出部３２６に出力される。
【００５７】
〜生体情報算出部３２６〜
生体情報算出部３２６は、生体情報として、生体情報センサ１００からのセンシングデータに含まれる干渉光成分に基づく血流情報、又は、上記センシングデータから得られる吸収スペクトルに基づく血中アルコール濃度もしくは血糖値を算出することができる。例えば、生体情報算出部３２６は、生体情報センサ１００からのセンシングデータを用いて、血流情報（例えば、血流速度や、所定の速度範囲にある、血管中の粒子密度等）を算出する。算出の方法は、例えば、上述した第１の処理方法や第２の処理方法を用いることができる。また、血中アルコール濃度もしくは血糖値は、生体情報算出部３２６によって、被測定者の血中に存在するアルコールや糖分等の有機物による所定の波長の光の吸収に基づいて算出することができる。そして、生体情報算出部３２６で算出された血流情報等は、血流情報の元となるセンシングデータを受光した生体情報センサ１００の受光部１０４の各素子の情報と、当該素子に対応するカメラ２００の受光部２０４の各素子の情報とを介して、上記位置情報と紐づけられる。さらに、紐づけられた血流情報は、後述する情報出力部３２８や記憶部３１０に出力される。
【００５８】
また、本実施形態においては、血流情報等と紐づけられた位置情報を用いることにより、あらかじめ設定された所定の位置における血流情報等を連続的に抽出することが可能となり、その結果、所定の位置における血流情報等の経時変化を取得することが可能となる。そこで、生体情報算出部３２６は、上述の血流情報の経時変化の波形に対して補間処理等を行うことにより、脈拍波形を算出し、当該脈拍波形から脈拍数を算出してもよい。さらに、生体情報算出部３２６は、血流情報等の経時変化に基づき、被測定者の身体の状態を推定してもよい。加えて、生体情報算出部３２６は、血流情報等の経時変化に基づいて、脈拍数以外にも、消費カロリー、血圧、血管年齢、呼吸数、及びＨＲＶ（Ｈｅａｒｔ  Ｒａｔｅ  Ｖａｒｉａｂｉｌｉｔｙ）指標等を算出してもよい。
【００５９】
ここで、ＨＲＶ指標について簡単に説明する。先に説明したように、本実施形態においては、血流情報の経時変化を取得することができ、さらに、このような血流情報の経時変化から脈波信号を取得することができる。ここで、当該脈波信号に現れる複数のピークのピーク間隔のことを脈拍間隔（Ｐｅａｋ  ｔｏ  Ｐｅａｋ  Ｉｎｔｅｒｖａｌ：ＰＰＩ）と呼ぶ。各ＰＰＩの値は、時間とともに変動するものの、被測定者の状態が安定している場合には、ほぼ正規分布することが知られている。そこで、ＰＰＩの時系列データ、すなわち、ＰＰＩ値のデータ群を処理することにより、被測定者の身体状態の指標となる各種ＨＲＶ指標を算出することができる。
【００６０】
例えば、ＨＲＶ指標としては、ＲＭＳＳＤ（Ｒｏｏｔ  Ｍｅａｎ  Ｓｑｕａｒｅ  Ｓｕｃｃｅｓｓｉｖｅ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＤＮＮ（Ｓｔａｎｄａｒｄ  Ｄｅｖｉａｔｉｏｎ  ｏｆ  ｔｈｅ  Ｎｏｒｍａｌ  ｔｏ  Ｎｏｒｍａｌ  Ｉｎｔｅｒｖａｌ)、ＬＦ／ＨＦ等を挙げることができる。例えば、ＲＭＳＳＤは、時系列上で互いに隣接するＰＰＩ値の差分の二乗の平均値の平方根である。当該ＲＭＳＳＤは、脳神経の１つである迷走神経の緊張状態を示す指標になると考えられている。例えば、ＳＤＮＮは、所定の期間内（例えば、１２０秒）でのＰＰＩ値のデータ群の標準偏差である。当該ＳＤＮＮは、交感神経及び副交感神経の両方を含む自律神経系の活動状況を示す指標になると考えられている。例えば、ＬＦ／ＨＦは、ＰＰＩの時系列データの高周波成分（例えば、０．１５〜０．４Ｈｚ）のパワースペクトルに対する低周波成分（例えば、０．００４〜０．１５Ｈｚ）のパワースペクトルの割合である。ＬＦ／ＨＦは、交感神経と副交感神経とのバランスを示す指標となると考えられており、ＬＦ／ＨＦが高いと交感神経が優位である状態を示し、ＬＦ／ＨＦが低いと副交感神経が優位である状態を示していると考えられる。従って、ＨＲＶ指標は、さらに処理されることにより、被測定者の、睡眠状態の評価、精神的ストレス度の評価、リラックス度の評価、集中度の評価等に用いることができる。
【００６１】
〜情報出力部３２８〜
情報出力部３２８は、上述した位置情報算出部３２４及び生体情報算出部３２６から出力された血流情報（生体情報）等を、通信部３０８を制御して表示装置４００等へ送信する。
【００６２】
さらに、サーバ３００は、本実施形態に係る情報処理システム１０を利用するユーザ（被測定者を含む）からの操作を受け付ける入力部（図示省略）等を有していてもよい。
【００６３】
また、サーバ３００は、上述の生体情報センサ１００等と一体となった装置であってもよく、さらには、上述の生体情報センサ１００等と別体の装置であってもよい。後者の場合には、サーバ３００は、例えば、スマートフォン、タブレット、パーソナルコンピュータ（ＰＣ）等の情報処理装置であってもよく、もしくは、他の装置（例えば、医療用装置等）と接続された情報処理装置であってもよい。さらには、サーバ３００は、被測定者から離れた場所等に設置された情報処理装置であってもよい。
【００６４】
＜２．５．第１の実施形態に係る情報処理方法＞
以上、本開示の実施形態に係る情報処理システム１０及び当該情報処理システム１０に含まれる各装置の詳細について説明した。次に、本実施形態に係る情報処理方法について、図９を参照して説明する。図９は、本実施形態に係る情報処理方法の一例を示すフローチャートである。
【００６５】
図９に示すように、本実施形態に係る情報処理方法には、ステップＳ１０１からステップＳ１０７までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
【００６６】
（ステップＳ１０１）
情報処理システム１０は、被測定者へ光の照射、及び、撮像を開始し、血流情報を取得するための反射光を測定、及び、被測定者の撮像画像の取得を行う。
【００６７】
（ステップＳ１０３）
情報処理システム１０は、上述のステップＳ１０１で取得した被測定者の撮像画像を、既知の人体の形状モデルとマッチングすることにより、撮像画像に含まれる領域は人体のどの領域であるかを示す位置情報を算出する。
【００６８】
（ステップＳ１０５）
情報処理システム１０は、予め決定した特定の箇所（例えば、被測定者の頬）の血流情報を抽出する。詳細には、先に説明したように、情報処理システム１０は、上述のステップＳ１０１で取得した反射光（センシングデータ）を処理し、血流情報を算出する。そして、情報処理システム１０は、血流情報の元となるセンシングデータを受光した生体情報センサ１００の受光部１０４の各素子の情報と、当該素子に対応するカメラ２００の受光部２０４の各素子の情報とを介して、血流情報を上記位置情報と紐づける。さらに、情報処理システム１０は、予め決定した特定の箇所の血流情報を、各血流情報に紐づけられた位置情報を参照することにより、抽出する。
【００６９】
（ステップＳ１０７）
情報処理システム１０は、上述のステップＳ１０５で抽出した、予め決定した特定の箇所の血流情報をユーザに向けて出力する。
【００７０】
以上のように、本実施形態によれば、生体情報センサ１００を装着することなく、被測定者の身体の特定の箇所の血流情報を容易に取得することができる。その結果、本実施形態によれば、被測定者の運動の妨げになるようなことを避けることができる。さらに、本実施形態においては、好適な状態で測定を行うことができる特定の箇所から、連続的に又は間欠的に血流情報を取得する、すなわち、特定の箇所の血流情報の経時変化を取得することができる。その結果、本実施形態によれば、血流情報の経時変化を解析して得られる、被測定者の身体の状態に関する状態情報の精度をより高めることができる。
【００７１】
＜＜３．第２の実施形態＞＞
ところで、上述した第１の実施形態においては、血流情報と、位置情報を算出するための撮像画像とは、異なる装置（センサ）を用いて取得している。従って、上述の第１の実施形態においては、位置情報と血流情報とを紐づけるために、カメラ２００の撮像範囲と、生体情報センサ１００の検出範囲との対応付けしておくことが求められる。しかしながら、このような対応付けを行うことは面倒であり、生体情報センサ１００とカメラ２００との位置関係が固定されていることから、被測定者の位置にも制限が生じる。さらに、第１の実施形態においては、生体情報センサ１００とカメラ２００とを含むことから、情報処理システム１０の消費電力が増加することや、情報処理システム１０が複雑化することを避けることが難しい。
【００７２】
そこで、以下に説明する本開示の第２の実施形態においては、生体情報センサ１００ａを、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）センサ及び血流情報を取得するセンサとして機能させる。ＴＯＦセンサは、例えば、被写体（被測定者）に所定の周期を持つ照射光を照射し、当該被写体で反射された上記光（反射光）を検出し、照射光と反射光との位相差や時間差を検出することで、被写体の深度（ｄｅｐｔｈ）情報を取得することができる。ここで被写体の深度情報とは、上記ＴＯＦセンサから被写体表面上の各点までの距離の情報の１つである深度の情報である。そして、被写体表面の複数の点の深度情報を集約することにより、被写体表面の凹凸形状に関する形状情報、すなわち、被写体の外形の情報として取り扱うことができる。
【００７３】
ところで、ＴＯＦセンサと血流情報を取得するセンサとの２つのセンサを用いた場合には、上述のような、面倒な対応付けを行うことが求められる。さらに、この場合、２つのセンサを含むことから、情報処理システム１０の消費電力が増加することや、情報処理システム１０が複雑化することを避けることが難しい。加えて、このような場合、それぞれのセンサで使用する光の波長が近い場合には、相互に干渉しあい、測定結果に大きく影響を及ぼすことから、精度よく深度情報及び血流情報を取得することが難しくなる。
【００７４】
しかしながら、第２の実施形態においては、ＴＯＦセンサと血流情報を取得するセンサとの照射部及び受光部を共通化する、すなわち、生体情報センサ１００ａを、ＴＯＦセンサ及び血流情報を取得するセンサとして機能させることにより、面倒な対応付けを行うことを避けることはできる。さらに、本実施形態によれば、１つのセンサにすることができることから、情報処理システム１０ａの消費電力が増加することや、情報処理システム１０ａが複雑化することを避けることができる。さらに、本実施形態によれば、２つのセンサを使用しないことから、光の相互干渉が生じないことから、その結果、精度よく深度情報及び血流情報を取得することができる。以下に、本開示の第２の実施形態の詳細を説明する。
【００７５】
＜３．１．第２の実施形態に係る情報処理システム１０ａの構成＞
まずは、本開示の第２の実施形態に係る情報処理システム１０ａの構成の一例について、図１０を参照して説明する。図１０は、本実施形態に係る情報処理システム１０ａの一例を説明するための説明図である。図１０に示すように、本実施形態に係る情報処理システム１０ａは、生体情報センサ１００ａ、サーバ３００ａ及び表示装置４００を含み、これらは互いにネットワーク５００を介して通信可能に接続される。すなわち、本実施形態に係る情報処理システム１０ａは、上述した第１の実施形態と異なり、カメラ２００を含まないでよい。なお、表示装置４００は、第１の実施形態と共通することから、ここでは説明を省略し、第１の実施形態と異なる生体情報センサ１００ａ及びサーバ３００ａについてのみ説明する。
【００７６】
（生体情報センサ１００ａ）
生体情報センサ１００ａは、第１の実施形態と同様に、被測定者の血流情報、血中アルコール濃度、血糖値等の生体情報を検出する装置である。さらに、本実施形態においては、生体情報センサ１００ａからのセンシングデータを処理することにより、位置情報を算出することができる。本実施形態においても、生体情報センサ１００ａは、被測定者の身体に対して非接触に設けられる。なお、生体情報センサ１００ａの詳細構成については後述する。
【００７７】
（サーバ３００ａ）
サーバ３００ａも、第１の実施形態と同様に、例えば、コンピュータ等により構成され、各ユーザ（被測定者を含む）に対してサービスを提供する、すなわち、血流情報（生体情報）等に提供することができる。なお、サーバ３００ａの詳細構成については後述する。
【００７８】
なお、本実施形態においても、情報処理システム１０ａは、複数の生体情報センサ１００ａ及び表示装置４００を含んでもよい。
【００７９】
＜３．２．第２の実施形態に係る生体情報センサ１００ａの構成＞
次に、本実施形態に係る生体情報センサ１００ａの構成の一例について、図１１を参照して説明する。図１１は、本実施形態に係る生体情報センサ１００ａの構成の一例を示すブロック図である。詳細には、生体情報センサ１００ａは、図１１に示すように、照射部１０２と、受光部１０４ａと、制御部１０６と、通信部１０８とを主に有する。なお、照射部１０２、制御部１０６及び通信部１０８は、第１の実施形態と共通することから、ここでは説明を省略し、第１の実施形態と異なる受光部１０４ａについてのみ説明する。
【００８０】
（受光部１０４ａ）
受光部１０４ａは、第１の実施形態と同様に、被測定者の測定領域７００から反射された光を検出する。受光部１０４ａは、マトリックス状に設けられた複数のフォトダイオードやセンサ等の素子（受光素子）を含み、各素子は、制御部１０６によって検出信号を出力する（読み出す）タイミングが制御された読み出し部（第１及び第２の読み出し部）１１０ａ、１１０ｂを有する。詳細には、当該読み出し部１１０ａ、１１０ｂは、各素子で検出した光（詳細には電荷）を互いに異なるタイミングで読み出すことができる。
【００８１】
ここで、生体情報センサ１００ａを用いた、位相差による深度情報の算出方法の原理について、図１２を参照して説明する。図１２は、深度情報の算出方法の原理を説明するための説明図であり、詳細には、生体情報センサ１００ａにおける、照射光と反射光とを強度の時間変動を模式的に示している。
【００８２】
図１２に示すように、生体情報センサ１００ａは、光の強度が周期的に変動するように変調された光を照射部１０２から被測定者に向かって照射する。照射された光は、被測定者の身体の一部で反射されて、反射光として生体情報センサ１００ａの受光部１０４ａで検出される。図１２に示されるように、検出された反射光（図１２の下段）は、照射光（図１２の上段）に対して位相差をもっており、当該位相差は、生体情報センサ１００ａから被測定者までの距離が遠ければ大きくなり、生体情報センサ１００ａから被測定者までの距離が近ければ小さくなる。
【００８３】
そこで、例えば、生体情報センサ１００ａは、反射光の４位相（０度、９０度、１８０度、２７０度）における光の強度をセンシングする。センシングデータ（ｑ０、ｑ９０、ｑ１８０、ｑ２７０）を、下記の数式（１）に入力することにより、位相差（ｐｈａｓｅ）を算出することができる。さらに、このように算出した位相差と光の波長（ｒａｎｇｅ）とを用いることにより、下記の数式（１）によれば、被測定者までの深度情報（ｄｉｓｔａｎｃｅ）（距離情報）を得ることができる。
【００８４】
【数１】
2020153194.tif 000003
【００８５】
なお、上記深度情報は、受光部１０４ａの素子毎に取得することができることから、該当する素子の位置と、深度情報とを一対一に紐づけることができる。
【００８６】
さらに、本実施形態に係る受光部１０４ａにおいては、先に説明したように、各素子は、互いに差動して読み出す読み出し部１１０ａ、１１０ｂを有している。詳細には、本実施形態に係る読み出し部１１０ａ、１１０ｂは、同一の長さを持つ期間において動作するものの、互いに１８０度の位相差を持つように動作するものとする（図１３参照）。
【００８７】
次に、本実施形態に係る深度情報の算出方法について、図１３及び図１４を参照して説明する。図１３は、本実施形態に係る生体情報センサ１００ａを用いた深度情報の算出方法を説明するための説明図である。また、図１４は、本実施形態に係る深度情報に基づく画像８０４の一例を説明するための説明図である。
【００８８】
図１３においては、照射光（図１３の１段目）及び反射光（図１３の２段目）は、わかりやすくするためにパルス状の光として示されており、照射光と反射光との位相差はφであるものとする。さらに、図１３においては、読み出し部１１０ａ（図１３の３段目）及び読み出し部１１０ｂ（図１３の４段目）の動作が図示されており、上側に凸を持つ期間において読み出し部１１０ａ、１１０ｂが動作するものとする。従って、図１３に示すように、読み出し部１１０ａ、１１０ｂがそれぞれ動作する期間は重なっていないことから、読み出し部１１０ａ、１１０ｂは互いに差動する（すなわち異なるタイミングで動作する）ことがわかる。
【００８９】
図１３に示されるように、反射光が、照射光に対して位相差φを持っている場合には、読み出し部１１０ａ、１１０ｂは、図１３中のグレーで示される領域８０２ａ、８０２ｂにおいて反射光を検出することができる。詳細には、読み出し部１１０ａ、１１０ｂで検出した光の強度をそれぞれ積分することにより、図１３の領域８０２ａ及び領域８０２ｂの面積に相当する受光信号を得ることができる。図１３から明らかなように、読み出し部１１０ａにおける積分値と読み出し部１１０ｂにおける積分値との差分は、反射光の位相差φに応じて変化する。従って、本実施形態においては、読み出し部１１０ａ、１１０ｂの積分値の差分を算出し、算出した差分に基づいて位相差φを算出し、さらには深度情報を算出することができる。なお、本実施形態においては、積分値の差分ではなく、積分値の比を用いて位相差φを算出し、深度情報を算出することも可能である。
【００９０】
このようにして得られた深度情報によれば、図１４に示すような被測定者（ここでは人物の顔）の深度情報に基づく画像８０４を取得することができる。当該深度情報に基づく画像８０４は、被測定者の身体の表面の各点で反射された反射光に基づいて得られた深度情報を受光部１０４ａの素子の位置に紐づけることによって得られた情報を、平面に投影させることにより得られる画像である。従って、画像８０４は、被測定者の外形の凹凸形状を示す画像であるといえる。
【００９１】
なお、本実施形態においては、被測定者の深度情報は、上述のような位相差によって算出されることに限定されるものではなく、照射部１０２による光の照射から受光部１０４ａによる光の受光までの時間差によって、算出してもよい。
【００９２】
＜３．３．第２の実施形態に係るサーバ３００ａの構成＞
次に、図１５を参照して、本実施形態に係るサーバ３００ａの構成について説明する。図１５は、本実施形態に係るサーバ３００ａの構成の一例を示すブロック図であるサーバ３００ａは、図１５に示すように、通信部３０８と、記憶部３１０と、算出部３２０ａとを主に有する。なお、通信部３０８及び記憶部３１０は、第１の実施形態と共通することから、ここでは説明を省略し、第１の実施形態と異なる算出部３２０ａについてのみ説明する。
【００９３】
（算出部３２０ａ）
算出部３２０ａは、生体情報センサ１００ａ等で得られたセンシングデータを処理することにより、血流情報及び位置情報を取得する。詳細には、図１５に示すように、算出部３２０ａは、データ取得部３２２と、位置情報算出部３２４ａと、生体情報算出部３２６と、情報出力部３２８と、深度情報算出部３３０と、加速度推定部３３２とを主に有する。なお、データ取得部３２２、生体情報算出部３２６及び情報出力部３２８は、第１の実施形態と共通することから、ここでは説明を省略し、第１の実施形態と異なる位置情報算出部３２４ａ、深度情報算出部３３０、及び加速度推定部３３２についてのみ説明する。
【００９４】
〜深度情報算出部３３０〜
深度情報算出部３３０は、先に説明したように、照射部１０２によって照射された光の位相と、受光部１０４ａによって受光された光の位相の差である位相差を算出することにより、被測定者の深度情報を算出する。又は、深度情報算出部３３０は、照射部１０２による光の照射から受光部１０４ａによる光の受光までの時間差を算出することにより、被測定者の深度情報を算出する。なお、前者の場合、深度情報算出部３３０は、先に説明したように、受光部１０４ａの読み出し部１１０ａ、１１０ｂで読み出した光の強度に基づいて、上記位相差を算出することができる。
【００９５】
〜位置情報算出部３２４ａ〜
位置情報算出部３２４ａは、深度情報算出部３３０から得られた複数の深度情報に基づく被測定者の外形を示す画像８０４に基づいて、位置情報を算出する。例えば、位置情報算出部３２４ａは、既知の人間の形状モデルと上記画像８０４とをマッチングすることにより、上記画像８０４の領域は人間のどの領域であるかを推定することができる。画像８０４の各領域に対応する位置情報は、画像８０４の各領域に対応する生体情報センサ１００ａの受光部１０４ａの素子の情報と紐づけて、生体情報算出部３２６に出力される。そして、生体情報算出部３２６で算出された血流情報（生体情報）は、上記素子の情報を介して、位置情報と紐づけることとなる。
【００９６】
〜加速度推定部３３２〜
加速度推定部３３２は、深度情報の経時変化、すなわち被測定者の外形の経時変化に基づいて、被測定者の運動加速度を推定する。なお、加速度推定部３３２は、算出部３２０ａに設けられていなくてもよい。また、加速度推定部３３２の処理の詳細については後述する。
【００９７】
＜３．４．第２の実施形態に係る情報処理方法＞
以上、本開示の第２の実施形態に係る情報処理システム１０ａ及び当該情報処理システム１０ａに含まれる各装置の詳細について説明した。次に、本実施形態に係る情報処理方法について、図１６から図１９を参照して説明する。図１６から図１８は、本実施形態に係る情報処理方法の一例を示すフローチャートである。また、図１９は、本実施形態に係る深度情報に基づく画像８０４及び検出信号８００の一例を説明するための説明図である。
【００９８】
図１６に示すように、本実施形態に係る情報処理方法は、大きく分けてステップＳ３００及びステップＳ４００を有している。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
【００９９】
（ステップＳ３００）
情報処理システム１０ａは、被測定者の身体へのスキャン（光の照射／光の受光）を実施する。
【０１００】
（ステップＳ４００）
情報処理システム１０ａは、ステップＳ３００で取得したセンシングデータに基づき、特定箇所の血流情報を取得する。
【０１０１】
さらに、図１６のステップＳ３００及びステップＳ４００の詳細を説明する。まずは、図１６のステップＳ３００の詳細について説明する。図１７に示すように、本実施形態に係る情報処理方法のステップＳ３００には、例えば、ステップＳ３０１からステップＳ３２１までの複数のステップが含まれている。以下に、ステップＳ３００に含まれる各ステップの詳細を説明する。
【０１０２】
（ステップＳ３０１）
情報処理システム１０ａは、被測定者へ光の照射を開始する。
【０１０３】
（ステップＳ３０３）
情報処理システム１０ａは、照射時刻を測定する。
【０１０４】
（ステップＳ３０５）
情報処理システム１０ａは、生体情報センサ１００ａの受光部１０４の素子番号（Ｐｉｘｅｌ  ＩＤ）をｉ＝０に設定する。
【０１０５】
（ステップＳ３０７）
情報処理システム１０ａは、素子番号ｉの素子において、被測定者の身体からの反射光の受光を行う。
【０１０６】
（ステップＳ３０９）
情報処理システム１０ａは、受光時刻を測定する。
【０１０７】
（ステップＳ３１１）
情報処理システム１０ａは、ステップＳ３０７で受光した反射光に基づいて、素子番号ｉにおけるパワースペクトルを、例えば、上述した第１の処理方法又は第２の処理方法を用いて算出する。
【０１０８】
（ステップＳ３１３）
情報処理システム１０ａは、ステップＳ３１１で算出したパワースぺクトルに基づいて、素子番号ｉにおける血流情報を算出する。
【０１０９】
（ステップＳ３１５）
情報処理システム１０ａは、例えば、ステップＳ３０３で測定した照射時刻と、ステップＳ３０９で測定した受光時刻との時間差に基づいて、素子番号ｉにおける被測定者の深度情報を算出する。なお、本実施形態においては、このような時間差により深度情報を算出することに限定されるものではなく、先に説明したように照射光の反射光の位相差により深度情報を算出してもよい。
【０１１０】
（ステップＳ３１７）
情報処理システム１０ａは、ステップＳ３１３で算出した血流情報と、ステップＳ３１５で算出した深度情報とを、素子番号ｉに紐づけて、記憶部３１０に出力する。
【０１１１】
（ステップＳ３１９）
情報処理システム１０ａは、生体情報センサ１００ａの受光部１０４のすべての素子で上述したようなスキャン（詳細には、ステップＳ３０１からステップＳ３１９の処理）が行われたかどうかを判断する。情報処理システム１０ａは、すべての素子でスキャンが行われた場合には処理を終了し、すべての素子でスキャンが行われていない場合にはステップＳ３２１に進む。
【０１１２】
（ステップＳ３２１）
情報処理システム１０ａは、受光部１０４の素子番号（Ｐｉｘｅｌ  ＩＤ）をｉ＝ｉ＋１に設定する。すなわち、情報処理システム１０ａは、処理を行う素子番号を１つ進める。そして、情報処理システム１０ａは、ステップＳ３０７へ戻る。
【０１１３】
以上のようにして、ステップＳ３００においては、上述の複数のステップを繰り返すことにより、被測定者の身体をスキャンして、素子ごとの血流情報及び深度情報を取得する。
【０１１４】
次に、図１６のステップＳ４００の詳細について説明する。図１８に示すように、本実施形態に係る情報処理方法のステップＳ４００には、例えば、ステップＳ４０１からステップＳ４０７までの複数のステップが含まれている。以下に、ステップＳ４００に含まれる各ステップの詳細を説明する。
【０１１５】
（ステップＳ４０１）
情報処理システム１０ａは、上述したステップＳ３１７で出力された血流情報及び深度情報を記憶部３１０から取得する。
【０１１６】
（ステップＳ４０３）
情報処理システム１０は、上述のステップＳ４０１で取得した被測定者の複数の深度情報（すなわち、被測定者の外形の情報である）もしくは複数の深度情報に基づく画像と、既知の人体の形状モデルとをマッチングすることにより、深度情報の対象となる領域は人体のどの領域であるかを示す位置情報を算出する。具体的には、位置情報は、人体上の位置情報として、生体情報センサ１００ａの受光部１０４の各素子における深度情報に対応するように算出される。従って、位置情報は、各素子の素子番号（Ｐｉｘｅｌ  ＩＤ）に紐づけられることとなる。
【０１１７】
（ステップＳ４０５）
情報処理システム１０ａは、予め決定した特定の箇所（例えば、被測定者の頬）の血流情報を抽出する。詳細には、情報処理システム１０ａは、ステップＳ４０３で算出された、各素子における深度情報と紐づけられた位置情報を参照して、特定箇所の素子番号を抽出する。さらに、情報処理システム１０ａは、抽出した素子番号に対応する血流情報をステップＳ４０３で取得した血流情報の中から抽出する。
【０１１８】
（ステップＳ４０７）
情報処理システム１０ａは、上述のステップＳ４０５で抽出した、予め決定した特定の箇所の血流情報をユーザに向けて出力する。
【０１１９】
さらに、上述したステップＳ３００及びステップＳ４００を繰り返すことにより、被測定者の身体の特定箇所の血流情報の経時変化を取得することができる。例えば、図１９の左側に示すような被測定者の複数の深度情報に基づく画像８０４における被測定者の頬等の特定箇所８３０での、図１９の右側に示すような血流情報の経時変化８４０を取得することができる。なお、本実施形態においては、血流情報の経時変化８４０を取得することに限定されるものではなく、例えば、被測定者の身体上における所定の血流情報に係る値の分布（例えば、被測定者の身体上における血流速度の分布等）等を取得してもよい。
【０１２０】
以上のように、本実施形態によれば、生体情報センサ１００を装着することなく、被測定者の身体の特定の箇所の血流情報を容易に取得することができる。さらに、本実施形態によれば、特定の箇所の血流情報の経時変化を取得することができることから、血流情報の経時変化を解析して得られる、被測定者の身体の状態に関する状態情報の精度をより高めることができる。
【０１２１】
加えて、本実施形態によれば、生体情報センサ１００ａを、ＴＯＦセンサ及び血流情報を取得するセンサとして機能させることにより、面倒な対応付けを行うことを避けることはできる。さらに、本実施形態によれば、１つのセンサにすることができることから、情報処理システム１０ａの消費電力が増加することや、情報処理システム１０ａが複雑化することを避けることができる。さらに、本実施形態によれば、２つのセンサを使用しないことから、光の相互干渉が生じることがなく、その結果、精度よく深度情報及び血流情報を取得することが可能となる。
【０１２２】
また、上述の実施形態においては、本実施形態に係る生体情報センサ１００ａにサーバ３００ａの機能を担わせることにより、生体情報センサ１００ａをスタンドアローン型の装置としてもよい。
【０１２３】
＜３．５．変形例＞
これまで説明した実施形態においては、生体情報センサ１００は長い時間に亘って被測定者の血流情報を測定することとなる場合がある。従って、本実施形態に係る生体情報センサ１００の電力消費は、より抑えられていることが好ましい。また、生体情報センサ１００での電力消費のうちの多くは、照射部１０２によって消費される。そこで、以下においては、照射部１０２での電力消費を抑えることができる変形例を説明する。
【０１２４】
以下に、図２０を参照して、本変形例に係る測定方法を具体的に説明する。図２０は、本実施形態の変形例に係る照射パターン及びサンプリングパターンの一例を説明するための説明図である。詳細には、図２０は、上段から下段に向かって、変形例に係る、照射部１０２の照射パターン、受光部１０４の読み出し（サンプリング）パターンを模式的に示す。なお、図２０においては、１段目に示される照射パターンの一部の拡大図も示されている。
【０１２５】
本変形例においては、図２０の１段目に示すように、照射部１０２の照射パターンが、照射部１０２が規則的に照射を繰り返す区間８２２と、照射を休止する区間８２０とが交互に現れるパターンとなるように、照射部１０２を制御する。このようにすることで照射部１０２での電力消費を抑えることができる。詳細には、図２０の１段目に示すように、照射部１０２の照射パターンにおいては、照射部１０２が規則的に照射を繰り返す区間８２２と、照射を休止する区間８２０とが交互に現れる。照射部１０２が規則的に照射を繰り返す区間８２２では、区間８２２の拡大図に示されるように、照射部１０２は第１の間隔Ｅで照射光を間欠的に照射する。また、上記区間８２２は、照射を休止する区間８２０にあたる間隔Ｆで繰り返される。当該間隔Ｆは、上記間隔Ｅよりも長くなるように設定されている。このようにすることで、照射部１０２が照射する照射期間を短くすることができることから、照射部１０２での電力消費を抑えることができる。
【０１２６】
以上に説明したように、本変形例においては、照射部１０２の照射パターンを、照射部１０２が規則的に照射を繰り返す区間８２２と、照射を休止する区間８２０とが交互に現れるパターンとする。このようにすることで、本変形例によれば、照射部１０２での電力消費を抑えることができる。
【０１２７】
＜＜４．本開示の実施形態に係る実施例＞＞
以上、本開示の第２の実施形態における情報処理方法の詳細について説明した。次に、具体的な実施例を示しながら、本開示の実施形態に係る情報処理の例についてより具体的に説明する。なお、以下に示す実施例は、本開示の実施形態に係る情報処理のあくまでも一例であって、本開示の実施形態に係る情報処理方法が下記の例に限定されるものではない。
【０１２８】
＜４．１．実施例１＞
まずは、実施例１として、図２１を参照して被測定者の動作・姿勢（運動）及び血流情報に基づいて、被測定者の消費カロリーを推定する実施例を説明する。図２１は、本開示の実施形態に係る実施例１を説明する説明図である。
【０１２９】
本実施例においては、図２１に示すように、生体情報センサ１００ａは、被測定者７０６が存在する室内（例えば、ジム）の壁に設けられ、運動する被測定者７０６の消費カロリーを推定するために、血流情報及び位置情報（深度情報）を算出するためのセンシングデータを取得する。
【０１３０】
本実施例においては、血流情報だけでなく、被測定者７０６の運動に係る加速度をも参照することにより、被測定者７０６の消費カロリーを精度よく推定することができる。詳細には、本実施例においては、サーバ３００の算出部３２０ａの加速度推定部３３２を用いることにより、被測定者７０６の運動に係る加速度を推定する。例えば、加速度推定部３３２は、被測定者７０６の深度情報、すなわち、外形の経時変化を解析することにより、被測定者７０６の運動による加速度を推定することができる。また、本変形例においては、上述した方法を用いて、被測定者７０６の身体の特定の箇所の運動加速度を推定してもよい。
【０１３１】
本実施例においては、血流情報及び被測定者７０６の運動に係る加速度をも参照することができることから、被測定者７０６の消費カロリーを精度よく推定することができる。さらに、本実施例においては、被測定者７０６の身体に、血流情報に係るセンシングデータを取得するためのセンサを装着する必要がなく、さらに、加速度を取得するためのモーションセンサを装着する必要もないため、被測定者７０６の運動を妨げることがない。
【０１３２】
また、本実施例においては、消費カロリーだけでなく、位置情報と、対応する加速度情報及び血流情報を参照することにより、被測定者７０６の身体において筋肉に力が入っている箇所等を特定することも可能である。従って、本変形例では、被測定者７０６の身体の一部に筋電センサ等を装着することがないため、被測定者７０６の運動を妨げることがなく、容易に被測定者７０６の筋肉の状態を検出することができる。
【０１３３】
なお、生体情報センサ１００ａは、ジムや体育館のような室内に設けられることに限定されるものではなく、スポーツを行う運動場や野外に設置されてもよい。また、本実施例をスポーツ中継（例えば、スポーツ中継等において、各選手の状態を検出して、視聴者に提供する）やスポーツ解析（例えば、自チームや他チームに所属する選手の状態を解析し、指導や戦術に生かす）に適用することもできる。さらに、生体情報センサ１００ａは、コンサート会場等のホールであってもよく、工場内、オフィス内等に設けられてもよい。
【０１３４】
＜４．２．実施例２＞
次に、実施例２として、図２２を参照して、自動車に乗車する乗員の車酔い等による血流量の急激な変化を検出する実施例を説明する。図２２は、本開示の実施形態に係る実施例２を説明する説明図である。
【０１３５】
本実施例においては、図２２に示すように、生体情報センサ１００ａは、被測定者７０６が乗車する車両７５０内に設けられ、乗車する被測定者７０６の車酔い等の状態を推定するために、血流情報等を算出するためのセンシングデータを取得する。
【０１３６】
本実施例においては、被測定者７０６の車酔いの状態を取得するために好適な特定の箇所の血流情報の経時変化を取得することができることから、被測定者７０６の乗り物酔い等の状態の推定の精度を高めることができる。さらに、本実施例においては、被測定者７０６の身体に、血流情報に係るセンシングデータを取得するためのセンサを装着する必要がないため、被測定者７０６に負担をかけることなく、容易に血流情報を取得することができる。
【０１３７】
なお、本実施例では、車酔いだけでなく、貧血等による顔面蒼白、熱中症、その他疾患や体調不良に起因する血流量の急激な変化を検出することができる。さらに、本実施例によって適用した乗員の車酔いの状態と、その際に取得した車両７５０の走行データとを紐づけて、人工知能等により解析することにより、車酔いをしにくい運転に関する情報を学習してもよい。このような学習によって得られた運転に関する情報は、運転手の運転に対する支援として行う車両制御や、自動運転に活用することができる。
【０１３８】
さらに、本実施例は、生体情報センサ１００ａを車両７５０内に設けられることにより、乗員の車酔い等による血流量の急激な変化を検出するだけに限定されるものではなく、施設内に設けられた監視カメラ又は防犯カメラ（図示省略）とともに用いることにより、不正行為を試みることから緊張状態にある人物を検出することにより、不審者の検出を行う際にも適用することができる。加えて、本実施例によれば、被測定者７０６の心理状態（リラックスの程度等）を検出するができることから、商品試験等にも適用することができる。
【０１３９】
＜４．３．実施例３＞
次に、実施例３として、図２３及び図２４を参照して、顔認証に適用した実施例を説明する。図２３及び図２４は、本開示の実施形態に係る実施例３を説明する説明図である。
【０１４０】
ところで、近年、顔を用いた個人認証、すなわち顔認証においては、個人の顔画像だけでなく、個人の顔の３次元形状を示す複数の深度情報を用いて認証を行うことができる。しかしながら、このような顔認証においては、認証される人物の顔の３次元形状を模したマスク等を不正行為者が用いてなりすましを行うことにより、認証を突破することができる。
【０１４１】
そこで、本実施例においては、被測定者の顔の複数の深度情報を用いて顔の照合を行うとともに、上述した本開示の第２の実施形態を利用して、深度情報の対象である顔が生体又はマスク等の非生体であるかどうかを判定することにより（例えば、血流が検出できたか否か）、上述のなりすましによる認証の突破を防止する。
【０１４２】
以下に、本実施例に係る構成の一例について説明する。本実施例においては、情報処理システム１０の構成は、サーバ３００ａが後述するサーバ３００ｂになる他は、上述の第２の実施形態と同様である。従って、ここでは、サーバ３００ｂの構成のみを説明する。
【０１４３】
図２３を参照して、本実施例に係るサーバ３００ｂの構成について説明する。サーバ３００ｂは、図２３に示すように、通信部３０８と、記憶部３１０と、算出部３２０ｂと、認証部３４０とを主に有する。なお、通信部３０８及び記憶部３１０は、第１及び第２の実施形態と共通することから、ここでは説明を省略し、第１及び第２の実施形態と異なる算出部３２０ｂ及び認証部３４０についてのみ説明する。
【０１４４】
（算出部３２０ｂ）
算出部３２０ｂは、生体情報センサ１００ａ等で得られたセンシングデータを処理することにより、血流情報及び深度情報等を取得する。詳細には、図２３に示すように、算出部３２０ａは、データ取得部３２２と、生体情報算出部３２６と、深度情報算出部３３０とを主に有する。なお、これらは、第２の実施形態と共通することから、ここでは説明を省略する。
【０１４５】
（認証部３４０）
認証部３４０は、算出部３２０ｂからの被測定者の顔の複数の深度情報もしくは複数の深度情報に基づく画像と、予め取得した人物の顔の３次元形状とをマッチングを行うことにより人物照合を行うとともに、深度情報の対象である顔が生体又は非生体であるかどうかを判定することにより、なりすましによる認証の突破を防止することができる。詳細には、図２３に示すように、認証部３４０は、照合部３４２と、判定部３４４と、情報出力部３４６とを主に有する。以下に、認証部３４０の有する各機能部について説明する。
【０１４６】
〜照合部３４２〜
照合部３４２は、算出部３２０ｂからの深度情報と、すでに取得済みの人物の顔の３次元形状とをマッチングすることにより照合して、人物照合を行う。照合部３４２は、照合の結果を後述する情報出力部３４６に出力する。なお、本実施例においては、深度情報だけでなく、被測定者の顔を撮像して得た撮像画像も用いて、人物照合を行ってもよい。
【０１４７】
〜判定部３４４〜
判定部３４４は、算出部３２０ｂからの血流情報に基づいて、上記深度情報が生体から得られたものであるか否かを判定する。例えば、判定部３４４は、血流情報の経時変化を検出できた場合には生体であると判定する。判定部３４４は、判定の結果を後述する情報出力部３４６に出力する。
【０１４８】
〜情報出力部３４６〜
情報出力部３４６は、上述した照合部３４２及び判定部３４４から出力された結果に基づいて、認証を行い、認証の結果を、通信部３０８を制御して表示装置４００等へ送信する。すなわち、複数の深度情報（もしくは、複数の深度情報に基づく画像）と取得済みの人物の顔の３次元形状とがマッチングし、且つ、血流情報の経時変化を検出できたことから生体であると判定された場合に、認証部３４０は、該当する人物を認証することとなる。
【０１４９】
本実施例においては、例えば、図２４に示すように、被測定者の顔の撮像画像８０６及び深度情報に基づく画像８０４に対して照合を行い、且つ、血流情報の経時変化８４０を検出できた場合には、該当する人物を認証する。
【０１５０】
以上、本実施例によれば、被測定者の顔の深度情報を用いて顔の照合を行うとともに、深度情報の対象である顔が生体又はマスク等の非生体であるかどうかを判定することにより、なりすましによる認証の突破を防止することができる。
【０１５１】
本実施例においては、被測定者の身体上のどの領域の血流情報を検出しているかを把握することができ、且つ、血流情報に基づく画像（血流の状態を示すスペックルイメージ）を取得することができる。従って、本実施例においては、被測定者の顔等の所定の領域の動脈や静脈の形状を予め把握することにより、所定の領域のスペックルイメージと予め把握した形状とを照合することにより、認証を行ってもよい。さらに、本実施例においては、スペックルイメージの経時変化を検出することにより、非生体であるかどうかを判定することができ、なりすましによる認証の突破を防止することができる。
【０１５２】
なお、本実施例に係る生体情報センサ１００ａは、施設の出入り口や、ＰＣ、スマートフォン、ＴＶ（ｔｅｌｅｖｉｓｉｏｎ）装置、ＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）スピーカ等に設けられていてもよい。
【０１５３】
＜＜５．まとめ＞＞
以上のように、本開示の実施形態によれば、生体情報センサ１００を装着することなく、被測定者の身体の特定の箇所の血流情報を容易に取得することができる。その結果、本実施形態によれば、被測定者の運動の妨げになるようなことを避けることができる。さらに、本実施形態においては、好適な状態で測定を行うことができる特定の箇所から、連続的に又は間欠的に血流情報を取得する、すなわち、特定の箇所の血流情報の経時変化を取得することができる。その結果、本実施形態によれば、血流情報の経時変化を解析して得られる、被測定者の身体の状態に関する状態情報の精度をより高めることができる。
【０１５４】
なお、上述した実施形態は、人間に対する診断や認証に用いることに限定されるものではなく、ペット等の動物の診断等にも適用することができる。この場合、センサの装着が難しい動物であっても、容易に診断に必要な特定箇所からの生体情報を取得することができる。
【０１５５】
＜＜６．ハードウェア構成について＞＞
図２５は、本実施形態に係る情報処理装置９００のハードウェア構成の一例を示す説明図である。図２５では、情報処理装置９００は、上述のサーバ３００のハードウェア構成の一例を示している。
【０１５６】
情報処理装置９００は、例えば、ＣＰＵ９５０と、ＲＯＭ９５２と、ＲＡＭ９５４と、記録媒体９５６と、入出力インタフェース９５８と、操作入力デバイス９６０とを有する。さらに、情報処理装置９００は、表示デバイス９６２と、通信インタフェース９６８と、センサ９８０とを有する。また、情報処理装置９００は、例えば、データの伝送路としてのバス９７０で各構成要素間を接続する。
【０１５７】
（ＣＰＵ９５０）
ＣＰＵ９５０は、例えば、ＣＰＵ等の演算回路で構成される、１又は２以上のプロセッサや、各種処理回路等で構成され、情報処理装置９００全体を制御する制御部（図示省略）や、上述の算出部３２０として機能する。
【０１５８】
（ＲＯＭ９５２及びＲＡＭ９５４）
ＲＯＭ９５２は、ＣＰＵ９５０が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。ＲＡＭ９５４は、例えば、ＣＰＵ９５０により実行されるプログラム等を一時的に記憶する。ＲＯＭ９５２及びＲＡＭ９５４は、情報処理装置９００において、例えば、上述の記憶部３１０の機能を果たす。
【０１５９】
（記録媒体９５６）
記録媒体９５６は、上述の記憶部３１０として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等の様々なデータを記憶する。ここで、記録媒体９５６としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体９５６は、情報処理装置９００から着脱可能であってもよい。
【０１６０】
（入出力インタフェース９５８、操作入力デバイス９６０及び表示デバイス９６２）
入出力インタフェース９５８は、例えば、操作入力デバイス９６０や、表示デバイス９６２等を接続する。入出力インタフェース９５８としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）端子や、ＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）（登録商標）端子、各種処理回路等が挙げられる。
【０１６１】
操作入力デバイス９６０は、操作部（図示省略）として機能し、例えば、情報処理装置９００に備えられ、情報処理装置９００の内部で入出力インタフェース９５８と接続される。操作入力デバイス９６０としては、例えば、キーボード、ボタンや、方向キー、ジョグダイヤル等の回転型セレクター、タッチパネル、あるいは、これらの組み合わせ等が挙げられる。
【０１６２】
表示デバイス９６２は、上述の表示装置４００等からなる情報提示装置として機能し、例えば、情報処理装置９００上に備えられ、情報処理装置９００の内部で入出力インタフェース９５８と接続される。表示デバイス９６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ-Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等が挙げられる。
【０１６３】
なお、入出力インタフェース９５８が、情報処理装置９００の外部の操作入力デバイス（例えば、キーボードやマウス等）や外部の表示デバイス等の、外部デバイスと接続することも可能であることは、言うまでもない。
【０１６４】
（通信インタフェース９６８）
通信インタフェース９６８は、情報処理装置９００が備える通信手段であり、上述のネットワーク５００を介して（あるいは、直接的に）、サーバ等の外部装置と、無線又は有線で通信を行うための通信部３０８として機能する。ここで、通信インタフェース９６８としては、例えば、通信アンテナおよびＲＦ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポート及び送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポート及び送受信回路（無線通信）、あるいはＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）端子及び送受信回路（有線通信）等が挙げられる。
【０１６５】
（センサ９８０）
センサ９８０は、上述の生体情報センサ１００として機能し、例えば、血流に起因する信号等を検出することが可能な任意の方式により血流信号を検出するセンサである。センサ９８０は、例えば、光を発する照射部１０２と、受光した光に応じて信号を生成する受光部１０４とを有する。照射部１０２は、先に説明したように、例えば、レーザー等の光源を１又は２以上有する。また、受光部１０４は、例えば、フォトダイオード、増幅回路、フィルター回路、およびアナログ−デジタル変換器を有する。
【０１６６】
また、センサ９８０は、例えば、上述したカメラ２００や、加速度センサや、ジャイロセンサ等、１又は２以上のセンサを含んでもよい。すなわち、センサ９８０に含まれるセンサは、上述の例に限られない。
【０１６７】
なお、情報処理装置９００のハードウェア構成は、図２６に示す構成に限られない。例えば、情報処理装置９００は、接続されている外部の通信デバイスを介して外部装置等と通信を行う場合や、スタンドアローンで処理を行う構成である場合には、通信インタフェース９６８を備えていなくてもよい。また、通信インタフェース９６８は、複数の通信方式によって、１又は２以上の外部装置と通信を行うことが可能な構成を有していてもよい。また、情報処理装置９００は、例えば、記録媒体９５６や、操作入力デバイス９６０、表示デバイス９６２等を備えない構成をとることも可能である。
【０１６８】
以上、本実施形態として、情報処理装置９００を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話等の通信装置等、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することもできる。
【０１６９】
また、本実施形態に係る情報処理装置９００は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置９００は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。
【０１７０】
以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
【０１７１】
＜＜７．補足＞＞
なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
【０１７２】
また、上述した各実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。
【０１７３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１７４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１７５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
コヒーレントな光を生体に照射する照射部と、
前記生体で反射された前記光を受光する受光部と、
前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する算出部と、
を備える情報処理装置。
（２）
前記照射部はレーザー装置からなる、上記（１）に記載の情報処理装置。
（３）
前記受光部は前記生体に非接触に設けられる、上記（１）に記載の情報処理装置。
（４）
前記照射部及び前記受光部は、前記生体が存在する室内又は車両内に設けられる、上記（３）に記載の情報処理装置。
（５）
前記受光部は、フォトダイオード、ＣＣＤ型センサ、及び、ＣＭＯＳ型センサのうちの少なくともいずれか１つからなる、上記（１）〜（４）のいずれか１つに記載の情報処理装置。
（６）
２つの前記受光部を備え、
前記算出部は、
第１の受光部から取得した前記センシングデータを処理することによって得られる前記生体の撮像画像に基づいて、前記位置情報を算出し、
算出した前記位置情報を、第２の受光部から取得した前記センシングデータを処理することによって得られた前記生体情報に紐づける、
上記（１）〜（５）のいずれか１つに記載の情報処理装置。
（７）
前記算出部は、
前記受光部から取得した前記センシングデータを処理することによって得られる前記生体の複数の深度情報に基づいて、前記位置情報を算出し、
算出した前記位置情報を、前記受光部から取得した前記センシングデータを処理することによって得られた前記生体情報に紐づける、
上記（１）〜（５）のいずれか１つに記載の情報処理装置。
（８）
前記受光部は、複数の受光素子を含み、
前記算出部は、前記受光素子ごとに、当該受光素子の前記センシングデータから得られた前記位置情報と前記生体情報とを紐づける、
上記（７）に記載の情報処理装置。
（９）
前記算出部は、前記照射部による前記光の照射から前記受光部による前記光の受光までの時間差を算出することにより、前記深度情報を算出する、
上記（７）又は（８）に記載の情報処理装置。
（１０）
前記算出部は、前記照射部によって照射された前記光の位相と、前記受光部によって受光された前記光の位相の差である位相差を算出することにより、前記深度情報を算出する、
上記（７）又は（８）に記載の情報処理装置。
（１１）
前記受光部は、前記受光部が受光した前記光を互いに異なるタイミングで読み出す第１及び第２の読み出し部を含み、
前記算出部は、前記第１及び第２の読み出し部で読み出した前記光の強度に基づいて、前記位相差を算出する、
上記（１０）に記載の情報処理装置。
（１２）
前記算出部は、前記複数の深度情報に対して前記生体の形状モデルをマッチングすることにより、前記位置情報を算出する、上記（７）〜（１１）のいずれか１つに記載の情報処理装置。
（１３）
前記複数の深度情報に基づいて、前記生体の運動加速度を推定する推定部をさらに備える、
上記（１２）に記載の情報処理装置。
（１４）
前記算出部は、前記位置情報に基づき、あらかじめ設定された所定の位置における前記生体情報を連続的に抽出することにより、前記所定の位置における前記生体情報の経時変化を取得する、上記（１）〜（１３）のいずれか１つに記載の情報処理装置。
（１５）
前記算出部は、
前記生体情報の経時変化に基づき、前記生体の状態を推定する、
上記（１４）に記載の情報処理装置。
（１６）
前記算出部は、前記生体情報として、前記センシングデータに含まれる干渉光成分に基づく血流情報、又は、前記センシングデータから得られる吸収スペクトルに基づく血中アルコール濃度もしくは血糖値を算出する、上記（１）〜（１３）のいずれか１つに記載の情報処理装置。
（１７）
前記算出部は、前記血流情報に基づいて、脈拍数、消費カロリー、血圧、血管年齢、呼吸数、及びＨＲＶ指標のうちの少なくともいずれか１つを算出する、上記（１６）に記載の情報処理装置。
（１８）
前記複数の深度情報に基づく認証部と、
前記生体情報に基づいて、前記深度情報が生体から得られたものであるか否かを判定する判定部と、
をさらに備える、上記（７）〜（１７）のいずれか１つに記載の情報処理装置。
（１９）
コヒーレントな光を生体に照射することと、
前記生体で反射された前記光を受光することと、
前記受光した前記光に基づくセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出することと、
を含む、情報処理方法。
（２０）
コヒーレントな光を生体に照射するように照射部を制御する機能と、
前記生体で反射された前記光を受光するように受光部を制御する機能と、
前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する機能と、
をコンピュータに実現させるためのプログラム。
【符号の説明】
【０１７６】
１０、１０ａ    情報処理システム
１００、１００ａ    生体情報センサ
１０２    照射部
１０４、１０４ａ、２０４    受光部
１０６、２０６    制御部
１０８、２０８    通信部
１１０ａ、１１０ｂ    読み出し部
２００    カメラ
３００、３００ａ、３００ｂ    サーバ
３０８    通信部
３１０    記憶部
３２０、３２０ａ、３２０ｂ    算出部
３２２    データ取得部
３２４、３２４ａ    位置情報算出部
３２６    生体情報算出部
３２８、３４６    情報出力部
３３０    深度情報算出部
３３２    加速度推定部
３４０    認証部
３４２    照合部
３４４    判定部
４００    表示装置
５００    ネットワーク
７００    測定領域
７０２    静止組織
７０４    移動物質
７０６    被測定者
７５０    車両
８００    検出信号
８０２ａ、８０２ｂ    領域
８０４    画像
８０６    撮像画像
８１０    ウィンドウ
８２０、８２２    区間
８３０    特定箇所
８４０    血流情報の経時変化
９００    情報処理装置
９５０    ＣＰＵ
９５２    ＲＯＭ
９５４    ＲＡＭ
９５６    記録媒体
９５８    入出力インタフェース
９６０    操作入力デバイス
９６２    表示デバイス
９６８    通信インタフェース
９７０    バス
９８０    センサ
【図１】
2020153194.tif 000004
【図２】
2020153194.tif 000005
【図３】
2020153194.tif 000006
【図４】
2020153194.tif 000007
【図５】
2020153194.tif 000008
【図６】
2020153194.tif 000009
【図７】
2020153194.tif 000010
【図８】
2020153194.tif 000011
【図９】
2020153194.tif 000012
【図１０】
2020153194.tif 000013
【図１１】
2020153194.tif 000014
【図１２】
2020153194.tif 000015
【図１３】
2020153194.tif 000016
【図１４】
2020153194.tif 000017
【図１５】
2020153194.tif 000018
【図１６】
2020153194.tif 000019
【図１７】
2020153194.tif 000020
【図１８】
2020153194.tif 000021
【図１９】
2020153194.tif 000022
【図２０】
2020153194.tif 000023
【図２１】
2020153194.tif 000024
【図２２】
2020153194.tif 000025
【図２３】
2020153194.tif 000026
【図２４】
2020153194.tif 000027
【図２５】
2020153194.tif 000028
【国際調査報告】
2020153194.tif 000029
2020153194.tif 000030
2020153194.tif 000031
2020153194.tif 000032