(57)【要約】身体の画像から生体情報を取得する情報システムにおいて、生体における微小な信号変化を画像でとらえ生体情報を取得するため、外部からのノイズの影響を受けやすく、安定的な測定が困難である。そこで、本発明では、血流に沿って近接する二領域ないしは三領域の画像情報の差分の信号を解析することにより、外部からのノイズを抑えて脈拍数、脈波形、脈波伝播速度、血圧等の生体情報を計測する。これにより高精度の生体情報を非接触に取得する事が出来る。
2016163019.tif 000002
【特許請求の範囲】
【請求項１】
色情報を含む画像データの入力を受け付け、前記画像データに基づいて生体情報を出力するデータ処理部を備え、
前記データ処理部は、前記色情報に基づき複数領域における代表色を各々算出する代表色算出部と、
前記代表色に基づき前記複数領域における前記代表色の時間変化を示す基本波を各々抽出する基本波抽出部と、
前記複数領域のうち近接する領域間において前記基本波の差信号を算出し、前記差信号の周波数に基づいて脈拍情報を算出する脈拍情報算出部と、
前記脈拍情報を前記生体情報として出力する出力部と、
を備えることを特徴とする生体情報分析システム。
【請求項２】
請求項１に記載の生体情報分析システムであって、
前記画像データは顔部位のデータを含み、
前記データ処理部は、前記顔部位内の鼻の長手方向に沿った軸を抽出する軸抽出部をさらに備え、
前記代表色算出部は、前記複数領域を、前記軸の垂直方向に沿って前記軸の両側で前記軸から略等距離の位置に各々２箇所設定し、
前記代表色の算出の際には、前記複数領域のうち、前記軸の両側に設けられ且つ前記軸から略等距離の領域同士の代表色を用いて算出することを特徴とする生体情報分析システム。
【請求項３】
請求項１に記載の生体情報分析システムであって、
前記データ処理部は、
前記顔部位内の鼻の長手方向に沿った軸を抽出する軸抽出部と、
前記軸の抽出において前記顔の形状と血流量の何れか又は両方に基づいた対称度を算出する対称度算出部と、をさらに備え、
前記代表色算出部は、前記対称度が予め定められた閾値よりも高い場合に、前記軸の垂直方向に沿って前記軸の両側で前記軸から略等距離の位置に前記複数領域を各々２箇所設定し、
前記代表色の算出の際に、前記軸の両側に設けられた前記軸から略等距離の２領域の代表色用いて算出することを特徴とする生体情報分析システム。
【請求項４】
色情報を含む画像データの入力を受け付け、前記画像データに基づいて生体情報を出力するデータ処理部を備え、
前記データ処理部は、前記色情報に基づき複数領域における代表色を各々算出する代表色算出部と、
前記代表色に基づき前記複数領域における前記代表色の時間変化を示す基本波を各々抽出する基本波抽出部と、
前記複数領域のうち近接する領域間において前記基本波の差信号を二つ算出し、前記算出された二つの差信号の間の位相差を算出し、前記複数領域間の距離を算出し、前記位相差と前記距離とに基づいて前記脈拍伝搬速度を算出し、前記脈拍伝搬速度に基づいて前記血圧を算出する血圧算出部と、
前記血圧を前記生体情報として出力する出力部と、
を備えることを特徴とする生体情報分析システム。
【請求項５】
請求項４に記載の生体情報分析システムであって、
前記画像データは顔部位に関するデータを含み、
前記代表色算出部は、前記画像データから前記顔部位内の鼻の長手方向に沿った軸を抽出し、前記複数領域を前記軸の片側に前記軸の垂直方向に沿って接する３領域として設定し、前記色情報に基づいて前記複数領域の各々について前記代表色を算出することを特徴とする生体情報分析システム。
【請求項６】
請求項４に記載の生体情報分析システムであって、
前記画像データは顔部位に関するデータと、顔以外の部位である顔外部位に関するデータと、を含み、
前記代表色算出部は、前記画像データから、前記複数領域を前記顔部位と前記顔外部位とにおいてそれぞれ２領域以上設定し、前記設定の際には、前記顔部位内の複数領域と前記顔外部位内の複数領域とを前記複数領域の各々における血流方向に沿って２領域以上並べ、前記色情報に基づいて前記顔部位と前記顔外部位とにおける各領域の代表色を算出し、
前記血圧算出部は、前記算出された基本波に基づき、前記顔部位内の複数領域における差信号である顔部位の差信号と、前記顔外部位内の複数領域における差信号である顔外部位の差信号と、を算出し、
前記顔部位の差信号と前記顔外部位の差信号との間の位相差を算出し、前記顔部位と前記顔外部位の距離を算出し、前記位相差と前記距離とに基づいて脈拍伝搬速度を算出し、前記脈拍伝搬速度に基づいて前記血圧を算出することを特徴とする生体情報分析システム。
【請求項７】
請求項１に記載の生体情報分析システムであって、
前記画像データは指部位の画像データを含み、
前記複数領域は前記指部位における領域を含み、
前記データ処理部は、前記指部位の画像データに基づき個人認証を行い、前記認証された個人と前記生体情報とを関連づけて出力することを特徴とする生体情報分析システム。
【請求項８】
請求項４に記載の生体情報分析システムであって、
前記画像データは指部位の画像データと、手首部位の画像データとを含み、
前記代表色算出部は、前記複数領域を、前記指部位と前記手首部位とにおいてそれぞれ２領域以上設定し、
前記設定の際には、前記指部位内の複数領域と前記手首部位内の複数領域とを前記複数領域の各々における血流方向に沿って２領域以上並べ、
前記色情報に基づいて前記指部位と前記手首部位とにおける各領域の代表色を各々算出し、
前記血圧算出部は、前記算出された基本波に基づき、前記指部位内の複数領域における差信号である指部位の差信号と、前記手首部位内の複数領域における差信号である手首部位の差信号と、を算出し、
前記出力部は、前記指部位の画像データに基づき個人認証を行い、前記認証された個人と前記血圧とを互いに関連づけて出力することを特徴とする生体情報分析システム。
【請求項９】
請求項６に記載の生体情報分析システムであって、
前記顔外部位は手のひらの部位であって、
前記画像データは一つの撮像装置にて撮像されていることを特徴とする生体情報分析システム。
【請求項１０】
請求項１に記載の生体情報分析システムであって、
前記データ処理部は、前記生体情報が予め定められた条件を満たさない場合、異常状態であることを通知することを特徴とする生体情報分析システム。
【請求項１１】
請求項１０に記載の生体情報分析システムであって、
前記データ処理部は、前記複数領域と、前記生体情報と、異常状態であることを通知する異常送信アイコンと、を画面に表示することを特徴とする生体情報分析システム。
【請求項１２】
請求項１に記載の生体情報分析システムであって、
前記データ処理部は、前記差信号を出力することを特徴とする生体情報分析システム。
【請求項１３】
請求項１に記載の生体情報分析システムであって、
前記画像データは乗り物内に関する第一の画像データと、乗り物外に関する第二の画像データと、を含み、
前記第一の画像データは顔部位に関するデータを含み、
前記データ処理部は、
前記第一の画像データから座席領域を検出し、
前記第二の画像データから時刻情報と天候情報の何れか又は両方を取得し、前記時刻情報又は天候情報の何れか又は両方に基づいて参照画像を読み込み、
前記参照画像を用いて前記第一の画像データの座席領域の画像データを補正し、
前記補正された座席領域の画像データに基づいて、前記生体情報を出力することを特徴とする生体情報分析システム。
【請求項１４】
請求項１に記載の生体情報分析システムであって、
さらに赤外線センサアレイを備え、
前記データ処理部は、前記赤外線センサアレイから領域と前記領域における温度を含む温度情報を取得し、前記温度情報と前記生体情報とを出力することを特徴とする生体情報分析システム。
【請求項１５】
請求項３に記載の生体情報分析システムであって、
さらに前記画像データを撮像する撮像部と、前記撮像部を移動させる移動部とを備え、
前記移動部は、前記対称度が予め定められた値よりも低い場合、前記撮像部を移動させることを特徴とする生体情報分析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体情報を分析するシステムに関する。
【背景技術】
【０００２】
本人に不快感や手間少なく脈拍や血圧などの生体情報を取得する方法として、カメラを利用した非接触のモニタリングがある。カメラで撮影した顔画像を用い、顔画像中の血流の色の時間変化に対して分析することで、脈拍数を推定する技術が知られている。【０００３】
通常、血圧の測定は、血管に対して加圧を行いながら圧力や音によって血流の状態をモニタリングすることで、血流が止まる圧力と流れ始める圧力の境界を計測することで行う。加圧を行うと不快感が伴うため、この通常の方式は、高頻度の計測や常時計測には向いていない。加圧を行わずに血圧を推定する方法として、脈波伝播速度と血圧の相関に着目し、脈波伝播速度計測を行う方法がある。特許文献１には脈波伝播速度を手の平及び顔の画像を計測することで推定する技術が開示されている。また、脈波伝播速度（pulse wave velocity, PWV）と動脈壁の増分弾性係数（incremental elastic modulus）との関係を表す「Moens-Korteweg の式」と、非特許文献１に記載されている「動脈圧 と動脈内径 の関係式」を用いることにより、脈波伝搬速度から血圧を推定できることが良く知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】ＷＯ２０１４／１３６３１０  Ａ１
【非特許文献】
【０００５】
【非特許文献１】Ｋ  Ｈａｙａｓｈｉ，  Ｓ  Ｎａｇａｓａｗａ，  Ｙ  Ｎａｒｕｏ，  Ａ  Ｏｋｕｍｕｒａ，  “Ｍｅｃｈａｎｉｃａｌ  ｐｒｏｐｅｒｔｉｅｓ  ｏｆ  ｈｕｍａｎ  ｃｅｒｅｂｒａｌ  ａｒｔｅｒｉｅｓ．Ｂｉｏｒｈｅｏｌｏｇｙ”，  Ｖｏｌ．１７，  Ｎｏ．３，  ｐｐ．２１１−２１８，  １９８０．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述のように、非接触で不快感や手間なく脈拍数計測や脈波伝播速度計測による血圧推定を行う手段として、画像を用いる方法が考えられる。しかしながら、この方法は時系列画像のわずかな信号の変化を検知する必要があり、実環境で使用する場合に外部環境の影響を受けやすいという課題がある。使用される環境としては、例えば、家庭、車、介護施設、病院などがある。天候や季節、撮影時刻により、屋内においても様々な明るさとなる。また、窓や照明の配置により非一様な明るさになることがある。蛍光灯などの照明やディスプレイのフリッカノイズによる明るさの変化もノイズ源である。そこで、本発明は、画像を用いて生体情報を検知するシステムにおいて、外部ノイズに対して安定的に生体情報を取得する手段の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、身体情報の色情報を含む画像データの入力を受け付け、画像データに基づいて生体情報を出力するデータ処理部を備え、
データ処理部は、色情報に基づき身体における複数領域における代表色を各々算出し、代表色に基づき複数領域における基本波を各々抽出し、複数領域のうち近接する領域間において基本波の差信号を算出し、差信号の周波数に基づいて脈拍情報を算出し、脈拍情報を生体情報として出力することを特徴とする生体情報分析システムを提供する。
【発明の効果】
【０００８】
本発明によれば、外環境などのノイズ下においても、画像処理にて脈波や血圧などの生体値を精度よく測定する事が出来る。
【図面の簡単な説明】
【０００９】
【図１】システムの全体構成を示す概要図の例である。（実施例１）
【図２】撮影した画像データから脈拍数を算出する処理フローの例である。（実施例１）
【図３】撮影した画像データから脈拍数を算出する処理フローの例である。（実施例１）
【図４】撮影した画像データから脈拍数を算出する処理フローの例である。（実施例１）
【図５】撮影した画像データから脈波伝播速度を算出する処理フローの例である。（実施例１）
【図６】異なる計測部位の場合を説明する図の例である。（実施例１）
【図７】異なる計測部位の場合を説明する図の別の例である。（実施例１）
【図８】異なる計測部位の場合を説明する図の別の例である。（実施例１）
【図９】異なる計測部位の場合を説明する図の別の例である。（実施例１）
【図１０】データ格納部に格納されるデータ種を説明する図の例である。（実施例１）
【図１１】本システムを用いた健康サービスシステムにおける処理フローの概要図の例である。（実施例１）
【図１２】本システムを用いた健康サービスシステムにおいて表示部に表示される情報の例を示した図の例である。（実施例１）
【図１３】本システムを用いた健康サービスシステムにおいて表示部に表示される情報の例を示した図の例である。（実施例１）
【図１４】システムの構成を示す概要図の例である。（実施例２）
【図１５】撮影した画像データから生体情報を算出する処理フローの例である。（実施例２）
【図１６】システムの構成を示す概要図の例である。（実施例３）
【図１７】システムの全体構成を示す概要図の例である。（実施例４）
【図１８】本システムを用いて得られるデータの処理を説明する図の例である。（実施例４）
【図１９】本システムを見守りロボットに組み込んだ例を説明する図の例である。（実施例４）
【図２０】本システムを用いた健康サービスシステムにおいて表示部に表示される情報の例を示した図の例である。（実施例１）
【図２１】本システムを用いた健康サービスシステムにおいて計測した基本波及び差分信号の例を示した図の例である。（実施例１）
【図２２】本システムを用いた健康サービスシステムにおいて表示部に表示される情報の例を示した図の例である。（実施例１）
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明の実施例について説明する。なお、添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
【実施例１】
【００１１】
＜システムの構成＞
図１は、本発明の第１実施例に係る情報システムの機器構成を示した図である。撮像部（カメラ部）101及びデータ処理部102、通信部103、表示部104よりなる。データ処理部102は、それぞれ接続されているCPU111、メモリ112、記憶装置113などを含む。記憶装置113に格納されたプログラムをメモリ112に読みだしてCPU111にて実行する事でデータを処理する。撮像部のカメラ101は独立の形状としているが、データ処理部102他と一体の形状としてもよい。例えばスマートフォンは撮像部及びデータ処理部、通信部、表示部が全て一体化しているが、このような機器を用いてもよい。この場合、ローカル環境にて簡易に生体情報を取得し分析できる。さらに、データ処理の途中段階のデータを、通信部を介して外部に送信し、残りのデータ処理を外部で行ってもよい。この場合は、ローカル環境に計算資源を置く必要がなくなるという効果がある。カメラの設置場所は、例えば日常的に使用する場所であり、観察対象105の皮膚がカメラ101の前に来やすい形に設置することが望ましい。【００１２】
ここでは、例として洗面所の鏡の上部にカメラを設置した。通常建物内で洗面所は陽のあたらない場所や当たりにくい場所に設置されることが多く、天気や時刻による外光変化の影響が比較的小さく、安定した撮影が容易であるという特徴がある。他に、家庭では居間のテレビ画面付近、鏡台、トイレの便座前などである。事務所に於いてはPCのディスプレイ付近に設置する。また、服薬支援や、会話を行うロボットに撮像部を設置してもよい。服薬行為や会話を通じロボットと正対することとなるため、顔画像が撮影しやすいという特徴がある。通信部103はネットワーク106に接続されており、ネットワーク経由でサービスサーバ107とデータ通信が可能である。サービスサーバはデータ格納部108に接続されており、計測した情報、ユーザのプロファイル情報、ユーザ毎に設定される血圧推定用のパラメータや健康管理サービス用の異常検知のためのパラメータ情報などが格納される。【００１３】
これらデータをサーバからアクセスでるデータ格納部108に蓄積することで、ユーザの計測を色々な場所で行った場合でも必要なパラメータを利用することができる。ここで、データ格納部108にこれら全ての情報を蓄積するのではなく、外部の蓄積部でデータ蓄積を行い、必要に応じて通信にてデータ取得を行うのでもよい。また、ローカルシステム110内にデータ処理部に接続されたデータ格納部を持ち、情報の一部を保持してもよい。ローカルシステムにデータ処理に必要なパラメータを持つことでデータ処理を高速化することが可能である。また、サービスサーバは契約を行った外部機関の情報システム109と通信を行うことができる。
＜データ処理＞
まず本発明の概要を示す。脈波などの生体情報は、顔などの身体表面における血流の色画像の時系列変化の信号である基本波から取得する事ができるが、外環境などノイズ源の存在下で取得した血流の色画像には、様々なノイズが含まれ、脈波の推定に影響を及ぼす。本発明では、身体表面にて近接する複数の領域での代表的な色である代表色を算出し、代表色の時間変化を示す信号である基本波の差分である差信号を算出し、算出された差信号を用いて脈波などの生体情報を算出する。これは、近接する領域では、各々の信号の振幅やノイズはほぼ同程度であると近似可能であるため、差信号へのノイズの影響が抑えられ、差信号から脈波などの生体情報が取得できるようになる。以下、詳細に説明を行う。【００１４】
図２にカメラで撮影した画像データの処理フローを示す。図２は、一例として、観察対象105を顔とした場合の処理フローを示している。図２において、画像に映った観察対象105の領域を、一般的な顔検知技術等によって抽出したのちに、データ処理部102内の代表色算出部201により、領域内の代表色を算出する。ここで、代表色とは、例えば、領域内の画素ごとの信号値(白黒画像の場合は輝度値、カラー画像の場合はR(レッド)、G(グリーン)、B(ブルー)、C(シアン)、M(マゼンタ)、Y(イエロー)などの中の1色、あるいは複数の色を混合あるいは平均した信号値)を合計し、領域内の画素数で除算した値(すなわち、領域内の平均値)である。代表色を算出する際には、領域の輝度分布などに応じて領域内の位置で重みを付けたうえで平均をとる場合や、領域内の特定位置の色をとるなどしてもよい。【００１５】
代表色算出部202にて出力された代表色から、基本波抽出部202により、基本波を抽出する。ここで、基本波とは、前記出力された色の時系列変化を示す信号である。また、代表色の信号から高調波やインパルス性のノイズ等を分離し、脈波と同期した正弦波に近い成分を多く含む信号として抽出してもよい。なお、基本波抽出部202は、脈波の周波数に近い約1〜2Hzを通過帯域とするバンドパスフィルタ(BPF)や、フーリエ変換の結果から約1〜2Hzの成分だけを抽出して逆フーリエ変換することなどにより、一般的な技術によって実現できるため、詳細な図示は省略する。【００１６】
続いて、周波数推定部203にて、ゼロクロス計数やフーリエ変換、自己相関などを利用して、基本波の周波数を推定し、脈拍数204(すなわち、1分間あたりの基本波のサイクル数)を出力する。【００１７】
一例として、ゼロクロス計数を用いた周波数推定の方法を、図２内に示す。ゼロクロスとは、信号が正から負に、あるいは負から正に変化する箇所のことであり、観測時間内(t0秒間)におけるゼロクロスの回数を計測し、60/(t0×2)を乗じることによって、ゼロクロス回数から基本波の周波数(すなわち、脈拍数)に変換することができる。ここで、「60」は1分間の秒数であり、「2」は1周期あたりのゼロクロス回数である。【００１８】
なお、フーリエ変換を用いた周波数推定では、信号を複数の周波数成分に分離し、最も大きな振幅値(=√(実数値の2乗+虚数値の2乗))を持つ周波数を脈拍数とする。この場合、基本波抽出部202でフーリエ変換を用いれば、その結果をそのまま用いて周波数推定できるため、前述した逆フーリエ変換は不要である。【００１９】
また、自己相関を用いた周波数推定では、信号を時間的に1サンプル(1標本点)ずつずらしながら、ずらす前の信号との相関値を求め、最も相関が高くなったときの時間差の逆数を、脈拍数とするものである。【００２０】
以上述べたような、ゼロクロス計数、フーリエ変換、自己相関をそれぞれ用いた周波数推定方法は、一般的な技術によって実現できるため、詳細な図示は省略する。【００２１】
なお、画像から観察対象105の領域を抽出する処理(同図の場合では顔検知)をデータ処理部102の一部として組み込んでもよいことは明らかである。【００２２】
図３に、外光などによるノイズ(すなわち、前述したような蛍光灯などの照明やディスプレイのフリッカノイズ(ちらつき)による明るさの変化)があるときにも、精度よく脈拍数を推定することができる画像データの処理フローを示す。  図３において、画像に映った観察対象105の領域を、一般的な顔検知技術等によって抽出したのちに、血流方向301に沿ってn(ただし、nは2以上の整数)個のより小さな領域(同図では、領域#1(303)、領域#2(304))に分割し、各画像データをデータ処理部102にて処理する。この血流方向301として、例えば顔の表面に近い部分では、首の左右にある頸動脈から頭部に上がってきた血液が、顔の中央部に向かって水平に流れることが知られており、顔が映っている画像内の鼻の位置と方向(長手方向)を検出し、その方向と略直交する方向を血流方向301とすればよい。さらに、顔(観察対象105)の領域を、鼻の位置を境界として左右2つの領域に分割し、左右どちらか一方の領域を新たな観察対象105として、さらに小さな領域303、304に分割してもよい。【００２３】
データ処理部102では、前述した代表色算出部201と同様の代表色算出部305、306により、領域ごとの代表色を算出する。なお、各領域の大きさは、すべて同じでもよいし、異なっていてもよい。例えば、各領域の血流方向301と略直交する方向の長さ(第1の長さ)は、顔(観察対象105)の領域をはみ出さない最大の長さとし、血流方向301と略平行の方向の長さ(第2の長さ)は、各領域の面積(すなわち、第１の長さと第２の長さの積)がほぼ同一になるように設定してもよい。【００２４】
各領域の代表色は、領域ごとの血流量に応じて変化するとともに、外光など302によるノイズも含んでいる。このとき、血流量に応じて変化する代表色の成分は、血流方向に沿った領域ごとに、血流速度に応じた位相差を持つのに対し、外光など302に応じて変化する代表色の成分は、観察対象105の全体でほぼ一定の変化をもたらすと考えられる。この性質を利用して、外光など302によるノイズを低減しながら、脈拍数311を精度よく推定できるようにする。以下、この詳細について説明する。【００２５】
図３において、代表色算出部305、306から出力された領域ごとの代表色から、前述した基本波抽出部(202)と同様の基本波抽出部307、308により、それぞれの基本波(信号#1、信号#2)を抽出する。一つの基本波抽出部内でそれぞれの基本波を抽出するようにしても良い。【００２６】
続いて、減算器309によって信号#1と信号#2の差信号を生成し、前述した周波数推定部203と同様の周波数推定部310を用いて、この差信号の周波数(すなわち、脈拍数311)を推定することにより、外光など302によるノイズを低減できるようになる。【００２７】
ここで、基本波(正弦波)からなる信号#1をA1cos(ωt+θ1)+n1と表し、信号#2をA2cos(ωt+θ2)+n2と表すことにする。A1およびA2は各信号の振幅を表し、θ1およびθ2は各信号の位相(初期位相)を表し、n1およびn2は各信号に含まれる外光などによるノイズを表すものとする。なお、ωは基本波の角周波数であり、信号#1および信号#2に共通とする。【００２８】
このとき、近接する複数の領域の間では、各信号の振幅がほぼ等しく、外光などによるノイズ成分の大きさもほぼ等しいと考えてよい。この近似は顔のような大きさ以下の範囲であれば、十分近似可能と出来る。そこで、近似的にA1=A2=A、およびn1=n2=nと置くと、信号#1と信号#2の差信号(信号#2-信号#1)は、以下の数１のように計算することができる。
（数１）  
差信号(信号#2-信号#1)＝(A2cos(ωt+θ2)+n2)-(A1cos(ωt+θ1)+n1)
≒ A(cos(ωt+θ2)-cos(ωt+θ1))+(n-n)
＝ -2Asin(ωt+(θ2+θ1)/2)sin((θ2-θ1)/2)
信号#1と信号#2の間の位相差δ(=θ2-θ1)は、血流方向(301)に沿った領域#1と領域#2の距離(位置の差)にほぼ比例するため、sin((θ2-θ1)/2)の値、および(-2Asin((θ2-θ1)/2))の値も常にほぼ一定(const.)と考えてよい。従って、差信号≒sin(ωt+(θ2+θ1)/2)×const.となるため、外光など302によるノイズをキャンセルしながら、周波数推定部310を用いて脈拍数を推定できるようになる。【００２９】
図４に、血流方向をさらに利用して、カメラの撮像素子におけるショット雑音や熱雑音のようなランダム性のノイズ（以下、ランダムノイズ）の影響を軽減したデータ処理部102の一例を示す。前述のように、顔の表面に近い部分では、首の左右にある頸動脈から頭部に上がってきた血液が、顔の中央部に向かって水平に流れることが知られている。したがって、図４に示すように、顔の中央部(鼻)で鼻の長手方向に沿った垂直線を軸401とすると、ほぼ左右対称の血流方向となる。そこで、図４に示すように、軸抽出処理400により顔の軸を抽出し、代表色算出部406によって、軸401に近い領域では、領域#1A(402)と領域#1B(403))どうしを合わせた代表色を算出するとともに、代表色算出部407によって、軸(401)から遠い領域では、領域#2A(404)と領域#2B(405))どうしを合わせた代表色を算出し、前述した基本波抽出部307、308、減算器309、および周波数推定部310によって脈拍数408を推定することにより、図４中に示した信号#1と信号#2の位相関係を保ったまま、各代表色を算出する際の画素数をより多くすることができるようになる。このとき、血流量に応じて変化する代表色の変化量は領域#1A(402)と領域#1B(403)で略同一であるのに対し、ランダムノイズに応じて変化する代表色の変化量は領域#1A(402)と領域#1B(403)で無相関であるため、例えば、領域#1A(402)と領域#1B(403)の面積(画素数)を同一とした場合、ＳＮ比が約３ｄＢ改善され、ランダムノイズに対してより頑健にすることができるようになる。【００３０】
なお、観察対象の顔の左右対称性が低い場合や、顔の中央部(鼻)で鼻の長手方向に沿った軸401の検出精度が不充分の場合、顔の左右の血流量が大きく異なる場合などでは、図４に示した構成のように顔の左右の領域の代表色を用いず、図３に示した構成のように顔の左右どちらか片側の領域だけの代表色を用いたほうが、脈拍数を精度良く推定できる。したがって、代表色算出部(406)(407)の前に、領域#1A(402)と領域#1B(403)の各代表色を比較、又は、領域#2A(404)と領域#2B(405)の各代表色を比較する対称度算出処理(409)を行い、各比較結果(差の絶対値)が予め定めた閾値よりも小さいときにだけ、顔の左右両方の領域の代表色を用い、各比較結果(差の絶対値)が予め定めた閾値よりも大きいときには、顔の左右のどちらか一方の領域の代表色を用いるように、データ処理部102を構成してもよい。【００３１】
図５に、外光などによるノイズの影響を抑えながら血圧を算出する処理フローを示す。血圧の算出には脈波伝搬速度が必要であるが、顔の皮膚表面だけで脈波を計測して脈波伝播速度を計算する場合には、2点間の距離が近くなるため、脈波が伝播する時間が短くなり、2点間の信号の位相差が極めて小さくなることから、外光などによるノイズの影響を少なからず受けることになる。例えば、図２に示したようなゼロクロス205の位置(時間)は、信号に正の値を持つノイズが加わると、信号波形の立ち上がりにおけるゼロクロスの位置は左方向に移動し(すなわち、位相が進み)、信号波形の立下りにおけるゼロクロスの位置は右方向に移動する(すなわち、位相が遅れる)ことになり、位相差から求める脈波伝搬速度に誤差が含まれることになる。以下、3点以上で脈波を計測することによって、外光などによるノイズの影響を抑える技術について説明する。【００３２】
図５において、画像に映った観察対象105の領域を、血流方向に沿って略等間隔に配置されたm(ただし、mは3以上の整数)個のより小さな領域(図５)では、領域#1(501)、領域#2(502)、領域#3(503))に分割し、各画像データをデータ処理部102にて処理する。データ処理部102では、前述した代表色算出部201と同様の代表色算出部504、505、506により、領域ごとの代表色を算出する。なお、各領域の大きさは、すべて同じでもよいし、異なっていてもよい。代表色算出部504、505、506から出力された領域ごとの代表色から、前述した基本波抽出部202と同様の基本波抽出部507、508、509により、それぞれの基本波(信号#1、信号#2、信号#3)を抽出する。【００３３】
続いて、減算器509によって信号#1と信号#2の差信号#a(=信号#2-信号#1)を生成するとともに、減算器510によって信号#2と信号#3の差信号#b(=信号#3-信号#2)を生成し、時間差推定部511にて差信号#aと差信号#bの間の時間差を求める。【００３４】
このとき、前述のように、近接する複数の領域の間では、各信号の振幅がほぼ等しく、外光などによるノイズ成分の大きさもほぼ等しいと考えてよいため、近似的にA1=A2=A、およびn1=n2=nと置くと、差信号#aは以下のように表すことができる。
（数２）
差信号#a ＝ (A2 cos(ωt+θ2) + n2) - (A1 cos(ωt+θ1) + n1)
≒ A(cos(ωt+θ2)-cos(ωt+θ1))+(n-n)
＝ -2Asin(ωt+(θ2+θ1)/2)sin((θ2-θ1)/2)
＝ sin(ωt+(θ2+θ1)/2)) × const.#a
ここで、const.#a=-2Asin((θ2-θ1)/2)としている。
同様に、A2=A3=A、およびn2=n3=nと置くと、差信号#bは以下のように表すことができる。
（数３）
差信号#b ＝ (A3 cos(ωt+θ3) + n3) - (A2 cos(ωt+θ2) + n2)
≒ A(cos(ωt+θ3)-cos(ωt+θ2))+(n-n)
＝ -2Asin(ωt+(θ3+θ2)/2)sin((θ3-θ2)/2)
＝sin(ωt+(θ3+θ2)/2)) × const.#b
同様に、const.#b = -2Asin((θ3-θ2)/2)としている。
ここで、領域#1(501)、領域#2(502)、領域#3(503))が略等間隔に配置されていれば、-2Asin((θ2-θ1)/2)≒-2Asin((θ3-θ2)/2)、すなわちconst.#a≒const.#bとなり差信号#aおよび差信号#bでは、外光など302によるノイズがキャンセルされるため、時間差推定部511にて、後述するゼロクロス位置、フーリエ変換、相互相関、等を用いることによって、差信号#aと差信号#bの間の位相差(すなわち、(θ3+θ2)/2 - (θ2+θ1)/2 ＝ (θ3-θ1)/2)を精度よく求めることができ、位相差(単位：ラジアン)を基本波(すなわち脈拍)の周波数(単位：Hz)で除算し、さらに2πで除算することによって、差信号#aと差信号#bの間の時間差を求めることができる。【００３５】
例えば、ゼロクロス位置を用いる方法では、差信号#aと差信号#bの間で、図２に示したようなゼロクロス205の位置(時間)の差を求め、複数のゼロクロス位置の差の平均値を時間差とすればよい。また、フーリエ変換を用いる方法では、差信号#aと差信号#bをそれぞれ周波数成分に分解し、最も大きな振幅値を持つ周波数成分の位相の差(=arctan(差信号#bの最大振幅周波数成分の虚数値/実数数)- arctan(差信号#aの最大振幅周波数成分の虚数値/実数数))を最大振幅周波数の値で除算し、さらに2πで除算して時間差とすればよい。また、相互相関を用いる方法では、差信号#bを時間的に1サンプル(1標本点)ずつずらしながら、差信号#aとの間の相関値を求め、最も相関が高くなったときの時間差を求めればよい。これらの位相差あるいは時間差の推定方法は、一般的な技術によって実現できるため、詳細な図示は省略する。【００３６】
脈波伝播速度計算部512では、各領域間の実際の距離を、前述した時間差推定部511で求めた時間差で除算することにより、脈波伝播速度を求める。【００３７】
撮影された観察対象105の両眼間の画素数と、領域#1と領域#2の各重心位置の間の血流方向に沿った画素数、および領域#2と領域#3の各中心位置の間の血流方向に沿った画素数を用いて、血流方向に沿った領域#1と領域#2の間の実際の距離、および領域#2と領域#3の間の実際の距離を計算で求めることができる。例えば、平均的な人間の顔の両眼間の距離は約6.5cmであるとして、両眼間の画素数を100画素とし、領域#1と領域#2の各中心位置の間の血流方向に沿った画素数を30画素とすると、血流方向に沿った領域#1と領域#2の間の実際の距離は、約2cm(=6.5×30/100)と計算できる。両眼間の距離は人種や年齢、性別、画像処理などから求めても良い。【００３８】
前述のように、差信号#aと差信号#bの間の位相差((θ3-θ1)/2)から求めた時間差は、領域#3と領域#1の間の時間差を示すことから、前記同様に血流方向に沿った領域#3と領域#1の間の実際の距離を求め、この距離を領域#3と領域#1の間の時間差で除算することにより、脈波伝播速度計算部512で脈波伝播速度を計算できる。このようにして求めた脈波伝播速度から血圧513への変換は、例えば、前述したMoens-Kortewegの式や、動脈圧と動脈内径の関係式などを用いればよい。【００３９】
以上述べたように、血流に沿った2領域ないしは3領域の画像情報の差分の信号を解析することにより、外光などによるノイズをキャンセルすることで脈拍数、脈波形、脈波伝播速度等を精度良く計測することができるようになる。【００４０】
図６は、計測部位を顔以外も含めて別に取った例を示す。計測部位は皮膚が露出しているところに採る。日常服で覆われていない部分としては、首から上、手、足が考えられる。但し、入浴時などで他の部位が露出している場合にはこの限りではない。また、後述するように、必ずしも連続していない複数個所を計測部位に採ってもよい。計測部位が連続していない場合、下記に述べるように脈波伝搬速度の算出の精度が良くなる。連続していない皮膚表面を計測部位に採る場合でも、同一のカメラの視野に収まるような撮影を行うのが望ましい。これは信号間の同期を取るのが容易だからである。また、外光などによるノイズの影響の出方も計測部位間で同様になると期待できるからである。顔の横にカメラを設置し、計測領域を頬の二領域t1、t2に、及び首の二領域t3、t4とする。頬の二領域t1、t2の画像の差分信号と、首の二領域t3、t4の画像の差分信号を各々分析する。この基本周波数成分の角速度ωを用いて脈拍数を求めることができる。また、この二つの差分信号間の位相差と角速度ωから、脈波伝播時間ΔTを求めることができる。【００４１】
脈波伝播速度は、例えば二領域t1、t2の中点と二領域t3、t4の中点の間を血流が流れる距離をΔTで割ったものである。ここで、距離は、二領域t1、t2の中点と二領域t3、t4の中点を含む直角三角形t5の二辺を加えることで算出する。人体に於いては心臓から拍出され頚動脈を流れてきた血流（血流方向t51）は顔側面で流れをほぼ直角に変え、頬では横方向に流れる（血流方向t50）。従って直角三角形の斜辺ではなく、直角を挟む二辺の和にて計算する。もともと複数の計測部位を頬の中のみで取った場合に比べ、一方を首に取ると距離が大きくなるが、ここではそれだけではなく、斜辺ではなく二辺の和となることでより大きな距離となるという特徴がある。例えば、直角三角形がほぼ直角二等辺三角形となっている場合には、斜辺よりも1.4倍の距離となる。距離が大きいと距離の推定に一定量の誤差があっても相対的に誤差が小さくなり、結果として脈波伝播速度の算出誤差も小さくなる。また、二つの差分信号間の位相差も大きくなり、結果位相差の算出誤差、従って脈波伝播時間ΔTの算出誤差も小さくなる。このため、脈波伝播速度の計測誤差も小さくなり、血圧の算出誤差も小さくなるという特徴がある。【００４２】
図７は計測部位をさらに別に取った例を示す。指を観察する位置に撮像部を設置する。連続する二領域t14、t15の画像や、三領域t14、t15、t16の画像から脈拍数、脈波伝播速度を計測する手法は前述の通りである。顔画像を用いる場合と比べて髪形、化粧などの影響を受けにくいという特徴がある。また、顔は日焼けなどにより肌の色が変化するのに対し、通常指の内側は色があまり変化しないため、安定的に計測ができるという特徴がある。またこの際、撮像部と指を使った個人認証が可能であり、指紋パターンt23や、赤外線照射によって観察する指静脈のパターンを用いると、指の計測だけで観察対象の同定とバイタル情報取得が両方ともできる。例えば図７に示すように、データ処理部は、指部位の画像データの入力を受付け（701）、前述の方法により画像データから脈波や脈波伝搬速度、血圧などの生体情報を算出し（702）、さらに画像データから個人認証を行い（703）、生体情報と認証された個人とを関連づけて出力する（704）。これにより、例えば病院データベースが未整備な環境下や名寄せが複雑であるなど氏名での管理が難しい環境下での健康情報管理などが容易になる。図８は計測部位を指の二領域t17、t18と手首の二領域t19、t20に取った例を示す。図７に示した指のみで計測する場合と比較し、計測部位間の距離がより大きいため、図６の説明と同様に脈波伝播速度の計測誤差が小さくなるという特徴がある。【００４３】
図９も計測部位をさらに別に取った例である。顔の横に手のひらを持ってきて計測する。顔の計測領域t21、手のひらの計測領域t22は心臓からの距離が大きく異なることから、やはり図６の説明と同様に脈波伝播速度の計測誤差が小さくなるという特徴がある。顔と手のひらは心臓からの距離が大きく異なりながら、同一画面内に並んで撮影することが容易な部位である。複数の観察部位を異なるカメラで撮影する場合にも本発明の情報処理は有効であるが、より正しい結果を得るためには、撮影する画像の時刻を正確に合わせられるように撮像システムを構成するとよい。一方、図９のように同一画面内に計測対象を並べて撮影できれば、異なる画像の時刻同期を行う必要がないため、システムを簡易にできるという特徴がある。
＜健康管理サービスシステムの例＞
次に検知した生体情報のデータ処理技術及び生体上を用いたサービスシステムの例を説明する。例として顔画像を使った場合について説明するが、他の計測部位の場合でも同様のサービスの流れである。また、認証方法については顔画像で行うが、指などの場合指紋認証や指静脈認証に手段を読み替えればよい。図１０を用いて、まずデータ格納部108に納められるデータ内容を説明する。個人毎のIDで区別され、個人認証用の特徴量データユーザプロファイル 血圧推定用のパラメータ、加入している外部サービスに関する情報、異常検知するための判定パラメータ、過去のバイタルデータ、過去の顔色データやその他体調データ、過去に表示したメッセージ履歴などを保持している。【００４４】
ここで、血圧推定用のパラメータの登録方法を説明しておく。リファレンスとなる血圧測定装置を用意し、脈波と血圧について同時に測定を行う。このような計測を異なるタイミングで行うことで脈波伝播速度と血圧の対応関係を学習する。この対応付けのパラメータは、計測対象者の動脈硬化度などの血管の状態を表しており、健康状態の指標として使うことができる。血圧推定用のパラメータは、脈波から血圧を算出する際に、各係数の調整等に用いる。個人によって異なるため、個人毎に取得しておくとよい。また、本パラメータを用いずに母集団の平均値などをパラメータとして用い得て、脈波から血圧を推定しても良い。【００４５】
次にサービスシステムの処理フローを図１１を用いて説明する。ローカルシステム110にてまず顔領域を検知t25し、特徴量を取り出した後暗号化してサービスサーバに送る。サービスサーバにてデータ格納部108内に保持している特徴量データと比較することで認証処理を行う。登録されていない特徴量である場合、非登録者である旨のメッセージを作成する。尚、ローカルシステム110の使用者が一人に限定される場合、認証プロセスを省くことが可能であり、システムの機器IDなどを用いて個人IDに紐付ければよい。例えばローカルシステム110がスマートフォンの場合、通常利用者は一人に特定できる。あるいはより簡易的に本人にID、パスワードを入力させ、入力されたIDを使って個人IDに紐付けてもよい。これ以降は認証されたIDに紐付けられたその人独自のデータを用いて処理を行う。【００４６】
計測したデータはローカルシステム110にて画像データ処理を行い、前述のようにノイズの影響を弱めながら、代表色などの顔色特徴の情報、脈拍数、脈波伝播速度の算出t28を行う。結果は通信部103を介してネットワーク106経由でサービスサーバ107に送られる。送られてきたデータに対し、脈波伝播速度とその人の血圧推定用のパラメータt27を用いて血圧推定t29を行う。顔色特徴、脈拍数や脈波伝播速度、推定した血圧、計測時刻や場所の情報等のデータをデータ格納部108に格納するt30。この時、天気、気温、気圧、湿度などの環境データを併せて蓄積しても良い。これら環境データは、本システムにセンサを組み込んで実測してもよいし、簡易的に時刻及び場所情報を使って外部サービスから取得してもよい。これら環境データを併せて記録し、集まったデータを解析することで、ノイズを抑えてより精度の高い生体情報から体調変化の隠れた要因を見出すことが可能であり、本人の予防行動に結び付けるなど、新たな医学的知見を得たりすることができる。【００４７】
これら最新のデータと過去の履歴データを用いて可視化処理t31を行う。ここで、データ格納部108に蓄積されている異常判定のアルゴリズム及び判定基準値に従い計測結果、あるいは計算した特徴量を用いて異常判定t32を行う。例えば、脈拍数の下限、上限、推定血圧の下限、上限を個人ごとに設定しておき、下限を下回った場合や上限を上回った場合に警告を出しあらかじめ設定された外部機関に通知を行う。この下限、上限は医師などにより、個人の特性を考慮して決められる。また、異常検知のアルゴリズムとして、さらに脈拍数や血圧の前回測定値から変化量、長期間平均値からの変化量、同様な時間帯における長期間平均からの変化量が予め定められた一定量以上になった場合を異常としてもよい。異常と判定された場合、加入外部サービス情報に基づき外部機関の情報システム109に異常通知t33を行う。外部機関109は、例として、病院、警備会社、家族の自宅などがある。図１では外部機関への通知をネットワーク経由としたが、電話回線など、生体情報を収集するためのネットワークと異なる手段を用いてもよい。このようにして、ノイズを抑えてより精度の高い生体情報の取得を起点として、個々人の体調管理を効率よく行うことが出来る。【００４８】
次に、異常な場合、正常な場合ともに、本人向けのメッセージを作成し、可視化処理結果とともにローカルシステム110の表示部104に表示する。ここで表示方法について説明する。【００４９】
図１２は表示方法の一例を示したものである。撮影した顔画像の上に観察領域501、502、503の輪郭を重ねて描き、計測した脈波伝播速度に対応する速度で各領域内を順次色が変化する処理を行う。併せて計測結果から計算された脈拍数、推定血圧などの情報をメッセージ部t36に表示する。さらに、システムからのメッセージもメッセージ部t36に表示する。図１２では、過去の履歴をグラフ表示する画面への切り替えアイコンt37、体調不良の自覚がある場合に外部に通知を行うためのアイコンt38を配置した。外部への通知アイコンt38を選択した場合、自動判定した異常通知のt33と同様に外部機関へ通知を行う。また、通知アイコンt38を選択した場合に通知先、通知内容などを選択する機能を用意しても良い。このようにして、観察領域と生体情報を把握すると同時に通知機能を用いたり、過去履歴も確認できる。【００５０】
図１３は直感的にわかり易い表示方法の他の例を示したものである。脈波伝播速度を表示するのに観察領域501、502、503そのものではなく、矢印t39で可視化を図ったものである。ここでも、例として、矢印の尾部t40から先端部t41にかけて脈波伝播速度と対応する速度で色が移動するように表示する。これにより直感的にわかりやすく血流を表示することが可能である。尚、ここでは矢印t39の形状としたが、長方形など他の形状でもよい。【００５１】
図２０は、計測結果の脈波形を図１３とは異なる表示方法として、波形の形t52で示したものである。この脈波形は領域#1(501)の波形信号＃１や領域#2の波形信号#2をそのまま表示すると、外光などによるノイズt53が乗ってしまい、見難い波形となり、また脈拍数や脈波伝播速度計算の妨げにもなる。本実施例の方法に従い差分波形t52を表示することで、ノイズを低減して見やすい波形が表示でき、併せて正確な脈拍数や脈波伝播速度計算が可能となる。【００５２】
グラフ表示する画面への切り替えアイコンt37を選択した場合の画面表示例を図２２に示す。推定血圧を示したグラフである。医師等の指導を受けて設定した範囲1（t54）、範囲２(t55)、範囲３(t56)は各々血圧が低目である領域、正常領域、高めである領域を示している。血圧は日内変動を考慮し、一日朝晩の二回測るものとした。横軸は日付であり、血圧変動の傾向をグラフで把握することが可能である。この範囲に応じてメッセージ部t36に「血圧が高い可能性があります」などのメッセージを表示し、例えば血圧計によるより正確な計測の実施を促す。ここで図２２の例では一週間程度の範囲を示しているが、より長期の範囲を表示しても良い。例えば、過去の血圧プロットを週の平均値などにして、プロット数を抑えて見やすさを保ちながらより長期の範囲を表示してもよい。このようにして、より正確な推定血圧の変動と所定の範囲との関係を、容易に理解する事が可能となる。【００５３】
継続蓄積された生体情報は本人の他、本人が許可した人、組織が閲覧できることができるように権限管理を行う。例えば、持病があり、定期的に病院を受診する際に医師が前回受診から今回までの家庭における状態をチェックし、状態判断の補助に使う。血圧はその時々で変化し、日内変動もあることから、受診時の測定データのみを用いるのに比べて、より詳細に状態を把握することが出来るという特徴がある。また、一日に複数回計測を行うことにより、脈拍数や推定血圧の日内変動のテーブルを作成することが可能である。特に血圧の日内変動の特異パターンは、脳血管障害や心肥大などの合併症や臓器障害などの病気のリスクと関係があることがわかっているため、より正確な血圧変動の把握が容易になることは、病気のリスクの早期発見に効果がある。
【実施例２】
【００５４】
図１４は、本発明の実施例２に係る情報システムの機器構成を示した図である。本実施形態にかかる情報システムは、第一の撮像部N1、第二の撮像部N3、データ処理部N2よりなる。第一の撮像部N1は車室内に設置されたカメラであり、撮像対象N5は車などの乗り物のドライバである。第二の撮像部N3は車室内外に設置されたカメラであり、撮像対象N4は自車両周辺の車両、歩行者、および空・建物・道路などの背景である。車室内のカメラ映像は時間帯や天候の変化に起因する外乱の影響を受けるため、ノイズの影響を抑えて顔色を計測することが困難となる。本実施形態では、第二の撮像部N3によって外乱の要因となる時間帯や天候を判定し、それぞれに適したノイズ低減処理を行うことで好適に脈拍数や脈波伝播速度を測定する。以下、詳細な処理フローについて説明する。【００５５】
図１５に本実施形態におけるデータ処理部N2の動作処理のフローチャートを示す。【００５６】
ステップN2001において、データ処理部N2は、第一の撮像部N1から出力された画像を読み込む。ステップN2002において、データ処理部N2は、例えば実施例1と同じ方法で顔領域を検出する。ステップN2003において、データ処理部N2は、前記ステップN2002で検出された顔領域近傍における座席領域（例えば、ヘッドレスト部や座席上部）を検出する。具体的には、まず工場出荷時やカメラ取り付け時に作成しておいた背景画像（ドライバが座ってない車室内画像）から、第一の撮像部N1から出力された画像を減算し、移動物体のみの画像を作成する。次に、第一の撮像部N1から出力された画像から、前記作成した移動物体のみの画像を減算し、静止物体のみの画像を作成する。最後に、前記作成した静止物体のみの画像から、ヘッドレストや座席上部に該当する注目領域を切り出して座席領域画像を作成する。【００５７】
ステップN2004〜N2007では車室外カメラ画像の処理を行う。ステップN2004において、データ処理部N2は、第二の撮像部N3から出力された画像を読み込む。ステップN2002において、データ処理部N2は、画像の平均輝度の時系列変化を解析して時間帯（昼/夜）を判定する。例えば、平均輝度が一定時間低い状態が続く場合は夜と判定する。朝/昼/夕/夜のように利用環境にあわせて細分化して判定することも可能である。ステップN2006において、データ処理部N2は、雨滴や高輝度領域、スミア（白飛び）の有無などを解析して天候（晴/雨）を判定する。例えば、レンズ表面に水滴が付着する場合は雨と判定し、太陽光によるスミアが発生する場合は快晴と判定する。この場合も、晴/曇/雨/霧のように細分化して判定してもよい。ステップN2007において、データ処理部N2は、前記判定された時間帯や天候別の座席領域画像として予め作成されている画像又は生成される画像を参照画像として読み込む。【００５８】
ステップN2008において、データ処理部N2は、前記読み込んだ参照画像と前記作成した座席領域画像の平均輝度差分を算出することで、現在の顔画像にのったノイズ成分を算出する。また、座席領域画像は対応付けた時間帯・天候別にRAMに保存しておく。ステップN2009において、データ処理部N2は、顔画像から前記算出したノイズ成分（RGB輝度値）を減算する。ステップN2010において、データ処理部N2は、実施例1で記述した方法により脈波や血圧値を算出する。【００５９】
以上説明した実施例２では、第二の撮像部を設けて天候・時間帯を解析することで、顔色にのったノイズ成分を算出できるため、外乱の大きい車載システム上でもさらに好適に血圧値を算出することができる。また、本実施例で説明した血圧算出方法を用いることで、運転前の健康状態チェックシステムや、運転中の異常検知システムなどとして活用することができる。
【実施例３】
【００６０】
図１６は、本発明の実施例３に係る情報システムの撮像部を説明する図である。撮像部（カメラ部）t7は赤外線カメラである。情報システムにはこの撮像部t7の他に、実施例１で述べたデータ処理部102や表示部104、通信部103などを含んでいる。赤外線カメラは暗い場所でも撮影可能である。赤外線領域の光を検知して撮影した画像であっても、撮影した画像のデータ処理は実施例１と同様に行えばよい。周囲が暗い状況では信号強度が小さく、従ってノイズ耐性が下がるため、本発明がより有効である。また、周囲を含め明瞭な画像を得るためには、赤外線照射器t6と組み合わせても良い。周囲環境が明るくなくても計測可能であることから、ベッドに横たわった人t8の常時モニタリングに適する。例えば、入院患者や家庭や介護施設での就寝時の常時モニタリングを行うことができる。また、赤外線照射器をランダムドットパターンにすることで、既知のデプスカメラ技術による三次元計測が可能となる。この場合は、胸部形状の時系列変化を観測できるため、前記と同様の周波数解析手法によって呼吸数を計測することができる。
【実施例４】
【００６１】
図１７は、本発明の実施例４に係る情報システムの撮像部とデータ処理部とを説明する図である。撮像部（カメラ部）101と赤外線センサアレイt9の組合せになっている。ここでは例として焦電素子を用いた赤外線センサを8×8のマトリックス状に並べたセンサアレイを用いた。素子の種別やセンサアレイの個数、並べ方は左記と異なっていても良い。撮像部（カメラ部）1と赤外線センサアレイt9は軸を合わせ、同じ方向を撮影するように調整を行っている。  焦電素子はキャリブレーションを行うことで対象物の温度を測ることができる。従って、ここまで述べた実施例１乃至３記載の方法でノイズを抑えた上で計測される脈拍数、推定血圧、呼吸数に加え、体表面温度を計測することが可能であり、基本的なバイタル情報を取得可能である。尚、ここでは赤外線センサとして焦電素子を用いたが、他の方式の赤外線センサを用いても良い。ここで、体表面温度は所謂体温と異なり、外気の影響を受けるため正確性は劣るが、体温と強い相関を持つのは明らかである。従って発熱などの健康状態の変化を捉えることができる。特に、毎回同じ部位の体表面をモニタすることで変化を捉えることは体調の変化の検知に有効である。【００６２】
カメラの像とセンサアレイで得られる像t11を重ね併せて表示した例を図１８に示す。カメラ画像に対して顔認識を行った結果t10も重ねて示している。部位に対する画像認識結果を用いることで、赤外線センサがどの部位の温度を計測しているかの対応付けが可能になる。従って、部位やマトリックスの位置を選択する入力を受付け、8×8のマトリックスの中から所望の部位に対応する測定結果を使う。ここでは、額に対応する部位t12及びt13の計測結果の平均を用いて体調のモニタリングに使った。他の部位、例えば頬や横を向いたときの首筋などをモニタに用いても良く、測定部位の情報とともに蓄積する。【００６３】
本実施例のシステムは遠隔でノイズを低減しながら生体情報を取得できるため、遠隔医療にも適する。例えばテレビ電話で医師と遠隔で会話する際に、計測情報を医師側に表示することで、医師が定量的な状態データを把握しながら問診等を行うことができる。また、蓄積した情報も表示することで、前回会話してから今回までの間の情報を把握することができ、より対象者の状態を正確に把握することができるという特徴がある。【００６４】
非接触でノイズを低減しながら生体情報が取れることは、例えばウイルス感染の治療の際にも有効である。医師や看護師などのスタッフは患者に触れることなく情報を取得することが可能である。また、常時情報を取得できるため、異変が起きた際に早期に自動検出することが可能であり、迅速な対処ができるという特徴がある。類似の使用方法として、インフルエンザ流行時の一次スクリーニングがある。感染が疑われる来院者を隔離した小部屋にて本実施例のシステムでバイタルチェックを行い、インフルエンザが疑われる人と、通常の風邪などの患者を振り分けて別の部屋に通すことで、インフルエンザに罹っていない人とインフルエンザ患者の接触を防ぐことが出来、病院での感染を防ぐことが可能である。また、病院等の小部屋ではなく、本実施例のシステムを家庭に置いて判断を行っても良い。また、この際に病院窓口もインフルエンザ対応の窓口とそれ以外の窓口を分けるとよい。病院に行く前に判断をつけることで、始めから適切な窓口に向かうことで、やはり病院での感染を防ぐことが可能である。さらに、病院の待合室に本実施例のシステムを設置し、診察前にバイタル情報のチェックを行うことも有効である。来院者の負担少なくノイズを低減した上でバイタル情報のチェックを行うことが出来、さらに病院側としては診察時に熱や脈などを測る手間が省けるため、診察効率を上げることが可能である。【００６５】
図１９は図１７に示したシステムを人などを対象とした見守り用のロボット（以下、見守りロボット）と一体に組み込んだ例である。見守りロボットt40は、カメラ101、赤外線センサアレイt9、表示部104を有し、さらにマイクt41、スピーカt42、薬の取り出し口t43、通信部t44を備えている。データ処理部を内部に有しても良いし、通信部104を介して外部に情報を送信し、外部にて処理された情報を取得して表示部104に表示しても良い。ロボットは対話機能を有し、これにより一定時間観察対象者がロボットに正対することになるため、画像を撮影することで生体情報を取得できる。図１９には居間などでの据え置き型のロボットの例を示したが、移動機能を有してもよい。移動機能があれば、異なる生活シーンにおいて画像情報を取得することが可能となり、より多くの情報を取得できるという特徴がある。また、カメラから取得する画像データにおける顔の対称度などを評価し、予め定められた条件を満たすように撮影に適した位置にカメラを移動させることが可能である。このようにして日当たりや振動など画像に多くのノイズが乗る環境を可能な限り避けて撮影することが可能であり、予めノイズの影響を下げた環境下のカメラを用いて、実施例１〜３の手法でさらにノイズを低減して生体情報を取得する事が可能である。【００６６】
次に服薬支援機能について説明する。例えばヘルパーや調剤薬局のスタッフが見守りロボット内部に必要な薬をセットしておく。薬を飲む時間になると、ロボットがスピーカt42から音声で呼びかけ、表示部104への表示を行う。本人がロボットt40の前に来て画像認証等で本人確認ができると薬の取り出し口から一回の服薬する分量の薬が出て来て、服薬履歴に記録を行う。ここで、例えば同居している夫婦で各々服薬している場合などがあるため、本人認証を行うことで、同じ服薬ロボットを使いながらも相互に誤って薬を飲んでしまうことを回避することができる。服薬履歴や現在どのくらいの薬がロボット内部に残っているかの情報は通信部を介して外部に送信され、ヘルパーや調剤薬局、かかりつけの医師等が遠隔にて確認することができる。本システムではノイズを抑制してバイタル情報を取得できるのに加え、マイクt41を用いて音声情報を取得できる。他の情報と同様に音声の特徴量も継続記録することで、より多くの情報から体調変化を捉えることが出来、異常検出の精度が向上する。このように、服薬履歴とノイズの影響を抑えた高精度な生体情報を継続的に蓄積したデータが取得でき、データ解析を行うことで中長期の服薬の効果や副作用を解析することが可能である。
【符号の説明】
【００６７】
101 撮像部、102 データ処理部、
103 通信部、104 表示部、105 観察対象、106 ネットワーク
107 サービスサーバ、108 データ格納部、109 外部機関
301 血流方向、302 外光などのノイズ源
303、304 計測領域、305、306 代表色算出処理
307、308 基本波抽出処理、309 減算器、310 周波数推定処理
【図１】
2016163019.tif 000003
【図２】
2016163019.tif 000004
【図３】
2016163019.tif 000005
【図４】
2016163019.tif 000006
【図５】
2016163019.tif 000007
【図６】
2016163019.tif 000008
【図７】
2016163019.tif 000009
【図８】
2016163019.tif 000010
【図９】
2016163019.tif 000011
【図１０】
2016163019.tif 000012
【図１１】
2016163019.tif 000013
【図１２】
2016163019.tif 000014
【図１３】
2016163019.tif 000015
【図１４】
2016163019.tif 000016
【図１５】
2016163019.tif 000017
【図１６】
2016163019.tif 000018
【図１７】
2016163019.tif 000019
【図１８】
2016163019.tif 000020
【図１９】
2016163019.tif 000021
【図２０】
2016163019.tif 000022
【図２１】
2016163019.tif 000023
【図２２】
2016163019.tif 000024
【手続補正書】
【提出日】平成29年3月21日(2017.3.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
色情報を含む画像データの入力を受け付け、前記画像データに基づいて生体情報を出力するデータ処理部を備え、
前記データ処理部は、前記色情報に基づき複数領域における代表色を各々算出する代表色算出部と、
前記代表色に基づき前記複数領域における前記代表色の時間変化を示す基本波を各々抽出する基本波抽出部と、
前記複数領域のうち近接する領域間において前記基本波の差信号を算出し、前記差信号の周波数に基づいて脈拍情報を算出する脈拍情報算出部と、
前記脈拍情報を前記生体情報として出力する出力部と、
を備えることを特徴とする生体情報分析システム。
【請求項２】
請求項１に記載の生体情報分析システムであって、
前記画像データは顔部位のデータを含み、
前記データ処理部は、前記顔部位内の鼻の長手方向に沿った軸を抽出する軸抽出部をさらに備え、
前記代表色算出部は、前記複数領域を、前記軸の垂直方向に沿って前記軸の両側で前記軸から略等距離の位置に各々２箇所設定し、
前記代表色の算出の際には、前記複数領域のうち、前記軸の両側に設けられ且つ前記軸から略等距離の領域同士の代表色を用いて算出することを特徴とする生体情報分析システム。
【請求項３】
請求項１に記載の生体情報分析システムであって、
前記画像データは顔部位のデータを含み、
前記データ処理部は、
前記顔部位内の鼻の長手方向に沿った軸を抽出する軸抽出部と、
前記軸の抽出において前記顔の形状と血流量の何れか又は両方に基づいた対称度を算出する対称度算出部と、をさらに備え、
前記代表色算出部は、前記対称度が予め定められた閾値よりも高い場合に、前記軸の垂直方向に沿って前記軸の両側で前記軸から略等距離の位置に前記複数領域を各々２箇所設定し、
前記代表色の算出の際に、前記軸の両側に設けられた前記軸から略等距離の２領域の代表色を用いて算出することを特徴とする生体情報分析システム。
【請求項４】
色情報を含む画像データの入力を受け付け、前記画像データに基づいて生体情報を出力するデータ処理部を備え、
前記データ処理部は、前記色情報に基づき複数領域における代表色を各々算出する代表色算出部と、
前記代表色に基づき前記複数領域における前記代表色の時間変化を示す基本波を各々抽出する基本波抽出部と、
前記複数領域のうち近接する領域間において前記基本波の差信号を二つ算出し、前記算出された二つの差信号の間の位相差を算出し、前記複数領域間の距離を算出し、前記位相差と前記距離とに基づいて脈拍伝搬速度を算出し、前記脈拍伝搬速度に基づいて血圧を算出する血圧算出部と、
前記血圧を前記生体情報として出力する出力部と、
を備えることを特徴とする生体情報分析システム。
【請求項５】
請求項４に記載の生体情報分析システムであって、
前記画像データは顔部位に関するデータを含み、
前記代表色算出部は、前記画像データから前記顔部位内の鼻の長手方向に沿った軸を抽出し、前記複数領域を前記軸の片側に前記軸の垂直方向に沿って接する３領域として設定し、前記色情報に基づいて前記複数領域の各々について前記代表色を算出することを特徴とする生体情報分析システム。
【請求項６】
請求項４に記載の生体情報分析システムであって、
前記画像データは顔部位に関するデータと、顔以外の部位である顔外部位に関するデータと、を含み、
前記代表色算出部は、前記画像データから、前記複数領域を前記顔部位と前記顔外部位とにおいてそれぞれ２領域以上設定し、前記設定の際には、前記顔部位内の複数領域と前記顔外部位内の複数領域とを前記複数領域の各々における血流方向に沿って２領域以上並べ、前記色情報に基づいて前記顔部位と前記顔外部位とにおける各領域の代表色を算出し、
前記血圧算出部は、前記算出された基本波に基づき、前記顔部位内の複数領域における差信号である顔部位の差信号と、前記顔外部位内の複数領域における差信号である顔外部位の差信号と、を算出し、
前記顔部位の差信号と前記顔外部位の差信号との間の位相差を算出し、前記顔部位と前記顔外部位の距離を算出し、前記位相差と前記距離とに基づいて脈拍伝搬速度を算出し、前記脈拍伝搬速度に基づいて前記血圧を算出することを特徴とする生体情報分析システム。
【請求項７】
請求項１に記載の生体情報分析システムであって、
前記画像データは指部位の画像データを含み、
前記複数領域は前記指部位における領域を含み、
前記データ処理部は、前記指部位の画像データに基づき個人認証を行い、前記認証された個人と前記生体情報とを関連づけて出力することを特徴とする生体情報分析システム。
【請求項８】
請求項４に記載の生体情報分析システムであって、
前記画像データは指部位の画像データと、手首部位の画像データとを含み、
前記代表色算出部は、前記複数領域を、前記指部位と前記手首部位とにおいてそれぞれ２領域以上設定し、
前記設定の際には、前記指部位内の複数領域と前記手首部位内の複数領域とを前記複数領域の各々における血流方向に沿って２領域以上並べ、
前記色情報に基づいて前記指部位と前記手首部位とにおける各領域の代表色を各々算出し、
前記血圧算出部は、前記算出された基本波に基づき、前記指部位内の複数領域における差信号である指部位の差信号と、前記手首部位内の複数領域における差信号である手首部位の差信号と、を算出し、
前記出力部は、前記指部位の画像データに基づき個人認証を行い、前記認証された個人と前記血圧とを互いに関連づけて出力することを特徴とする生体情報分析システム。
【請求項９】
請求項６に記載の生体情報分析システムであって、
前記顔外部位は手のひらの部位であって、
前記画像データは一つの撮像装置にて撮像されていることを特徴とする生体情報分析システム。
【請求項１０】
請求項１に記載の生体情報分析システムであって、
前記データ処理部は、前記生体情報が予め定められた条件を満たさない場合、異常状態であることを通知することを特徴とする生体情報分析システム。
【請求項１１】
請求項１０に記載の生体情報分析システムであって、
前記データ処理部は、前記複数領域と、前記生体情報と、異常状態であることを通知する異常送信アイコンと、を画面に表示することを特徴とする生体情報分析システム。
【請求項１２】
請求項１に記載の生体情報分析システムであって、
前記データ処理部は、前記差信号を出力することを特徴とする生体情報分析システム。
【請求項１３】
請求項１に記載の生体情報分析システムであって、
前記画像データは乗り物内に関する第一の画像データと、乗り物外に関する第二の画像データと、を含み、
前記第一の画像データは顔部位に関するデータを含み、
前記データ処理部は、
前記第一の画像データから座席領域を検出し、
前記第二の画像データから時刻情報と天候情報の何れか又は両方を取得し、前記時刻情報又は天候情報の何れか又は両方に基づいて参照画像を読み込み、
前記参照画像を用いて前記第一の画像データの座席領域の画像データを補正し、
前記補正された座席領域の画像データに基づいて、前記生体情報を出力することを特徴とする生体情報分析システム。
【請求項１４】
請求項１に記載の生体情報分析システムであって、
さらに赤外線センサアレイを備え、
前記データ処理部は、前記赤外線センサアレイから領域と前記領域における温度を含む温度情報を取得し、前記温度情報と前記生体情報とを出力することを特徴とする生体情報分析システム。
【請求項１５】
請求項３に記載の生体情報分析システムであって、
さらに前記画像データを撮像する撮像部と、前記撮像部を移動させる移動部とを備え、
前記移動部は、前記対称度が予め定められた値よりも低い場合、前記撮像部を移動させることを特徴とする生体情報分析システム。
【国際調査報告】
2016163019.tif 000025
2016163019.tif 000026
2016163019.tif 000027
2016163019.tif 000028