(57)【要約】  本発明にかかる生体情報計測装置は、時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測装置であって、ヘモグロビンの吸収波長帯域に感度域を有し、受光した光に基づく第１の撮像信号を生成する複数の第１の画素と、第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、長波長側感度域および短波長側感度域の幅が第１の画素の感度域の幅よりも小さく、受光した光に基づく第２の撮像信号を生成する複数の第２の画素と、時系列で生成された第１の撮像信号および第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成する時系列信号生成部と、時系列信号を複数の信号成分に分離する信号成分分離部と、信号成分分離部が分離した複数の信号成分のうち、生体情報に応じた信号成分を選択する生体情報成分選択部と、を備える。
2017104056.tif 000002
【特許請求の範囲】
【請求項１】
時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測装置であって、
ヘモグロビンの吸収波長帯域に感度域を有し、受光した光に基づく第１の撮像信号を生成する複数の第１の画素と、
前記第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、前記長波長側感度域および前記短波長側感度域の幅が前記第１の画素の感度域の幅よりも小さく、受光した光に基づく第２の撮像信号を生成する複数の第２の画素と、
時系列で生成された前記第１の撮像信号および前記第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成する時系列信号生成部と、
前記時系列信号を複数の信号成分に分離する信号成分分離部と、
前記信号成分分離部が分離した複数の信号成分のうち、前記生体情報に応じた信号成分を選択する生体情報成分選択部と、
を備えることを特徴とする生体情報計測装置。
【請求項２】
前記第２の画素は、前記長波長側感度域および前記短波長側感度域に互いに離間したピークを有する
ことを特徴とする請求項１に記載の生体情報計測装置。
【請求項３】
前記複数の信号成分に対して周波数解析を行う周波数解析部をさらに備え、
前記生体情報成分選択部は、前記複数の信号成分と、前記周波数解析部の解析結果とをもとに、前記生体情報に応じた信号成分を選択する
ことを特徴とする請求項１又は２に記載の生体情報計測装置。
【請求項４】
時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測装置が行う生体情報計測方法であって、
ヘモグロビンの吸収波長帯域に感度域を有する複数の第１の画素が、受光した光に基づく第１の撮像信号を時系列で生成するとともに、前記第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、前記長波長側感度域および前記短波長側感度域の幅が前記第１の画素の感度域の幅よりも小さい複数の第２の画素が、受光した光に基づく第２の撮像信号を時系列で生成し、
時系列で生成された前記第１の撮像信号および前記第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成し、
前記時系列信号を、複数の信号成分に分離し、
分離した複数の信号成分のうち、前記生体情報に応じた信号成分を選択する、
ことを特徴とする生体情報計測方法。
【請求項５】
時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測プログラムであって、
ヘモグロビンの吸収波長帯域に感度域を有する複数の第１の画素が、受光した光に基づく第１の撮像信号を時系列で生成するとともに、前記第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、前記長波長側感度域および前記短波長側感度域の幅が前記第１の画素の感度域の幅よりも小さい複数の第２の画素が、受光した光に基づく第２の撮像信号を時系列で生成する撮像信号生成手順と、
時系列で生成された前記第１の撮像信号および前記第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成する時系列信号生成手順と、
前記時系列信号を、複数の信号成分に分離する信号分離手順と、
分離した複数の信号成分のうち、前記生体情報に応じた信号成分を選択する生体情報成分選択手順と、
をコンピュータに実行させることを特徴とする生体情報計測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をもとに生体情報を計測する生体情報計測装置、生体情報計測方法および生体情報計測プログラムに関する。
【背景技術】
【０００２】
従来、医療分野および健康分野において、人間の健康状態を把握するための情報として、心拍数や、酸素飽和度等のバイタル情報を用いて、被写体の健康状態を把握する技術が知られている。例えば、赤色の光および近赤外の光それぞれを照射した生体をイメージセンサによって撮像し、このイメージセンサによって生成された画像データに基づいて、生体の心拍数を取得する技術が知られている（例えば、特許文献１および非特許文献１を参照）。  【０００３】
特許文献１および非特許文献１が開示する技術では、被写体の顔領域を撮像した画像信号をもとに、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の信号値を時系列に並べて複数の一次元信号を生成し、独立成分分析（Independent  Component  Analysis：ＩＣＡ）を用いて信号成分を分離して、心拍成分を抽出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５６７２１４４号公報
【非特許文献】
【０００５】
【非特許文献１】Poh,  M.  Z.,  McDuff,  D.,  and  Picard,  R.  Non-contact,  automated  cardiac  pulse  measurements  using  video  imaging  and  blind  source  separation.  Optics  Express,  Vol.  18,  Issue  10,  pp.10762-10774,  2010.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１および非特許文献１が開示する技術では、一般的なＲ成分、Ｇ成分およびＢ成分の各信号値を用いることを前提としており、生体特性や、照明環境の変化が考慮されているものではなかった。例えば、室内の照明変化のない環境においては良好な結果を得ることができるものの、屋外など照明条件が変動する環境においては安定的に心拍を抽出することはできなかった。【０００７】
本発明は、上記に鑑みてなされたものであって、心拍など生体情報を環境によらず安定して検出することができる生体情報計測装置、生体情報計測方法および生体情報計測プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明に係る生体情報計測装置は、時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測装置であって、ヘモグロビンの吸収波長帯域に感度域を有し、受光した光に基づく第１の撮像信号を生成する複数の第１の画素と、前記第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、前記長波長側感度域および前記短波長側感度域の幅が前記第１の画素の感度域の幅よりも小さく、受光した光に基づく第２の撮像信号を生成する複数の第２の画素と、時系列で生成された前記第１の撮像信号および前記第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成する時系列信号生成部と、前記時系列信号を複数の信号成分に分離する信号成分分離部と、前記信号成分分離部が分離した複数の信号成分のうち、前記生体情報に応じた信号成分を選択する生体情報成分選択部と、を備えることを特徴とする。【０００９】
上述した課題を解決し、目的を達成するために、本発明に係る生体情報計測方法は、時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測装置が行う生体情報計測方法であって、ヘモグロビンの吸収波長帯域に感度域を有する複数の第１の画素が、受光した光に基づく第１の撮像信号を時系列で生成するとともに、前記第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、前記長波長側感度域および前記短波長側感度域の幅が前記第１の画素の感度域の幅よりも小さい複数の第２の画素が、受光した光に基づく第２の撮像信号を時系列で生成し、時系列で生成された前記第１の撮像信号および前記第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成し、前記時系列信号を、複数の信号成分に分離し、分離した複数の信号成分のうち、前記生体情報に応じた信号成分を選択する、ことを特徴とする。【００１０】
上述した課題を解決し、目的を達成するために、本発明に係る生体情報計測プログラムは、時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測プログラムであって、ヘモグロビンの吸収波長帯域に感度域を有する複数の第１の画素が、受光した光に基づく第１の撮像信号を時系列で生成するとともに、前記第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、前記長波長側感度域および前記短波長側感度域の幅が前記第１の画素の感度域の幅よりも小さい複数の第２の画素が、受光した光に基づく第２の撮像信号を時系列で生成する撮像信号生成手順と、時系列で生成された前記第１の撮像信号および前記第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成する時系列信号生成手順と、前記時系列信号を、複数の信号成分に分離する信号分離手順と、分離した複数の信号成分のうち、前記生体情報に応じた信号成分を選択する生体情報成分選択手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、心拍など生体情報を環境によらず安定して検出することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の一実施の形態に係る生体情報計測装置の機能構成を示すブロック図である。
【図２】図２は、本発明の一実施の形態に係る撮像素子の構成を説明する図である。
【図３】図３は、本発明の一実施の形態に係る撮像素子の感度特性の一例を示す図である。
【図４】図４は、本発明の一実施の形態に係る撮像素子が生成した画像データに対応する現像画像の一例を示す図である。
【図５】図５は、本発明の一実施の形態に係る信号成分分離部が生成した信号成分について説明する図である。
【図６】図６は、一般的なＲＧＢフィルタを用いた場合の各画素の感度特性を示す図である。
【図７】図７は、ＲＧＢフィルタを用いた場合に得られる現像画像データを用いて信号成分分離部が生成した信号成分について説明する図である。
【図８】図８は、接触式指尖容積脈波（Blood  Volume  Pulse：ＢＶＰ）センサによる脈波計測結果を示す図である。
【図９】図９は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。
【図１０】図１０は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。
【図１１】図１１は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。
【図１２】図１２は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。
【図１３】図１３は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。
【図１４】図１４は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。
【図１５】図１５は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。
【図１６】図１６は、ヘモグロビン（HbO2，Hb）およびメラニン（Eumelanin，Pheomelanin）のモル吸光係数を示す図である。
【図１７】図１７は、第２画素の感度特性の一例を示す図である。
【図１８】図１８は、第２画素の感度特性の一例を示す図である。
【図１９】図１９は、第２画素の感度特性と心拍検出との関係を説明するための図である。
【図２０】図２０は、第２画素の感度特性と心拍検出との関係を説明するための図である。
【図２１】図２１は、第２画素の感度特性と心拍検出との関係を説明するための図である。
【図２２】図２２は、第２画素の感度特性と心拍検出との関係を説明するための図である。
【図２３】図２３は、第２画素の感度特性と心拍検出との関係を説明するための図である。
【図２４】図２４は、第２画素の感度特性と心拍検出との関係を説明するための図である。
【図２５】図２５は、第２画素の感度特性と心拍検出との関係を説明するための図である。
【図２６】図２６は、第２画素の感度特性と心拍検出との関係を説明するための図である。
【図２７】図２７は、第２画素の感度域を、第１画素の短波長側で４７０ｎｍ〜５３０ｎｍ、および長波長側で５９０ｎｍ〜６５０ｎｍの波長帯域とした場合の解析結果を示す図である。
【図２８】図２８は、本発明の一実施の形態に係る生体情報計測装置が行う処理を説明するフローチャートである。
【図２９】図２９は、本発明の実施の形態の変形例に係る撮像素子の感度特性の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。また、同一の構成には同一の符号を付して説明する。
【００１４】
図１は、本発明の一実施の形態に係る生体情報計測装置の機能構成を示すブロック図である。図１に示す生体情報計測装置１は、光学系２１と、撮像素子２２と、フィルタアレイ２３と、Ａ／Ｄ変換部２４と、画像生成部２５と、顔検出部２６と、平均値算出部２７と、時系列データ生成部２８と、トレンド除去部２９と、信号成分分離部３０と、周波数解析部３１と、信号選択部３２と、出力部３３と、制御部３４と、記録部３５と、を備える。
【００１５】
光学系２１は、一または複数のレンズ、例えばフォーカスレンズやズームレンズ、しぼりおよびシャッタ等を用いて構成され、被写体像を撮像素子２２の受光面に結像する。
【００１６】
撮像素子２２は、フィルタアレイ２３を透過した被写体像を受光して光電変換を行うことによって、画像データを所定のフレーム（６０ｆｐｓ）に従って連続的に生成する。撮像素子２２は、二次元状に配置された複数の画素の各々がフィルタアレイ２３を透過した光を光電変換し、電気信号を生成するＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）またはＣＣＤ（Charge  Coupled  Device）等を用いて構成される。
【００１７】
フィルタアレイ２３は、撮像素子２２の受光面に配置される。図２は、撮像素子２２の構成を説明する図である。フィルタアレイ２３は、５３０ｎｍ〜５９０ｎｍの波長帯域の光を透過する第１フィルタと、５００ｎｍ〜５３０ｎｍおよび５９０ｎｍ〜６２０ｎｍの波長帯域の光を透過する第２フィルタとを、撮像素子２２を構成する各画素に対応させてマトリックス状に配置、または所定のパターンで配置している。なお、以下においては、図２に示すように、第１フィルタが配置された画素を第１画素Ｐ1、第２フィルタが配置された画素を第２画素Ｐ2として説明する。
【００１８】
図３は、撮像素子２２の感度特性の一例を示す図である。図３において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図３において、曲線Ｌ1が、第１フィルタが設けられた第１画素Ｐ1の感度特性を示し、曲線Ｌ2が、第２フィルタが設けられた第２画素Ｐ2の感度特性を示す。
【００１９】
具体的には、第１画素Ｐ1は、第１フィルタが５３０ｎｍ〜５９０ｎｍの波長帯域の光を透過するため、５３０ｎｍ〜５９０ｎｍの波長帯域の光に対して感度（ピーク）を有する。第１画素Ｐ1は、第１フィルタを透過した光を受光して、電気信号を生成する。以下、複数の第１画素Ｐ1が生成した複数の電気信号をまとめて第１の撮像信号という。
【００２０】
第２画素Ｐ2は、第２フィルタを透過した５００ｎｍ〜５３０ｎｍおよび５９０ｎｍ〜６２０ｎｍの波長帯域の光を受光する。第２画素Ｐ2の感度を示す曲線Ｌ2は、第１画素Ｐ1の感度域より短波長側である５００ｎｍ〜５３０ｎｍの波長帯域（短波長側感度域）の光に対して感度（ピーク）を有する第１曲線Ｌ21と、第１画素Ｐ1の感度域より長波長側である５９０ｎｍ〜６２０ｎｍの波長帯域（長波長側感度域）の光に対して感度（ピーク）を有する第２曲線Ｌ22とを含んでいる。なお、第２画素Ｐ2の感度域が、第１画素Ｐ1の感度域の一部と重複していてもよいし、第１画素Ｐ1の感度域において、若干の感度を有するものであってもよい。第２画素Ｐ2は、第２フィルタを透過した光を受光して、電気信号を生成する。また、第２画素Ｐ2の感度域の幅は、第１画素Ｐ1の感度域の幅よりも小さい。以下、複数の第２画素Ｐ2が生成した複数の電気信号をまとめて第２の撮像信号という。
【００２１】
図１に戻り、Ａ／Ｄ変換部２４は、撮像素子２２から入力されたアナログの第１および第２の撮像信号（画像データ）をデジタルの画像データ（ＲＡＷ画像データ）に変換して画像生成部２５へ出力する。Ａ／Ｄ変換部２４は、撮像素子２２からフレームごとに順次出力されるアナログの画像データについて、順次ＲＡＷ画像データに変換して画像生成部２５に入力する。
【００２２】
画像生成部２５は、Ａ／Ｄ変換部２４によって生成されたＲＡＷ画像データを取得し、画像生成処理を施して、第１の撮像信号の各電気信号の信号値に対応する第１輝度と、第２の撮像信号の各電気信号の信号値に対応する第２輝度とがそれぞれ付与された現像画像データを生成する。画像生成部２５は、生成した現像画像データを顔検出部２６および平均値算出部２７にそれぞれ入力する。画像生成部２５は、各チャンネルを周囲の画素で補間して画素ごとに複数のチャンネルデータを生成するいわゆるデモザイク処理を用いて現像画像を生成してもよいし、ＲＡＷ画像データから近傍領域の各チャンネルの平均値を計算することで現像画像を生成してもよい。この場合、必ずしもＲＡＷ画像データの画像サイズと現像画像の画像サイズが同一である必要はない。
【００２３】
顔検出部２６は、画像生成部２５から入力された現像画像データに対応する画像に含まれる被写体の顔を含む領域（以下、顔領域ともいう）を、周知のパターンマッチング等を用いて検出し、この検出結果を平均値算出部２７へ入力する。被写体の顔を含む領域の検出は、一般的に知られる  Active  Appearance  Models（ＡＡＭｓ）、Active  Shape  Models（ＡＳＭｓ）、Constrained  Local  Models（ＣＬＭｓ）など公知の顔検出アルゴリズムを用いてよい。例えば、Sauer,  P.,  Cootes,  T.,  Taylor,  C.:  Accurate  regression  procedures  for  active  appearance  models.  In:  British  Machine  Vision  Conference.(2011)や、Cootes,  T.,  Taylor,  C.,  Cooper,  D.,  Graham,  J.,  et  al.:  Active  shape  models-their  training  and  application.  Computer  vision  and  image  understanding  61  (1995)  38-59、Cristinacce,  D.,  Cootes,  T.:  Automatic  feature  localisation  with  constrained  local  models.  Journal  of  Pattern  Recognition  41  (2008)  3054-3067が挙げられる。
【００２４】
図４は、本発明の一実施の形態に係る撮像素子２２が生成した画像データに対応する現像画像の一例を示す図である。顔検出部２６は、図４に示すように、現像画像Ｗ１に含まれる所定の画素領域それぞれの画素値の画像データに対応する所定域画像に対して、周知のパターンマッチング等の技術を用いて被写体Ａ１の顔を含む顔領域Ｒ１を検出する。
【００２５】
平均値算出部２７は、画像生成部２５が生成した現像画像データと、顔検出部２６が検出した顔領域の検出結果とを取得し、該顔領域における第１の撮像信号に含まれる電気信号の信号値である第１輝度、および顔領域における第２の撮像信号に含まれる電気信号の信号値である第２輝度の平均値をそれぞれ算出する。平均値算出部２７は、算出した平均値に係るデータを時系列データ生成部２８に入力する。
【００２６】
時系列データ生成部２８は、平均値算出部２７が算出した第１輝度の平均値、第２輝度の平均値について、それぞれ一定時間（一定フレーム数）の時系列につなげて、時系列データ（時系列信号）を生成する。これにより、第１輝度値が時系列に沿ってつなげられた第１時系列データと、第２輝度値が時系列に沿ってつなげられた第２時系列データとがそれぞれ生成される。時系列データ生成部２８は、生成した第１および第２時系列データをトレンド除去部２９に入力する。
【００２７】
トレンド除去部２９は、時系列データ生成部２８が生成した第１および第２時系列データに対し、経時的に変動するオフセット成分（トレンド）を除去した第１および第２時系列データを生成する。具体的に、トレンド除去部２９は、ハイパスフィルタなどを用いて低周波成分を除去した第１および第２時系列データを生成する。トレンド除去部２９は、トレンド除去後の第１および第２時系列データを信号成分分離部３０に入力する。
【００２８】
ここで、時系列データ生成部２８は、同じ顔領域の信号平均値に基づいて時系列データを生成しているが、被写体（顔検出対象）は必ずしも静止しているわけではなく、また照明環境も一定であるとは限らない。そのため、時系列データは、時刻とともにその平均値の大きさレベルは徐々に変動していく。本発明では、信号選択部３２が心拍信号を選択することが最終的な目的であって、心拍変動成分である、３０〜２００回／分程度の信号変動成分を検出することを目的としているが、本トレンド除去処理において、現実的に３０回／分より周期が長い信号変動成分は心拍以外に起因していると考えられるため、除去することが望ましい。本実施の形態では、トレンド除去部２９が、トレンド除去前の時系列データより、経時的に徐々に変動するオフセット成分を除去し、トレンド除去後の時系列データを生成する。
【００２９】
信号成分分離部３０は、トレンド除去部２９からトレンド除去後の第１および第２時系列データを取得し、該第１および第２時系列データから複数の信号成分をそれぞれ分離する。信号成分分離部３０は、分離した信号成分を周波数解析部３１に入力する。信号成分分離部３０が行う信号成分分離処理としては、独立成分分析（Independent  Component  Analysis：ＩＣＡ）や、時間周波数マスクキング法（Time  Frequency  Masking：ＴＦＭ）、Space  Coding、非負値行列因子分解（Non-negative  Matrix  Factorization：ＮＭＦ）などが挙げられる。例えば、ＩＣＡを用いて信号成分を分離する場合、まず、原信号ｓ(t)が、以下のベクトルで与えられてｓ(t)のｎ次の信号成分が互いに確率的に独立し、観測信号（ここでは時系列データ）が、混合行列Ａを用いて原信号が重み付け合成されたものとして定式化すると、観測信号ｘ(t)は、下式（１）で与えられる。
ｘ(t)  ＝  Ａ・ｓ(t)      ・・・（１）
ここで、ｘ(t)  ＝  [ｘ1(t)，ｘ2(t)，・・・，ｘn(t)]T
ｓ(t)  ＝  [ｓ1(t)，ｓ2(t)，・・・，ｓn(t)]T
である。
データ信号として得られるのは、観測信号ｘ(t)のみであり、ｓ(t)の各成分が互いに確率的に独立であるとの仮定のもと、下式（２）の変換行列Ｗを求めることで、原信号ｓ(t)を得ることができる。
ｓ(t)  ＝  Ｗ・ｘ(t)      ・・・（２）
分離信号をｙ(t)  ＝  [ｙ1(t)，ｙ2(t)，・・・，ｙn(t)]Tとしたとき、信号間の相関が最も小さくなる（Ｅ｛ｙ(t)ｙT(t)｝→diag）ことを基準に変換行列Ｗを求めることで、信号成分が確率的に独立になるように信号を分離することができる。なお、高次相関の無相関化（Ｅ｛ｙ3(t)ｙT(t)｝→diag）や、原信号の確立密度関数の無相関化（Ｅ｛Φ(ｙ(t))ｙT(t)｝→diag、Φ()はシグモイド関数）などによって最適な変換行列を求めてもよい。
【００３０】
図５は、本発明の一実施の形態に係る信号成分分離部が生成した信号成分について説明する図である。本実施の形態に係るセンサ感度特徴は、５３０〜５９０ｎｍの波長帯域に感度を有する心拍検出用の第１画素と、第１画素の長波長側および短波長側の両側にそれぞれ感度（ピーク）を有し、主に照明変動成分を取得する照明変動推定用の第２画素を有している。第１画素が受光する光には、心拍成分と同波長帯の照明変動成分が含まれている。一方、第２画素が受光する光には、心拍成分の感度域外の長波長側及び短波長側領域に感度を持つため、主に、第１画素の感度域近傍の波長成分の照明変動を取得することができる。このため、照明変動成分が単純化することができるとともに、各チャンネル（第１画素および第２画素）に含まれる信号成分にオーバラップが少ない。このため、ＩＣＡなどを用いて最も分離度が高くなる二つの特徴量（特徴量１，２）の特徴量空間へ変換した後、図５に示すように、心拍成分（黒丸）と照明変動成分（白丸）とを高精度に分離することが可能となる。
【００３１】
図６は、一般的な撮像素子に設けられるＲＧＢフィルタを用いた場合の各画素の感度特性を示す図である。図６において、感度曲線ＬRは、Ｒ（赤色）フィルタが設けられた画素の感度特性を示し、感度曲線ＬGは、Ｇ（緑色）フィルタが設けられた画素の感度特性を示し、感度曲線ＬBは、Ｂ（青色）フィルタが設けられた画素の感度特性を示している。感度曲線ＬRは、４７０ｎｍ付近にピークを有する感度特性となっている。また、感度曲線ＬGは、５３０ｎｍ付近にピークを有する感度特性となっている。感度曲線ＬBは、６００ｎｍ付近にピークを有する感度特性となっている。このようなＲＧＢフィルタが設けられた撮像素子では、人の目の生理的特長に着想を得て開発されている。人の網膜にある３種類の錐体細胞へ色刺激として働きかけ、この３種類の信号を組合せる色域を高めている。このようなＲＧＢの各波長帯域に感度をもつ撮像素子は、色再現性を高めることを目的として開発されており、心拍を検出することや、その際の照明変動に対するロバスト性についての配慮が十分でなかった。
【００３２】
ＲＧＢフィルタを設けた撮像素子からの撮像信号を入力として、信号分離を行った場合について説明する。図７は、ＲＧＢフィルタを用いた場合に得られる現像画像データを用いて信号成分分離部が生成した信号成分について説明する図である。図７は、３つの特徴量軸に、心拍成分（黒丸）の信号と照明変動成分（白丸）の信号をプロットしたものを表しており、例えば、図６の感度特性のようにＲＧＢチャンネルの入力信号を入力し、独立成分分析（ＩＣＡ）を用いて心拍成分と照明変動成分の分離を試みた場合に、この２成分が最も確率的に独立となるような特徴量空間を表している。この場合において最も成分が分離する空間に変換したとしても、そもそもの入力であるＲＧＢの各チャンネルの信号は、それぞれ心拍成分を含むとともに、各チャンネルで異なる照明変動成分（外乱成分）を含んでいるため、心拍成分の信号と、照明変動成分の信号とがそれぞれ重なりあうように分布してしまい、精度よく心拍成分を分離することができない。
【００３３】
周波数解析部３１は、信号成分分離部３１から複数の信号成分を取得すると、それぞれに対して周波数解析を行うことにより解析データを算出する。解析データは、時間と振幅との関係を示す波形として出力される。周波数解析処理としては、フーリエ変換や、ウェーブレット変換などの公知の技術を用いることができる。
【００３４】
図８は、接触式指尖容積脈波（Blood  Volume  Pulse：ＢＶＰ）センサによる脈波計測結果を示す図である。図８において、横軸が時間を示し、縦軸が信号値を示す。図８は、４００ｎｍ〜５６０ｎｍの波長帯域における計測結果を示している。図８に示すように、ＢＶＰセンサにより得られた測定結果では、０〜２秒までに３つのピーク（ピークＱ1、Ｑ2、Ｑ3）が認められる。また、各ピークには、二つのピークが認められる。例えば、ピークＱ1では、第１ピークＱ11と、第２ピークＱ12とが認められる。
【００３５】
図９〜図１５は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。図９〜図１５において、横軸が時間を示し、縦軸が強度を示す。図９は５００ｎｍ〜５１０ｎｍの波長帯域における周波数解析結果を示し、図１０は５２０ｎｍ〜５３０ｎｍの波長帯域における周波数解析結果を示し、図１１は５３０ｎｍ〜５４０ｎｍの波長帯域における周波数解析結果を示し、図１２は５６０ｎｍ〜５７０ｎｍの波長帯域における周波数解析結果を示し、図１３は５８０ｎｍ〜５９０ｎｍの波長帯域における周波数解析結果を示し、図１４は５９０ｎｍ〜６００ｎｍの波長帯域における周波数解析結果を示し、図１５は６１０ｎｍ〜６２０ｎｍの波長帯域における周波数解析結果を示している。
【００３６】
ここで、５３０ｎｍ〜５９０ｎｍの波長帯域における解析結果（図１１〜図１３参照）では、上述したピーク（図８参照）を抽出することが可能である。一方、５００ｎｍ〜５１０ｎｍ（図９参照）、５２０ｎｍ〜５３０ｎｍ（図１０参照）、５９０ｎｍ〜６００ｎｍ（図１４）および６１０ｎｍ〜６２０ｎｍ（図１５参照）の各波長帯域における解析結果から上述したピークを検出することは困難である。
【００３７】
５３０ｎｍ〜５９０ｎｍの波長帯域における解析結果が心拍検出に適している理由について、図１６を用いて説明する。図１６は、ヘモグロビン（HbO2，Hb）およびメラニン（Eumelanin，Pheomelanin）のモル吸光係数を示す図である。肌の反射には直接反射と拡散反射があるが、拡散反射が支配的である。拡散反射とは、一旦、肌の中に取り込まれた光が複数回反射して、表層から漏れ出した光である。この際、光が吸収されると、肌表面に漏れ出す光が減少する。また、心拍が変動すると、血管内の血流量が変動する。血液の中にはヘモグロビンが含まれており、図１６に示すように、波長によって光の吸収特性が異なる。図１６に示すように、５３０ｎｍ〜５９０ｎｍにおいてヘモグロビンの吸収特性が強く、これが心拍変動に伴って表層の拡散反射量の変動をもたらす。一方、４００ｎｍ付近もヘモグロビンの吸収特性が大きいが、メラニンの吸収特性も強く、また、波長の４乗に反比例するレイリー散乱の影響を強く受けるため、真皮の血管部位まで到達する光量が少なくなる。このため、５３０ｎｍ〜５９０ｎｍの波長帯域の方が、心拍検出に適しているといえる。このようなことから、本実施の形態では、第１画素Ｐ1の感度域を５３０ｎｍ〜５９０ｎｍの波長帯域としている。
【００３８】
次に、第２画素の感度特性において、第１画素の感度域である５３０ｎｍ〜５９０ｎｍの長波長側および短波長側の両側の波長帯域（５００ｎｍ〜５３０ｎｍおよび５９０ｎｍ〜６２０ｎｍ）に感度を有することの利点について説明する。図１７，１８は、第２画素の感度特性の一例を示す図である。図１７，１８において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。図１７は、第２画素に設けられるフィルタが、５００ｎｍ〜５３０ｎｍの波長帯域の光を透過する特性（第１曲線Ｌ21のみ）を有する第３フィルタである場合を示している。また、図１８は、第２画素に設けられるフィルタが、５９０ｎｍ〜６２０ｎｍの波長帯域の光を透過する特性（第２曲線Ｌ22のみ）を有する第４フィルタである場合を示している。
【００３９】
図１７に示す第３フィルタを用いた場合、第２画素は、第３フィルタが５００ｎｍ〜５３０ｎｍの波長帯域の光を透過するため、５００ｎｍ〜５３０ｎｍの波長帯域に感度（ピーク）を有する。一方で、図１８に示す第４フィルタを用いた場合、第２画素は、第４フィルタが５９０ｎｍ〜６２０ｎｍの波長帯域の光を透過するため、５９０ｎｍ〜６２０ｎｍの波長帯域に感度（ピーク）を有する。
【００４０】
図１９〜図２６は、第２画素の感度特性と心拍検出との関係を説明するための図である。図１９〜図２６において、横軸が時間を示し、縦軸が振幅を示す。
【００４１】
図１９は、一般的な撮像素子に設けられるＲＧＢフィルタを用いた場合に得られる解析データを示す図である。図２０は、第２画素の感度特性を、第１画素の感度域の短波長側のみ（第３フィルタ）とし、長波長側に感度を有しない場合の解析結果を示す図である。図２１は、第２画素の感度特性を、第１画素の感度域の長波長側のみ（第４フィルタ）とし、短波長側に感度を有しない場合の解析結果を示す図である。図２２は、第２画素の感度特性を、第１画素の感度域の長波長側および短波長側に有する場合の解析結果を示す図である。図１９〜図２２はタングステンライトを照明とした場合の解析結果を示している。
【００４２】
図２３は、一般的な撮像素子に設けられるＲＧＢフィルタを用いた場合に得られる解析データを示す図である。図２４は、第２画素の感度特性を、第１画素の感度域の短波長側のみ（第３フィルタ）とし、長波長側に感度を有しない場合の解析結果を示す図である。図２５は、第２画素の感度特性を、第１画素の感度域の長波長側のみ（第４フィルタ）とし、短波長側に感度を有しない場合の解析結果を示す図である。図２６は、第２画素の感度特性を、第１画素の感度域の長波長側および短波長側に有する場合の解析結果を示す図である。図２３〜図２６は蛍光灯を照明とした場合の解析結果を示している。
【００４３】
図１９および図２３に示すように、ＲＧＢフィルタを用いた場合は、どちらの照明であっても第１ピークは検出できるものの、第２ピークは検出できない。
【００４４】
また、タングステンライトを用いた照明の場合は、第４フィルタ（長波長側のみ）で良好な心拍検出結果を得ることができるものの（図２１参照）、第３フィルタ（短波長側のみ）では良好な心拍検出結果を得ることができない（図２０）。
【００４５】
蛍光灯を用いた照明の場合は、第３フィルタ（短波長側のみ）で良好な心拍検出結果を得ることができるものの（図２４参照）、第４フィルタ（長波長側のみ）では良好な心拍検出結果を得ることができない（図２５参照）。
【００４６】
これに対し、図２２および図２６に示すように、第１画素の感度域の長波長側および短波長側に感度特性を有する第２画素の場合、いずれの照明においても、良好な心拍検出結果を得ることができる。すなわち、第２画素の感度域が第１画素の感度域の片側の波長帯域のみである場合では、照明環境に応じた照明変動成分を安定的に捉えることができない場合があるのに対して、第２画素の感度を第１画素の感度域の両側に持たせることで照明変動に対してロバストに、心拍成分を抽出することが可能となる。
【００４７】
図２７は、第２画素の感度域を、第１画素の短波長側で４７０ｎｍ〜５３０ｎｍ、および長波長側で５９０ｎｍ〜６５０ｎｍの波長帯域とした場合の解析結果を示す図である。図２７はタングステンライトを照明とした場合の解析結果を示している。短波長側の第１感度域、および長波長側感度域の幅は６０ｎｍであり、第１画素Ｐ1の感度域の幅と同じになっている。図２７に示すように、第２画素の感度域の幅が大きくなると、心拍検出を抽出できない場合があり、第２画素の感度域の幅が広がるにつれて、心拍検出の極大位置の数が増え、処理（解析結果）が不安定となっていくことが確認できる。このため、第２画素の感度域の幅であって、短波長側感度域の幅、および長波長側の第２感度域の幅は、第１画素の感度域の幅より小さいことが好ましい。
【００４８】
図１に戻り、信号選択部３２は、周波数解析部３１の解析結果に基づいて、現像画像データに対応する現像画像に含まれる顔領域の生体情報であるバイタル情報を生成するための信号成分を選択する。ここで、バイタル情報とは、心拍、酸素飽和度および血圧のいずれかである。具体的には、通常心拍は５０〜１４０回/分であることが知られており、信号選択部３２は、この先見情報を用いて、同周期で振幅（強度）が定期的に変動する信号成分を心拍波形として選択する。先見情報は、例えば、記録部３５に予め記憶されていてもよいし、ネットワークを介して先見情報を取得できるようにしていてもよい。
【００４９】
出力部３３は、信号選択部３２が選択した心拍波形に基づく情報を出力する。情報としては、モニタなどに表示する心拍波形の画像や、心拍波形から求まる数値、文字情報が挙げられる。モニタは、例えば、液晶または有機ＥＬ（Electro  Luminescence）等の表示パネルを用いて構成される。また、数値や文字情報を印刷して出力してもよい。
【００５０】
制御部３４は、生体情報計測装置１を構成する各部に対する指示やデータの転送等を行うことによって、生体情報計測装置１の動作を統括的に制御する。制御部３４は、ＣＰＵ（Central  Processing  Unit）等を用いて構成される。
【００５１】
記録部３５は、生体情報計測装置１に関する各種情報を記録する。記録部３５は、撮像素子２２が生成した画像データおよび生体情報計測装置１に関する各種プログラムや実行中の処理に関するパラメータ等を記録する。記録部３５は、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）、Ｆｌａｓｈメモリおよび記録媒体等を用いて構成される。
【００５２】
続いて、生体情報計測装置１の各部が行う処理について図面を参照して説明する。図２８は、本発明の一実施の形態に係る生体情報計測装置１が行う処理を説明するフローチャートである。以下、制御部３４による制御のもと、各部が動作するものとして説明する。
【００５３】
まず、画像生成部２５は、Ａ／Ｄ変換部２４によって生成されたＲＡＷ画像データを取得し、画像生成処理を施して、各画素が、第１フィルタを透過した光に対応する第１輝度と、第２フィルタを透過した光に対応する第２輝度とがそれぞれ付与された現像画像データを生成する（ステップＳ１）。画像生成部２５は、生成した現像画像データを顔検出部２６および平均値算出部２７にそれぞれ入力する。
【００５４】
画像生成部２５から現像画像データが入力されると、顔検出部２６は、画像生成部２５から入力された現像画像データに対応する画像に含まれる被写体の顔を含む領域（以下、顔領域ともいう）を、周知のパターンマッチング等を用いて検出し、この検出結果を平均値算出部２７へ入力する。
【００５５】
顔検出部２６は、画像生成部２５から入力された現像画像データに対応する画像に含まれる顔領域を検出する（ステップＳ２）。顔検出部２６は、検出した結果を平均値算出部２７に入力する。
【００５６】
平均値算出部２７は、画像生成部２５が生成した現像画像データと、顔検出部２６が検出した顔領域の検出結果とを取得し、該顔領域における第１および第２輝度の平均値をそれぞれ算出する（ステップＳ３）。
【００５７】
時系列データ生成部２８は、平均値算出部２７が算出した第１輝度の平均値、第２輝度の平均値について、それぞれ一定時間（一定フレーム数）の時系列につなげて、時系列データを生成する（ステップＳ４）。時系列データ生成部２８は生成した平均値を、トレンド除去部２９に入力する。
【００５８】
その後、トレンド除去部２９は、時系列データ生成部２８が生成した第１および第２時系列データに対し、経時的に変動するオフセット成分（トレンド）を除去した第１および第２時系列データを生成する（ステップＳ５）。
【００５９】
信号成分分離部３０は、トレンド除去部２９からトレンド除去後の第１および第２時系列データを取得し、該第１および第２時系列データから複数の信号成分をそれぞれ分離する（ステップＳ６）。
【００６０】
周波数解析部３１は、信号成分分離部３１から複数の信号成分を取得すると、それぞれに対して周波数解析を行うことにより解析データを算出する（ステップＳ７）。
【００６１】
その後、信号選択部３２は、周波数解析部３１の解析結果に基づいて、現像画像データに対応する現像画像に含まれる顔領域のバイタル情報を生成するための信号成分を選択する（ステップＳ８）。信号選択部３２は、選択した画像データをもとに、モニタなどに表示する心拍波形の画像や、心拍波形から求まる数値、文字情報などを作成する。出力部３３は、信号選択部３２が選択した心拍波形に基づく情報を出力する。
【００６２】
上述した本実施の形態によれば、５３０ｎｍ〜５９０ｎｍの波長帯域を感度域とする第１画素Ｐ1と、第１画素Ｐ1の感度域である５３０ｎｍ〜５９０ｎｍよりも長波長側および短波長側の両側の波長帯域（５００ｎｍ〜５３０ｎｍ、および５９０ｎｍ〜６２０ｎｍ）を感度域とする第２画素Ｐ2とを有する撮像素子２２を用いて、時系列データ生成部２８が、該撮像素子２２の第１および第２画素によって得られた撮像信号から、それぞれ時系列データを生成し、信号成分分離部３０が、時系列データを複数の信号成分に分離し、信号選択部３２が、信号成分分離部３０が分離した複数の信号成分のうち、生体情報に応じた信号成分を選択するようにしたので、心拍成分と照明変動成分とを高精度に分離して、分離した信号成分を選択することが可能であり、心拍など生体情報を環境によらず安定して検出することができる。
【００６３】
（実施の形態の変形例）
上述した実施の形態では、第１画素の感度域よりも短波長側、および長波長側に互いに独立したピークを有するものとして説明したが、本発明はこれに限定されない。本変形例では、第２画素において、第１画素の感度域を含み、第１画素の感度域よりも短波長側の波長から長波長側の波長までの波長帯域に感度を有するようにしてもよい。図２９は、本発明の実施の形態の変形例に係る撮像素子の感度特性の一例を示す図である。図２９において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図２９において、曲線Ｌ1が、第１フィルタが設けられた第１画素Ｐ1の感度特性を示し、曲線Ｌ3が、５００ｎｍ〜６２０ｎｍの波長帯域の光を透過する第５フィルタが設けられた第２画素Ｐ2の感度特性を示す。
【００６４】
本変形例において、第２画素Ｐ2は第５フィルタが５００ｎｍ〜６２０ｎｍの波長帯域の光を透過するため、曲線Ｌ3は、５３０ｎｍ〜６２０ｎｍの波長帯域でピークを有している。このように、第２画素Ｐ2の感度特性として、少なくとも５００ｎｍ〜５３０ｎｍの波長帯域（短波長側感度域）と、５９０ｎｍ〜６２０ｎｍの波長帯域（長波長側感度域）の光に対して感度（ピーク）を有するものであればよく、必ずしも二つの感度域の感度（ピーク）が離間していなくてもよい。
【００６５】
なお、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。
【００６６】
また、上述した実施の形態では、平均値算出部２７が、第１および第２の撮像信号の代表値として輝度の平均値を算出するものとして説明したが、これに限らず、例えば、輝度の合計値であってもよい。また、撮像した画像が、背景が均一な色であり、上半身を撮影したものなど、顔検出が不要である場合は、顔検出を行わずに画像全体の代表値を算出してもよい。
【００６７】
また、上述した実施の形態では、周波数解析部３１が、分離された信号成分について周波数解析を行うものとして説明したが、分離された信号成分が、周期的な信号値のパターンを有する場合などは、周波数解析を行わずに、信号成分分離部３０が、信号選択部３２に分離した複数の信号成分を入力するものであってもよい。
【００６８】
このように、本発明は、ここでは記載していない様々な実施の形態等を含み得るものであり、請求の範囲に記載した技術的思想を逸脱しない範囲内において適宜設計変更等を行うことが可能である。
【産業上の利用可能性】
【００６９】
以上のように、本発明にかかる生体情報計測装置、生体情報計測方法および生体情報計測プログラムは、心拍など生体情報を環境によらず安定して検出するのに有用である。
【符号の説明】
【００７０】
１  生体情報計測装置
２１  光学系
２２  撮像素子
２３  フィルタアレイ
２４  Ａ／Ｄ変換部
２５  画像生成部
２６  顔検出部
２７  平均値算出部
２８  時系列データ生成部
２９  トレンド除去部
３０  信号成分分離部
３１  周波数解析部
３２  信号選択部
３３  出力部
３４  制御部
３５  記録部
【図１】
2017104056.tif 000003
【図２】
2017104056.tif 000004
【図３】
2017104056.tif 000005
【図４】
2017104056.tif 000006
【図５】
2017104056.tif 000007
【図６】
2017104056.tif 000008
【図７】
2017104056.tif 000009
【図８】
2017104056.tif 000010
【図９】
2017104056.tif 000011
【図１０】
2017104056.tif 000012
【図１１】
2017104056.tif 000013
【図１２】
2017104056.tif 000014
【図１３】
2017104056.tif 000015
【図１４】
2017104056.tif 000016
【図１５】
2017104056.tif 000017
【図１６】
2017104056.tif 000018
【図１７】
2017104056.tif 000019
【図１８】
2017104056.tif 000020
【図１９】
2017104056.tif 000021
【図２０】
2017104056.tif 000022
【図２１】
2017104056.tif 000023
【図２２】
2017104056.tif 000024
【図２３】
2017104056.tif 000025
【図２４】
2017104056.tif 000026
【図２５】
2017104056.tif 000027
【図２６】
2017104056.tif 000028
【図２７】
2017104056.tif 000029
【図２８】
2017104056.tif 000030
【図２９】
2017104056.tif 000031
【国際調査報告】
2017104056.tif 000032
2017104056.tif 000033
2017104056.tif 000034
2017104056.tif 000035