(57)【特許請求の範囲】
【請求項１】
ＲＧＢカメラを用いて顔画像データを取得するステップ、
前記顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ、
前記ヘモグロビン画像データに基づき心拍データを作成するステップ、
前記心拍データに基づき心拍間隔データを作成するステップ、
前記心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を備える、ストレスモニタリング用画像処理方法。
【請求項２】
前記顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップは、前記色素成分分離を行う前に、
前記顔画像データに基づき複数の抽出点データを作成するステップ、
前記抽出点データに基づき関心領域データを作成するステップ、を備え、
前記ヘモグロビン画像データに基づき心拍データを作成するステップは、
前記関心領域データ及び前記ヘモグロビン画像データに基づき心拍データを作成する請求項１記載のストレスモニタリング用画像処理方法。
【請求項３】
前記心拍データに基づき心拍間隔データを作成するステップは、
前記心拍データに対し、傾き除去処理及びバンドパスフィルタ処理の少なくともいずれかを行う請求項１記載のストレスモニタリング用画像処理方法。
【請求項４】
前記心拍変動スペクトログラムデータにおいて、変動周波数の値に基づきストレス状態を判定する請求項１記載のストレスモニタリング用画像処理方法。
【請求項５】
コンピュータに、
ＲＧＢカメラを用いて顔画像データを取得するステップ、
前記顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ、
前記ヘモグロビン画像データに基づき心拍データを作成するステップ、
前記心拍データに基づき心拍間隔データを作成するステップ、
前記心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を実行させる、ストレスモニタリング用画像処理プログラム。
【請求項６】
前記顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップは、前記色素成分分離を行う前に、
前記顔画像データに基づき複数の抽出点データを作成するステップ、前記抽出点データに基づき関心領域データを作成するステップ、を行い、
前記ヘモグロビン画像データに基づき心拍データを作成するステップは、前記関心領域データ及び前記ヘモグロビン画像データに基づき心拍データを作成する請求項５記載のストレスモニタリング用画像処理プログラム。
【請求項７】
前記心拍データに基づき心拍間隔データを作成するステップは、
前記心拍データに対し、傾き除去処理及びバンドパスフィルタ処理の少なくともいずれかを行う請求項５記載のストレスモニタリング用画像処理プログラム。
【請求項８】
前記心拍変動スペクトログラムデータにおいて、変動周波数の値に基づきストレス状態を判定する請求項５記載のストレスモニタリング用画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストレスモニタリング用画像処理方法及びそのプログラムに関する。
【背景技術】
【０００２】
現代人は日々さまざまなストレスにさらされながら生活している。ストレスが、慢性化すると体や心に悪影響が及ぶ危険があるため、それが大きな病気や事故につながる前に対処しなければならない。
【０００３】
ストレスを評価する際に最もよく用いられる方法は質問紙による自己報告法である。ストレスの原因となるストレッサーやストレス反応を測定する質問紙が多く開発されている。しかしながら、これらを正確に回答するには、回答者自身の正確な自己分析が必要となってくる上、回答者自身の意図でコントロールすることが可能なため、客観性及び信憑性に乏しい。更に、その労力自体が回答者へ余計なストレスを加える原因になりかねないなどの多くの問題がある。
【０００４】
そこで、心拍変動の周期から、交感神経系の活性のバランスを判断し、ストレス負荷の様子を見ることが可能なため、従来法ではカメラを用いた非接触法の心拍変動計測システムがある。この手法では非接触法で行うため、測定対象者に不快感を全く与えることなく、計測が可能である。具体的には、通常のＲＧＢカメラにシアン（Ｃ）とオレンジ（Ｏ）の二つの感度を追加した５バンドカメラを用いて心拍変動計測システムを構築している。この技術は、下記非特許文献１に記載されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｄ.  ＭｃＤｕｆｆ，Ｓ.  Ｇｏｎｔａｒｅｋ，ａｎｄ  Ｒ.  Ｗ．Ｐｉｃａｒｄ，“Ｉｍｐｒｏｖｅｍｅｎｔｓ  ｉｎ  ｒｅｍｏｔｅ  Ｃａｒｄｉｏ−Ｐｕｌｍｏｎａｒｙ  ｍｅａｓｕｒｅｍｅｎｔ  ｕｓｉｎｇ  ａ  ｆｉｖｅ  ｂａｎｄ  ｄｉｇｉｔａｌ  ｃａｍｅｒａ”，ＩＥＥＥ  Ｔｒａｎｓ  Ｂｉｏｍｅｄ  Ｅｎｇ，Ｏｃｔ．２０１４．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の特殊な５バンドカメラを用いる手法は現状実用性に課題があり、一般的なＲＧＢカメラを用いたシステムによる精度向上が非常に重要である。
【０００７】
そこで、本発明は、上記課題に鑑み、一般的なＲＧＢカメラを用いた非接触法の心拍変動計測システムによるストレスモニタリング用画像処理方法及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決する本発明の一観点に係るストレスモニタリング用画像処理方法は、ＲＧＢカメラを用いて顔画像データを取得するステップ、顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ、ヘモグロビン画像データに基づき心拍データを作成するステップ、心拍データに基づき心拍間隔データを作成するステップ、心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を備える。
【０００９】
また本観点において、限定されるわけではないが、顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップは、前記色素成分分離を行う前に、顔画像データに基づき複数の抽出点データを作成するステップ、抽出点データに基づき関心領域データを作成するステップ、を備え、ヘモグロビン画像データに基づき心拍データを作成するステップは、関心領域データ及びヘモグロビン画像データに基づき心拍データを作成することが好ましい。
【００１０】
また本観点において、限定されるわけではないが、心拍データに基づき心拍間隔データを作成するステップは、心拍データに対し、傾き除去処理及びバンドパスフィルタ処理の少なくともいずれかを行うことが好ましい。
【００１１】
また本観点において、限定されるわけではないが、心拍変動スペクトログラムデータにおいて、変動周波数の値に基づきストレス状態を判定することが好ましい。
【００１２】
また、本発明の他の一観点に係るストレスモニタリング用画像処理プログラムは、コンピュータに、ＲＧＢカメラを用いて顔画像データを取得するステップ、顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ、ヘモグロビン画像データに基づき心拍データを作成するステップ、心拍データに基づき心拍間隔データを作成するステップ、心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を実行させる。
【００１３】
また本観点において、限定されるわけではないが、顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップは、色素成分分離を行う前に、顔画像データに基づき複数の抽出点データを作成するステップ、抽出点データに基づき関心領域データを作成するステップ、を行い、ヘモグロビン画像データに基づき心拍データを作成するステップは、関心領域データ及びヘモグロビン画像データに基づき心拍データを作成することが好ましい。
【００１４】
また本観点において、限定されるわけではないが、心拍データに基づき心拍間隔データを作成するステップは、心拍データに対し、傾き除去処理及びバンドパスフィルタ処理の少なくともいずれかを行うことが好ましい。
【００１５】
また本観点において、限定されるわけではないが、心拍変動スペクトログラムデータにおいて、変動周波数の値に基づきストレス状態を判定することが好ましい。
【発明の効果】
【００１６】
以上、本発明により、一般的なＲＧＢカメラを用いた非接触法の心拍変動計測システムによるストレスモニタリング用画像処理方法及びそのプログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係るストレスモニタリング用画像処理方法のフローを示す図である。
【図２】顔画像の一例のイメージ図である。
【図３】抽出点データを設けた場合の顔画像データに関心領域データを設定した場合のイメージ図である（口まわりのみ）。
【図４】心拍データの一例（領域の平均画素値の時間変化）を示す図である。
【図５】フィルタ処理後の心拍データの一例を示す図である。
【図６】心拍変動スペクトログラムデータの一例を示す図である。
【図７】実施例１における実験環境を示す図である。
【図８】実施例１に係る算出した心拍変動スペクトログラム又は各ＲＯＩに対して算出した心拍変動スペクトログラムを示す図である。
【図９】実施例１に係るＬｏｍｂピリオドグラムにおけるＬＦとＨＦを示す図である。
【図１０】実施例１に係るヘモグロビン色素分離により取得した心拍変動スペクトログラムを示す図である。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態について、図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態、実施例の例示にのみ限定されるものではない。
【００１９】
図１は、本実施形態に係るストレスモニタリング用画像処理方法（以下「本方法」という。）のフローを示す図である。本図で示すように、本方法は、（Ｓ１）ＲＧＢカメラを用いて顔画像データを取得するステップ、（Ｓ２）顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ、（Ｓ３）ヘモグロビン画像データに基づき心拍データを作成するステップ、（Ｓ４）心拍データに基づき心拍間隔データを作成するステップ、（Ｓ５）心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を備える。
【００２０】
また、本方法は、情報処理装置いわゆるコンピュータによって容易に実行可能である。より具体的には、ＣＰＵ（中央演算装置）、ハードディスクやメモリ等の記録媒体、これらを接続するバス等を備えた情報処理装置の、ハードディスクに上記の方法を実行することのできるプログラムを格納し、ユーザーの操作に基づき、メモリに上記プログラムを格納し、ＣＰＵによって各種データを処理することによって実現できる。
【００２１】
すなわち、本方法は、コンピュータに、ＲＧＢカメラを用いて顔画像データを取得するステップ、顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ、ヘモグロビン画像データに基づき心拍データを作成するステップ、心拍データに基づき心拍間隔データを作成するステップ、心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を実行させる、ストレスモニタリング用画像処理プログラムによって実現することができる。
【００２２】
本方法では、まず、ＲＧＢカメラを用いて顔画像データを取得するステップ（Ｓ１）を備える。
【００２３】
ここで「ＲＧＢカメラ」とは、Ｒ（赤）、Ｇ(緑)、及びＢ（青）の各色に対応する波長領域の光強度に感度を有する検出素子を１画素単位としてこれを複数配置することよって画像データを取得することのできる装置であって、いわゆるＣＣＤセンサからなるデジタルカメラであることは好ましい一例である。なおここで限定されるわけではないが、Ｒ（赤）の波長領域としては、５８０ｎｍ以上６８０ｎｍ以下であることが好ましく、Ｇ（緑）の波長領域としては、５００ｎｍ以上６３０ｎｍ以下であることが好ましく、Ｂ（青）の波長領域としては、４１０ｎｍ以上５３０ｎｍ以下であることが好ましい。
【００２４】
ここで「顔画像データ」とは、測定対象者の顔に関する情報を含む画像データであり、より具体的には顔の写真画像データである。図２に、顔画像の一例のイメージ図を示しておく。
【００２５】
またこの取得された顔画像データは、限定されるわけではないが、コンピュータのハードディスクの記録領域に記録されることが好ましい。
【００２６】
また、この顔画像データを取得する際、測定対象者の顔に照明を当てておくことも好ましい。照明を当てることで、顔画像データ取得時の環境条件を均一にすることができ、環境的な要因を排除できるといった効果がある。なお照明としては、撮影時において一定の環境条件を提供することができる限りにおいて限定されるわけではないが、一般光源の他例えば人工太陽灯を採用することができる。
【００２７】
またこの場合において、ＲＧＢカメラと測定対象者の間には、偏光板を配置しておくことも好ましい。このようにすることで、測定対象者の顔表面から反射成分を除去することができ、より精度を高めることが可能となる。
【００２８】
また本方法では、顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ（Ｓ２）を備える。
【００２９】
本実施形態において「色素成分分離」とは、ＲＧＢカメラにより取得された顔画像データから色素成分を分離する操作を意味する。ここで色素成分とは、測定対象者の皮膚の中に存在する色素を意味し、少なくともヘモグロビンを含む。他の色素成分としては、限定されるわけではないがメラニン等があげられる。皮膚の色は真皮内部で散乱を繰り返し皮膚外に射出される光であるので、ヘモグロビンの寄与が大きい。この色素成分分離は、限定されるわけではないが、公知の独立成分分析を用いることができ、例えば“ＩＥＥＥ  Ｐｒｏｃｅｅｄｉｎｇｓ  Ｆ  ｖｏｌ．１４０，１９９３  ｐｐ．３６２−３７０”に記載の技術を用いることができる。
【００３０】
また本実施形態において「ヘモグロビン画像データ」とは、ヘモグロビン成分を抽出した顔画像データである。なお、本色素成分分離では、他の成分の画像データも得ることができ、例えばメラニン画像データ、陰影画像データを得ることができる。
【００３１】
また、本ステップにおいて、色素成分分離を行う前に、顔画像データに基づき複数の抽出点データを作成するステップ（Ｓ２−１）、抽出点データに基づき関心領域データを作成するステップ（Ｓ２−２）、を備えていることが好ましい。ここで「抽出点データ」とは、顔画像における特徴点を抽出した結果得られる抽出点のデータをいう。また「関心領域データ」とは、上記抽出点データに基づき定める顔画像データの内の一領域に関するデータをいう。関心領域データを設定することで、上記色素成分分析および後述の処理における精度を高めることができるようになる。なお、関心領域データの位置としては精度向上を図ることができる限りにおいて限定されるわけではないが、測定対象者の口回り、額、頬等の領域を例示することができ、これらを単独又は組み合わせることで精度向上を図ることができる。なお図３に、抽出点データを設けた場合の顔画像データ、関心領域データを設定した場合のイメージ図を示しておく。なお本図の例は、右目の外端から左目の外端までの横方向の距離をＷとし、縦方向は顎の特徴点から上方に額までの２Ｗの距離の長方形で瞬きの影響のある目の周辺領域２５％を除外した画像である。
【００３２】
また本方法では、（Ｓ３）ヘモグロビン画像データに基づき心拍データを作成するステップを備える。ここで「心拍データ」とは、ヘモグロビン画像データに含まれるヘモグロビンの量に基づき推定される心拍のデータをいう。心拍データは、上記の限りにおいて限定されず様々な方法により作成することができるが、例えば、分離されたヘモグロビン画像データにおける画素平均値の時間変化であることは好ましい一例である。また、上記のとおり、色素成分分離を行う前に関心領域データを取得した場合は、この関心領域における画素平均値を求めることでより精度を高めることができる。図４に、心拍データの一例を示しておく。本図において横軸は時間を、縦軸は画素値の平均を示している。
【００３３】
また心拍データの作成において、更にフィルタ処理を行うことも好ましい。このフィルタ処理を行うことで、後述の心拍間隔データの精度を向上させることができる。フィルタ処理の例としては、特に限定されるわけではないが、傾き除去処理及びバンドパスフィルタ処理の少なくともいずれかを含むことが好ましい。またここでバンドパスフィルタ処理とは、特定の周波数領域のみを通す処理であって、この信号に窓関数を掛けることにより行われる処理であることが好ましい。また、図５に、フィルタ処理後の心拍データの一例を示しておく。
【００３４】
また本方法では、（Ｓ４）心拍データに基づき心拍間隔データを作成するステップを備える。ここで「心拍間隔データ」とは、周期的な心拍の間隔に関するデータである。心拍間隔データの作成は特に限定されるわけではないが、上記作成した心拍データにおいて表れるピークの間隔であることが好ましい。
【００３５】
また本方法では、（Ｓ５）心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を備える。ここで「周波数変換」とは、時系列から周波数領域への変換をいう。この周波数変換としては特に限定されるわけではないが、フーリエパワースペクトル変換であることは好ましい一例である。この結果、心拍変動スペクトログラムデータを得ることができる。なおここで心拍変動スペクトログラムデータとは、心拍変動周波数の時間軸の変化に関する情報を含むデータである。このデータの一例について図６に示しておく。なおフーリエパワースペクトル変換においては、０．７５〜３Ｈｚ（心拍数４５〜１８０に相当）における最大のパワースペクトルを脈拍と判断することが好ましい。
【００３６】
また本ステップにおいて、限定されるわけではないが、更に、変動周波数の値に基づきストレス状態を判定するステップを備えていることが好ましい。変動周波数の値を０．０５〜０．１５Ｈｚ（ＬＦ：Ｌｏｗ  Ｆｒｅｑｕｅｎｃｙ）（血圧変動に対応する）と０．１５〜０．４Ｈｚ（ＨＦ：Ｈｉｇｈ  Ｆｒｅｑｕｅｎｃｙ）（呼吸変動に対応する）の２領域に分類する。判定するステップとしては、特に限定されるわけではないが、変動周波数がＨＦに現れるときは安静状態であると判断し、ＨＦに現れないときはストレス状態であると判断する等を例示することができる。
【００３７】
以上、本実施形態により、一般的なＲＧＢカメラを用いた非接触法の心拍変動計測システムによるストレスモニタリング用画像処理方法及びそのプログラムを提供することができる。
【実施例】
【００３８】
ここで、上記実施形態に係るストレスモニタリング用画像処理方法について、実際に実験を行い、その効果を確認した。以下具体的に説明する。
【００３９】
（実施例１）                                  
本実施例では５バンドのデジタル一眼レフ（ＤＳＬＲ）カメラを用い、毎秒３０フレームで撮影した。距離は３ｍ、解像度は７２０×９６０である。５バンドのうち、ＲＧＢのバンドは，通常のＲＧＢカメラのものと同じ感度である。4人の測定対象者は安静状態とストレス状態の２回ずつ２分間撮影を行った。色素成分分離の結果とも比較を行うため、人工太陽灯を使用し、暗室で撮影を行った。カメラと人工太陽灯の前に偏光板を設置している。その配置を図７に示す。
【００４０】
安静状態とは、体を動かさないで安らかにしている状態を指す。
【００４１】
ストレス状態とは、心身に負荷がかかった状態を指し、本件では、手や顔は動かさず、４０００から７を連続して減算する作業でストレスを生じさせる。
【００４２】
安静状態とストレス状態において、ＲＧＢカメラで取得した顔画像データ（ステップＳ１）を色素成分分離を用いてヘモグロビン画像データを作成し（ステップＳ２）、顔画像データに基づき複数の抽出点データを作成し（ステップＳ２−１）、抽出点データに基づき関心領域データを作成した（ステップＳ２−２）。このようにして得たヘモグロビン画像データに基づき、心拍データを作成した（ステップＳ３）。
【００４３】
心拍データの精度検証方法として、接触型の日本光電：ＲＭＴ−１０００ポリグラフ（心拍計）のデータを用いた。
【００４４】
安静状態で計測したポリグラフとカメラ計測による各関心領域（ＲＯＩ）における心拍数の測定結果を表１に示す。
【表１】
0006504959.tif 000002
【００４５】
上記の結果から、ポリグラフによる標準値と比較して各関心領域（ＲＯＩ）における測定値のばらつきは少ないことがわかる。
【００４６】
ストレス状態に関しても、同様の心拍数の計測を行い、ポリグラフの計測と比較した。各関心領域（ＲＯＩ）における安静状態とストレス状態の相対誤差の平均値を表２に示す。どの関心領域でも誤差が１％以下であることを確認した。
【表２】
0006504959.tif 000003
【００４７】
ステップ３で得られた心拍データに基づき、心拍間隔データを作成し（ステップＳ−４）、心拍間隔データに対し、周波数変換を行い、心拍変動スペクトログラムデータを作成する（ステップＳ−５）。
【００４８】
各関心領域（ＲＯＩ）に対して算出された心拍変動スペクトログラムを図８に示す。ＨＦ領域にスペクトルの存否から、安静状態（ＨＦ領域存在）とストレス状態（ＨＦ領域不存在）の判別が明確に示されている。
【００４９】
詳細な血圧変動と呼吸変動のバランスを定量化するため、図８におけるポリグラフのＬＦとＨＦを示すＬｏｍｂピリオドグラムを作成する。ＬｏｍｂピリオドグラムにおけるＬＦとＨＦを図９に示す。Ｌｏｍｂピリオドグラムとは、不等間隔で標本化されたデータのフーリエスペクトルを生成するアルゴリズムである。
【００５０】
算出したＬＦとＨＦから、交感神経と副交感神経のバランスを示すＬＦ／ＨＦをポリグラフの計測とカメラ計測について比較する。安静状態におけるＬＦ／ＨＦの比較を表３に示す。ポリグラフと各ＲＯＩが良く一致している。
【表３】
0006504959.tif 000004
【００５１】
次に、ストレス状態におけるＬＦ／ＨＦの比較を表４に示す。ポリグラフの値の方が大きい。
【表４】
0006504959.tif 000005
【００５２】
表３、表４に基づいて導いた各ＲＯＩにおける相対誤差率の平均値を表５に示す。安静状態と比較するとストレス状態はＨＦにおける呼吸変動が現れにくいため、ＬＦ／ＨＦの値が大きくなるとともに、ＨＦにノイズが生じやすく、誤差が大きくなると推定される。また、口のみのＲＯＩの誤差が小さく、ＲＯＩは口のみを参照することが、非接触心拍変動計測を行う上で最も適していると判断できる。
【表５】
0006504959.tif 000006
【００５３】
ヘモグロビン色素分離により脈波検出したＨＲ、ＬＦ／ＨＦ相対誤差率を表６に示す。心拍数（ＨＲ）の誤差は１％未満となったが、ノイズの影響を受けやすいＬＦ／ＨＦの精度は大きく、５バンドを使用した先行研究とほぼ同じである。
【表６】
0006504959.tif 000007
【００５４】
ヘモグロビン色素分離により取得した心拍変動スペクトログラムを図１０に示す。呼吸変動の部分（ＨＦ）にノイズが生じ、ＬＦ／ＨＦの精度を悪くしていることが分かる。
【００５５】
この結果、ＲＧＢだけから得られた心拍変動スペクトログラムにＨＦが現れるか、現れないかで、ストレス状態が判断できることが示された。ＲＧＢのバンドのみを用いた測定値から得られたデータが、先行研究の５バンドを用いた結果とほぼ同じ結果を与えることが得られた。また本発明では、５バンドを使用する方法はＲＧＢバンドだけを用いる測定よりも悪い結果を与えた。この理由は先行研究では一般照明であったのに対し、本発明では暗室下で人工太陽灯を用いたことによるものと推定される。
【産業上の利用可能性】
【００５６】
本発明は、通常のＲＧＢカメラを用いて、先行研究に劣らない測定結果を与え、非接触計測としてのストレスモニタリング用画像処理方法として医療に関する産業上の利用可能性がある。
【図１】
0006504959.tif 000008
【図２】
0006504959.tif 000009
【図３】
0006504959.tif 000010
【図４】
0006504959.tif 000011
【図５】
0006504959.tif 000012
【図６】
0006504959.tif 000013
【図７】
0006504959.tif 000014
【図８】
0006504959.tif 000015
【図９】
0006504959.tif 000016
【図１０】
0006504959.tif 000017