(57)【要約】  本開示の一態様に係る生体計測装置は、ユーザの頭部に光を照射するための光源と、イメージセンサと、前記光源および前記イメージセンサを制御する制御回路と、信号処理回路と、を備える。前記制御回路は、前記光源に前記光を出射させ、前記イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させる。前記信号処理回路は、前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成し、前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも１つに基づいて、前記脳活動データの出力を停止する。
2020044854.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に光を照射するための光源と、
イメージセンサと、
前記光源および前記イメージセンサを制御する制御回路と、
信号処理回路と、
を備え、
前記制御回路は、
前記光源に前記光を出射させ、
前記イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させ、
前記信号処理回路は、
前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成し、
前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも１つに基づいて、前記脳活動データの出力を停止する、
生体計測装置。
【請求項２】
前記光はパルス光であり、
前記制御回路は、
前記イメージセンサに、前記パルス光の照射に起因して前記頭部から戻ってきた反射パルス光の強度が減少を開始してから減少が終了するまでの期間において前記反射パルス光に含まれる成分を検出することによって得られる第１信号を、前記画像信号として出力させる、
請求項１に記載の生体計測装置。
【請求項３】
前記制御回路は、所定期間の間、前記光源に前記光を繰り返し出射させ、前記イメージセンサに前記画像信号を繰り返し出力させ、
前記信号処理回路は、
さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも１つに基づいて第１の値を算出し、
前記所定期間のうち、前記第１の値が予め設定された条件に該当する第１の期間の間、前記脳活動データの出力を停止する、
請求項１または２に記載の生体計測装置。
【請求項４】
前記信号処理回路は、前記第１の期間の間、前記脳活動データが無効であることを示す信号を出力する、
請求項３に記載の生体計測装置。
【請求項５】
前記信号処理回路は、前記第１の期間の間、前記第１の期間の前に生成された前記脳活動データと同じデータを出力する、
請求項３に記載の生体計測装置。
【請求項６】
前記信号処理回路は、前記第１の期間の前に生成された前記脳活動データ及び前記第１の期間の後に生成された前記脳活動データを用いて補間することにより得られたデータを、前記第１の期間における前記脳活動データとして出力する、
請求項３に記載の生体計測装置。
【請求項７】
前記信号処理回路は、前記第１の期間に加えて、前記第１の期間の開始前の第２の期間および前記第１の期間の終了後の第３の期間からなる群から選択される少なくとも１つの期間の間は、前記脳活動データの出力を停止する、
請求項３に記載の生体計測装置。
【請求項８】
前記第３の期間は、前記第２の期間よりも長い、
請求項７に記載の生体計測装置。
【請求項９】
前記第１の値が算出される頻度は、前記脳活動データが生成される頻度以上である、
請求項３から８のいずれかに記載の生体計測装置。
【請求項１０】
前記光はパルス光であり、
前記制御回路は、
前記イメージセンサに、前記パルス光の照射に起因して前記頭部から戻ってきた反射パルス光の強度が減少を開始する前において前記反射パルス光に含まれる成分を検出することによって得られる第２信号を、前記画像信号として出力させ、
前記信号処理回路は、前記第２信号に基づいて、前記脳活動データの出力を停止する、
請求項１から９のいずれかに記載の生体計測装置。
【請求項１１】
前記信号処理回路は、
さらに、前記第２信号に基づいて、前記頭部の基準位置からの変位量、または前記頭部の移動速度を算出し、
前記変位量の絶対値または前記移動速度の絶対値がしきい値を超える場合に、前記脳活動データの出力を停止する、
請求項１０に記載の生体計測装置。
【請求項１２】
前記信号処理回路は、
さらに、前記第２信号に基づいて、前記頭部の輝度値、または前記頭部の前記輝度値の変化速度を算出し、
前記輝度値の絶対値または前記輝度値の前記変化速度の絶対値がしきい値を超える場合に、前記脳活動データの出力を停止する、
請求項１０に記載の生体計測装置。
【請求項１３】
前記信号処理回路は、
さらに、前記第２信号に基づいて、前記頭部における所定の領域の面積を算出し、
前記面積がしきい値より小さい場合に、前記脳活動データの出力を停止する、
請求項１０に記載の生体計測装置。
【請求項１４】
前記信号処理回路は、
さらに、前記脳活動データを用いて第２の値を算出し、
前記第２の値の変化速度の絶対値がしきい値を超える場合に、前記脳活動データの出力を停止する、
請求項１から９のいずれかに記載の生体計測装置。
【請求項１５】
前記センサは、前記周辺環境に設置された加速度センサである、
請求項１に記載の生体計測装置。
【請求項１６】
前記センサは、前記周辺環境に設置された照度センサである、
請求項１に記載の生体計測装置。
【請求項１７】
前記センサは、前記ユーザが運転する車両に配置された、舵角センサ、ギヤ位置センサ、および速度センサからなる群から選択される少なくとも一つである、
請求項１に記載の生体計測装置。
【請求項１８】
ユーザの頭部に光を照射するための光源と、
イメージセンサと、
前記光源および前記イメージセンサを制御する制御回路と、
信号処理回路と、
を備え、
前記制御回路は、
前記光源に前記光を出射させ、
前記イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させ、
前記信号処理回路は、
前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成し、
前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも１つに基づいて、前記脳活動データの信頼度を算出し、前記信頼度を示す信頼度データを出力する、
生体計測装置。
【請求項１９】
前記信号処理回路は、前記信頼度データを、前記脳活動データとともに出力する、
請求項１８に記載の生体計測装置。
【請求項２０】
前記信号処理回路は、
さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも１つに基づいて第１の値を算出し、
前記第１の値が予め設定された値から離れるほど、低い信頼度を算出する、
請求項１８または１９に記載の生体計測装置。
【請求項２１】
前記信号処理回路は、
さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも１つに基づいて第１の値を算出し、
前記第１の値が予め設定された値を超える期間が長いほど、低い信頼度を算出する、
請求項１８または１９に記載の生体計測装置。
【請求項２２】
前記信号処理回路は、
さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも１つに基づいて第１の値を算出し、
一定期間の間に、前記第１の値が予め設定された値を超える期間が長いほど、低い信頼度を算出する、
請求項１８または１９に記載の生体計測装置。
【請求項２３】
前記センサは、前記ユーザが運転する車両に配置された、舵角センサ、ギヤ位置センサ、および速度センサからなる群から選択される少なくとも一つである、
請求項１８から２２のいずれかに記載の生体計測装置。
【請求項２４】
前記光はパルス光であり、
前記制御回路は、
前記イメージセンサに、前記パルス光の照射に起因して前記頭部から戻ってきた反射パルス光の強度が減少を開始する前において前記反射パルス光に含まれる成分を検出することによって得られる第２信号を、前記画像信号として出力させ、
前記信号処理回路は、前記第２信号に基づいて、前記信頼度を算出する、
請求項１８から２３のいずれかに記載の生体計測装置。
【請求項２５】
前記制御回路は、所定期間の間、前記光源に前記光を繰り返し出射させ、前記イメージセンサに前記画像信号を繰り返し出力させ、
前記信号処理回路は、
さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも１つに基づいて第１の値を算出し、
前記所定期間のうち、前記第１の値が予め設定された条件に該当する第１の期間が開始し遅延時間が経過した後から前記第１の期間が終了するまでの間、前記脳活動データの出力を停止する、
請求項１または２に記載の生体計測装置。
【請求項２６】
光源に、ユーザの頭部を照射する光を出射させることと、
イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させることと、
前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成することと、
前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも１つに基づいて、前記脳活動データの出力を停止することと、を含む、
生体計測方法。
【請求項２７】
光源に、ユーザの頭部を照射する光を出射させることと、
イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させることと、
前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成することと、
前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも１つに基づいて、前記脳活動データの信頼度を算出し、前記信頼度を示す信頼度データを出力することと、を含む、
生体計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、生体計測装置、及び生体計測方法に関する。
【背景技術】
【０００２】
生体計測の分野では、対象物に向けて光を出射して、対象物の内部を透過した光から、対象物の内部情報を取得する方法が用いられる。この方法では、対象物の表面から反射される表面反射成分がノイズになることがある。表面反射成分によるノイズを取り除けば、所望の内部情報を精度よく取得することができる。【０００３】
特許文献１は、表面反射成分によるノイズを抑制した状態で、対象物の内部情報を非接触で計測する撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２０２３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記の従来の撮像装置では、計測中に対象物が移動した場合、その補正には計算コストがかかる。【０００６】
本開示は、従来に比べて安価な方法によって対象物の状態を計測する生体計測装置を提供する。
【課題を解決するための手段】
【０００７】
本開示の一態様に係る生体計測装置は、ユーザの頭部に光を照射するための光源と、イメージセンサと、前記光源および前記イメージセンサを制御する制御回路と、信号処理回路と、を備える。前記制御回路は、前記光源に前記光を出射させ、前記イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させる。前記信号処理回路は、前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成し、前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも１つに基づいて、前記脳活動データの出力を停止する。
【発明の効果】
【０００８】
本開示の一態様に係る生体計測装置によれば、計測中に対象物が移動した場合、または対象物の周囲環境が変化した場合でも、安価な方法によって対象物の内部情報を計測できる。
【図面の簡単な説明】
【０００９】
【図１Ａ】図１Ａは、本実施形態おける生体計測装置の例を模式的に示す図である。
【図１Ｂ】図１Ｂは、イメージセンサの１つの画素の概略的な構成例を示す図である。
【図１Ｃ】図１Ｃは、イメージセンサの構成の一例を示す図である。
【図１Ｄ】図１Ｄは、本実施形態における１フレーム内の動作の例を模式的に示す図である。
【図１Ｅ】図１Ｅは、制御回路による光源およびイメージセンサに関する動作の概略を示すフローチャートである。
【図１Ｆ】図１Ｆは、光源から出射された矩形パルス光がユーザから戻ってきたときのイメージセンサに到達する光信号を模式的に示す図である。
【図１Ｇ】図１Ｇは、表面反射成分を検出する場合のタイミングチャートの一例を模式的に示す図である。
【図１Ｈ】図１Ｈは、内部散乱成分を検出する場合のタイミングチャートの一例を模式的に示す図である。
【図２】図２は、本実施形態における、ユーザの生体計測データを計測する処理の一例を示すフローチャートである。
【図３Ａ】図３Ａは、本実施形態における、ユーザの生体計測データを計測する処理の動作の一例を説明する図である。
【図３Ｂ】図３Ｂは、体動量の変化と無効期間との関係を模式的に示す図である。
【図３Ｃ】図３Ｃは、頭部の移動速度と無効期間との関係を模式的に示す図である。
【図３Ｄ】図３Ｄは、本実施形態における、ユーザの生体計測データを計測する処理の動作の例を説明する図である。
【図３Ｅ】図３Ｅは、本実施形態における生体計測装置の例を模式的に示す図である。
【図４】図４は、本実施形態における生体計測装置の例を模式的に示す図である。
【図５Ａ】図５Ａは、本実施形態における、ユーザの生体計測データを計測する処理の一例を示すフローチャートである。
【図５Ｂ】図５Ｂは、差分値と信頼度との関係の一例を示す図である。
【図６】図６は、本実施形態における、ユーザの生体計測データを計測する処理の動作の一例を説明する図である。
【図７Ａ】図７Ａは、本実施形態における生体計測装置の例を模式的に示す図である。
【図７Ｂ】図７Ｂは、生体計測装置を自動車の内部に設置する場合の、各部分の配置の一例を模式的に示す図である。
【図７Ｃ】図７Ｃは、生体計測装置をゲーム機またはアトラクション装置に付加して設置する場合の、各部分の配置の一例を模式的に示す図である。
【図８】図８は、本実施形態における、ユーザの生体計測データを計測する処理の一例を示すフローチャートである。
【図９】図９は、本実施形態における、ユーザの生体計測データを計測する処理の動作の一例を説明する図である。
【図１０Ａ】図１０Ａは、時間と頭部の移動距離との関係を示す図である。
【図１０Ｂ】図１０Ｂは、時間と酸化ヘモグロビン濃度との関係を示す図である。
【発明を実施するための形態】
【００１０】
（本開示の一態様に至った経緯）
生体計測の分野では、ユーザの状態の変化が計測結果に影響することが従来から知られていた。例えば、近赤外分光法（Ｎｅａｒ  Ｉｎｆｒａｒｅｄ  Ｓｐｅｃｔｒｏｓｃｏｐｙ、以下、ＮＩＲＳと表記する）を用いた脳活動情報の計測では、ユーザの頭部の移動は体動と呼ばれる。体動は、脳血流変化を示す信号にイレギュラーな変動を与えるとされてきた。
【００１１】
脳活動情報の計測が研究用途である場合には、ＮＩＲＳ装置の操作者が信号のイレギュラーさを判断し、ユーザに「この計測はエラーだった」と通知して、ユーザに再度の計測を促すシーケンスが可能である。しかし、日常的にユーザの脳活動情報を計測するような用途では、このようなシーケンスを用いることは容易ではない。
【００１２】
また、計測装置が、非接触でユーザの頭部から脳活動情報を計測する場合、頭部の移動は、計測装置とユーザとの相対的な位置関係を変動させる。したがって、脳血流変化の検出信号に与える影響はさらに大きくなる。
【００１３】
特許文献１は、フレーム間での脳血流分布のパターンマッチングにより、移動に伴う位置ずれを補正する方法を開示している。脳血流分布のパターンは、低い空間周波数を有する。すなわち、脳血流分布は、空間的に緩やかな分布を示す。このため、マッチングに必要な特徴点を検出することは必ずしも容易ではない。また、すべてのフレーム内で、あたかも頭部の移動がないかのように脳血流分布を復元するには、計算コストがかかる。
【００１４】
本発明者らは、以上の検討に基づき、以下の項目に記載の生体計測装置に想到した。
【００１５】
［項目１］
第１の項目に係る生体計測装置は、ユーザの頭部に光を照射するための光源と、イメージセンサと、前記光源および前記イメージセンサを制御する制御回路と、信号処理回路と、を備える。前記制御回路は、前記光源に前記光を出射させ、前記イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させる。前記信号処理回路は、前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成し、前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも１つに基づいて、前記脳活動データの出力を停止する。
【００１６】
［項目２］
第１の項目に係る生体計測装置において、前記光はパルス光であり、前記制御回路は、前記イメージセンサに、前記パルス光の照射に起因して前記頭部から戻ってきた反射パルス光の強度が減少を開始してから減少が終了するまでの期間において前記反射パルス光に含まれる成分を検出することによって得られる第１信号を、前記画像信号として出力させてもよい。
【００１７】
［項目３］
第１または第２の項目に係る生体計測装置において、前記制御回路は、所定期間の間、前記光源に前記光を繰り返し出射させ、前記イメージセンサに前記画像信号を繰り返し出力させ、前記信号処理回路は、さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも１つに基づいて第１の値を算出し、前記所定期間のうち、前記第１の値が予め設定された条件に該当する第１の期間の間、前記脳活動データの出力を停止してもよい。
【００１８】
［項目４］
第３の項目に係る生体計測装置において、前記信号処理回路は、前記第１の期間の間、前記脳活動データが無効であることを示す信号を出力してもよい。
【００１９】
［項目５］
第３の項目に係る生体計測装置において、前記信号処理回路は、前記第１の期間の間、前記第１の期間の前に生成された前記脳活動データと同じデータを出力してもよい。
【００２０】
［項目６］
第３の項目に係る生体計測装置において、前記信号処理回路は、前記第１の期間の前に生成された前記脳活動データ及び前記第１の期間の後に生成された前記脳活動データを用いて補間することにより得られたデータを、前記第１の期間における前記脳活動データとして出力してもよい。
【００２１】
［項目７］
第３の項目に係る生体計測装置において、前記信号処理回路は、前記第１の期間に加えて、前記第１の期間の開始前の第２の期間および前記第１の期間の終了後の第３の期間からなる群から選択される少なくとも１つの期間の間は、前記脳活動データの出力を停止してもよい。
【００２２】
［項目８］
第７の項目に係る生体計測装置において、前記第３の期間は、前記第２の期間よりも長くてもよい。
【００２３】
［項目９］
第３から第８の項目のいずれかに係る生体計測装置において前記第１の値が算出される頻度は、前記脳活動データが生成される頻度以上であってもよい。
【００２４】
［項目１０］
第１から第９の項目のいずれかに係る生体計測装置において、前記光はパルス光であり、前記制御回路は、前記イメージセンサに、前記パルス光の照射に起因して前記頭部から戻ってきた反射パルス光の強度が減少を開始する前において前記反射パルス光に含まれる成分を検出することによって得られる第２信号を、前記画像信号として出力させ、前記信号処理回路は、前記第２信号に基づいて、前記脳活動データの出力を停止してもよい。
【００２５】
［項目１１］
第１０の項目に係る生体計測装置において、前記信号処理回路は、さらに、前記第２信号に基づいて、前記頭部の基準位置からの変位量、または前記頭部の移動速度を算出し、前記変位量の絶対値または前記移動速度の絶対値がしきい値を超える場合に、前記脳活動データの出力を停止してもよい。
【００２６】
［項目１２］
第１０の項目に係る生体計測装置において、前記信号処理回路は、さらに、前記第２信号に基づいて、前記頭部の輝度値、または前記頭部の前記輝度値の変化速度を算出し、前記輝度値の絶対値または前記輝度値の前記変化速度の絶対値がしきい値を超える場合に、前記脳活動データの出力を停止してもよい。
【００２７】
［項目１３］
第１０の項目に係る生体計測装置において、前記信号処理回路は、さらに、前記第２信号に基づいて、前記頭部における所定の領域の面積を算出し、前記面積がしきい値より小さい場合に、前記脳活動データの出力を停止してもよい。
【００２８】
［項目１４］
第１から第９の項目のいずれかに係る生体計測装置において、前記信号処理回路は、さらに、前記脳活動データを用いて第２の値を算出し、前記第２の値の変化速度の絶対値がしきい値を超える場合に、前記脳活動データの出力を停止してもよい。
【００２９】
［項目１５］
第１の項目に係る生体計測装置において、前記センサは、前記周辺環境に設置された加速度センサであってもよい。
【００３０】
［項目１６］
第１の項目に係る生体計測装置において、前記センサは、前記周辺環境に設置された照度センサであってもよい。
【００３１】
［項目１７］
第１の項目に係る生体計測装置において、前記センサは、前記ユーザが運転する車両に配置された舵角センサ、ギヤ位置センサ、および速度センサからなる群から選択される少なくとも一つであってもよい。
【００３２】
［項目１８］
第１８の項目に係る生体計測装置は、ユーザの頭部に光を照射するための光源と、イメージセンサと、前記光源および前記イメージセンサを制御する制御回路と、信号処理回路と、を備える。前記制御回路は、前記光源に前記光を出射させ、前記イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させる。前記信号処理回路は、前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成し、前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも１つに基づいて、前記脳活動データの信頼度を算出し、前記信頼度を示す信頼度データを出力する。
【００３３】
［項目１９］
第１８の項目に係る生体計測装置において、前記信号処理回路は、前記信頼度データを、前記脳活動データとともに出力してもよい。
【００３４】
［項目２０］
第１８または第１９の項目に係る生体計測装置において、前記信号処理回路は、さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも１つに基づいて第１の値を算出し、前記第１の値が予め設定された値から離れるほど、低い信頼度を算出してもよい。
【００３５】
［項目２１］
第１８または第１９の項目に係る生体計測装置において、前記信号処理回路は、さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも１つに基づいて第１の値を算出し、前記第１の値が予め設定された値を超える期間が長いほど、低い信頼度を算出してもよい。
【００３６】
［項目２２］
第１８または第１９の項目に係る生体計測装置において、前記信号処理回路は、さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも１つに基づいて第１の値を算出し、一定期間の間に、前記第１の値が予め設定された値を超える期間が長いほど、低い信頼度を算出してもよい。
【００３７】
［項目２３］
第１８から第２２の項目のいずれかに係る生体計測装置において、前記センサは、前記ユーザが運転する車両に配置された、舵角センサ、ギヤ位置センサ、および速度センサからなる群から選択される少なくとも一つであってもよい。
【００３８】
［項目２４］
第１８から第２３の項目のいずれかに係る生体計測装置において、前記光はパルス光であり、前記制御回路は、前記イメージセンサに、前記パルス光の照射に起因して前記頭部から戻ってきた反射パルス光の強度が減少を開始する前において前記反射パルス光に含まれる成分を検出することによって得られる第２信号を、前記画像信号として出力させ、前記信号処理回路は、前記第２信号に基づいて、前記信頼度を算出してもよい。
【００３９】
［項目２５］
第１または第２の項目に係る生体計測装置において、前記制御回路は、所定期間の間、前記光源に前記光を繰り返し出射させ、前記イメージセンサに前記画像信号を繰り返し出力させ、前記信号処理回路は、さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも１つに基づいて第１の値を算出し、前記所定期間のうち、前記第１の値が予め設定された条件に該当する第１の期間が開始し遅延時間が過した後から前記第１の期間が終了するまでの間、前記脳活動データの出力を停止してもよい。
【００４０】
［項目２６］
第２６の項目に係る生体計測方法は、光源に、ユーザの頭部を照射する光を出射させることと、イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させることと、前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成することと、前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも１つに基づいて、前記脳活動データの出力を停止することと、を含む。
【００４１】
［項目２７］
第２７の項目に係る生体計測方法は、光源に、ユーザの頭部を照射する光を出射させることと、イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させることと、前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成することと、前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも１つに基づいて、前記脳活動データの信頼度を算出し、前記信頼度を示す信頼度データを出力することと、を含む。
【００４２】
［項目２８］
第２８の項目に係るプログラムは、生体計測装置に用いられるプログラムであって、前記生体計測装置は、ユーザの対象部に向けて光を出射する光源と、イメージセンサと、前記光源および前記イメージセンサを制御する制御回路と、前記イメージセンサから出力された信号を処理する信号処理回路と、を備え、前記制御回路は、前記光源に光を出射させ、前記イメージセンサに、前記光源から出射され前記ユーザの前記対象部から戻ってきた光の少なくとも一部を検出させて画像信号を出力させ、前記プログラムは、前記信号処理回路に、前記イメージセンサから出力された前記画像信号に基づいて、前記ユーザの状態を示す生体計測データを生成させ、前記イメージセンサ、および／または、前記生体計測データに影響を及ぼす前記ユーザの周辺環境の変化を検出する他のセンサから出力されたセンサ信号に基づいて、前記生体計測データを出力するか否かを決定させる、または、前記センサ信号に基づいて、前記生体計測データの信頼度を算出し、前記信頼度を示す信頼度データを出力させる。
【００４３】
以下に説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態に示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４４】
本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ  ｓｃａｌｅ  ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ  ｌａｒｇｅ  ｓｃａｌｅ  ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ  ｌａｒｇｅ  ｓｃａｌｅ  ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅも同じ目的で使うことができる。
【００４５】
さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインタフェース、を備えていてもよい。
【００４６】
以下、図面を参照しながら、本実施形態における生体計測装置を具体的に説明する。
【００４７】
（第１の実施形態）
［１．生体計測装置］
まず、第１の実施形態における生体計測装置１０の構成および動作を、図１Ａから図３を参照して説明する。
【００４８】
図１Ａは、本実施形態における生体計測装置１０の例を模式的に示す図である。生体計測装置１０は、撮像部１２１と、計測部１１０と、信号処理回路１２２と、を備える。撮像部１２１は、光源１０１と、光電変換部１０３および電荷蓄積部１０４を含むイメージセンサ１０２と、光源制御部１０６およびセンサ制御部１０７を含む制御回路１０５と、画像信号取得部１０８とを備える。信号処理回路１２２は、生体計測データ生成部１０９と、出力決定部１１１とを備える。
【００４９】
［１−１．光源１０１］
光源１０１は、ユーザ１００の対象部に向けて光を出射する。ユーザ１００の対象部は、例えば頭部であり、より具体的には、額部である。光源１０１から出射されてユーザ１００に到達した光は、ユーザ１００の表面で反射される表面反射成分Ｉ１と、ユーザ１００の内部で散乱される内部散乱成分Ｉ２とに分かれる。内部散乱成分Ｉ２は、生体内部で１回反射もしくは散乱、または多重散乱する成分である。ユーザ１００の額に光を照射する場合、内部散乱成分Ｉ２は、額の表面から奥に８ｍｍから１６ｍｍほどの部位、例えば脳に到達し、再び生体計測装置１０に戻る成分を指す。表面反射成分Ｉ１は、直接反射成分、拡散反射成分、および散乱反射成分の３つの成分を含む。直接反射成分は、入射角と反射角とが等しい反射成分である。拡散反射成分は、表面の凹凸形状によって拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。ユーザ１００の額に向けて光が出射される場合、散乱反射成分は、表皮内部で散乱して反射する成分である。以下、本開示では、ユーザ１００の表面で反射する表面反射成分Ｉ１は、これら３つの成分を含むとする。表面反射成分Ｉ１および内部散乱成分Ｉ２は、反射または散乱によって進行方向が変化し、その一部がイメージセンサ１０２に到達する。
【００５０】
まず、内部散乱成分Ｉ２の取得方法を説明する。光源１０１は、光源制御部１０６からの指示に従い、パルス光を所定の時間間隔または所定のタイミングで複数回繰り返し出射する。光源１０１から出射されるパルス光は、例えば立ち下がり期間がゼロに近い矩形波であり得る。本明細書において、「立ち下がり期間」とは、パルス光の強度が減少を開始してから減少が終了するまでの期間である。一般に、ユーザ１００に入射した光は、様々な経路をたどってユーザ１００内を伝搬し、時間差を伴ってユーザ１００の表面から出射する。このため、パルス光の内部散乱成分Ｉ２の後端は、広がりを有する。対象部が額である場合、内部散乱成分Ｉ２の後端の広がりは、４ｎｓ程度である。このことを考慮すると、パルス光の立ち下がり期間は、例えばその半分以下である２ｎｓ以下に設定され得る。立ち下がり期間は、さらにその半分の１ｎｓ以下であってもよい。光源１０１から出射されるパルス光の立ち上がり期間は、任意である。本明細書において、「立ち上がり期間」とは、パルス光の強度が増加を開始してから増加が終了するまでの期間である。本実施形態での内部散乱成分Ｉ２の検出では、パルス光の立ち下がり部分が使用され、立ち上がり部分は使用されない。パルス光の立ち上がり部分は、表面反射成分Ｉ１の検出に用いられ得る。光源１０１は、例えば、ＬＤなどのレーザであり得る。レーザから出射される光は、パルス光の立ち下がり部分が時間軸に略直角である、急峻な時間応答特性を有する。
【００５１】
光源１０１から出射される光の波長は、例えば６５０ｎｍ以上９５０ｎｍ以下の波長範囲に含まれる任意の波長であり得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。本明細書では、可視光のみならず赤外線についても「光」の用語を使用する。上記の波長範囲は、「生体の窓」と呼ばれており、生体内の水分および皮膚に比較的吸収されにくいという性質を有する。生体を検出対象にする場合、上記の波長範囲の光を使用することにより、検出感度を高くすることができる。本実施形態のように、ユーザ１００の皮膚および脳の血流変化を検出する場合、使用される光は、主に酸素化ヘモグロビン（ＨｂＯ２）および脱酸素化ヘモグロビン（Ｈｂ）に吸収されると考えられる。酸素化ヘモグロビンと脱酸素化ヘモグロビンとでは、光吸収の波長依存性が異なる。一般に、血流に変化が生じると、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度が変化する。このため、光の吸収度合いも変化する。したがって、血流が変化すると、検出される光量も時間的に変化する。
【００５２】
光源１０１は、上記の波長範囲に含まれる２つ以上の波長の光を出射してもよい。そのような複数波長の光は、複数の光源からそれぞれ出射されてもよい。
【００５３】
本実施形態における生体計測装置１０では、非接触でユーザ１００を計測するため、網膜への影響を考慮して設計された光源１０１が用いられ得る。例えば、各国で策定されているレーザ安全基準のクラス１を満足する光源１０１が用いられ得る。クラス１が満足されている場合、被爆放出限界（ＡＥＬ）が１ｍＷを下回るほどの低照度の光がユーザ１００に向けて出射される。なお、光源１０１自体は、クラス１を満たしていなくてもよい。例えば、拡散板またはＮＤフィルタを光源１０１の前に設置して光を拡散または減衰することにより、レーザ安全基準のクラス１が満たされていてもよい。
【００５４】
光源１０１から出射されるパルス光は、極超短パルス光である必要はない。パルス幅は任意である。脳血流を計測するために額に光を当てる場合、内部散乱成分Ｉ２の光量は、表面反射成分Ｉ１のそれと比較し、数１０００から数万分の１と非常に小さくなる。さらに、レーザ安全基準を考慮すると、出射光の光量が小さいことから、内部散乱成分Ｉ２の検出は難しくなる。したがって、光源１０１が、比較的パルス幅の大きいパルス光を出射すれば、時間遅れを伴う内部散乱成分Ｉ２の積算量を増加させ、検出光量を増やし、ＳＮ比を向上させることができる。
【００５５】
光源１０１は、例えば、パルス幅３ｎｓ以上のパルス光を出射する。一般に、脳などの生体組織内で散乱された光の時間的な広がりは、４ｎｓ程度である。
【００５６】
光源１０１は、パルス幅５ｎｓ以上、さらに１０ｎｓ以上のパルス光を出射してもよい。一方、パルス幅が大きすぎると、使用しない光が増えて無駄になる。このため、光源１０１は、例えば、パルス幅５０ｎｓ以下のパルス光を出射する。または、光源１０１は、パルス幅３０ｎｓ以下、さらに２０ｎｓ以下のパルス光を出射してもよい。
【００５７】
なお、光源１０１の照射パターンは、例えば照射領域内で均一な強度分布であってもよい。本実施形態における生体計測装置１０では、時間的に表面反射成分Ｉ１を内部散乱成分Ｉ２から分離して低減することできる。このため、均一な強度分布を有する出射パターンの光源１０１を用いることができる。均一な強度分布を有する照射パターンは、光源１０１から出射される光を拡散板で拡散することによって形成されてもよい。
【００５８】
本実施形態では、従来技術とは異なり、ユーザ１００における、光源１０１からの光が照射されている位置から出射した内部散乱成分Ｉ２も検出することができる。ユーザ１００を空間的に広い範囲にわたって光で照射することにより、計測解像度を高めることもできる。
【００５９】
［１−２．イメージセンサ１０２］
イメージセンサ１０２は、光源１０１から出射され、ユーザ１００の対象部から戻ってきた反射パルス光の少なくとも一部を検出する。イメージセンサ１０２は、検出した光の強度に応じた１つ以上の画像信号を出力する。画像信号取得部１０８は、イメージセンサ１０２から出力された画像信号を取得する。画像信号取得部１０８は、取得した画像信号を、後述する生体計測データ生成部１０９および計測部１１０に送出する。生体計測データとして、画像信号から脳活動の状態を示す脳活動データを生成する場合、画像信号は、反射パルス光の立ち下がり期間の少なくとも一部に含まれる、強度に応じた信号である。
【００６０】
イメージセンサ１０２は、複数の光電変換素子を含む光電変換部１０３と、電荷蓄積部１０４とを含む。具体的には、イメージセンサ１０２は、２次元に配置された複数の光検出セルを有し、ユーザ１００の２次元情報を一度に取得する。本明細書において、光検出セルを「画素」とも称する。イメージセンサ１０２は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどの任意のイメージセンサである。
【００６１】
イメージセンサ１０２は、電子シャッタを備える。電子シャッタは、撮像のタイミングを制御する回路である。本実施形態では、制御回路１０５におけるセンサ制御部１０７が、電子シャッタの機能を有する。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する１回の信号蓄積の期間と、信号蓄積を停止する期間とを制御する。信号蓄積期間は、「露光期間」または「撮影期間」と称することもできる。以下の説明では、露光期間の幅を、「シャッタ幅」と称することがある。１回の露光期間が終了し次の露光期間が開始するまでの時間を、「非露光期間」と称することがある。以下、露光している状態を「ＯＰＥＮ」、露光を停止している状態を「ＣＬＯＳＥ」と称することがある。
【００６２】
イメージセンサ１０２は、電子シャッタによって露光期間および非露光期間を、サブナノ秒、例えば、３０ｐｓから１ｎｓの範囲で調整することができる。本実施形態における生体計測装置１０では、少なくとも脳活動データを生成する場合には、必ずしも被写体の光量を補正する必要はない。このため、シャッタ幅がパルス幅よりも大きい必要はない。よって、シャッタ幅を、例えば、１ｎｓ以上３０ｎｓ以下の値に設定することができる。本実施形態における生体計測装置１０によれば、シャッタ幅を縮小することができる。このため、検出信号に含まれる暗電流の影響を低減することができる。
【００６３】
ユーザ１００の額に向けて光を出射して脳血流などの情報を検出する場合、内部での光の減衰率が非常に大きい。例えば、入射光と比較して、出射光は、１００万分の１程度にまで減衰し得る。このため、内部散乱成分Ｉ２を検出するには、１パルスの照射だけでは光量が不足する場合がある。レーザ安全性基準のクラス１での照射では、光量が微弱である。この場合、光源１０１は、パルス光を複数回出射し、それに応じてイメージセンサ１０２も電子シャッタによって複数回露光する。これにより、検出信号を積算して感度を向上させることができる。
【００６４】
以下、イメージセンサ１０２の構成例を説明する。
【００６５】
イメージセンサ１０２は、撮像面上に２次元的に配列された複数の画素を備え得る。各画素は、例えばフォトダイオードなどの光電変換素子と、１つまたは複数の電荷蓄積部とを備え得る。以下、各画素が、光電変換素子と、２つの電荷蓄積部とを備える例を説明する。光電変換素子は、光電変換によって受光量に応じた信号電荷を発生させる。２つの電荷蓄積部のうち、一方は、パルス光の表面反射成分Ｉ１によって生じた信号電荷を蓄積し、他方は、パルス光の内部散乱成分Ｉ２によって生じた信号電荷を蓄積する。
【００６６】
制御回路１０５は、内部散乱成分Ｉ２を取得するために、光源１０１に、１つ以上のパルス光を出射させる。制御回路１０５は、イメージセンサ１０２に、ユーザ１００の対象部から戻ってきた各パルス光のうち、立ち下がり期間に含まれる成分をイメージセンサ１０２の画素ごとに検出させる。当該成分は、内部散乱成分Ｉ２を含む。制御回路１０５は、イメージセンサ１０２に、当該検出によって得られる信号を出力させる。本実施形態では、内部散乱成分Ｉ２に基づく画像信号が、生体計測データの生成に用いられる。ここで、光源１０１は、２種類の波長の光を出射してもよい。
【００６７】
制御回路１０５は、表面反射成分Ｉ１を取得するために、光源１０１に、１つ以上のパルス光を出射させる。制御回路１０５は、イメージセンサ１０２に、ユーザ１００の対象部から戻ってきた各パルス光のうち、立ち下がり期間の前に含まれる成分をイメージセンサ１０２の画素ごとに検出させる。当該成分は、表面反射成分Ｉ１を含む。なお、立ち下がり期間の前とは、各パルス光の強度が減少を開始する前を意味する。制御回路１０５は、イメージセンサ１０２に、当該検出によって得られる信号を出力させる。各パルス光のうち、立ち下がり期間の前に含まれる成分を検出すれば、画像信号のＳＮ比を向上させることができる。本明細書では、「各パルス光のうち、立ち下がり期間の前に含まれる成分を検出する」は、例えば、各パルス光のうち、立ち上がり期間に含まれる成分を検出する場合、または、各パルス光全体を検出する場合も含む。本実施形態では、表面反射成分Ｉ１に基づく画像信号は、生体計測データの有効性に関連する状態の計測に用いられる。
【００６８】
図１Ｂは、イメージセンサ１０２の１つの画素２０１の概略的な構成例を示す図である。なお、図１Ｂは、１つの画素２０１の構成を模式的に示しており、実際の構造を必ずしも反映していない。図１Ｂに示す画素２０１は、光電変換を行うフォトダイオード２０３と、電荷蓄積部である第１の浮遊拡散層（Ｆｌｏａｔｉｎｇ  Ｄｉｆｆｕｓｉｏｎ）２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７と、信号電荷を排出するドレイン２０２とを含む。
【００６９】
１回のパルス光の出射に起因して各画素に入射したフォトンは、フォトダイオード２０３によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、制御回路１０５から入力される制御信号に従って、ドレイン２０２に排出されるか、第１の浮遊拡散層２０４から第４の浮遊拡散層２０７のいずれかに振り分けられる。
【００７０】
光源１０１からのパルス光の出射と、第１の浮遊拡散層２０４、第２の浮遊拡散層２０５、第３の浮遊拡散層２０６、および第４の浮遊拡散層２０７への信号電荷の蓄積と、ドレイン２０２への信号電荷の排出とが、この順序で繰り返し行われる。この繰り返し動作は高速であり、例えば動画像の１フレームの時間内に数万回から数億回繰り返され得る。１フレームの時間は、例えば約１／３０秒である。画素２０１は、最終的に、第１の浮遊拡散層２０４から第４の浮遊拡散層２０７に蓄積された信号電荷に基づく４つの画像信号を生成して出力する。
【００７１】
この例における制御回路１０５は、光源１０１に、波長λ１を有するパルス光と、波長λ２を有するパルス光とを、順に繰り返し出射させる。波長λ１および波長λ２として、ユーザ１００の内部組織での吸収率が異なる２波長を選択することにより、ユーザ１００の状態を分析することができる。例えば、波長λ１として８０５ｎｍよりも長い波長を選択し、波長λ２として８０５ｎｍよりも短い波長を選択してもよい。これにより、ユーザ１００の血液中の酸素化ヘモグロビン濃度および脱酸素化ヘモグロビン濃度のそれぞれの変化を検出することが可能になる。
【００７２】
制御回路１０５は、まず、光源１０１に、波長λ１のパルス光を出射させる。制御回路１０５は、波長λ１のパルス光の内部散乱成分Ｉ２がフォトダイオード２０３に入射している第１の期間に、第１の浮遊拡散層２０４に信号電荷を蓄積させる。内部散乱成分Ｉ２を取得するために、所定のタイミングで、パルス光が出射される。当該パルス光を、第１パルス光と称する。
【００７３】
続いて、制御回路１０５は、波長λ１のパルス光の表面反射成分Ｉ１がフォトダイオード２０３に入射している第２の期間に、第２の浮遊拡散層２０５に信号電荷を蓄積させる。表面反射成分Ｉ１を取得するために、内部散乱成分の取得時とは異なる所定のタイミングで、パルス光が出射される。当該パルス光を、第２パルス光と称する。
【００７４】
次に、制御回路１０５は、光源１０１に、波長λ２のパルス光を出射させる。制御回路１０５は、波長λ２のパルス光の内部散乱成分Ｉ２がフォトダイオード２０３に入射している第３の期間に、第３の浮遊拡散層２０６に信号電荷を蓄積させる。
【００７５】
続いて、制御回路１０５は、波長λ２のパルス光の表面反射成分Ｉ１がフォトダイオード２０３に入射している第４の期間に、第４の浮遊拡散層２０７に信号電荷を蓄積させる。
【００７６】
このように、制御回路１０５は、波長λ１のパルス光の出射を開始した後、所定の時間差を空けて、第１の浮遊拡散層２０４および第２の浮遊拡散層２０５に、フォトダイオード２０３からの信号電荷を順次蓄積させる。その後、制御回路１０５は、波長λ２のパルス光の出射を開始した後、上記所定の時間差を空けて、第３の浮遊拡散層２０６および第４の浮遊拡散層２０７に、フォトダイオード２０３からの信号電荷を順次蓄積させる。以上の動作が複数回繰り返される。外乱光および環境光の光量を推定するために、光源１０１を消灯した状態で、不図示の他の浮遊拡散層に信号電荷を蓄積する期間を設けてもよい。第１の浮遊拡散層２０４から第４の浮遊拡散層２０７の信号電荷量から、上記他の浮遊拡散層の信号電荷量を差し引くことにより、外乱光および環境光成分を除去した信号を得ることができる。
【００７７】
なお、本実施形態では、電荷蓄積部の数を４としているが、目的に応じて２以上の複数の数に設計してよい。例えば、１種類の波長のみを用いる場合には、電荷蓄積部の数は２であってもよい。また、使用する波長が１種類で、表面反射成分Ｉ１を検出しない用途では、画素ごとの電荷蓄積部の数は１であってもよい。また、２種類以上の波長を用いる場合であっても、それぞれの波長を用いた撮像を別のフレームで行えば、電荷蓄積部の数は１であってもよい。また、後述するように、表面反射成分Ｉ１の検出と内部散乱成分Ｉ２の検出とをそれぞれ別のフレームで行えば、電荷蓄積部の数は１であってもよい。
【００７８】
図１Ｃは、イメージセンサ１０２の構成の一例を示す図である。図１Ｃに示す例では、二点鎖線の枠によって囲まれた領域が、１つの画素２０１に相当する。画素２０１には、１つのフォトダイオードが含まれる。図１Ｃでは２行２列に配列された４画素のみが示されているが、実際にはさらに多数の画素が配置され得る。画素２０１は、第１の浮遊拡散層２０４から第４の浮遊拡散層２０７の４つの浮遊拡散層を含む。第１の浮遊拡散層２０４から第４の浮遊拡散層２０７の４つの浮遊拡散層に蓄積される信号は、あたかも一般的なＣＭＯＳイメージセンサの４画素の信号のように取り扱われ、イメージセンサ１０２から出力される。
【００７９】
各画素２０１は、４つの信号検出回路を有する。各信号検出回路は、ソースフォロワトランジスタ３０９と、行選択トランジスタ３０８と、リセットトランジスタ３１０とを含む。この例では、リセットトランジスタ３１０が、図１Ｂに示すドレイン２０２に対応し、リセットトランジスタ３１０のゲートに入力されるパルスが、ドレイン排出パルスに対応する。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。図示されるように、ソースフォロワトランジスタ３０９の入力端子および出力端子の一方と、行選択トランジスタ３０８の入力端子および出力端子の一方とが接続されている。ソースフォロワトランジスタ３０９の入力端子および出力端子の上記一方は、典型的にはソースである。行選択トランジスタ３０８の入力端子および出力端子の上記一方は、典型的にはドレインである。ソースフォロワトランジスタ３０９の制御端子であるゲートは、フォトダイオード２０３に接続されている。フォトダイオード２０３によって生成された正孔または電子の信号電荷は、フォトダイオード２０３とソースフォロワトランジスタ３０９との間の電荷蓄積部である浮遊拡散層に蓄積される。
【００８０】
図１Ｃには示されていないが、第１の浮遊拡散層２０４から第４の浮遊拡散層２０７はフォトダイオード２０３に接続される。フォトダイオード２０３と、第１の浮遊拡散層２０４から第４の浮遊拡散層２０７の各々との間には、スイッチが設けられ得る。このスイッチは、制御回路１０５からの信号蓄積パルスに応じて、フォトダイオード２０３と、第１の浮遊拡散層２０４から第４の浮遊拡散層２０７の各々との間の導通状態を切り替える。これにより、第１の浮遊拡散層２０４から第４の浮遊拡散層２０７の各々への信号電荷の蓄積の開始と停止とが制御される。本実施形態における電子シャッタは、このような露光制御のための機構を有する。
【００８１】
第１の浮遊拡散層２０４から第４の浮遊拡散層２０７に蓄積された信号電荷は、行選択回路３０２によって行選択トランジスタ３０８のゲートをＯＮにすることにより、読み出される。この際、第１の浮遊拡散層２０４から第４の浮遊拡散層２０７の信号電位に応じて、ソースフォロワ電源３０５からソースフォロワトランジスタ３０９およびソースフォロワ負荷３０６へ流入する電流が増幅される。垂直信号線３０４から読み出されるこの電流によるアナログ信号は、列ごとに接続されたアナログ−デジタル変換回路３０７によってデジタル信号データに変換される。このデジタル信号データは、列選択回路３０３によって列ごとに読み出され、イメージセンサ１０２から出力される。行選択回路３０２および列選択回路３０３は、１つの行の読出しを行った後、次の行の読み出しを行い、以下同様に、すべての行の浮遊拡散層の信号電荷の情報を読み出す。制御回路１０５は、すべての信号電荷を読み出した後、リセットトランジスタ３１０のゲートをオンにすることにより、すべての浮遊拡散層をリセットする。これにより、１つのフレームの撮像が完了する。以下同様に、フレームの高速撮像を繰り返すことにより、イメージセンサ１０２による一連のフレームの撮像が完結する。
【００８２】
本実施形態では、ＣＭＯＳ型のイメージセンサ１０２の例を説明したが、イメージセンサ１０２はＣＣＤ型であっても、単一光子計数型素子であっても、ＥＭＣＣＤ、ＩＣＣＤ等の増幅型イメージセンサであっても構わない。
【００８３】
図１Ｄは、本実施形態における１フレーム内の動作の例を模式的に示す図である。図１Ｄに示すように、１フレーム内で、波長λ１のパルス光の出射と、波長λ２のパルス光の出射とを交互に複数回切り替えてもよい。これにより、２種類の波長による検出画像の取得タイミングの時間差を低減することができ、ほぼ同時に２つの波長のパルス光による撮影が可能になる。
【００８４】
本実施形態では、イメージセンサ１０２が、パルス光の表面反射成分Ｉ１および内部散乱成分Ｉ２の両方を検出する。内部散乱成分Ｉ２の時間的または空間的な変化から、ユーザ１００の生体計測データを生成することができる。一方、表面反射成分Ｉ１の時間的または空間的な変化から、生体計測データの有効性に関連するデータを計測することができる。
【００８５】
なお本明細書では、生体計測データの有効性に関連する信号を「有効性信号」と称することがある。
【００８６】
［１−３．制御回路１０５］
制御回路１０５は、光源１０１およびイメージセンサ１０２の上記の動作を制御する。具体的には、制御回路１０５は、光源１０１のパルス光の出射タイミングと、イメージセンサ１０２のシャッタタイミングとの時間差を調整する。以下、当該時間差を「位相」または「位相遅れ」と称することがある。光源１０１のパルス光の「出射タイミング」とは、光源１０１から出射されるパルス光が立ち上がりを開始する時間である。制御回路１０５は、出射タイミングを変化させて位相を調整してもよいし、シャッタタイミングを変化させて位相を調整してもよい。
【００８７】
制御回路１０５は、イメージセンサ１０２の受光素子によって検出された信号から、オフセット成分を取り除くように構成されてもよい。オフセット成分は、太陽光もしくは蛍光灯などの環境光、または外乱光による信号成分である。例えば、光源１０１の駆動をオフにして光を出射しない状態で、イメージセンサ１０２によって信号を検出することにより、環境光または外乱光によるオフセット成分が見積もられる。
【００８８】
制御回路１０５は、例えば中央演算処理装置（ＣＰＵ）またはマイクロコンピュータなどのプロセッサと、メモリとを備える集積回路であり得る。制御回路１０５は、例えばメモリに記録されたプログラムを実行することにより、例えば、出射タイミングおよびシャッタタイミングの調整と、オフセット成分の見積りと、オフセット成分の除去とを行う。
【００８９】
図１Ｅは、制御回路１０５による光源１０１およびイメージセンサ１０２に関する動作の概略を示すフローチャートである。制御回路１０５は、光源制御部１０６およびセンサ制御部１０７を含み、概略的には後述する図１Ｇに示す動作を実行する。なお、ここでは内部散乱成分Ｉ２のみを検出する場合の動作を説明する。
【００９０】
ステップＳ１０１では、光源制御部１０６は、まず、光源１０１に、所定時間だけパルス光を出射させる。このとき、イメージセンサ１０２の電子シャッタは、露光を停止した状態にある。センサ制御部１０７は、パルス光の一部がユーザ１００の表面で反射されてイメージセンサ１０２に到達する期間が完了するまで、電子シャッタに露光を停止させる。次に、ステップＳ１０２では、センサ制御部１０７は、当該パルス光の他の一部がユーザ１００の内部を散乱してイメージセンサ１０２に到達するタイミングで、電子シャッタに露光を開始させる。所定時間経過後、ステップＳ１０３では、センサ制御部１０７は、電子シャッタに露光を停止させる。続いて、ステップＳ１０４では、制御回路１０５は、上記の信号蓄積を実行した回数が所定の回数に達したか否かを判定する。この判定がＮｏの場合、Ｙｅｓと判定するまで、ステップＳ１０１からＳ１０３が繰り返される。ステップＳ１０４においてＹｅｓと判定すると、ステップＳ１０５では、センサ制御部１０７は、各浮遊拡散層に蓄積された信号電荷に基づく画像を示す信号を、イメージセンサ１０２に生成させて出力させる。
【００９１】
以上の動作により、計測対象の内部で散乱された光の成分を、高い感度で検出することができる。なお、複数回の出射および露光は、必須ではなく、必要に応じて行われる。
【００９２】
［１−４．計測部１１０］
計測部１１０は、生体計測データの有効性を示す有効性信号を計測し、後述する出力決定部１１１に計測結果を信号として送出する。
【００９３】
本実施形態では、有効性信号は、表面反射成分Ｉ１の時間的または空間的な変化を含む画像から計測される。当該画像は、イメージセンサ１０２から取得される。
【００９４】
計測部１１０は、画像処理などの演算処理を行う演算回路を備えていてもよい。そのような演算回路は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）もしくは画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。
【００９５】
なお、後述する別の実施形態では、有効性信号を、内部散乱成分Ｉ２の時間的または空間的な変化を含む画像から計測してもよい。
【００９６】
また、後述する別の実施形態では、有効性信号を、イメージセンサ１０２から出力された画像以外から計測してもよい。この場合、計測部１１０は、生体計測装置１０の内部または外部に配置されたセンサを含んでいてもよい。当該センサは、ユーザ１００の周辺環境の変化を計測し、当該変化を示すセンサ信号を出力する。センサ信号は、例えば、周辺環境における物理変化の内、生体計測データに影響を及ぼす物理変化の変化量を示す信号であり得る。センサ信号は、例えば、周辺環境が生体計測データに影響を及ぼす特定の状態であることを示す信号であり得る。「生体計測データに影響を及ぼす」とは、生体計測データにノイズが混入すること、あるいは生体計測データが測定不能な状態になることを含む。当該センサは、照度センサ、加速度センサ、速度センサ、舵角センサ、およびギヤ位置センサからなる群から選択される少なくとも１つであってもよい。
【００９７】
［１−４．信号処理回路１２２］
信号処理回路１２２は、イメージセンサ１０２から出力された信号を処理する。信号処理回路１２２は、生体計測データ生成部１０９および出力決定部１１１を含む。図１Ａに示す例では、信号処理回路１２２および計測部１１０は分離されているが、一体化されていてもよい。
【００９８】
生体計測データ生成部１０９は、イメージセンサ１０２から出力された画像信号に基づいて、ユーザ１００の生体計測データを生成する。生体計測データがユーザ１００の脳活動データである場合、生体計測データ生成部１０９は、内部散乱成分Ｉ２の時間的または空間的な変化を含む画像信号を処理して、脳血流の時間変化を示す動画像データを生成して、出力決定部１１１に、生成結果に基づく信号を送出する。脳血流の時間変化は、例えば、酸素化ヘモグロビンおよび／または脱酸素化ヘモグロビンの濃度の時間変化である。
【００９９】
生体計測データがユーザ１００の脳活動データである場合、生体計測データ生成部１０９は、脳血流の動画像データに限らず、脳血流と関連のある他のデータを生成してもよい。脳血流と関連のあるデータは、例えば、脳血流の動画像データから推定された、ユーザ１００の心理状態である。
【０１００】
脳血流量またはヘモグロビンなどの血液内成分の変化と、人間の神経活動との間には密接な関係があることが知られている。例えば、人間の感情の変化に応じて神経細胞の活動が変化することにより、脳血流量または血液内の成分が変化する。したがって、脳血流量または血液内成分の変化などの生体情報を計測することができれば、ユーザ１００の心理状態を推定することができる。ユーザ１００の心理状態は、例えば、気分、感情、健康状態、または温度感覚に関する。気分は、例えば、快、または不快である。感情は、例えば、安心、不安、悲しみ、または憤りである。健康状態は、例えば、元気、または倦怠である。温度感覚は、例えば、暑い、寒い、または蒸し暑いである。また、これに派生して、脳活動の程度を表す指標も、心理状態に含まれる。当該指標は、例えば熟練度、習熟度、または集中度である。本明細書では、このような脳血流と関連のあるデータを総称して、脳活動データと称する。
【０１０１】
出力決定部１１１は、計測部１１０から送出された計測結果に基づき、生体計測データ生成部１０９から送出された生体計測データを出力するか否かを決定する。当該計測結果は、イメージセンサ１０２から出力される画像信号、および／または、前述したセンサから出力されるセンサ信号に基づいて、計測部１１０によって算出される値を含む。
【０１０２】
生体計測データの出力を停止するタイミングでは、出力決定部１１１は、そのタイミングでの生体計測データが無効であることを示す信号を出力する。または、出力決定部１１１は、直前の有効であった生体計測データと同じデータを出力し続ける。または、出力決定部１１１は、生体計測データが再び有効となったタイミングで、直前の有効であった生体計測データから補間されたデータを出力する。
【０１０３】
信号処理回路１２２は、計測部１１０と同じく、画像処理等など演算処理を行う演算回路を備えていてもよい。そのような演算回路は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）もしくは画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。また、信号処理回路１２２と制御回路１０５とは、統合された１つの回路であってもよいし、分離された個別の回路であってもよい。また、信号処理回路１２２は、例えば遠隔地に設けられたサーバなどの外部の装置の構成要素であってもよい。この場合、サーバなどの外部の装置は、有線通信または無線通信により、光源１０１、イメージセンサ１０２、および制御回路１０５と相互にデータを送受信する。
【０１０４】
［１−５．その他］
生体計測装置１０は、ユーザ１００の２次元像をイメージセンサ１０２の受光面上に形成する結像光学系を備えてもよい。結像光学系の光軸は、イメージセンサ１０２の受光面に略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置を変化させることにより、ユーザ１００の２次元像の拡大率が変更する。これにより、イメージセンサ１０２上の２次元像の解像度が変化する。したがって、ユーザ１００までの距離が遠くても、所望の計測領域を拡大して詳細に観察することが可能となる。
【０１０５】
また、生体計測装置１０は、ユーザ１００とイメージセンサ１０２との間に、光源１０１から出射される波長帯域の光、またはその波長帯域の近傍の光のみを通過させる帯域通過フィルタを備えてもよい。これにより、環境光などの外乱成分の影響を低減することができる。帯域通過フィルタは、多層膜フィルタまたは吸収フィルタによって構成され得る。光源１０１の温度およびフィルタへの斜入射に伴う帯域シフトを考慮して、帯域通過フィルタの帯域幅は、２０から１００ｎｍ程度の幅を有してもよい。
【０１０６】
また、生体計測装置１０は、光源１０１とユーザ１００との間、およびイメージセンサ１０２とユーザ１００との間にそれぞれ偏光板を備えてもよい。この場合、光源１０１側に配置される偏光板と、イメージセンサ１０２側に配置される偏光板との偏光方向は、直交ニコルの関係にある。これにより、ユーザ１００の表面反射成分Ｉ１のうち、入射角と反射角とが同じ成分である正反射成分が、イメージセンサ１０２に到達することを防ぐことができる。すなわち、表面反射成分Ｉ１がイメージセンサ１０２に到達する光量を低減させることができる。
【０１０７】
［２．光源およびイメージセンサの動作］
本実施形態における生体計測装置１０は、表面反射成分Ｉ１と内部散乱成分Ｉ２とを区別して検出することができる。ユーザ１００を人とし、対象部を額とした場合、検出したい内部散乱成分Ｉ２による信号強度は、非常に小さくなる。これは、前述のように、レーザの安全基準を満たす出射光の光量が非常に小さいことに加えて、頭皮、脳髄液、頭蓋骨、灰白質、白質および血流による光の散乱および吸収が大きいことに起因する。さらに、脳活動時の血流量または血流内成分の変化による信号強度の変化は、変化前の信号強度の数十分の１の大きさに相当し、非常に小さくなる。したがって、本実施形態では、撮像の際、検出したい信号成分の数千倍から数万倍である表面反射成分Ｉ１は、可能な限り除去される。
【０１０８】
以下、本実施形態における生体計測装置１０での光源１０１およびイメージセンサ１０２の動作の例を説明する。
【０１０９】
図１Ａに示すように、光源１０１がユーザ１００をパルス光で照射すると、表面反射成分Ｉ１および内部散乱成分Ｉ２が発生する。表面反射成分Ｉ１および内部散乱成分Ｉ２のうちの一部が、イメージセンサ１０２に到達する。内部散乱成分Ｉ２は、光源１０１から出射されイメージセンサ１０２に到達するまでにユーザ１００の内部を通過する。このため、内部散乱成分Ｉ２の光路長は、表面反射成分Ｉ１の光路長に比べて長くなる。したがって、内部散乱成分Ｉ２がイメージセンサ１０２に到達する時間は、表面反射成分Ｉ１がイメージセンサ１０２に到達する時間よりも平均的に遅れる。
【０１１０】
図１Ｆは、光源１０１から出射された矩形パルス光がユーザ１００から戻ってきたときのイメージセンサ１０２に到達する光信号を模式的に示す図である。横軸は、信号（ａ）から（ｄ）ではいずれも時間（ｔ）を表す。縦軸は、信号（ａ）から（ｃ）では強度を表し、信号（ｄ）では電子シャッタのＯＰＥＮまたはＣＬＯＳＥの状態を表す。信号（ａ）は、表面反射成分Ｉ１を示す。信号（ｂ）は、内部散乱成分Ｉ２を示す。信号（ｃ）は、信号（ａ）に示す表面反射成分Ｉ１、および信号（ｂ）に示す内部散乱成分Ｉ２の合算成分を示す。信号（ａ）に示すように、表面反射成分Ｉ１は、矩形を維持する。一方、信号（ｂ）に示すように、内部散乱成分Ｉ２は、さまざまな光路長を経た光の合算である。このため、信号（ｂ）は、パルス光の後端が尾を引いたような特性を示す。言い換えれば、内部散乱成分Ｉ２の立ち下がり期間は、表面反射成分Ｉ１の立ち下がり期間よりも長くなるので、信号（ｃ）に示す光信号から、内部散乱成分Ｉ２の割合が高めて抽出される。このために、信号（ｄ）に示す通り、表面反射成分Ｉ１の後端以降に、電子シャッタの露光が開始される。後端以降とは、表面反射成分Ｉ１が立ち下がった時またはその後を意味する。電子シャッタのシャッタタイミングは、制御回路１０５によって調整される。前述した通り、本実施形態における生体計測装置１０は、表面反射成分Ｉ１と、対象物の深部に到達した内部散乱成分Ｉ２とを区別して検出する。このため、出射パルス幅およびシャッタ幅は、任意である。したがって、従来のストリークカメラを使用した方法と異なり、簡便な構成により、コストを大幅に低下させることができる。
【０１１１】
図１Ｆの信号（ａ）に示す例では、表面反射成分Ｉ１の後端が、垂直に立ち下がっている。言い換えると、表面反射成分Ｉ１が立ち下がりを開始してから終了するまでの時間が、ゼロである。しかし、現実的には、光源１０１から出射されるパルス光自体の立ち下がりでの波形が完全な垂直でない場合、ユーザ１００の表面に微細な凹凸がある場合、および／または、表皮内で散乱が生じる場合がある。これらの場合、表面反射成分Ｉ１の後端が垂直に立ち下がらない。また、ユーザ１００は不透明な物体であることから、表面反射成分Ｉ１の光量は、内部散乱成分Ｉ２の光量よりも非常に大きくなる。したがって、表面反射成分Ｉ１の後端が垂直な立ち下がり位置からわずかにはみ出した場合であっても、内部散乱成分Ｉ２が埋もれてしまう可能性がある。また、電子シャッタの読み出し期間中に、電子移動に伴う時間遅れが発生し得る。このため、図１Ｆの信号（ｄ）に示すような理想的なバイナリの読み出しを実現できないことがある。したがって、制御回路１０５は、電子シャッタのシャッタタイミングを表面反射成分Ｉ１の立ち下がり直後よりやや遅らせてもよい。例えば、電子シャッタのシャッタタイミングを０．５ｎｓから５ｎｓ程度遅らせてもよい。なお、電子シャッタのシャッタタイミングを調整する代わりに、制御回路１０５は、光源１０１の出射タイミングを調整してもよい。制御回路１０５は、電子シャッタのシャッタタイミングと、光源１０１の出射タイミングとの時間差を調整する。非接触で脳活動時の血流量または血流内成分の変化を計測する場合、あまりにもシャッタタイミングを遅らせすぎると、もともと小さい内部散乱成分Ｉ２がさらに減少してしまう。このため、表面反射成分Ｉ１の後端近傍にシャッタタイミングを留めておいてもよい。ユーザ１００の散乱による時間遅れは、４ｎｓである。したがって、シャッタイミングの最大の遅らせ量は、４ｎｓ程度である。
【０１１２】
光源１０１から出射された複数のパルス光の各々を、同じ位相のシャッタタイミングで露光してもよい。これにより、内部散乱成分Ｉ２の検出光量が増幅される。
【０１１３】
なお、ユーザ１００とイメージセンサ１０２との間に帯域通過フィルタを配置することに替えて、またはそれに加えて、制御回路１０５が、光源１０１に光を出射させない状態で、同じ露光時間で撮影することによってオフセット成分を見積もってもよい。見積もったオフセット成分は、イメージセンサ１０２の各画素によって検出された信号から差分除去される。これにより、イメージセンサ１０２上で発生する暗電流成分を除去することができる。
【０１１４】
内部散乱成分Ｉ２には、ユーザ１００の内部情報、例えば、脳血流情報が含まれる。ユーザ１００の脳血流量の時間的な変動に応じて、血液に吸収される光の量が変化する。その結果、イメージセンサ１０２による検出光量も、相応に増減する。したがって、内部散乱成分Ｉ２をモニタリングすることにより、ユーザ１００の脳血流量の変化から脳活動状態を推定することが可能になる。本明細書において、イメージセンサ１０２から出力される信号のうち、内部散乱成分Ｉ２を示す信号を、「脳活動信号」と称することがある。脳活動信号は、ユーザ１００の脳血流の増減情報を含み得る。
【０１１５】
次に、表面反射成分Ｉ１の検出方法の例を説明する。表面反射成分Ｉ１には、ユーザ１００の表面情報が含まれる。表面情報は、例えば、顔および頭皮の血流情報である。イメージセンサ１０２は、光源１０１から出射されるパルス光がユーザ１００に到達し、再びイメージセンサ１０２に戻る光信号のうち、表面反射成分Ｉ１を検出する。
【０１１６】
図１Ｇは、表面反射成分Ｉ１を検出する場合のタイミングチャートの一例を模式的に示す図である。表面反射成分Ｉ１の検出のために、例えば、図１Ｇに示すように、パルス光がイメージセンサ１０２に到達する前にシャッタをＯＰＥＮにし、パルス光の後端が到達するよりも前にシャッタをＣＬＯＳＥにしてもよい。このようにシャッタを制御することにより、内部散乱成分Ｉ２の混入を少なくすることができる。その結果、ユーザ１００の表面近傍を通過した光の割合を大きくすることができる。シャッタＣＬＯＳＥのタイミングを、イメージセンサ１０２への光の到達直後にしてもよい。これにより、光路長が比較的短い表面反射成分Ｉ１の割合を高めた信号検出が可能になる。表面反射成分Ｉ１の信号を取得することにより、ユーザ１００の脈拍、または顔血流の酸素化度を検出することも可能になる。他の表面反射成分Ｉ１の取得方法として、イメージセンサ１０２が、光源１０１から出射されたパルス光の全体を検出したり、光源１０１から出射された連続光を検出したりしてもよい。
【０１１７】
図１Ｈは、内部散乱成分Ｉ２を検出する場合のタイミングチャートの一例を模式的に示す図である。パルスの後端部分がイメージセンサ１０２に到達する期間にシャッタをＯＰＥＮにすることにより、内部散乱成分Ｉ２の信号を取得することができる。
【０１１８】
表面反射成分Ｉ１を、内部散乱成分Ｉ２を取得する生体計測装置１０以外の装置によって検出してもよい。内部散乱成分Ｉ２を取得する装置とは別の装置、または脈波計もしくはドップラ血流計といった別デバイスを用いてもよい。その場合、当該別デバイスは、デバイス間のタイミング同期、光の干渉、および検出箇所の合わせこみを考慮して使用される。本実施形態のように、同一カメラまたは同一センサによる時分割撮像を行えば、時間的および空間的なずれが発生しにくい。同一のセンサによって表面反射成分Ｉ１および内部散乱成分Ｉ２の両方の信号を取得する場合、図１Ｇおよび図１Ｈに示すように、１フレームごとに取得する成分を切り替えてもよい。あるいは、図１Ｂから図１Ｄを参照して説明したように、１フレーム内で高速に取得する成分を、交互に切り替えてもよい。その場合、表面反射成分Ｉ１と内部散乱成分Ｉ２との検出時間差を低減することができる。また、表面反射成分Ｉ１および内部散乱成分Ｉ２の両方の信号を同じパルス光から取得しても良い。
【０１１９】
さらに、表面反射成分Ｉ１および内部散乱成分Ｉ２のそれぞれの信号を、２つの波長の光を用いて取得してもよい。例えば、７５０ｎｍおよび８５０ｎｍの２波長のパルス光を利用してもよい。これにより、それぞれの波長での検出光量の変化から、酸素化ヘモグロビンの濃度変化および脱酸素化ヘモグロビンの濃度変化を算出することができる。表面反射成分Ｉ１および内部散乱成分Ｉ２をそれぞれ２波長で取得する場合、例えば図１Ｂから図１Ｄを参照して説明したように、４種類の電荷蓄積を１フレーム内で高速に切り替える方法が利用され得る。そのような方法により、検出信号の時間的なずれを低減することができる。
【０１２０】
生体計測装置１０は、ユーザ１００の額に向けてパルス状の近赤外光または可視光を出射し、表面反射成分Ｉ１の時間的変化から、頭皮または顔の酸素化ヘモグロビン量の変化または脈拍を検出することができる。光源１０１は、表面反射成分Ｉ１を取得するために、近赤外光または可視光を出射する。近赤外光であれば昼夜問わず、計測が可能である。脈拍を計測する場合、より感度が高い可視光を用いてもよい。日中であれば外乱光である日射または室内光源を照明代わりに使用してもよい。光量が不足する場合は、専用の光源によって補強してもよい。内部散乱成分Ｉ２は、脳まで到達した光成分を含む。内部散乱成分Ｉ２の時間変化を計測することにより、脳血流の時間的な増減を計測することができる。
【０１２１】
脳まで到達した光は、頭皮および顔表面も通過する。このため、頭皮および顔の血流の変動も重畳されて検出される。その影響を除去または低減するために、生体計測データ生成部１０９は、生体計測データとして脳活動データを用いる場合、イメージセンサ１０２によって検出された内部散乱成分Ｉ２から表面反射成分Ｉ１を減算する処理を行ってもよい。これにより、頭皮および顔の血流情報を除いた純粋な脳血流情報を取得することができる。減算方法には、例えば、内部散乱成分Ｉ２の信号から、光路長差を考慮して決定された１以上のある係数を表面反射成分Ｉ１の信号に掛けた値を減算する方法が用いられ得る。この係数は、例えば、一般的な人の頭部の光学定数の平均値に基づいて、シミュレーションまたは実験によって算出され得る。このような減算処理は、同一のカメラまたはセンサにより、同一の波長の光を用いて計測する場合に容易に行うことができる。これは、時間的および空間的なずれの低減が容易であり、内部散乱成分Ｉ２に含まれる頭皮血流成分の特性と、表面反射成分Ｉ１の特性とを一致させやすいことに起因する。
【０１２２】
脳と頭皮との間には頭蓋骨が存在する。このため、脳血流の２次元分布と、頭皮および顔の血流の２次元分布とは独立である。したがって、イメージセンサ１０２によって検出される信号に基づいて、内部散乱成分Ｉ２の２次元分布と表面反射成分Ｉ１の２次元分布とを、独立成分分析または主成分分析などの統計手法を用いて分離してもよい。
【０１２３】
［３．生体計測のシーケンス］
次に、前述の生体計測装置１０を用いてユーザ１００の生体計測データを計測する方法の例を説明する。本実施形態では、計測部１１０は、表面反射成分Ｉ１を含む画像信号から、ユーザ１００の体動量を計測する。本実施形態では、体動量は、対象部の移動距離である。ここでは、対象部は、ユーザ１００の頭部である。移動距離は、基準位置からの変位量とも言い得る。本実施形態では、その計測結果に基づいて、出力決定部１１１が生体計測データを出力するか否かを決定する。
【０１２４】
図２は、本実施形態における、ユーザ１００の生体計測データを計測する処理の一例を示すフローチャートである。
【０１２５】
ステップＳ２０１では、生体計測装置１０は、生体計測データを計測する前の初期設定を実施する。ステップＳ２０１には、制御回路１０５が、生体計測装置１０とユーザ１００との距離に応じて、光源１０１からのパルス光の出射のタイミングおよびイメージセンサ１０２のシャッタタイミングを最適に調整する工程が含まれる。また、ステップＳ２０１には、制御回路１０５が、画像信号取得部１０８に、表面反射成分Ｉ１を含む画像信号を計測部１１０に送出させる工程と、計測部１１０が初期状態の頭部の位置を算出し、計測部１１０内の不図示のメモリに記憶する工程とが含まれる。
【０１２６】
ステップＳ２０２では、制御回路１０５は、画像信号取得部１０８に、内部散乱成分Ｉ２を含む内部画像を表す画像信号を生体計測データ生成部１０９に送出させる。
【０１２７】
ステップＳ２０３では、制御回路１０５は、画像信号取得部１０８に、表面反射成分Ｉ１を含む表面画像を表す画像信号を計測部１１０に送出させる。
【０１２８】
ステップＳ２０２およびステップＳ２０３の順序は逆であってもよい。
【０１２９】
ステップＳ２０４では、計測部１１０は、表面画像を表す画像信号から対象部の位置を算出し、メモリに記憶しておいた初期状態の対象部の位置との差分値を算出することにより、体動量を算出する。当該差分値は、対象部の変位量である。画像信号からの対象部の位置の算出には、例えばエッジ検出を用いた特徴点抽出などの公知の画像処理方法が用いられ得る。脳血流の２次元画像よりも、顔の２次元画像のほうが空間周波数の高い成分を多く含む。したがって、顔の２次元画像の方が、特徴点の抽出が容易である点で有利である。計測部１１０は、体動量を、初期状態を基準とする差分値として、出力決定部１１１に送出する。
【０１３０】
ステップＳ２０５では、出力決定部１１１は、体動量がしきい値以下であるかどうかを判定する。このしきい値は、例えば１ｍｍから３０ｍｍの範囲に含まれる値である。生体計測データとして脳血流の２次元分布を得る場合、当該２次元分布の所望の分解能が相対的に低ければ、しきい値を大きくすることができる。
【０１３１】
体動量がしきい値以下の場合、ステップＳ２０６では、生体計測データ生成部１０９は、内部画像を表す画像信号から生体計測データを生成して、出力決定部１１１に生体計測データを送出する。ステップＳ２０７では、出力決定部１１１は、生体計測データを出力する。その出力は、例えば、生体計測装置１０の不図示の表示部に表示されてもよく、不図示のより上位のシステムの制御に用いられてもよい。
【０１３２】
体動量がしきい値を超えた場合、ステップＳ２０６およびステップＳ２０７はスキップされ、出力決定部１１１は、生体計測データの出力を停止する。ここで、出力決定部１１１は、生体計測データの出力を停止する代わりに、そのタイミングでの生体計測データが無効であることを示す信号を出力してもよい。または、出力決定部１１１は、直前の有効であった生体計測データと同じデータを出力し続けてもよい。または、出力決定部１１１は、生体計測データが再び有効になったタイミングで、直前の有効であった生体計測データから補間されたデータを出力してもよい。
【０１３３】
ステップＳ２０８では、所定期間の計測を実施したかどうかが判定される。この判定は、生体計測装置１０が判定してもよいし、生体計測装置１０の出力が接続された、上位のシステムが判定してもよい。
【０１３４】
前述の「所定期間」は、例えばユーザ１００の心理状態を推定することができるまでの期間であってもよい。または、「所定期間」は、ユーザ１００に与えた一連のタスクが終了するまでの期間であってもよい。または、「所定期間」は、ユーザ１００が一連の作業を終えるまでであってもよい。当該一連の作業は、例えば、自動車の運転またはゲーム機の操作である。
【０１３５】
所定期間の計測を実施することができていない場合には、生体計測装置１０は、ステップＳ２０２からステップＳ２０８までのシーケンスを繰り返す。所定期間の計測を実施することができた場合には、生体計測装置１０は、計測を終了する。
【０１３６】
本実施形態における生体計測装置１０の前述の動作をまとめると、以下のようになる。制御回路１０５は、光源１０１に光を出射させ、イメージセンサ１０２に画像信号を出力させる。生体計測データ生成部１０９は、画像信号に基づいて、生体計測データを生成する。出力決定部１１１は、生体計測データを出力するか否かを判断する。制御回路１０５、生体計測データ生成部１０９、および出力決定部１１１は、上記の動作を繰り返す。出力決定部１１１は、イメージセンサ１０２から出力される画像信号に基づいて算出される値が予め設定された条件に該当する期間の間、生体計測データの出力を停止する。前述の例では、イメージセンサ１０２から出力される画像信号に基づいて算出される値は、計測部１１０によって算出された対象部の変位量を示す差分値である。予め設定された条件は、当該差分値がしきい値を超えることである。
【０１３７】
［４．生体計測時の動作］
図３Ａは、本実施形態における、ユーザ１００の生体計測データを計測する処理の動作の一例を説明する図である。図３Ａに示す例では、対象部は、ユーザ１００の頭部である。
【０１３８】
図３Ａの部分（ａ）から（ｄ）に示す例では、横軸方向は、フレームまたは時間の推移を表す。部分（ａ）は、表面反射成分Ｉ１を含む画像である表面画像の変化を模式的に示す。部分（ｂ）は体動量の変化を示す。部分（ｃ）は判定結果を示す。部分（ｄ）は、生体計測データの一例として、脳活動データである額領域の酸素化ヘモグロビン濃度の変化を示す。
【０１３９】
各フレームには番号が付記されているが、各フレームの間にさらに１つ以上のフレームが挿入されてもよい。フレームレートまたは計測頻度は、例えば１ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）から３０ｆｐｓの範囲の間であってもよい。体動量の計測頻度と、生体計測データの生成頻度とは、異なっていてもよい。脳血流の変化は１秒から数秒にわたって緩やかに変化する。一方、非接触で画像として取得される体動は、脳血流よりも速い速度で変化する。したがって、より精密に体動を検出するために、体動量の計測頻度は、脳血流データの生成頻度以上であってもよい。
【０１４０】
図３Ａの部分（ａ）に示す例では、フレーム３とフレーム４とでの対象部の移動により、計測部１１０によって計測された体動量が、しきい値を超えている。体動量と、生成された生体計測データのイレギュラーさとには相関がある。したがって、出力決定部１１１は、体動量がしきい値を超えた期間の間では、生体計測データを無効と判定し、生体計測データの出力を停止する。その結果、図３Ａの部分（ｄ）に示すように、生体計測データである脳活動データは、フレーム１、フレーム２およびフレーム５で出力される。図３Ａの部分（ｂ）に示す例では、体動量がしきい値を超えた期間は、「無効期間」と記載されている。
【０１４１】
以上に述べた実施形態により、ユーザ１００に再度の計測を促すことなく、非接触で生体計測データを計測することが可能になる。これにより、日常的に計測可能な生体計測装置を実現することができる。また、脳血流分布の復元に伴う計算が不要である。したがって、計算コストを低減することができ、安価な方法による生体計測が可能になる。
【０１４２】
図３Ｂは、体動量の変化と無効期間との関係を模式的に示す図である。図３Ａの部分（ｂ）に示す動作では、体動量がしきい値を超える期間を無効期間とした。一方、図３Ｂの部分（ａ）に示すように、体動量がしきい値を超える期間に加えて、体動量がしきい値を超える前の期間ｄｆ１、および体動量がしきい値を下回った後の期間ｄｒ１を含む期間を、無効期間としてもよい。体動量がしきい値を超える期間に加えて、期間ｄｆ１および期間ｄｒ１のいずれか一方を含む期間を、無効期間としてもよい。例えば、期間ｄｆ１および期間ｄｒ１は、０．５フレーム相当の期間である。このように、出力決定部１１１は、イメージセンサ１０２から出力される画像信号に基づいて算出される値が予め設定された条件に該当する期間に加えて、当該期間の開始前の期間ｄｆ１および／または終了後の期間ｄｒ１の間は、当該値が条件に該当しない場合であっても、生体計測データの出力を停止してもよい。
【０１４３】
また、無効期間を開始するタイミングは体動量がしきい値を超えた後でもよい。すなわち、体動量がしきい値を超えるタイミングを基準としたときに、ｄｆ１は負の値であってもよい。このようにする理由は、体動量がしきい値を超えてから無効期間を設定するまでにシステム処理のための遅延時間が存在する場合があるからである。
【０１４４】
さらに、図３Ｂの部分（ｂ）に示すように、終了後の期間ｄｒ２を、開始前の期間ｄｆ２よりも長くしてもよい。例えば、期間ｄｆ２は０．５フレーム相当の期間であり、期間ｄｒ２は４．５フレーム相当の期間である。このようにする理由は、実施例において後述する。
【０１４５】
本実施形態では、表面反射成分Ｉ１を含む画像信号から体動量が算出された。一方、内部散乱成分Ｉ２を含む画像信号から体動量を算出してもよい。内部散乱成分Ｉ２を含む画像信号にも、対象部の外形の情報は含まれている。ただし、表面反射成分Ｉ１を含む画像信号の方が検出光量を大きくすることができる。したがって、表面反射成分Ｉ１を含む画像信号の方が、内部散乱成分Ｉ２を含む画像信号よりも、ＳＮ比の点で有利である。
【０１４６】
また、本実施形態では、対象部の変位量を計測対象としたが、計測対象はこれに限定されない。計測対象は、対象部の移動速度であってもよい。対象部の移動速度の絶対値がしきい値を超えるフレームでは、脳活動データの出力を停止してもよい。当該フレームでは、体動が発生していると考えられるからである。対象部の移動速度は、言い換えれば、フレーム間での対象部の移動距離である。
【０１４７】
図３Ｃは、対象部の移動速度と無効期間との関係を模式的に示す図である。無効期間の設定方法の一例としては、図３Ｃに示すように、無効期間を、移動速度が正のしきい値を超えてから当該正のしきい値を下回り、負のしきい値を下回った後、当該負のしきい値を超えるまで、または、移動速度が負のしきい値を下回ってから当該負のしきい値を超え、正のしきい値を超えた後、当該正のしきい値を下回るまでとしてもよい。
【０１４８】
さらに、計測対象は、対象部の移動に関連する必要はなく、対象部の輝度値であってもよい。
【０１４９】
図３Ｄは、本実施形態における、ユーザ１００の生体計測データを計測する処理の動作の例を説明する図である。図３Ｄに示す例では、対象部は、ユーザ１００の頭部である。図３Ｄの部分（ａ）に示す例では、計測部１１０は、内部散乱成分Ｉ２を含む画像である内部画像から対象部の輝度値を計測する。対象部の輝度値がしきい値を超えている期間を無効期間とする。出力決定部１１１は、無効期間に含まれるフレーム２およびフレーム３では、脳活動データの出力を停止する。内部散乱成分Ｉ２を含む画像において対象部の輝度値が飽和値に近くなると、生体計測データを正確に生成することができなくなる。したがって、対象部の輝度値に基づいて有効性を判定することにより、生体計測装置１０は正確な生体計測データのみを出力することができる。
【０１５０】
図３Ｄに示す例では、対象部の輝度値がしきい値を超えている期間を無効期間とした。一方、逆に、対象部の輝度値がしきい値を下回っている期間を無効期間としてもよい。内部散乱成分Ｉ２を含む画像の対象部の輝度値が極端に低い場合は、画像のＳＮ比が不十分だからである。この場合、正確な生体計測データを生成することができない。
【０１５１】
また、計測対象は、対象部の輝度値の変化速度であってもよい。輝度値の変化速度の絶対値がしきい値を超えるフレームでは、脳活動の出力を停止してもよい。当該フレームでは、輝度が極端に高くなっているか、低くなっているかのいずれかであると考えられるからである。
【０１５２】
また、計測部１１０は、生体計測データを計測する対象部における所定の領域の面積を、画像信号から計測してもよい。対象部における所定の領域の面積は、例えば額部の面積である。画像信号からの額部の面積の算出には、例えば、前述したエッジ検出を用いた特徴点抽出などの公知の画像処理方法が用いられ得る。額部に髪の毛が多く含まれ、額部の面積がしきい値を下回る場合、生体計測データの出力を停止してもよい。対象部の面積が小さいと、生成された生体計測データの精度が低下するからである。
【０１５３】
さらに、計測対象は、生体計測データそのものであってもよい。
【０１５４】
図３Ｅは、本実施形態における生体計測装置１０の例を模式的に示す図である。図３Ｅに示す例では、図１Ａに示す例と異なり、生体計測データの生成結果は、計測部１１０にも送出される。計測部１１０は、生体計測データの変化速度を計測する。生体計測データは、例えば脳活動データである酸素化ヘモグロビン濃度または脱酸素化ヘモグロビン濃度である。脳血流の変化は、１秒から数秒にわたって緩やかに変化する。一方、体動および対象部の輝度変化は、脳血流よりも速い速度で、脳血流の計測値に影響を与える。したがって、生体計測データの変化速度に基づいて有効性を判定することにより、生体計測装置１０は、正確な生体計測データのみを出力することができる。出力決定部１１１は、生体計測データから算出された値の変化速度の絶対値がしきい値を超える場合に、生体計測データの出力を停止してもよい。
【０１５５】
（第２の実施形態）
第２の実施形態における生体計測装置２０の構成および動作を、図４から図６を参照して説明する。
【０１５６】
図４は、本実施形態における生体計測装置２０の例を模式的に示す図である。本実施形態では、計測部１１０は、表面反射成分Ｉ１を含む画像信号からユーザ１００の体動量を計測する。本実施形態では、ユーザ１００の体動量は、対象部の移動距離である。出力決定部４０１は、その計測結果に基づいて、生体計測データの信頼度を算出し、信頼度を示す信頼度データを、生体計測データとともに出力する。このように、第２の実施形態では、第１の実施形態と異なり、出力決定部４０１は、生体計測データだけでなく、信頼度データも出力する。
【０１５７】
図５Ａは、本実施形態における、ユーザ１００の生体計測データを計測する処理の一例を示すフローチャートである。
【０１５８】
ステップＳ５０１での初期設定の実施、ステップＳ５０２での表面画像の取得、ステップＳ５０３での内部画像の取得、およびステップＳ５０４での体動量の算出は、それぞれ、第１の実施形態におけるステップＳ２０１からステップＳ２０４での動作と同じである。
【０１５９】
ステップＳ５０５では、出力決定部４０１は、初期状態からの差分値から算出した体動量に基づいて信頼度を算出する。
【０１６０】
図５Ｂは、差分値と信頼度との関係の一例を示す図である。差分値０ｍｍのとき、計測結果を最も信頼することができる。したがって、図５Ｂに示すように、差分値０ｍｍのとき、信頼度を１００％としてもよい。図５Ｂに示すように、差分値が大きくなるほど、信頼度を低い値としてもよい。このように、出力決定部４０１は、イメージセンサ１０２から出力された画像信号から算出した値が予め設定された値から離れるほど、低い信頼度を算出してもよい。
【０１６１】
本実施形態における生体計測装置２０は、体動量の大きさに関係なく、生体計測データを出力してもよい。ステップＳ５０６では、生体計測データ生成部１０９が、画像信号から生体計測データを生成して、出力決定部４０１に生体計測データを送出する。
【０１６２】
ステップＳ５０７では、出力決定部４０１は、生体計測データとともに、信頼度データを出力する。その出力は、例えば、生体計測装置２０の不図示の表示部に表示されてもよく、不図示のより上位のシステムの制御に用いられてもよい。
【０１６３】
ステップＳ５０８での動作は、第１の実施形態におけるステップＳ２０８での動作と同様である。
【０１６４】
図６は、本実施形態における、ユーザ１００の生体計測データを計測する処理の動作の一例を説明する図である。図６に示す例では、対象部は、ユーザ１００の頭部である。
【０１６５】
図６の部分（ａ）から（ｄ）に示す例では、図３Ａの部分（ａ）から（ｄ）に示す例と同様に、横軸方向は、フレームまたは時間の推移を表す。部分（ａ）は、表面反射成分Ｉ１を含む画像である表面画像を模式的に示す。部分（ｂ）は、体動量の変化を示す。部分（ｃ）は信頼度の値の変化を示す。部分（ｄ）は、生体計測データの一例として、脳活動データである額領域の酸素化ヘモグロビン濃度の変化を示す。
【０１６６】
第２の実施形態では、第１の実施形態と異なり、各フレームの体動量に応じて、信頼度が算出される。図６の部分（ｃ）に示す例では、出力決定部４０１は、図６の部分（ｂ）に示す体動量が大きくなるほど、信頼度を低い値として算出する。体動量は、初期状態を基準とした対象部の位置の差分値である。
【０１６７】
フレーム３とフレーム４とでは、対象部の移動により、信頼度は低い値になっている。一方、出力決定部４０１は、すべてのフレームで生体計測データを出力してもよい。出力決定部４０１は、生体計測データとともに、信頼度データも出力する。
【０１６８】
以上に述べた実施形態により、ユーザ１００に再度の計測を促すことなく、非接触で生体計測データを計測することが可能になる。これにより、日常的に計測可能な生体計測装置を実現することができる。また、脳血流分布の復元に伴う計算が不要である。したがって、計算コストを低減することができ、安価な方法による生体計測が可能になる。さらに、上位のシステムが、信頼度データを用いて生体計測データの有効性を総合的に判定することができるという特別の効果が得られる。
【０１６９】
本実施形態では、計測部１１０での計測結果がしきい値から離れるほど、信頼度は、低い値として算出されている。一方、信頼度の算出方法は、これに限定されない。
【０１７０】
信頼度は、計測結果の値そのものではなく、計測結果の時間的な傾向に基づいて算出されてもよい。例えば、計測結果がしきい値を超えている状態が継続している無効期間が長いほど、低い信頼度を算出してもよい。言い換えれば、出力決定部１１１は、イメージセンサ１０２から出力された画像信号から算出した値が予め設定された値を超える期間が長いほど、低い信頼度を算出してもよい。
【０１７１】
また、ある一定の期間中に占める無効期間の割合が高いほど低い信頼度を算出してもよい。言い換えれば、出力決定部１１１は、一定期間の間に、イメージセンサ１０２から出力された画像信号から算出した値が予め設定された値を超える期間が長いほど、低い信頼度を算出してもよい。計測値の有効および無効が短時間で切り替わる場合には、このような信頼度の算出方法を用いることが効果的である。
【０１７２】
（第３の実施形態）
第３の実施形態に係る生体計測装置３０の構成および動作を、図７Ａから図９を参照して説明する。
【０１７３】
図７Ａは、本実施形態における生体計測装置３０の例を模式的に示す図である。本実施形態における生体計測装置３０は、撮像部７０１と、信号処理回路７０２と、計測部７０３とを備える。本実施形態では、計測部７０３は、周辺環境であるユーザ１００の近傍に設置された加速度センサを含み、加速度を計測する。出力決定部１１１は、計測結果に基づいて、生体計測データを出力するか否かを決定する。
【０１７４】
図７Ｂは、生体計測装置３０を自動車の内部に設置する場合の、各部分の配置の一例を模式的に示す図である。撮像部７０１、信号処理回路７０２、および計測部７０３は、それぞれ分離して配置されてもよい。計測部７０３は、ユーザ１００の近傍に配置される。ここで「近傍に配置する」とは、計測部７０３によって計測された加速度と、ユーザ１００自身の体動とに少なくとも相関がある距離に配置することを意味する。
【０１７５】
図７Ｃは、生体計測装置をゲーム機またはアトラクション装置に付加して設置する場合の、各部分の配置の一例を模式的に示す図である。図７Ｂに示す配置の一例と同様に、撮像部７０１、信号処理回路７０２、および計測部７０３は、それぞれ分離して配置されてもよい。ユーザ１００は、例えばディスプレイ７０４からの視覚情報に基づき、コントローラ７０５を操作する。計測部７０３は、例えばユーザ１００の頭部に装着されたヘッドホンまたはヘッドマウントディスプレイに取り付けられる。計測部７０３は、ユーザの対象部の移動に伴う加速度を検出する。また計測部７０３は、例えばディスプレイ７０４の表示情報の変化に伴う対象部の照度の変化を検出してもよい。
【０１７６】
図８は、本実施形態における、ユーザ１００の生体計測データを計測する処理の一例を示すフローチャートである。
【０１７７】
ステップＳ８０１では、生体計測装置３０は、生体計測データを計測する前の初期設定を実施する。このステップＳ８０１には、第１の実施形態と同様に、生体計測装置３０とユーザ１００との距離に応じて、制御回路１０５が、光源１０１からのパルス光の出射のタイミングおよびイメージセンサ１０２のシャッタタイミングを最適に調整する工程が含まれる。
【０１７８】
ステップＳ８０２では、計測部７０３は、加速度を計測する。生体計測装置３０を自動車の内部に設置した場合には、加速度の計測は、自動車の振動の計測に相当する。
【０１７９】
加速度の計測頻度は、生体計測データの生成頻度以上でもよい。これにより、急激な振動が発生した場合の計測値の追従性がよくなる。その結果、出力決定部１１１での判定の精度を向上させることができる。本実施形態では、一例として、加速度の計測頻度は、脳活動データの算出頻度の１０倍とする。
【０１８０】
ステップＳ８０３では、計測部７０３内の不図示のメモリに、加速度値が順次蓄積される。ステップＳ８０４では、加速度の計測回数の判定工程により、ステップＳ８０２およびステップＳ８０３のループが、例えば１０回繰り返される。計測回数に制限はない。
【０１８１】
ステップＳ８０５では、計測部７０３は、メモリの内容を参照し、蓄積された１０回分の加速度値の中から、最大値を出力決定部１１１に送出する。最大値の代わりに１０回分の平均値を用いてもよい。本実施形態では、ユーザ１００自身の体動と少なくとも相関のある値が、１０回分の加速度値から算出される。
【０１８２】
ステップＳ８０６では、出力決定部１１１は、計測部７０３から受け取った加速度値の最大値がしきい値以下であるかどうかを判定する。このしきい値は、例えば前後・左右・垂直のうちのいずれかの方向の加速度であり、０．１Ｇから１Ｇ（Ｇ＝９．８ｍ／ｓ２）の範囲に含まれる値である。
【０１８３】
ステップＳ８０７では、制御回路１０５は、画像信号取得部１０８に、内部散乱成分Ｉ２を含む画像信号を生体計測データ生成部１０９に送出させる。ステップＳ８０８、ステップＳ８０９、およびステップＳ８１０での動作は、それぞれ、第１の実施形態におけるステップＳ２０６、ステップＳ２０７、およびステップＳ２０８での動作と同じである。
【０１８４】
図９は、本実施形態における、ユーザ１００の生体計測データを計測する処理の動作の一例を説明する図である。図９に示す例では、対象部は、ユーザ１００の頭部である。
【０１８５】
図９の部分（ａ）から（ｄ）に示す例では、横軸方向は、フレームまたは時間の推移を表す。部分（ａ）は、自動車またはアトラクション装置の筐体の状態を模式的に示す。部分（ｂ）は、加速度の変化を示す。部分（ｃ）は、判定結果を示す。部分（ｄ）は、生体計測データの一例として、脳活動データである額領域の酸素化ヘモグロビン濃度の変化を示す。
【０１８６】
第３の実施形態では、第１の実施形態と異なり、計測部７０３は、加速度を計測する。加速度を計測するのは、ユーザ１００の近傍の加速度と、ユーザ１００自身の体動量とに相関があるからである。
【０１８７】
図９に示す例では、フレーム３とフレーム４とで、自動車またはアトラクション装置の筐体が振動する。このため、計測部７０３によって計測された加速度が、しきい値を超える。体動量と、生成された生体計測データのイレギュラーさとには相関がある。したがって、出力決定部１１１は、加速度がしきい値を超える無効期間の間は、生体計測データを無効と判定し、生体計測データの出力を停止する。その結果、図９の部分（ｄ）に示すように、生体計測データである脳活動データは、フレーム１、フレーム２およびフレーム５で出力される。
【０１８８】
以上に述べた実施形態により、ユーザ１００に再度の計測を促すことなく、非接触で生体計測データを計測することが可能になる。これにより、日常的に計測可能な生体計測装置を実現することができる。また、脳血流分布の復元に伴う計算が不要である。したがって、計算コストを低減でき、安価な方法で生体の計測が可能になる。また、画像信号から体動量を計測する必要がないので、さらに計算コストを低減することができるという特別の効果が得られる。
【０１８９】
なお、計測部７０３の計測対象は、少なくとも体動と相関があればよく、加速度に限定されない。例えば、生体計測装置３０を自動車に設置する場合、計測部７０３は速度センサを含み、速度を計測してもよい。また、計測部７０３は舵角センサを含み、自動車の舵角を計測してもよい。
【０１９０】
また、計測部７０３は、ギヤ位置センサを含み、自動車のギヤ位置を計測してもよい。この場合、出力決定部１１１は、ギヤ位置の計測結果が予め設定された状態を示す期間の間、生体計測データの出力を停止する。出力決定部１１１は、図３Ｂに示すように、当該期間に加えて、当該期間の開始前の期間、および／または終了後の期間の間、生体計測データの出力を停止してもよい。予め設定された状態は、例えば、ギヤがリバースの位置にある状態である。この状態では、自動車を後退させるために、ユーザ１００は、後ろを見ながら運転する。これにより、ユーザ１００の対象部は、基準位置から変位し、ユーザ１００の体動が生じる。
【０１９１】
さらに、計測部７０３の計測対象は、ユーザ１００の体動に関連していなくてもよい。計測部７０３は、周辺環境であるユーザ１００の近傍に設置された照度センサを含み、照度を計測してもよい。この場合、出力決定部１１１は、照度値がしきい値を超える期間を無効期間として、生体計測データの出力を停止する。内部散乱成分Ｉ２を含む画像において対象部の輝度値が飽和値に近くなると、生体計測データを正確に生成できなくなる。したがって、照度値と対象部の輝度値とに少なくとも相関があるとき、対象部の輝度値に基づいて有効性を判断することにより、生体計測装置３０は、正確な生体計測データのみを出力することができる。
【０１９２】
（実施例）
以下では、本開示の原理を確認するために実施した、実施例を説明する。
【０１９３】
第１の実施形態における図１Ａに示す生体計測装置１０が、対象部であるユーザ１００の頭部と正対するように設置された。意図しない体動を生じにくくするために、ユーザ１００の顔が、あご台に載せられた。ユーザ１００をリラックスさせた後、３０秒間、ユーザの頭部を撮影して、生体計測データとして脳活動データが計測された。
【０１９４】
光源の波長は、７５０ｎｍおよび８５０ｎｍとした。表面反射成分Ｉ１を含む画像信号は、３０ｆｐｓで取得された。内部散乱成分Ｉ２を含む画像信号は、５ｆｐｓで取得された。画像信号の解像度は、３２０ピクセル×２４０ピクセルとした。額の中央部を含む５０ピクセル×５０ピクセルの範囲を対象領域として、空間平均化の処理が行われるとともに、リアルタイムで時間平均化の処理が行われた。２つの波長の内部散乱成分Ｉ２を含む画像信号に基づいて酸化ヘモグロビン濃度が算出され、算出された酸化ヘモグロビン濃度の変化がモニタされた。
【０１９５】
同時に、表面反射成分Ｉ１を含む画像信号に基づいて、計測部１１０からの顔の移動距離の変化が、モニタされた。顔の特徴点の抽出および追跡には、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ（ＫＬＴ）アルゴリズムが用いられた。
【０１９６】
計測中に１度だけ、ユーザ１００は、意図的に頭部を右方向に動かして、すぐにもとの位置に戻した。
【０１９７】
図１０Ａは、時間と頭部の移動距離との関係を示す図である。図１０Ｂは、時間と酸化ヘモグロビン濃度との関係を示す図である。図１０Ａに示す例において、Ｘは左右方向の変化を表し、Ｙは上下方向の変化を表し、Ｚは奥行き方向の変化を表す。移動距離は、Ｘ方向、Ｙ方向、およびＺ方向の各々における初期値からの変位量である。図１０Ｂに示す例において、酸化ヘモグロビン濃度は、初期値からの変化量とした。当該変化量は、任意単位で表された。
【０１９８】
図１０Ａおよび図１０Ｂに示すように、頭部の移動が発生している時間である約１１秒から１２秒に同期して、酸化ヘモグロビン濃度に、大きな変動が発生している。このことから、頭部の動きに代表される体動と、脳活動データのイレギュラーな変動とに相関があることがわかる。
【０１９９】
また、図１０Ａおよび図１０Ｂに示す結果から、頭部の移動開始からわずかに遅れて、酸化ヘモグロビン濃度の変動が発生していることがわかる。さらに、頭部の移動が終了してから遅れて、酸化ヘモグロビン濃度の変動が治まっていることがわかる。この理由としては、以下の２つが考えられる。（１）脳は、頭蓋骨内の髄液で浮かんでいるような状態にある。このため、脳の移動が、頭蓋骨の移動と比較して時間的に遅れる。（２）酸化ヘモグロビン濃度の計測では、リアルタイムで時間平均化の処理が行われる。このために、計測値が、直前の変動の影響を受けやすい。
【０２００】
図１０Ａおよび図１０Ｂに示す結果から、例えば以下の２つの条件が満たされるとき、有効性を判定して脳活動データの出力を停止してもよい。（１）しきい値は、Ｘ方向、Ｙ方向、およびＺ方向のいずれかの移動距離について５ｍｍとする。（２）しきい値を超える０．５秒前から、しきい値を下回った４．５秒後までを無効期間とする。これら２つの条件により、酸化ヘモグロビン濃度の計測値のイレギュラーな変動を除去することができる。
【０２０１】
前述した例では、生体計測データの例として、脳血流データが用いられたが、これに限定されない。生体計測データは、例えば、頭皮血流、脈拍、発汗、呼吸、および体温からなる群から選択される少なくとも１つを示すデータであってもよい。当該データは、表面反射成分Ｉ１から取得することができる。
【０２０２】
本開示は、信号処理回路１２２および信号処理回路７０２が実行する動作のプログラムおよび方法も含む。
【産業上の利用可能性】
【０２０３】
本開示における生体計測装置は、非接触でユーザの内部情報を取得するカメラまたは計測機器に利用することができる。生体計測装置は、例えば、生体もしくは医療センシング、自動車の運転者のセンシング、ゲーム機もしくはアトラクション装置でのユーザのセンシング、教育機関での学習者のセンシング、または職場での労働者のセンシングにも応用することができる。
【符号の説明】
【０２０４】
１０、２０、３０      生体計測装置
１００      ユーザ
１０１      光源
１０２      イメージセンサ
１０３      光電変換部
１０４      電荷蓄積部
１０５      制御回路
１０６      光源制御部
１０７      センサ制御部
１０８      画像信号取得部
１０９      生体計測データ生成部
１１０、７０３      計測部
１１１、４０１      出力決定部
１２１、７０１      撮像部
１２２、７０２      信号処理回路
２０１      画素
２０２      ドレイン
２０３      フォトダイオード
２０４      第１の浮遊拡散層
２０５      第２の浮遊拡散層
２０６      第３の浮遊拡散層
２０７      第４の浮遊拡散層
３０２      行選択回路
３０３      列選択回路
３０４      垂直信号線
３０５      ソースフォロワ電源
３０６      ソースフォロワ負荷
３０７      アナログ−デジタル変換回路
３０８      行選択トランジスタ
３０９      ソースフォロワトランジスタ
３１０      リセットトランジスタ
７０４      ディスプレイ
７０５      コントローラ
【図１Ａ】
2020044854.tif 000003
【図１Ｂ】
2020044854.tif 000004
【図１Ｃ】
2020044854.tif 000005
【図１Ｄ】
2020044854.tif 000006
【図１Ｅ】
2020044854.tif 000007
【図１Ｆ】
2020044854.tif 000008
【図１Ｇ】
2020044854.tif 000009
【図１Ｈ】
2020044854.tif 000010
【図２】
2020044854.tif 000011
【図３Ａ】
2020044854.tif 000012
【図３Ｂ】
2020044854.tif 000013
【図３Ｃ】
2020044854.tif 000014
【図３Ｄ】
2020044854.tif 000015
【図３Ｅ】
2020044854.tif 000016
【図４】
2020044854.tif 000017
【図５Ａ】
2020044854.tif 000018
【図５Ｂ】
2020044854.tif 000019
【図６】
2020044854.tif 000020
【図７Ａ】
2020044854.tif 000021
【図７Ｂ】
2020044854.tif 000022
【図７Ｃ】
2020044854.tif 000023
【図８】
2020044854.tif 000024
【図９】
2020044854.tif 000025
【図１０Ａ】
2020044854.tif 000026
【図１０Ｂ】
2020044854.tif 000027
【国際調査報告】
2020044854.tif 000028
2020044854.tif 000029
2020044854.tif 000030
2020044854.tif 000031