(57)【要約】【課題】脈拍一周期分の脈波の検出の有無に関わらず、脈波に基づいて生体判定を行うことのできる生体判定システム、生体認証システム、生体判定プログラム、及び生体判定方法を提供する。【解決手段】生体判定システム１００は、対象物の所定の波長領域における輝度値に関する複数の時系列データを検出する脈波検出部２３０と、脈波検出部２３０により取得された複数の時系列データの傾向を分析する傾向分析部２４０とを備える。そして、傾向分析部２４０が分析した複数の時系列データの傾向に基づき、対象物が生体であるか否かについての判定を生体判定部２５０を通じて行う。【選択図】図１
2020000312.tif 000002
【特許請求の範囲】
【請求項１】
対象物の所定の波長領域における輝度値に関する複数の時系列データを取得するデータ取得部と、
前記データ取得部により取得された前記複数の時系列データの傾向を分析する傾向分析部と、
前記傾向分析部が分析した前記複数の時系列データの傾向に基づき、前記対象物が生体であるか否かについての判定を行う生体判定部と
を備える生体判定システム。
【請求項２】
前記傾向分析部は、前記複数の時系列データの相関度合いを分析し、
前記生体判定部は、前記傾向分析部が分析した前記複数の時系列データの相関度合いに基づき、前記対象物が生体であるか否かについての判定を行う
請求項１に記載の生体判定システム。
【請求項３】
前記傾向分析部は、前記複数の時系列データの同一の時間帯の増減方向を分析し、
前記生体判定部は、前記傾向分析部が分析した前記複数の時系列データの同一の時間帯の増減方向に基づき、前記対象物が生体であるか否かについての判定を行う
請求項１又は請求項２に記載の生体判定システム。
【請求項４】
前記複数の時系列データは、複数の波長領域における輝度値に関するデータを含み、
前記複数の波長領域は、第１の波長領域と、前記第１の波長領域とは異なる第２の波長領域とを含み、
前記生体判定部は、前記第１の波長領域に対応する前記時系列データと、前記第２の波長領域に対応する前記時系列データとが反対の傾向であるときには、前記対象物が生体である旨を判定する
請求項１〜３のいずれか一項に記載の生体判定システム。
【請求項５】
前記複数の時系列データは、対象物に含まれる複数のエリアにおける輝度値に関するデータを含み、
前記複数のエリアは、第１のエリアと、前記第１のエリアとは異なる第２のエリアとを含み、
前記生体判定部は、各エリアに対応する同一の波長領域の前記時系列データを比較し、前記第１のエリアに対応する前記時系列データと、前記第２のエリアに対応する前記時系列データとが共通の傾向であるときには、前記対象物が生体である旨を判定する
請求項１〜４のいずれか一項に記載の生体判定システム。
【請求項６】
前記傾向分析部は、前記時系列データを時間軸方向に連続する所定数のデータごとに平均化した値を算出し、その算出した値を対応するデータから減算した結果に基づいて前記時系列データの傾向を分析する
請求項１〜５のいずれか一項に記載の生体判定システム。
【請求項７】
前記所定の波長領域は、生体の脈拍と相関のある波長領域を含む
請求項１〜６のいずれか一項に記載の生体判定システム。
【請求項８】
前記時系列データを撮像する撮像部における露出制御の動作が前記生体判定部による生体判定に適した状態と合致したときには、露出制御を含めた撮影条件を維持する撮像制御部を更に備える
請求項１〜７のいずれか一項に記載の生体判定システム。
【請求項９】
請求項１〜８のいずれか一項に記載の生体判定システムと、
前記生体判定システムにより対象物が生体である旨が判定されたとき、生体認証を行う認証処理部と
を備える生体認証システム。
【請求項１０】
コンピュータに、
対象物の所定の波長領域における輝度値に関する複数の時系列データを取得するデータ取得処理と、
前記データ取得処理により取得された前記複数の時系列データの傾向を分析する傾向分析処理と、
前記傾向分析処理により分析された前記複数の時系列データの傾向に基づき、前記対象物が生体であるか否かについての判定を行う生体判定処理と
を実行させるための生体判定プログラム。
【請求項１１】
対象物の所定の波長領域における輝度値に関する複数の時系列データを取得するデータ取得処理と、
前記データ取得処理により取得された前記複数の時系列データの傾向を分析する傾向分析処理と、
前記傾向分析処理により分析された前記複数の時系列データの傾向に基づき、前記対象物が生体であるか否かについての判定を行う生体判定処理と
を含む生体判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体判定システム、生体認証システム、生体判定プログラム、及び生体判定方法に関する。
【背景技術】
【０００２】
近年、顔認証端末において、写真や静止画による成りすましを防止するニーズが高まっている。そこで、撮影画像の被写体が生体であるか否かについて判定し、被写体が生体であると判定したことを条件に顔認証を行うことが提案されている。
【０００３】
例えば特許文献１に記載の装置ではまず、時間的に連続する撮像画像から顔領域を検出し、顔領域を構成する各画素の輝度値の時系列データからバイタル情報を抽出する。バイタル情報としては、例えば時系列データからノイズ成分を除去した脈波や、当該脈波において隣接する２以上のピーク間の時間に基づき算出される脈拍数や、時系列データに対して周波数解析を実施することにより取得されるスペクトルが一例として挙げられる。そして、こうして抽出したバイタル情報に基づき、撮像画像の被写体が生体であるか否かについて判定する。
【０００４】
また、特許文献２に記載の装置では、時間的に連続する顔画像列から所定の色情報を抽出し、色情報から周波数スペクトルを特徴として抽出する。そして、抽出した周波数スペクトルを評価して、人間の顔かなりすましかを判断する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−１０２１０号公報
【特許文献２】国際公開第２０１５／１２２１８３号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上記特許文献１に記載の装置では、バイタル情報を抽出する際に、少なくとも脈拍一周期分の脈波を検出する必要がある。上記特許文献２に記載の装置も、周波数スペクトルを抽出するためには、複数周期分の脈波を検出する必要がある。このように、脈波に基づく時間的な変化を特徴とする場合、少なくとも脈拍一周期分の脈波を検出する必要がある。しかしながら、顔認証に伴う生体判定では、生体判定を短時間で行うことが要求されるため、必ずしも脈拍一周期分の脈波を検出できるとは限らない。
【０００７】
本発明は、このような実情に鑑みてなされたものであり、その目的は、脈拍一周期分の脈波の検出の有無に関わらず、脈波に基づいて生体判定を行うことのできる生体判定システム、生体認証システム、生体判定プログラム、及び生体判定方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、対象物の所定の波長領域における輝度値に関する複数の時系列データを取得するデータ取得部と、前記データ取得部により取得された前記複数の時系列データの傾向を分析する傾向分析部と、前記傾向分析部が分析した前記複数の時系列データの傾向に基づき、前記対象物が生体であるか否かについての判定を行う生体判定部とを備えることを特徴とする。
【０００９】
また、上記課題を解決するため、本発明は、コンピュータに、対象物の所定の波長領域における輝度値に関する複数の時系列データを取得するデータ取得処理と、前記データ取得処理により取得された前記複数の時系列データの傾向を分析する傾向分析処理と、前記傾向分析処理により分析された前記複数の時系列データの傾向に基づき、前記対象物が生体であるか否かについての判定を行う生体判定処理とを実行させることを特徴とする。
【００１０】
また、上記課題を解決するため、本発明は、対象物の所定の波長領域における輝度値に関する複数の時系列データを取得するデータ取得処理と、前記データ取得処理により取得された前記複数の時系列データの傾向を分析する傾向分析処理と、前記傾向分析処理により分析された前記複数の時系列データの傾向に基づき、前記対象物が生体であるか否かについての判定を行う生体判定処理とを含むことを特徴とする。
【００１１】
上記構成によれば、輝度値に関する複数の時系列データの傾向を分析することにより、脈拍一周期分に相当する時系列データを取得できなくても、生体判定を行うことができる。
【００１２】
また、本発明は、上記発明において、前記傾向分析部は、前記複数の時系列データの相関度合いを分析し、前記生体判定部は、前記傾向分析部が分析した前記複数の時系列データの相関度合いに基づき、前記対象物が生体であるか否かについての判定を行うことを特徴とする。
【００１３】
上記構成によれば、輝度値に関する複数の時系列データの相関度合いを分析することにより、脈拍一周期分に相当する時系列データを取得できなくても、生体判定を行うことができる。
【００１４】
また、本発明は、上記発明において、前記傾向分析部は、前記複数の時系列データの同一の時間帯の増減方向を分析し、前記生体判定部は、前記傾向分析部が分析した前記複数の時系列データの同一の時間帯の増減方向に基づき、前記対象物が生体であるか否かについての判定を行うことを特徴とする。
【００１５】
上記構成によれば、輝度値に関する複数の時系列データの同一の時間帯の増減方向を分析することにより、脈拍一周期分に相当する時系列データを取得できなくても、生体判定を行うことができる。
【００１６】
また、本発明は、上記発明において、前記複数の時系列データは、複数の波長領域における輝度値に関するデータを含み、前記複数の波長領域は、第１の波長領域と、前記第１の波長領域とは異なる第２の波長領域とを含み、前記生体判定部は、前記第１の波長領域に対応する前記時系列データと、前記第２の波長領域に対応する前記時系列データとが反対の傾向であるときには、前記対象物が生体である旨を判定することを特徴とする。
【００１７】
上記構成によれば、生体の血液成分に対する吸光特性が互いに異なる第１の波長領域及び第２の波長領域に対応する時系列データの傾向に基づいて生体の脈拍の有無を判定し、その判定結果に基づいて対象物が生体であるか否かを判定する。そのため、脈拍一周期分に相当する時系列データを取得することなく生体判定を行うときの判定精度を向上することができる。
【００１８】
また、本発明は、上記発明において、前記複数の時系列データは、対象物に含まれる複数のエリアにおける輝度値に関するデータを含み、前記複数のエリアは、第１のエリアと、前記第１のエリアとは異なる第２のエリアとを含み、前記生体判定部は、各エリアに対応する同一の波長領域の前記時系列データを比較し、前記第１のエリアに対応する前記時系列データと、前記第２のエリアに対応する前記時系列データとが共通の傾向であるときには、前記対象物が生体である旨を判定することを特徴とする。
【００１９】
上記構成によれば、対象物に含まれる複数のエリアに対応する時系列データの傾向に基づいて対象物が生体であるか否かを判定する。そのため、脈拍一周期分に相当する時系列データを取得することなく生体判定を行うときの判定精度を向上することができる。
【００２０】
また、本発明は、上記発明において、前記傾向分析部は、前記時系列データを時間軸方向に連続する所定数のデータごとに平均化した値を算出し、その算出した値を対応するデータから減算した結果に基づいて時系列データの傾向を分析することを特徴とする。
【００２１】
上記構成によれば、時系列データを時間軸方向に平均化し、その平均化した値を元のデータから減算することにより、時系列データの脈波以外の要因による変動が抑えられ、生体判定を行うときの判定精度をより一層向上することができる。
【００２２】
また、本発明は、上記発明において、前記所定の波長領域は、生体の脈拍と相関のある波長領域を含むことを特徴とする。
【００２３】
上記構成によれば、輝度値に関する時系列データと相関のある生体の脈拍の有無に基づき、対象物が生体であるか否かを好適に判定することができる。
【００２４】
また、本発明は、上記発明において、前記時系列データを撮像する撮像部における露出制御の動作が前記生体判定部による生体判定に適した状態と合致したときには、露出制御を含めた撮影条件を維持する撮像制御部を更に備えることを特徴とする。
【００２５】
上記構成によれば、撮像部における露出制御の動作が生体判定に適した状態となった時点で、露出制御を含めた撮影条件が維持される。そのため、撮影条件の変更に伴って、時系列データに基づく生体判定の精度が低下することが抑えられる。
【００２６】
また、上記課題を解決するため、本発明は、上記構成の生体判定システムと、前記生体判定システムにより対象物が生体である旨が判定されたとき、生体認証を行う認証処理部とを備えることを特徴とする。
【００２７】
上記構成によれば、対象物が生体ではないにも関わらず、生体認証が不必要に行われる頻度を低減することができる。
【発明の効果】
【００２８】
本発明によれば、脈拍一周期分の脈波の検出の有無に関わらず生体判定を行うことができる。
【図面の簡単な説明】
【００２９】
【図１】生体判定システムの第１の実施の形態の機能構成を示すブロック図。
【図２】顔の分析エリアの一例を示す模式図。
【図３】（ａ）は、対象物が生体であるときの各色成分の輝度値の相対比率と脈波との相関関係を示すグラフ、（ｂ）は、対象物が生体ではないときの各色成分の輝度値の相対比率の相関関係を示すグラフ。
【図４】血中ヘモグロビンの吸光特性を示すグラフ。
【図５】（ａ）は、変換前の脈波の特性を示すグラフ、（ｂ）は、変換前の脈波の移動平均を示すグラフ、（ｃ）は、変換後の脈波を示すグラフ。
【図６】一階微分ガウス関数の特性を示すグラフ。
【図７】前処理の前後の脈波の特性を示すグラフ。
【図８】（ａ）は、対象物が生体であるときの前処理後の各色成分の輝度値の相対比率を示すグラフ、（ｂ）は、対象物が生体ではないときの前処理後の各色成分の輝度値の相対比率を示すグラフ。
【図９】（ａ）は、対象物が生体であるときの各色成分の輝度値の相対比率の相関係数を示すグラフ、（ｂ）は、対象物が生体ではないときの各色成分の輝度値の相対比率の相関係数を示すグラフ。
【図１０】同実施の形態の生体判定システムが実行する生体判定処理の処理内容を示すフローチャート。
【図１１】顔の分析エリアの一例を示す模式図。
【図１２】（ａ）は、対象物が生体であるときに複数の分析エリアから得られる緑色成分の輝度値の相対比率を示すグラフ、（ｂ）は、対象物が生体ではないときに複数の分析エリアから得られる緑色成分の輝度値の相対比率を示すグラフ。
【図１３】（ａ）は、対象物が生体であるときの前処理後の各分析エリアの輝度値の相対比率を示すグラフ、（ｂ）は、対象物が生体ではないときの前処理後の各分析エリアの輝度値の相対比率を示すグラフ。
【図１４】（ａ）は、対象物が生体であるときの各分析エリアの輝度値の相関係数を示すグラフ、（ｂ）は、対象物が生体ではないときの各分析エリアの輝度値の相関係数を示すグラフ。
【図１５】生体判定システムの第２の実施の形態が実行する生体判定処理の処理内容を示すフローチャート。
【図１６】生体判定システムの第３の実施の形態が実行する生体判定処理の処理内容を示すフローチャート。
【図１７】対象物ごとの第１の相関係数及び第２の相関係数のデータの分布を示すグラフ。
【図１８】生体判定システムの第４の実施の形態の機能構成を示すブロック図。
【図１９】生体認証システムの第５の実施の形態の機能構成を示すブロック図。
【発明を実施するための形態】
【００３０】
一般に、心臓の拍動に対応して、肌表面に近い血管も脈動しており、血流量の変化に伴って、肌表面の色が変化することが知られている。これを利用して、対象物を撮影した連続画像の肌表面の色別の輝度値の変化を検出し、画像の輝度値の変化に基づいて脈波を検出できる。そして、対象物から脈波が検出されたときには、対象物が生体であると判定できる。なお、脈波とは、心臓の拍動に伴う血管の脈動を捉えた波形であり、脈圧や血流量の変化として捉えられる。
【００３１】
ここで、顔認証に伴う生体判定では、生体判定を短時間で行うことが要求されるため、必ずしも脈拍一周期分の輝度値のデータを取得できるとは限らない。そのため、脈拍一周期分の輝度値のデータが取得される前の時点で、画像の輝度値の変化の傾向を分析する必要がある。
【００３２】
この点、本発明の生体判定システム、生体判定方法、生体判定プログラムでは、対象物における所定の波長領域の輝度値の時系列データを複数取得し、取得した複数の時系列データ間の傾向を分析し、分析した傾向に基づき、対象物が生体であるか否かを判定する。すなわち、輝度値に関する時系列データを、時系列データの時間的な変化に基づいて分析するのではなく、複数の時系列データ間の傾向を分析する。複数の時系列データ間の傾向が、生体の脈波の傾向と同様ならば対象物は生体であり、生体の脈波の傾向と異なるならば対象物は生体ではなく、非生体である。
【００３３】
複数の時系列データ間の傾向は、必ずしも脈拍一周期分の時系列データが取得できなくても、複数の時系列データ間の傾向を示す程度の時系列データが取得できれば、分析可能である。そのため、脈拍一周期分の時系列データが取得される前の時点で、時系列データ間の傾向を分析して生体判定を行うことは可能である。もちろん、脈拍一周期分のデータが取得できた後、時系列データ間の相関度合いを分析して生体判定を行うことも可能である。本発明は、脈拍一周期分の脈波の検出の有無に関わらず実施できる。
【００３４】
以下の実施の形態では、複数の時系列データ間の傾向に基づき生体判定を行う例を開示する。具体的には、同一のエリアにおける異なる波長領域の輝度値の時系列データ間の傾向に基づく生体判定と、複数のエリアにおける同一の波長領域の輝度値の時系列データ間の傾向に基づく生体判定と、２つの生体判定を組み合わせた生体判定とを開示する。なお、本発明の実施形態は、以下の実施形態に限定されない。
【００３５】
（第１の実施の形態）
以下、生体判定システムの第１の実施の形態について図面を参照して説明する。
【００３６】
本実施の形態の生体判定システムは、対象物が含まれる連続画像から、同一のエリアにおける異なる波長領域の輝度値の時系列データを取得する。また、生体判定システムは、同一のエリアにおける異なる波長領域の輝度値の時系列データ間の傾向として、相関度合いを分析する。そして、これら複数の時系列データの間で負の相関が見られたときには、画像内の対象物が生体である旨を判定する。
【００３７】
具体的には、本実施の形態の生体判定システムは、対象物である人物の顔を含む連続画像において、顔の肌表面に分析の対象とする分析エリアを設定する。そして、生体判定システムは、このエリアに含まれる各画素について赤色成分と緑色成分と青色成分との輝度値を検出し、複数の波長成分の輝度値の時系列データを取得する。生体判定システムは、緑色成分の輝度値の時系列データと赤色成分の輝度値の時系列データとの相関度合いを分析し、負の相関があれば対象物は生体であると判定する。以下、詳細に説明する。
【００３８】
図１に示すように、生体判定システム１００は、生体判定処理を制御する制御部２００と、制御部２００が生体判定処理の際に実行する生体判定プログラムを含めた各種のプログラムや当該プログラムの実行の際に制御部２００が読み書きする各種のデータを保存する記憶部３００とを有するコンピュータである。そして、制御部２００は、記憶部３００に保存された生体判定プログラムを実行することにより、顔検出部２１０、輝度値取得部２２０、脈波検出部２３０、傾向分析部２４０、生体判定部２５０、及び、出力部２６０として機能する。
【００３９】
顔検出部２１０は、カメラ１０により撮影された動画像から画像フレームを取得する。また、顔検出部２１０は、取得した画像フレームから対象物である人物の顔を検出し、当該検出した顔の中に分析エリアを設定し、分析エリア内の各画素の輝度値のデータを輝度値取得部２２０に出力する。この分析エリアは、検出した顔の中で肌が露出しているエリアに設定する。例えば、図２に示すように、分析エリアであるエリアＲＡは、鼻の下部周辺とその両脇とを含むエリアである。顔検出部２１０が行う顔の検出は、公知の顔検出方法を用いることができる。顔検出部２１０は、検出した顔の輪郭や目、鼻、口などの顔パーツの位置に基づいて、エリアＲＡを設定する。
【００４０】
顔検出部２１０による顔の検出は、画像フレームを取得する毎に行なってもよいが、先の画像フレームで顔が検出されていれば、簡単な方法で代替することができる。例えば、先の画像フレームの鼻の下部周辺領域の画像を切出し、この画像をテンプレート画像とした画像照合により、後の画像フレームでの鼻の下部周辺領域の位置を検出することができる。顔検出部２１０は、検出した鼻の下部周辺領域の位置に基づいて、エリアＲＡを設定できる。この場合、画像照合による位置の検出の回数や位置の移動量に制限を設け、制限を超えた場合は顔の検出を再度行ってもよい。
【００４１】
輝度値取得部２２０は、顔検出部２１０から入力された分析エリアであるエリアＲＡの輝度値のデータに基づいて、人物の顔に設定したエリアＲＡに含まれる画素毎のデータとして、赤、緑、青の３色の色成分の輝度値を取得する。そして、輝度値取得部２２０は、取得した画素毎の輝度値からエリアＲＡの各色成分の輝度値の平均値を算出し、算出した各平均値をエリアＲＡの各色成分の輝度値の代表値とする。具体的には、輝度値取得部２２０は、赤色成分の輝度値の代表値Ｒ、緑色成分の輝度値の代表値Ｇ、青色成分の輝度値の代表値Ｂを算出する。輝度値取得部２２０は、こうして算出した各色成分の輝度値の代表値を脈波検出部２３０に出力する。なお、代表値は平均値に限定されず、中央値や最頻値を代表値としてもよい。
【００４２】
脈波検出部２３０は、データ取得処理として、各色成分の輝度値の代表値の相対比率を算出する。具体的には、脈波検出部２３０は、赤色成分の輝度値の代表値Ｒ、緑色成分の輝度値の代表値Ｇ、青色成分の輝度値の代表値Ｂを入力として、赤色成分の輝度値の代表値Ｒの相対比率Ｒｒ（＝Ｒ／（Ｒ＋Ｇ＋Ｂ）、以下、比率Ｒｒ）、及び、緑色成分の輝度値の代表値Ｇの相対比率Ｇｒ（＝Ｇ／（Ｒ＋Ｇ＋Ｂ）、以下、比率Ｇｒ）を算出する。各色成分の輝度値の代表値の相対比率を算出することにより、人物の顔に外乱光が入射した場合でも、赤色成分と緑色成分の輝度値に関する複数の時系列データ間の傾向は維持される。そして、脈波検出部２３０は、算出した比率Ｒｒ及び比率Ｇｒを記憶部３００に記憶することを繰り返して、比率Ｒｒ及び比率Ｇｒの時系列データ３１０を形成する。この点で、脈波検出部２３０は、対象物の画像の所定のエリアにおいて、対象物の所定の波長領域における輝度値に関する複数の時系列データを取得するデータ取得部として機能する。
【００４３】
ここで、図３を用いて、生体における比率Ｒｒと比率Ｇｒとの間の傾向と非生体における比率Ｒｒと比率Ｇｒとの間の傾向を説明する。図３（ａ）は、生体である人物の顔から取得した比率Ｒｒ及び比率Ｇｒの時系列データ３１０と、動画像の撮影時に接触式の脈拍センサを用いて人物から検出した脈波の時系列データとを比較して示している。横軸は時間軸であり、縦軸は比率Ｒｒ及び比率Ｇｒについては比率であり、脈波については脈圧または血流量である。脈圧が高くなると、血管の容積が増加し、血流量も増加する。同図に示すように、脈波が周期的に変化する過程において、脈圧が上昇して血流量が増加している間に比率Ｒｒが上昇し、脈圧が下降して血流量が減少している間に比率Ｒｒが低下している。すなわち、比率Ｒｒと脈波との間には正の相関がある。また、脈波が周期的に変化する過程において、脈圧が上昇して血流量が増加している間に比率Ｇｒが低下し、脈圧が下降して血流量が減少している間に比率Ｇｒが上昇している。すなわち、比率Ｇｒと脈波との間には負の相関がある。比率Ｒｒと脈波との間には正の相関があり、比率Ｇｒと脈波との間には負の相関があるため、比率Ｒｒと比率Ｇｒとの間には、一方が上昇すると他方が下降する傾向がある。一方、図３（ｂ）は、非生体の対象物から取得した比率Ｒｒ及び比率Ｇｒの時系列データ３１０を示している。比率Ｒｒ及び比率Ｇｒの双方は不規則に変化し、比率Ｒｒと比率Ｇｒとの間には明確な傾向がない。
【００４４】
さらに、図４を用いて、生体において脈波と比率Ｒｒ及び脈波と比率Ｇｒとに相関がある理由を説明する。図４は血中ヘモグロビンの吸光特性を示す。血中ヘモグロビンの吸光特性は、カメラ１０の緑色フィルタの透光度が高くなる４８０ｎｍ〜６２０ｎｍの波長領域（第１の波長領域）にピークを持っている。この波長領域の光は皮膚の内部まで届いてから反射されるため、血中ヘモグロビンによって吸光される。そのため、顔表面にある毛細血管に流れる血流量が増加すると、血中ヘモグロビンの量も増加するため、顔表面での緑色光の吸光量が増加する。カメラ１０は、顔表面で反射した光を受光するため、血中ヘモグロビンの量が増加しているときには比率Ｇｒが低下する。また逆に、血中ヘモグロビンの量が減少しているときには顔表面での緑色成分の吸光量が減少するため、比率Ｇｒが上昇する。
【００４５】
また、血中ヘモグロビンの吸光特性は、カメラ１０の赤色フィルタの透光度が高くなる６２０ｎｍ〜８００ｎｍの波長領域（第２の波長領域）では吸光量が低くなっている。この波長領域の光も皮膚の内部まで届いてから反射されるが、血中ヘモグロビンに吸光されにくく、血中ヘモグロビンから反射されやすい。そのため、顔表面の毛細血管に流れる血流量が増加すると、血中ヘモグロビンの量も増加するため、顔表面からの赤色光の反射量が増加する。カメラ１０は、顔表面で反射した光を受光するため、血中ヘモグロビンの量が増加しているときには比率Ｒｒが上昇する。また逆に、血中ヘモグロビンの量が減少しているときには顔表面からの赤色光の反射量が減少するため、比率Ｒｒが低下する。
【００４６】
なお、血中ヘモグロビンの吸光特性は、カメラ１０の青色フィルタの透光度が高くなる３６０ｎｍ〜４８０ｎｍの波長領域にもピークを持っている。ただし、この波長領域の光は、皮膚表面で反射しやすく、顔表面にある毛細血管まで届きにくい性質を有しているため、本実施の形態では脈波の検出には用いない。
【００４７】
脈波検出部２３０は、さらに、比率Ｒｒ及び比率Ｇｒの時系列データ３１０から低周波成分を除去する変換を行なってもよい。図５（ａ）に示すように、比率Ｒｒ及び比率Ｇｒの時系列データ３１０は、脈波による変動の他に、周囲の照明などの他の要因による変動を含んでいる。脈波検出部２３０は、図５（ｂ）に示すように、時系列データ３１０の移動平均を算出し、その算出した移動平均の値を時系列データ３１０の対応するデータから減算し、図５（ｃ）に示すように、減算して求めた値に時系列データ３１０の対応するデータを修正する。このようにして、一般的な脈波の周波数よりも低い周波数の変動である低周波成分を時系列データ３１０から除去する。
【００４８】
より詳細には、脈波検出部２３０は、時系列データ３１０について所定幅の区間を設定し、所定幅に対応する個数の比率Ｒｒ及び比率Ｇｒのデータが取得されると、区間内にある離散値データの平均値を算出し、算出した平均値を区間の中央のデータの移動平均とする。そして、脈波検出部２３０は、区間の中央のデータの値から対応する移動平均を減算し、減算して求めた値に区間の中央のデータの値を修正して、記憶部３００に記憶する。比率Ｒｒ及び比率Ｇｒのデータについてこの修正が終わると、脈波検出部２３０は、所定幅の区間をデータ１個分時間軸方向にずらし、前述した、移動平均の算出と修正を行なう。脈波検出部２３０は、移動平均の算出と修正と区間の移動を繰り返すことにより、時系列データ２３０を脈波以外の要因による変動である低周波成分を除去した波形に変換する。なお、本実施例では、比率Ｒｒ及び比率Ｇｒのデータが取得される毎に変換を行なうが、所定個数のデータが取得されたときに変換を行なってもよい。このように、脈波検出部２３０は、変換後の比率Ｒｒ及び比率Ｇｒを、対象物の所定の波長領域における輝度値に関するデータとして、複数の時系列データを取得するデータ取得部として機能する。
【００４９】
傾向分析部２４０は、取得した複数の時系列データ間の傾向を分析する処理を行う。傾向分析処理は、複数の時系列データ間の相関度合いを算出する処理である。具体的には、比率Ｒｒの時系列データ３１０及び比率Ｇｒの時系列データ３１０の、同時刻に取得された輝度値に基づく比率Ｒｒ及び比率Ｇｒを１セットとし、複数セットの比率Ｒｒと比率Ｇｒを用いて、比率Ｒｒと比率Ｇｒとの相関度合いを算出する。
【００５０】
傾向分析処理にあたり、必要なデータは脈波に基づくデータであるが、傾向分析処理に用いるデータ数は、脈波一周期分のデータ数に関わらず、任意に定めることができる。算出した相関度合いの有意性はデータ数が多いほど高まる一方、データ数が少ないほど取得に要する時間が短くなる。
【００５１】
ここでは、傾向分析部２４０は、同時刻に取得された輝度値に基づくエリアＲＡのｎセットの比率Ｒｒと比率Ｇｒ（以下、このｎセットのデータをｎ個のデータとして数える）を用いて、傾向分析処理を行う。傾向分析部２４０は、時系列データ３１０のデータ数が所定のデータ数に到達すると、傾向分析処理を開始する。後述のように、時系列データ３１０に前処理を行う場合、所定のデータ数は、傾向分析処理に必要なデータ数（ｎ個）と前処理に必要なデータ数から決される。なお、前処理を行わない場合は、所定のデータ数はｎ個である。
【００５２】
傾向分析部２４０は、傾向分析処理の前処理として、脈波検出部２３０により検出された時系列データ３１０と記憶部３００に保存された基準関数データ３２０との合成積（畳み込み演算）を算出する。本実施の形態では、傾向分析部２４０は、基準関数データ３２０の一例として、以下の［数１］にて示される一階微分ガウス関数を用いた微分演算を行なう。
【数１】
2020000312.tif 000003
【００５３】
図６は、一階微分ガウス関数を座標平面にプロットしたグラフである。同図に示すように、この関数は、変数ｔを横軸としたときに出力値が一つの波形を示す関数となっており、同図に示す例では、関数の窓幅が「２５」に設定されている。すなわち、１個の合成積を算出するために、時系列データが２５個必要であり、ｎ個の合成積を算出するためには、時系列データがさらにｎ−１個必要である。なお、関数の窓幅は、時系列データ３１０の波形の一周期よりも短くなるように設定されている。傾向分析部２４０は、この関数において窓幅に対応してプロットされる２５個の点を離散値データとして定義する。また、傾向分析部２４０は、時系列データ３１０のデータ数が所定のデータ数（２５＋ｎ−１個）に到達したことを条件に、関数の離散値データと時系列データ３１０における関数の窓幅に対応する区間内にあるデータとの合成積を算出する。具体的には、傾向分析部２４０は、比率Ｒｒと比率Ｇｒについて、時系列データ３１０の１３個目のデータを中心とした２５個のデータの区間に対して畳み込み演算を行なって合成積を算出した後、時系列データ３１０の区間をデータ１個分時間軸方向にずらして同様に合成積を算出する処理をｎ−１回繰り返す。そして、傾向分析部２４０は、そのｎ個の算出結果を微分値データ３３０（図１参照）として記憶部３００に保存する。関数の窓幅は、任意に決めることができる。窓幅が大きいほど脈波の検出精度が高くなる一方で、窓幅が小さいほど脈波の検出開始までの時間が短くなる。
【００５４】
図７は、前処理前の時系列データ３１０を破線で示すとともに、前処理後の時系列データ３１０を実線で示している。同図に示すように、前処理前の時系列データ３１０は、移動平均を減算することでは除去できなかった低周波成分を含んでおり、時間軸と直交する方向において波形の振幅の中心が原点からずれている。その一方で、前処理後の時系列データ３１０である微分値データ３３０は、低周波成分が除去されており、時間軸方向において波形の振幅の中心が原点と一致している。傾向分析部２４０は、この前処理を比率Ｒｒ及び比率Ｇｒの時系列データ３１０に対して行い、比率Ｒｒ及び比率Ｇｒの微分値データ３３０を算出する。
【００５５】
図８（ａ）は、生体の対象物から取得した、同一のエリアにおける前処理後の比率Ｒｒ及び比率Ｇｒの時系列データ３１０を比較して示している。生体の対象物から取得した時系列データ３１０は、同図に示すように、比率Ｒｒの波形と比率Ｇｒの波形との振幅方向における正負が反転しており、波形の位相がπ［ｒａｄ］ずれている。一方、図８（ｂ）は、非生体の対象物から取得した、同一のエリアにおける前処理後の比率Ｒｒ及び比率Ｇｒの時系列データ３１０を比較して示している。非生体の対象物から取得した時系列データ３１０は、同図に示すように、比率Ｒｒ及び比率Ｇｒの双方は不規則に変化するため、図８（ａ）に示した時系列データ３１０の特徴は見られない。
【００５６】
傾向分析部２４０は、対象物の画像の所定のエリアにおいて、脈波検出部２３０が検出した複数の時系列データ間の傾向を分析する。具体的には、傾向分析部２４０は、同一のエリアにおける、比率Ｒｒの時系列データ３１０と比率Ｇｒの時系列データ３１０との相関度合いを算出する。より詳細には、傾向分析部２４０は、同一の時間帯の区間内の比率Ｒｒの微分値データ３３０と比率Ｇｒの微分値データ３３０との相関係数を算出する。この相関係数は、比率Ｒｒの時系列データ３１０と比率Ｇｒの時系列データ３１０が共通の傾向を示すときには正の値となり、反対の傾向を示すときには負の値となる。また、比率Ｒｒの時系列データ３１０と比率Ｇｒの時系列データ３１０との関連性が見られないときには「０（零）」に近い値となる。なお、相関係数を算出するときの区間は、任意に決めることができる。時系列データ３１０の一部を区間とし、区間を変えて複数の相関係数を算出してもよく、時系列データ３１０の全体あるいは所定個数を区間として１つの相関係数を算出してもよい。
【００５７】
傾向分析部２４０による相関係数の算出は、微分値データ３３０を用いて行なったが、前処理前の時系列データ３１０を用いてもよい。微分値データ３３０を用いると、比率Ｒｒと比率Ｇｒの増減方向の傾向分析となる。時系列データ３１０を用いると、比率Ｒｒと比率Ｇｒの絶対値の傾向分析となる。
【００５８】
生体判定部２５０は、生体判定処理として、傾向分析部２４０が分析した複数の時系列データ３１０間の傾向に基づき、対象物が生体であるか否かについての判定を行なう。具体的には、生体判定部２５０は、傾向分析部２４０により算出された相関係数と所定の閾値とを比較し、少なくとも相関係数が閾値を下回るとき、対象物が生体であると判定する。閾値は任意に設定することができるが、非生体を含まないような値を設定する。
【００５９】
図９を用いて、閾値を「０（零）」に設定し、相関係数が閾値以下のとき、対象物が生体であると判定する例を説明する。この例では、区間を移動しながら複数の相関係数を算出している。図９（ａ）に示すように、相関係数が「０（零）」以下であって負の値となるときには、比率Ｒｒ及び比率Ｇｒの時系列データ３１０が反対の傾向を示すことから、対象物が生体であると判定する。一方、図９（ｂ）に示すように、生体判定部２５０は、傾向分析部２４０により算出された相関係数が「０（零）」より大きく正の値を示すときには、比率Ｒｒ及び比率Ｇｒの時系列データ３１０が共通の傾向を示すことから、対象物が生体ではないと判定する。なお、図９（ｂ）に示したように、時系列データ３１０の時間軸方向におけるばらつきに起因して、相関係数が一時的に負の値を示すこともある。そのため、生体判定部２５０は、傾向分析部２４０により算出された相関係数が一定の期間に亘って負の値に維持されることを条件に、対象物が生体であると判定する。
【００６０】
上述したように、相関係数は１つでもよい。この場合、傾向分析部２４０は、時系列データ３１０あるいは微分値データ３３０の、所定個数ｎ個の離散値を用いて１つの相関係数を算出する。そして、生体判定部２５０は、相関係数が「０（零）」以下であって負の値となるときは対象物が生体であると判定し、相関係数が「０（零）」より大きく正の値を示すときは対象物が非生体であると判定する。
【００６１】
図８と図９とを見比べると分かるように、脈拍一周期分の脈波を検出しなくても、対象物が生体か非生体かによって相関係数に差が有り、生体判定を行なうことができる。
【００６２】
出力部２６０は、生体判定部２５０の判定結果を出力する。出力先は、顔認証システムなどの生体認証システムのほか、生体判定結果を利用する装置やシステムである。
【００６３】
なお、脈波検出部２３０は、比率Ｒｒ及び比率Ｇｒの時系列データ３１０から低周波成分を除去する変換を行なうが、この変換は必須ではなく、低周波成分を除去せずに傾向分析部２４０の分析を行なうことができる。
【００６４】
なお、傾向分析部２４０は、前処理後の時系列データ３１０を用いて、比率Ｒｒと比率Ｇｒとの相関度合いを算出したが、相関度合いの算出に前処理は必須ではなく、前処理前の時系列データ３１０を用いて相関度合いを算出してもよい。ただし、傾向分析部２４０は、前処理を行うことにより、時系列データ３１０における比率Ｒｒと比率Ｇｒとの相関度合いをより明確に算出することができる。
【００６５】
次に、本実施の形態の生体判定システム１００が実行する生体判定処理について、その具体的な処理内容を説明する。
【００６６】
図１０に示すように、この生体判定処理ではまず、顔検出部２１０は、カメラ１０により撮影された動画像の画像フレームを取得する（ステップＳ１０）。そして、顔検出部２１０は、先のステップＳ１０において取得した画像フレームから顔を検出し、検出した顔の位置に基づいて分析エリアであるエリアＲＡを設定する（ステップＳ１１）。
【００６７】
輝度値取得部２２０は、顔検出部２１０により設定されたエリアＲＡの画素毎に各色成分の輝度値を取得し、エリアＲＡの赤色成分の輝度値の代表値Ｒ、緑色成分の輝度値の代表値Ｇ、青色成分の輝度値の代表値Ｂを算出する。脈波検出部２３０は、輝度値取得部２２０により算出された各色成分の輝度値の代表値Ｒ，Ｇ，Ｂから比率Ｒｒ，Ｇｒを算出し、時系列データ３１０を形成する（ステップＳ１２）。
【００６８】
脈波検出部２３０は、先のステップＳ１２において形成した比率Ｒｒ，Ｇｒの時系列データ３１０の移動平均を算出する。また、脈波検出部２３０は、移動平均の値を元のデータから減算して時系列データ３１０から低周波成分を除去する（ステップＳ１３）。また、脈波検出部２３０は、低周波成分が除去された時系列データ３１０を記憶部３００に保存する。そして、脈波検出部２３０は、記憶部３００に保存されている時系列データ３１０のデータ数が、所定のデータ数に到達していないときには（ステップＳ１４＝ＮＯ）、ステップＳ１０以降の処理を繰り返し、所定のデータ数に到達しているときには（ステップＳ１４＝ＹＥＳ）、ステップＳ１５の処理に移る。
【００６９】
傾向分析部２４０は、時系列データ３１０と基準関数データ３２０としての一階微分ガウス関数との合成積を算出する（ステップＳ１５）。また、傾向分析部２４０は、合成積による算出結果を微分値データ３３０として記憶部３００に保存する（ステップＳ１６）。
【００７０】
傾向分析部２４０は、記憶部３００に保存されている微分値データ３３０を読み出す。また、傾向分析部２４０は、緑色成分に関する微分値データ３３０と赤色成分に関する微分値データ３３０との相関係数を算出する（ステップＳ１７）。
【００７１】
生体判定部２５０は、先のステップＳ１７において算出された相関係数が閾値である「０（零）」以下であるか否かを判定する（ステップＳ１８）。そして、生体判定部２５０は、相関係数が「０（零）」以下であると判定したときには（ステップＳ１８＝ＹＥＳ）、画像フレームに含まれる対象物が生体であると判定する（ステップＳ１９）。一方、生体判定部２５０は、相関係数が「０（零）」よりも大きいと判定したときには（ステップＳ１８＝ＮＯ）、画像フレームに含まれる対象物が生体ではないと判定する（ステップＳ２０）。
【００７２】
以上のような処理を繰り返し実行し、生体判定を継続して実行する。継続して実行することにより、生体判定をリアルタイムに行うことができるが、用途に応じて一回のみの判定としたり、随時判定を停止したりしてもよい。また、時系列データ３１０が所定のデータ数に到達した後、時系列データ３１０が新たに取得される毎に生体判定を行なうようにしてもよい。
【００７３】
次に、本実施の形態の生体判定システム１００の作用について説明する。
【００７４】
一般に、顔認証端末において、写真や静止画による成りすましを防止するために、脈拍による顔表面の血流量の変化を各色成分の輝度値の変化として捉えることが提案されている。ただし、顔認証に伴う生体判定では、生体判定を短時間で行うことが要求されるため、必ずしも脈拍一周期分の判定時間が確保できるとは限らない。
【００７５】
この点、本実施の形態では、顔の中の同一のエリアから検出された赤色成分及び緑色成分の輝度値の傾向を分析し、その分析結果に基づいて生体判定を実行する。このとき、輝度値の傾向の分析は、各色成分の輝度値に関する時系列データ３１０の相関的関係を求めることで行われる。相関的関係は、直接の因果関係のある相関関係と、直接の因果関係のない疑似相関関係とを含む概念であり、各色成分の輝度値の傾向と生体の脈拍の有無との間にも相関的関係は認められる。そして、この相関的関係が認められるときには、相関係数の絶対値が大きくなる傾向を示す。この相関係数の特性は、脈拍一周期分よりも短い区間内の輝度値のデータからでも求めることができる。そこで、本実施の形態では、脈拍一周期分よりも短い区間内における時系列データ３１０同士の相関係数を算出し、相関係数の値が一定期間に亘って「０（零）」以下に維持されたことを条件に、動画像に含まれる対象物が生体である旨を判定する。これにより、生体判定の判定時間を脈拍一周期分よりも短縮することも可能となる。
【００７６】
以上説明したように、上記第１の実施の形態によれば、以下に列挙する効果を得ることができる。
（１）輝度値に関する複数の時系列データ３１０の傾向を分析することにより、脈拍一周期分に相当する時系列データ３１０を取得できなくても、生体判定を行うことができる。
【００７７】
（２）輝度値に関する複数の時系列データ３１０の相関度合いを分析することにより、脈拍一周期分に相当する時系列データ３１０を取得できなくても、生体判定を行うことができる。
【００７８】
（３）輝度値に関する複数の時系列データ３１０についての同一の時間帯の増減方向を分析することにより、脈拍一周期分に相当する時系列データ３１０を取得できなくても、生体判定を行うことができる。
【００７９】
（４）生体の血液成分に対する吸光特性が互いに異なる複数の波長領域に対応する時系列データ３１０の傾向に基づいて生体の脈拍の有無を判定し、その判定結果に基づいて対象物が生体であるか否かを判定する。そのため、脈拍一周期分に相当する時系列データ３１０を取得することなく生体判定を行うときの判定精度を向上することができる。
【００８０】
（５）時系列データ３１０を時間軸方向に平均化し、その平均化した値を元のデータから減算することにより、時系列データ３１０の脈波以外の要因による変動である低周波成分が抑えられ、生体判定を行うときの判定精度をより一層向上することができる。
【００８１】
（６）生体の脈拍と相関のある赤色成分及び緑色成分の波長領域に対応する時系列データ３１０に基づき、対象物が生体であるか否かを好適に判定することができる。
【００８２】
（第２の実施の形態）
次に、生体判定システムの第２の実施の形態について図面を参照して説明する。なお、第２の実施の形態は、輝度値に関する時系列データに基づいて生体判定を行う方法が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一の又は相当する構成については重複する説明を省略する。
【００８３】
本実施の形態の生体判定システムは、対象物が含まれる連続画像から、複数のエリアにおける同一の波長領域の輝度値の時系列データを取得する。また、生体判定システムは、複数のエリアにおける同一の波長領域の輝度値の時系列データ間の傾向として、相関度合いを分析する。そして、これら複数の時系列データの間で正の相関が見られたときには、画像内の対象物が生体であると判定する。
【００８４】
具体的には、本実施の形態の生体判定システムは、対象物である人物の顔を含む連続画像において、顔の肌表面に分析の対象とする分析エリアを複数設定する。そして、生体判定システムは、複数の分析エリアに含まれる各画素について赤色成分と緑色成分と青色成分との輝度値を検出し、複数の分析エリアにおいて輝度値の時系列データを取得する。生体判定システムは、分析エリアの異なる複数の緑色成分の輝度値の時系列データ間の相関度合いを分析し、正の相関があれば対象物は生体であると判定する。以下、詳細に説明する。
【００８５】
本実施の形態の生体判定システムでは、図１１に示すように、顔検出部２１０は、人物の顔の中から複数の分析エリアを設定する。同図に示す例では、顔検出部２１０は、人物の鼻元を含む第１のエリアＲ１、人物の一方側の頬を含む第２のエリアＲ２、人物の他方側の頬を含む第３のエリアＲ３を分析エリアとして設定する。
【００８６】
輝度値取得部２２０は、顔検出部２１０から入力された分析エリアであるエリアＲ１，Ｒ２，Ｒ３の輝度値のデータに基づいて、人物の顔に設定した各エリアＲ１，Ｒ２，Ｒ３に含まれる画素毎のデータとして、赤、緑、青の３色の色成分の輝度値を取得する。そして、輝度値取得部２２０は、取得した画素毎の輝度値から各エリアＲ１，Ｒ２，Ｒ３の各色成分の輝度値の平均値を算出し、算出した各平均値を各エリアＲ１，Ｒ２，Ｒ３の各色成分の代表値とする。具体的には、輝度値取得部２２０は、赤色成分の輝度値の代表値Ｒ、緑色成分の輝度値の代表値Ｇ、青色成分の輝度値の代表値ＢをエリアＲ１，Ｒ２，Ｒ３毎に算出する。輝度値取得部２２０は、こうして算出した各エリアＲ１，Ｒ２，Ｒ３の各色成分の輝度値の代表値を脈波検出部２３０に出力する。なお、代表値は平均値に限定されず、中央値や最頻値を代表値としてもよい。
【００８７】
脈波検出部２３０は、データ取得処理として、各エリアＲ１，Ｒ２，Ｒ３の緑色成分の輝度値の代表値Ｇの相対比率Ｇｒ（＝Ｇ／（Ｒ＋Ｇ＋Ｂ）、以下、比率Ｇｒ）を算出する。各エリアＲ１，Ｒ２，Ｒ３の緑色成分の輝度値の代表値の相対比率を算出することにより、人物の顔に外乱光が入射した場合でも、緑色成分の輝度値に関する各エリアの時系列データ間の傾向は維持される。そして、脈波検出部２３０は、算出した比率Ｇｒを記憶部３００に記憶することを繰り返して、各エリアＲ１，Ｒ２，Ｒ３における比率Ｇｒの時系列データ３１０を形成する。
【００８８】
ここで、図１２を用いて、生体におけるエリアＲ１，Ｒ２，Ｒ３毎の比率Ｇｒの傾向と非生体におけるエリアＲ１，Ｒ２，Ｒ３毎の比率Ｇｒの傾向を説明する。図１２（ａ）は、生体である人物の顔の各エリアＲ１，Ｒ２，Ｒ３から取得した比率Ｇｒの時系列データ３１０と、動画像の撮影時に接触式の脈拍センサを用いて人物から検出した脈波の時系列データとを比較して示している。横軸は時間軸で、縦軸は比率Ｇｒについては比率、脈波については脈圧または血流量である。脈圧が高くなると、血管の容積が増加し、血流量も増加する。同図に示すように、いずれのエリアＲ１，Ｒ２，Ｒ３においても、脈波が周期的に変化する過程において、脈圧が上昇して血流量が増加している間に比率Ｇｒが低下し、脈圧が下降して血流量が減少している間に比率Ｇｒが上昇している。すなわち、いずれのエリアＲ１，Ｒ２，Ｒ３においても、比率Ｇｒと脈波との間には負の相関がある。一方、図１２（ｂ）は、非生体の対象物から取得した各エリアＲ１，Ｒ２，Ｒ３の比率Ｇｒの時系列データ３１０を示している。各エリアＲ１，Ｒ２，Ｒ３の比率Ｇｒは不規則に変化し、比率Ｇｒと脈波との間には明確な傾向がない。
【００８９】
傾向分析部２４０は、取得した複数の時系列データ間の傾向を分析する処理を行う。具体的には、エリアＲ１の比率Ｇｒの時系列データ３１０とエリアＲ２の比率Ｇｒの時系列データ３１０とエリアＲ３の比率Ｇｒの時系列データ３１０の、同時刻に取得された輝度値に基づく比率Ｒｒ及び比率Ｇｒを１セットとし、複数セットの比率Ｒｒと比率Ｇｒを用いて、比率Ｒｒと比率Ｇｒとの相関度合いを算出する。
【００９０】
傾向分析部２４０は、同時刻に取得された輝度値に基づくｎセットのエリアＲ１の比率ＧｒとエリアＲ２の比率ＧｒとエリアＲ３の比率Ｇｒ（以下、このｎセットのデータをｎ個のデータとして数える）を用いて、傾向分析処理を行う。傾向分析部２４０は、時系列データ３１０のデータ数が所定のデータ数に到達すると、傾向分析処理を開始する。後述のように、時系列データ３１０に前処理を行う場合、所定のデータ数は、傾向分析処理に必要なデータ数（ｎ個）と前処理に必要なデータ数から決される。なお、前処理を行わない場合は、所定のデータ数はｎ個である。
【００９１】
傾向分析部２４０は、傾向分析処理の前処理として、脈波検出部２３０により検出された時系列データ３１０と記憶部３００に保存された基準関数データ３２０との合成積（畳み込み演算）を算出する。本実施形態では、傾向分析部２４０は、基準関数データ３２０の一例として、一階微分ガウス関数を用いた微分演算を行なう。
【００９２】
図１３（ａ）は、生体の対象物から取得した、複数のエリアＲ１，Ｒ２，Ｒ３における前処理後の比率Ｇｒの時系列データ３１０を比較して示している。生体の対象物から取得した時系列データ３１０は、同図に示すように、各エリアＲ１，Ｒ２，Ｒ３における比率Ｇｒの波形は正負が一致しており、同様の傾向を有する。一方、図１３（ｂ）は、非生体の対象物から取得した、複数のエリアＲ１，Ｒ２，Ｒ３における前処理後の比率Ｇｒの時系列データ３１０を比較して示している。非生体の対象物から取得した時系列データ３１０は、同図に示すように、各エリアＲ１，Ｒ２，Ｒ３における比率Ｇｒは不規則に変化するため、図１３（ａ）に示した時系列データ３１０の特徴は見られない。
【００９３】
傾向分析部２４０は、対象物の画像の複数のエリアＲ１，Ｒ２，Ｒ３において、脈波検出部２３０が検出した複数の時系列データ間の傾向を分析する。具体的には、傾向分析部２４０は、複数のエリアＲ１，Ｒ２，Ｒ３における比率Ｇｒの相関度合いを算出する。より詳細には、傾向分析部２４０は、複数のエリアＲ１，Ｒ２，Ｒ３における同一の時間帯の区間内の比率Ｇｒの微分値データ３３０を用いて、エリアＲ１の比率ＧｒとＲ２の比率Ｇｒ、エリアＲ１の比率ＧｒとＲ３の比率Ｇｒ、エリアＲ２の比率ＧｒとＲ３の比率Ｇｒの組み合わせについて３パターンの相関係数を算出する。この３パターンの相関係数は、複数のエリアＲ１，Ｒ２，Ｒ３における比率Ｇｒの時系列データ３１０が共通の傾向を示すときには正の値となり、反対の傾向を示すときには負の値となる。また、複数のエリアＲ１，Ｒ２，Ｒ３における時系列データ３１０の関連性が見られないときには「０（零）」に近い値となる。
【００９４】
傾向分析部２４０による相関係数の算出は、微分値データ３３０を用いて行なったが、前処理前の時系列データ３１０を用いてもよい。微分値データ３３０を用いると、比率Ｇｒの増減方向の傾向分析となる。時系列データ３１０を用いると、比率Ｇｒの絶対値の傾向分析となる。また、３パターンの相関係数を求めたが、パターン数を増減してもよい。例えば、分析エリアを２つにして、１パターンの相関係数を求めてもよい。
【００９５】
生体判定部２５０は、生体判定処理として、傾向分析部２４０が分析した複数の時系列データ３１０間の傾向に基づき、対象物が生体であるか否かについての判定を行なう。具体的には、生体判定部２５０は、傾向分析部２４０により算出された相関係数と所定の閾値とを比較し、少なくとも相関係数が閾値を上回るとき、対象物が生体であると判定する。閾値は任意に設定することができるが、非生体を含まないような値を設定する。
【００９６】
図１４を用いて、閾値を「０．５」に設定し、相関係数が閾値以上のとき、対象物が生体であると判定する例を説明する。この例では、区間を移動しながら複数の相関係数を算出している。図１４（ａ）に示すように、相関係数が「０．５」以上であるときには、複数のエリアＲ１，Ｒ２，Ｒ３における比率Ｇｒの時系列データ３１０が共通の傾向を示すことから、対象物が生体であると判定する。一方、図１４（ｂ）に示すように、相関係数が「０．５」未満であるときには、複数のエリアＲ１，Ｒ２，Ｒ３における比率Ｇｒの時系列データ３１０が共通の傾向を示さないことから、対象物が生体ではないと判定する。なお、図１４（ｂ）に示したように、時系列データ３１０の時間軸方向におけるばらつきに起因して、相関係数が一時的に閾値以上の値を示すこともある。そのため、生体判定部２５０は、傾向分析部２４０により算出された相関係数が一定の期間に亘って閾値以上に維持されることを条件に、対象物が生体であると判定してもよい。
【００９７】
上述したように、相関係数は１つでもよい。この場合、傾向分析部２４０が、時系列データ３１０あるいは微分値データ３３０の、所定個数ｎ個の離散値を用いて１つの相関係数を算出し、生体判定部２５０は、相関係数と閾値とを比較して生体判定を行う。ここでは、生体判定部２５０は、相関係数が閾値以上であるときには対象物が生体であると判定し、相関係数が閾値未満であるときには対象物が非生体であると判定する。
【００９８】
次に、本実施の形態の生体判定システム１００が実行する生体判定処理について、その具体的な処理内容を説明する。
【００９９】
図１５に示すように、この生体判定処理ではまず、顔検出部２１０は、カメラ１０により撮影された動画像の画像フレームを取得する（ステップＳ３０）。また、顔検出部２１０は、先のステップＳ３０において取得した画像フレームから顔を検出する（ステップＳ３１）。そして、顔検出部２１０は、先のステップＳ３１において検出した顔の位置に基づいて、顔の中から分析エリアである複数のエリアＲ１~Ｒ３を設定する（ステップＳ３２）。
【０１００】
輝度値取得部２２０は、顔検出部２１０により設定された各エリアＲ１〜Ｒ３の画素毎に各色成分の輝度値を取得し、各エリアＲ１〜Ｒ３毎に各色成分の輝度値の代表値を算出する。脈波検出部２３０は、輝度値取得部２２０により算出された各エリアＲ１〜Ｒ３の各色成分の輝度値の代表値からエリアＲ１〜Ｒ３毎に比率Ｇｒを算出し、時系列データ３１０を形成する（ステップＳ３３）。
【０１０１】
脈波検出部２３０は、先のステップＳ３３において検出した比率Ｇｒの時系列データ３１０の移動平均を算出する。また、脈波検出部２３０は、移動平均の値を元のデータから減算して時系列データ３１０から低周波成分を除去する（ステップＳ３４）。そして、脈波検出部２３０は、低周波成分が除去された時系列データ３１０を記憶部３００に保存する。そして、脈波検出部２３０は、記憶部３００に保存されている時系列データ３１０のデータ数が、所定のデータ数に到達していないときには（ステップＳ３５＝ＮＯ）、ステップＳ３０以降の処理を繰り返し、所定のデータ数に到達しているときには（ステップＳ３５＝ＹＥＳ）、ステップＳ３６の処理に移る。
【０１０２】
傾向分析部２４０は、エリアＲ１〜Ｒ３毎に、時系列データ３１０と基準関数データ３２０としての一階微分ガウス関数との合成積をｎ個算出する（ステップＳ３６）。また、傾向分析部２４０は、合成積による算出結果を微分値データ３３０として記憶部３００に保存する（ステップＳ３７）。
【０１０３】
傾向分析部２４０は、記憶部３００に保存されている微分値データ３３０を読み出す。また、傾向分析部２４０は、各エリアＲ１〜Ｒ３間の比率Ｇｒの微分値データ３３０の相関係数を算出する（ステップＳ３８）。
【０１０４】
生体判定部２５０は、先のステップＳ３８において算出された相関係数が閾値である「０．５」以上であるか否かを判定する（ステップＳ３９）。そして、生体判定部２５０は、相関係数が「０．５」以上であると判定したときには（ステップＳ３９＝ＹＥＳ）、画像フレームに含まれる対象物が生体であると判定する（ステップＳ４０）。一方、生体判定部２５０は、相関係数が「０．５」未満であると判定したときには（ステップＳ３９＝ＮＯ）、画像フレームに含まれる対象物が生体ではないと判定する（ステップＳ４１）。
【０１０５】
以上のような処理を繰り返し実行し、生体判定を継続して実行する。継続して実行することにより、生体判定をリアルタイムに行うことができるが、用途に応じて一回のみの判定としたり、随時判定を停止したりしてもよい。また、時系列データ３１０が所定のデータ数に到達した後、時系列データ３１０が新たに取得される毎に生体判定を行なうようにしてもよい。
【０１０６】
以上説明したように、上記第２の実施の形態によれば、第１の実施の形態の効果（１）〜（３）、（５）、（６）に加えて、以下に列挙する効果を得ることができる。
（７）対象物に含まれる複数のエリアＲ１〜Ｒ３に対応する時系列データ３１の傾向に基づいて対象物が生体であるか否かを判定する。そのため、脈拍一周期分に相当する時系列データ３１０を取得することなく生体判定を行うときの判定精度を向上することもできる。
【０１０７】
（第３の実施の形態）
次に、生体判定システムの第３の実施の形態について図面を参照して説明する。なお、第３の実施の形態は、輝度値に関する時系列データに基づいて生体判定を行う方法が第１の実施の形態と第２の実施の形態とを組み合わせたものである。したがって、以下の説明においては、第１の実施の形態および第２の実施の形態と相違する構成について主に説明し、第１の実施の形態および第２の実施の形態と同一の又は相当する構成については重複する説明を省略する。
【０１０８】
本実施の形態の生体判定システムは、対象物が含まれる連続画像から、同一のエリアにおける複数の色成分の時系列データ３１０を取得する。また、生体判定システムは、同一のエリアにおける複数の色成分の時系列データ３１０間の傾向として、第１の相関度合いを分析する。また、生体判定システムは、複数のエリアＲ１〜Ｒ３に対応する各色成分の時系列データ３１０を取得する。また、生体判定システムは、複数のエリアＲ１〜Ｒ３に対応する緑色成分の時系列データ３１０間の傾向として、第２の相関度合いを分析する。そして、生体判定システムは、第１の相関度合いと第２の相関度合いとを組み合わせて用いることにより、対象物が生体であるか否かについての判定を行なう。
【０１０９】
具体的には、本実施の形態の生体判定システムは、対象物である人物の顔を含む連続画像において、顔の肌表面に分析の対象とする分析エリアを設定する。例えば、図２に示すエリアＲＡである。そして、生体判定システムは、このエリアに含まれる各画素について赤色成分と緑色成分と青色成分との輝度値を検出し、複数の波長成分の輝度値の時系列データを取得する。生体判定システムは、緑色成分の輝度値に基づく時系列データと赤色成分に基づく輝度値の時系列データとの相関度合いを第１の相関度合いとして分析する。また、本実施の形態の生体判定システムは、対象物である人物の顔を含む連続画像において、顔の肌表面に分析の対象とする分析エリアを複数設定する。例えば、図１１に示すエリアＲ１〜Ｒ３である。そして、生体判定システムは、複数の分析エリアに含まれる各画素について赤色成分と緑色成分と青色成分との輝度値を検出し、複数の分析エリアにおいて輝度値の時系列データを取得する。生体判定システムは、分析エリアの異なる複数の緑色成分の輝度値に基づく時系列データ間の相関度合いを第２の相関度合いとして分析する。そして、生体判定システムは、第１の相関度合いに負の相関があり、かつ、第２の相関度合いに正の相関があれば、対象物は生体であると判定する。なお、第１の相関度合いの分析に用いる分析エリアと、第２の相関度合いの分析に用いる分析エリアは重複してもよい。
【０１１０】
ここでは、傾向分析部２４０が、同時刻に取得された輝度値に基づくエリアＲＡのｎ個の比率Ｒｒとｎ個の比率Ｇｒ、エリアＲ１のｎ個の比率Ｇｒ、エリアＲ２のｎ個の比率Ｇｒ、及びエリアＲ３のｎ個の比率Ｇｒを（以下、このｎセットのデータをｎ個のデータとして数える）を用いて、傾向分析処理を行う例を示す。傾向分析部２４０は、時系列データ３１０のデータ数が所定のデータ数に到達すると、傾向分析処理を開始する。
【０１１１】
次に、本実施の形態の生体判定システム１００が実行する生体判定処理について、その具体的な処理内容を説明する。ここでは、エリアＲＡを第１の相関度合いの分析に用い、エリアＲ１〜Ｒ３を第２の相関度合いの分析に用いる例を示す。
【０１１２】
図１６に示すように、この生体判定処理ではまず、顔検出部２１０は、カメラ１０により撮影された動画像の画像フレームを取得する（ステップＳ５０）。また、顔検出部２１０は、先のステップＳ５０において取得した画像フレームから顔を検出する（ステップＳ５１）。そして、顔検出部２１０は、先のステップＳ５１において検出した顔の位置に基づいて、顔の中から分析エリアである複数のエリアＲ１~Ｒ３を設定する（ステップＳ５２）。
【０１１３】
輝度値取得部２２０は、顔検出部２１０により設定されたエリアＲＡ及びエリアＲ１〜Ｒ３の画素毎に各色成分の輝度値を取得し、エリアＲＡ及びエリアＲ１〜Ｒ３の赤色成分の輝度値の代表値Ｒ、緑色成分の輝度値の代表値Ｇ、青色成分の輝度値の代表値Ｂを算出する。脈波検出部２３０は、輝度値取得部２２０により算出された各エリアの各色成分の輝度値の代表値Ｒ，Ｇ，Ｂからエリア毎に比率Ｒｒ，Ｇｒを算出し、時系列データ３１０を形成する（ステップＳ５３）。
【０１１４】
脈波検出部２３０は、エリア毎に先のステップＳ５３において検出した比率Ｒｒ，Ｇｒの時系列データ３１０の移動平均を算出する。また、脈波検出部２３０は、エリア毎に移動平均の値を元のデータから減算して時系列データ３１０から低周波成分を除去する（ステップＳ５４）。そして、脈波検出部２３０は、低周波成分が除去された時系列データ３１０を記憶部３００に保存する。そして、脈波検出部２３０は、記憶部３００に保存されている時系列データ３１０のデータ数が、所定のデータ数に到達していないときには（ステップＳ５５＝ＮＯ）、ステップＳ５０の処理を繰り返し、所定のデータ数に到達しているときには（ステップＳ５５＝ＹＥＳ）、ステップＳ５６の処理に移る。
【０１１５】
傾向分析部２４０は、エリア毎に時系列データ３１０と基準関数データ３２０としての一階微分ガウス関数との合成積を算出する（ステップＳ５６）。また、傾向分析部２４０は、合成積による算出結果を微分値データ３３０として記憶部３００に保存する（ステップＳ５７）。
【０１１６】
傾向分析部２４０は、記憶部３００に保存されているエリアＲＡの微分値データ３３０を読み出す。また、傾向分析部２４０は、エリアＲＡの比率Ｇｒの微分値データ３３０と比率Ｒｒの微分値データ３３０との相関係数（第１の相関係数）を算出する（ステップＳ５８）。
【０１１７】
生体判定部２５０は、先のステップＳ５８において算出された第１の相関係数が閾値である「０（零）」以下であるか否かを判定する（ステップＳ５９）。生体判定部２５０は、第１の相関係数が「０（零）」以下であると判定したときには（ステップＳ５９＝ＹＥＳ）、ステップＳ６０の処理に移る。
【０１１８】
傾向分析部２４０は、記憶部３００に保存されているエリアＲ１〜Ｒ３毎の微分値データ３３０を読み出す。また、傾向分析部２４０は、各エリアＲ１〜Ｒ３毎の比率Ｇｒの微分値データ３３０の３パターンの相関係数（第２の相関係数）を算出する（ステップＳ６０）。
【０１１９】
生体判定部２５０は、先のステップＳ６０において算出された第２の相関係数が閾値である「０．５」以上であるか否かを判定する（ステップＳ６１）。そして、生体判定部２５０は、第２の相関係数が「０．５」以上であると判定したときには（ステップＳ６１＝ＹＥＳ）、画像フレームに含まれる対象物が生体であると判定する（ステップＳ６２）。一方、生体判定部２５０は、第２の相関係数が「０．５」未満であると判定したときには（ステップＳ６１＝ＮＯ）、画像フレームに含まれる対象物が生体ではないと判定する（ステップＳ６３）。
【０１２０】
また、生体判定部２５０は、先のステップＳ５８において算出された第１の相関係数が「０（零）」よりも大きいと判定したときにも（ステップＳ５９＝ＮＯ）、画像フレームに含まれる対象物が生体ではないと判定する（ステップＳ６３）。
【０１２１】
以上のような処理を繰り返し実行し、生体判定を継続して実行する。継続して実行することにより、生体判定をリアルタイムに行うことができるが、用途に応じて一回のみの判定としたり、随時判定を停止したりしてもよい。また、時系列データ３１０が所定のデータ数に到達した後、時系列データ３１０が新たに取得される毎に生体判定を行なうようにしてもよい。
【０１２２】
次に、本実施の形態の生体判定システム１００の作用について説明する。
【０１２３】
図１７は、画像フレームに含まれる対象物が生体又は非生体であるときの第１の相関係数及び第２の相関係数の組み合わせを、横軸を第１の相関係数とし、縦軸を第２の相関係数とした座標平面にプロットした図である。同図に示すように、第１の相関係数が「０（零）」以下であっても対象物が非生体であることもある。また、同図に示すデータには含まれないものの、第２の相関係数が「０．５」以下であっても対象物が生体であることもある。これは、本実施の形態では、相関係数の値が一定の期間に亘って所定の条件を満たすことを条件に生体判定を行っているものの、顔認証に伴う生体判定では、生体判定を短時間で行うことが要求されることから、上述した一定の期間の長さに制約があるためである。
【０１２４】
そこで、本実施の形態では、第１の相関係数及び第２の相関係数の双方が所定の条件を満たすことを条件に生体判定を行っている。これにより、いずれか一方の相関係数を用いて生体判定を行う場合と比較して、生体判定の判定時間を延ばすことなく、その判定精度を高めることができる。
【０１２５】
以上説明したように、上記第３の実施の形態によれば、第１の実施の形態の効果（１）〜（６）に加えて、以下に列挙する効果を得ることができる。
（８）複数の相関係数を用いて生体判定を行っているため、単一の相関係数を用いる場合と比較して、生体判定の判定時間を延ばすことなく、その判定精度を高めることができる。
【０１２６】
（第４の実施の形態）
次に、生体判定システムの第４の実施の形態について図面を参照して説明する。なお、第４の実施の形態は、生体判定を行うときにカメラ１０の撮影条件を維持する点が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一の又は相当する構成については重複する説明を省略する。
【０１２７】
図１８に示すように、本実施の形態では、生体判定システム１００Ａの制御部２００は、記憶部３００に保存された生体判定プログラムを実行することにより、顔検出部２１０、輝度値取得部２２０、脈波検出部２３０、傾向分析部２４０、生体判定部２５０、出力部２６０に加え、撮像制御部２７０としても機能する。
【０１２８】
撮像制御部２７０は、顔検出部２１０により顔が検出されたことを条件に、カメラ１０における露出制御の制御値が生体判定に適した状態となったと判定し、当該制御値を維持するようにカメラ１０に対して指示する。この露出制御の制御値としては、例えば、カメラ１０のゲイン、ホワイトバランス、露光時間、絞り値などの制御値が挙げられる。これにより、以降の処理で生体判定を行うときに、カメラ１０の撮影条件の変化が各色成分の輝度値の時系列データ３１０に影響を及ぼして生体判定の精度を低下させることが回避される。
【０１２９】
以上説明したように、上記第４の実施の形態によれば、第１の実施の形態の効果（１）〜（６）に加えて、以下に列挙する効果を得ることができる。
（９）カメラ１０における露出制御の動作が生体判定に適した状態となった時点で、露出制御の制御値が維持される。そのため、露出制御の制御値の変更に伴って、時系列データ３１０に基づく生体判定の精度が低下することが抑えられる。
【０１３０】
（第５の実施の形態）
次に、生体認証システムの第５の実施の形態について図面を参照して説明する。なお、第５の実施の形態は、第１の実施の形態における生体判定に加え、生体判定の判定結果に基づいて生体認証を行う点が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一の又は相当する構成については重複する説明を省略する。
【０１３１】
図１９に示すように、本実施の形態の生体認証システム１００Ｂは、生体認証処理を制御する制御部２００と、制御部２００が生体認証処理の際に実行する生体認証プログラムを含めた各種のプログラムや当該プログラムの実行の際に制御部２００が読み書きする各種のデータを保存する記憶部３００とを有するコンピュータである。そして、制御部２００は、記憶部３００に保存された生体認証プログラムを実行することにより、顔検出部２１０、輝度値取得部２２０、脈波検出部２３０、傾向分析部２４０、生体判定部２５０、照合処理部２８０、認証処理部２９０、及び、出力部２６０として機能する。なお、動画像において顔を検出してから生体判定を行うまでの処理の流れは第１の実施の形態と同様である。
【０１３２】
照合処理部２８０は、生体判定部２５０により画像フレームに含まれる対象物が生体であると判定されたことを条件に、記憶部３００に格納されている顔テンプレートデータ３４０との照合処理を行う。このとき、照合処理部２８０は、顔検出部２１０により検出された顔の輝度値のデータと、顔テンプレートデータ３４０として予め登録された複数の人物の顔の輝度値のデータとを比較し、それらの類似度を照合スコアとして算出する。
【０１３３】
認証処理部２９０は、顔テンプレートデータ３４０として登録されている複数の人物のデータの中に、照合処理部２８０により算出された照合スコアが所定の閾値以上となる人物のデータが含まれるか否かを判定する。そして、認証処理部２９０は、照合スコアが所定の閾値以上となる人物のデータが含まれるときには、照合スコアが最大となる人物を画像フレームに含まれる人物として生体認証を行い、その認証結果を出力部２６０により出力する。一方、認証処理部２９０は、照合スコアが所定の閾値以上となる人物のデータが含まれないときには、認証エラーと判定し、その認証結果を出力部２６０により出力する。
【０１３４】
以上説明したように、上記第５の実施の形態によれば、第１の実施の形態の効果（１）〜（６）に加えて、以下に列挙する効果を得ることができる。
（１０）生体判定により対象物が生体である旨が判定されたことを条件に、生体認証が行われる。そのため、対象物が生体ではないにも関わらず、生体認証が不必要に行われる頻度を低減することができる。
【０１３５】
（その他の実施の形態）
なお、上記各実施の形態は、以下のような形態にて実施することもできる。
・上記第５の実施の形態においては、生体判定により対象物が生体である旨が判定されたことを条件に、生体認証を行うようにした。これに代えて、生体判定の判定精度を評価し、その評価値が所定の条件を満たすことを条件に、生体認証を行うようにしてもよい。この場合、生体判定の判定精度は、複数の時系列データ３１０の相関係数に基づいて評価してもよいし、その他のパラメータに基づいて評価してもよい。
【０１３６】
・上記第４の実施の形態においては、カメラ１０における露出制御の動作が生体判定に適した状態となった時点で、露出制御の制御値を維持するようにした。これに代えて、カメラ１０における露出制御の動作が生体判定に適した状態となったとしても、露出制御の制御値を変更可能に設定してもよい。この場合、露出制御の制御値が変化する数値範囲に制限を設けてもよい。
【０１３７】
・上記第３の実施の形態においては、第１の相関係数及び第２の相関係数に判定閾値を設定し、各々の相関係数と判定閾値との大小の比較に基づき、生体判定を行うようにした。これに代えて、図１７に示した座標平面において、画像フレームに含まれる対象物が生体であるときのデータ群についての基準点（例えば、データ群の平均値や中央値など）を設定し、新たなデータを取得したときに、座標平面における基準点からの距離に基づいて生体判定を行うようにしてもよい。また、各々の相関係数に基づく生体判定の判定結果を評価値に換算し、各々の評価値を合算して生体判定を行ってもよい。この場合、各々の相関係数に基づく評価値に重み付けを行った上で生体判定を行ってもよい。
【０１３８】
・上記第３の実施の形態においては、エリアＲ１における複数の色成分の時系列データ３１０の相関度合いを示す第１の相関係数と、対象物に含まれる複数のエリアＲ１〜Ｒ３に対応する緑色成分の時系列データ３１０の相関度合いを示す第２の相関係数とを組み合わせて用いることにより、生体判定を行うようにした。ただし、生体判定に用いる相関係数はこれらに限らず、例えば、複数のエリアＲ１〜Ｒ３に対応する複数の色成分の時系列データ３１０の相関度合いを示す相関係数を生体判定に用いてもよい。また、生体判定に用いる相関係数の数は、必ずしも２つである必要はなく、３つ以上の相関係数を組み合わせて生体判定を行ってもよい。
【０１３９】
・上記各実施の形態においては、エリアに含まれる各色成分の輝度値の代表値（例えば、平均値や中央値など）に基づいてエリア同士の相関係数を算出し、算出した相関係数に基づいてエリア同士の相関度合いを評価するようにした。これに代えて、エリアに含まれる画素毎に、エリア同士の各色成分の輝度値の相関係数を算出し、画素毎の相関係数の代表値（例えば、平均値や中央値など）に基づいてエリア同士の相関度合いを評価してもよい。
【０１４０】
・上記各実施の形態においては、複数の時系列データ３１０の時間の経過に伴う増減方向の比較に基づいて生体の脈拍の有無を判定し、その判定結果に基づいて生体判定を行うようにした。これに代えて、複数の時系列データ３１０の増減方向を算出することなく、時系列データ３１０の波形の形状の相関度合いに基づいて生体判定を行ってもよい。
【０１４１】
・上記第１の実施の形態においては、生体の脈拍と相関のある赤色成分及び緑色成分の波長領域に対応する時系列データ３１０に基づいて生体判定を行うようにした。ただし、生体判定に用いる波長領域は、必ずしも赤色成分及び緑色成分の波長領域である必要はなく、青色成分の波長領域に対応する光が顔表面の脈拍を検出できるのであれば、赤色成分及び青色成分の波長領域に対応する時系列データ３１０、又は、緑色成分及び青色成分の波長領域に対応する時系列データ３１０に基づいて生体判定を行ってもよい。また、生体判定に用いる波長領域は、色成分毎に区切られた波長領域の組み合わせである必要はなく、比較の対象となる波長領域が部分的に重畳してもよい。要は、血中ヘモグロビンの吸光特性が大きく異なる波長領域の組み合わせであれば、生体判定に用いることは可能である。
【０１４２】
・上記各実施の形態においては、時系列データ３１０を時間軸方向に平均化し、その平均化した値を元のデータから減算した上で生体判定を行うようにした。ただし、時系列データ３１０の脈波以外の要因による変動である低周波成分を抑える方法はこれに限らず、例えば、時系列データ３１０と基準波形データとの合成積を算出してもよい。
【０１４３】
・上記各実施の形態においては、画素毎の輝度値に関する時系列データ３１０との合成積に用いる基準関数データ３２０として、一階微分ガウス関数を適用する場合を例に挙げて説明した。ただし、基準関数データ３２０としてはその他にも、ガウス関数やｓｉｎ関数やｃｏｓ関数を適用してもよい。例えば、基準関数データ３２０としてガウス関数を用いる場合には、時系列データ３１０とガウス関数との合成積により時系列データ３１０の平滑化処理を行った後、微分処理を行って時系列データ３１０の時間の経過に伴う増減方向を求めてもよい。
【０１４４】
・上記第１の実施の形態においては、各色に対応する時系列データ３１０の相関係数が「０（零）」以下であるか否かに基づいて生体判定を行うようにした。ただし、生体判定に用いる判定閾値は必ずしも「０（零）」である必要はなく、負の値であればよい。
【０１４５】
・上記第２の実施の形態においては、各エリアＲ１〜Ｒ３に対応する時系列データ３１０の相関係数が「０．５」以上であるか否かに基づいて生体判定を行うようにした。ただし、生体判定に用いる判定閾値は必ずしも「０．５」である必要はなく、正の値であればよい。
【０１４６】
・上記各実施の形態においては、全色の輝度値の合計値に対する赤色成分又は緑色成分の輝度値の相対比率Ｒｒ，Ｇｒに基づいて生体判定を行うようにした。ただし、生体判定に用いる輝度値としては、例えば、赤色成分の輝度値に対する緑色成分の輝度値の相対比率であってもよいし、緑色成分の輝度値に対する赤色成分の輝度値の相対比率であってもよいし、青色成分の輝度値に対する赤色成分又は緑色成分の輝度値の相対比率であってもよい。また、赤色成分及び青色成分の輝度値の合計値に対する緑色成分の輝度値の相対比率であってもよいし、緑色成分及び青色成分の輝度値の合計値に対する赤色成分の輝度値の相対比率であってもよい。
【０１４７】
・上記各実施の形態においては、人物の顔の画素毎に時系列データ３１０を解析するようにした。ただし、時系列データ３１０を解析する際の単位領域は、必ずしも一つの画素である必要はなく、複数の画素により単位領域を構成してもよい。
【０１４８】
・上記各実施の形態においては、生体判定に用いる対象領域が人物の顔である場合を例に挙げて説明した。ただし、生体判定に用いる対象領域としてはその他にも、横顔や手足等、人物の肌が露出している他の身体部位を適用することも可能である。
【０１４９】
・上記各実施の形態においては、動画像の撮影時に生体判定を行う場合を例に挙げて説明した。これに代えて、動画像を事前に撮影しておき、撮影した動画像を読み込んで生体判定を行うようにしてもよい。この場合、例えば、動画像において人物が含まれる画像フレームを検索することも可能となる。
【符号の説明】
【０１５０】
１０…カメラ、１００…生体判定システム、２００…制御部、２１０…顔検出部、２２０…輝度値取得部、２３０…脈波検出部、２４０…傾向分析部、２５０…生体判定部、２６０…出力部、３００…記憶部、３１０…時系列データ、３２０…基準関数データ、３３０…微分値データ。
【図１】
2020000312.tif 000004
【図２】
2020000312.tif 000005
【図３】
2020000312.tif 000006
【図４】
2020000312.tif 000007
【図５】
2020000312.tif 000008
【図６】
2020000312.tif 000009
【図７】
2020000312.tif 000010
【図８】
2020000312.tif 000011
【図９】
2020000312.tif 000012
【図１０】
2020000312.tif 000013
【図１１】
2020000312.tif 000014
【図１２】
2020000312.tif 000015
【図１３】
2020000312.tif 000016
【図１４】
2020000312.tif 000017
【図１５】
2020000312.tif 000018
【図１６】
2020000312.tif 000019
【図１７】
2020000312.tif 000020
【図１８】
2020000312.tif 000021
【図１９】
2020000312.tif 000022