(57)【要約】【課題】  顔認証を高精度に行う。【解決手段】  一つの実施形態によれば、顔認識システムは、画像センサ、顔認識処理部、心拍数検出部、及び認証部を有する。画像センサは、入射光を赤外画素で検出して、検出された赤外情報を出力する。顔認識処理部は、画像情報信号に基づいて、人物の顔を認識する。心拍数検出部は、赤外情報に基づいて、顔の血管の脈動から前記人物の心拍数を読み取る。認証部は、顔認識部から出力される顔認識信号を入力し、心拍数が入力されたときに人物が本人であると認証し、心拍数が入力されないときに人物は写真であると認証する。【選択図】  図１
2016126472.tif 000002
【特許請求の範囲】
【請求項１】
入射光を赤外画素で検出して、検出された赤外情報を出力する画像センサと、
画像情報信号に基づいて、人物の顔を認識する顔認識処理部と、
前記赤外情報に基づいて、顔の血管の脈動から前記人物の心拍数を読み取る心拍数検出部と、
前記顔認識部から出力される顔認識信号を入力し、前記心拍数が入力されたときに前記人物が本人であると認証し、前記心拍数が入力されないときに前記人物は写真であると認証する認証部と、
を具備することを特徴とする顔認識システム。
【請求項２】
信号処理部と画像表示部を更に備え、
前記画像センサは、青色画素、緑色画素、赤色画素を更に備え、
前記信号処理部は、前記画像センサから出力される画像信号を入力し、前記画像信号を基にして、青色情報信号、緑色情報信号、赤色情報信号、及び赤外情報信号を出力し、
前記表示部は、前記青色情報信号、前記緑色情報信号、前記赤色情報信号、及び前記赤外情報信号が入力されたとき、又は画像データ信号が入力されたときに画像表示を行い、前記画像情報信号を出力する
ことを特徴とする請求項１に記載の顔認識システム。
【請求項３】
前記画像データ信号は、記憶部に記憶されていた画像情報或いは外部から転送された画像情報であることを特徴とする請求項２に記載の顔認識システム。
【請求項４】
昼間モードでは、前記信号処理部から前記画像表示部に前記青色情報信号、前記緑色情報信号、及び前記赤色情報信号が出力され、前記信号処理部から前記心拍数検出部に前記赤外情報信号が出力され、
夜間モードでは、前記信号処理部から画像表示に前記赤外情報信号が出力され、前記信号処理部から前記心拍数検出部に前記赤外情報信号が出力される
ことを特徴とする請求項２又は３に記載の顔認識システム。
【請求項５】
赤外透過フィルタを介して入力される入射光をフォトダイオードで検出し、検出された赤外情報を出力する画像センサと、
前記赤外情報に基づいて、血管の脈動から人物の心拍数を読み取る心拍数検出部と、
を具備することを特徴とする心拍数検出装置。
【請求項６】
前記フォトダイオードは、ＳｉＧｅフォトダイオードである
ことを特徴とする請求項５に記載の心拍数検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、心拍数検出装置及びそれを用いた顔認識システムに関する。
【背景技術】
【０００２】
顔認証では、人物本人と写真を識別することが必要である。色や画像処理では、人物本人と写真を見分けることができない。可視光領域の映像信号を用いて顔認証を行うと、感度が低く、顔認証までの時間がかかり、精度が低いという問題点がある。
【０００３】
このため、高精度で顔認証を実行できる顔認識システムが要望されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−７１６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、顔認証を高精度にすることできる心拍数検出装置及びそれを用いた顔認識システムを提供することにある。
【課題を解決するための手段】
【０００６】
一つの実施形態によれば、顔認識システムは、画像センサ、顔認識処理部、心拍数検出部、及び認証部を有する。画像センサは、入射光を赤外画素で検出して、検出された赤外情報を出力する。顔認識処理部は、画像情報信号に基づいて、人物の顔を認識する。心拍数検出部は、赤外情報に基づいて、顔の血管の脈動から前記人物の心拍数を読み取る。認証部は、顔認識部から出力される顔認識信号を入力し、心拍数が入力されたときに人物が本人であると認証し、心拍数が入力されないときに人物は写真であると認証する。
【図面の簡単な説明】
【０００７】
【図１】第一の実施形態に係る顔認識システムを示すブロック図である。
【図２】第一の実施形態に係る画像センサの断面図である。
【図３】第一の実施形態に係るカラーフィルタの波長に対する相対感度を示す図である。
【図４】第一の実施形態に係る画素配列を示す概略平面図である。
【図５】変形例の画素配列を示す概略平面図であり、図５（ａ）はＩＲ画素が１／１６であり、図５（ｂ）はＩＲ画素が１／６４である。
【図６】各材料の波長（エネルギー）に対する光吸収係数を示す特性図である。
【図７】第一の実施形態に係る顔認識のプロセスステップを示す図である。
【図８】第一の実施形態に係る顔の識別のプロセスステップを示す図である。
【図９】第二の実施形態に係る昼間モードでの信号処理部から出力される信号を示す図である。
【図１０】第二の実施形態に係る夜間モードでの信号処理部から出力される信号を示す図である。
【発明を実施するための形態】
【０００８】
以下本発明の実施形態について図面を参照しながら説明する。
【０００９】
（第一の実施形態）
まず、本発明の実施形態に係る心拍数検出装置及びそれを用いた顔認識システムについて、図面を参照して説明する。図１は、顔認識システムを示すブロック図である。図２は、画像センサの断面図である。本実施形態では、画像センサにＩＲ画素、赤外透過カラーフィルタを設けて心拍数検出を高感度にし、心拍数の有無を用いて高精度に顔認証を実行している。
【００１０】
図１に示すように、顔認識システム９０は、画像表示部２、顔認識処理部３、認証部５、記憶部６、及び心拍数検出装置８０を有する。顔認識システム９０は、人物本人と写真の見分けを高精度に実行することができる。
【００１１】
心拍数検出装置８０は、画像取り込み部１と心拍数検出部４を有する。画像取り込み部１は、画像センサ１１と信号処理部１２を有する。心拍数検出装置８０は、赤外画素で検出した赤外情報を用いて、血管の脈動から人物の心拍数を高感度に検出する。
【００１２】
画像センサ１１は、入射光を入力し、光電変換した画像信号に出力する。
【００１３】
図２に示すように、画像センサ１１は、Ｂ画素（青色画素）、Ｇ画素（緑色画素）、Ｒ画素（赤色画素）、及びＩＲ画素（赤外画素）を有する。
【００１４】
画像センサ１１では、支持基板２７、配線層２３、半導体層２１と半導体層２２からなるフォトダイオード、カラーフィルタ、及びマイクロレンズＭＬレンズが積層されている。画像センサ１１は、マイクロレンズＭＬを介して入射光が入力される裏面照射型センサである。半導体層２１は、例えばＰ型半導体層である。半導体層２２は、Ｎ型半導体層である。
【００１５】
Ｂ画素領域では、半導体層２１と半導体層２２からなるフォトダイオード（第一フォトダイオード）、カラーフィルタＣＦｂ、及びマイクロレンズＭＬが積層される。Ｇ画素領域では、半導体層２１と半導体層２２からなるフォトダイオード（第二フォトダイオード）、カラーフィルタＣＦｇ、及びマイクロレンズＭＬが積層される。Ｒ画素領域では、半導体層２１と半導体層２２からなるフォトダイオード（第三フォトダイオード）、カラーフィルタＣＦｒ、及びマイクロレンズＭＬが積層される。ＩＲ画素領域では、半導体層２１と半導体層２２からなるフォトダイオード（第四フォトダイオード）、カラーフィルタＣＦｉｒ、及びマイクロレンズＭＬが積層される。
【００１６】
各画素領域の間の半導体層２１表面（カラーフィルタに接する面側）には、画素分離層ＳＴＩが設けられる。各画素領域の間において、半導体層２１と配線層２３の間に画素トランジスタ２６が設けられる。画素トランジスタ２６は、ソース、ドレイン、チャネル領域が半導体層２１側に設けられ、ゲート絶縁膜、ゲート電極、ソース電極、ドレイン電極が配線層２３側に設けられる。
【００１７】
配線層２３は、絶縁層２４、配線２５が設けられる。フォトダイオードで光電変換された画像信号Ｓｃｉは、画素トランジスタ２６を介して配線２５を経由して信号処理部１２に送信される。
【００１８】
本実施形態では、血流の脈動から心拍数を検出している。血流は皮膚直下の血管を流れているので、可視光領域の赤色帯域成分を用いるよりも波長の長い赤外帯域成分（例えば、近赤外帯域成分）を用いると検出信号強度を大きくすることができる。
【００１９】
カラーフィルタの特性について図３を参照して説明する。図３は、カラーフィルタの波長に対する相対感度を示す図である。
【００２０】
図３に示すように、カラーフィルタＣＦｂは、波長４５０ｎｍ付近に最大感度を有する可視光透過フィルタである。カラーフィルタＣＦｇは、波長５３０ｎｍ付近に最大感度を有する可視光透過フィルタである。カラーフィルタＣＦｒは、波長６２０ｎｍ付近に最大感度を有する可視光透過フィルタである。カラーフィルタＣＦｉｒは、波長７５０〜８５０ｎｍ付近に最大感度を有する近赤外透過フィルタである。
【００２１】
本実施形態では、画像表示部２に赤外帯域信号Ｓｉｒを入力しているので、夜間でのＩＲ画像を取得することができる。しかも夜間、青色帯域信号Ｓｂ、緑色帯域信号Ｓｇ、及び赤色帯域信号Ｓｒを入力しているので、ＩＲ画像の解像度は昼間の三原色（Ｒ（赤）、Ｇ（緑）、Ｂ（青））画像よりも高くすることができる。
【００２２】
画素配列について図４を参照して説明する。図４は画素配列を示す概略平面図である。
【００２３】
図４に示すように、ＩＲ画素が１／４の割合で配置される。図中、ＩＲ画素が右上に配置され、Ｒ画素が右下に配置され、Ｇ画素が左下に配置され、Ｂ画素が左上に配置される。
【００２４】
なお、赤外線を用いた心拍数の検出と撮影カラー画質のバランスを考慮して画素配列を適宜変更してもよい。心拍数の高感度検出を維持しながら、例えば、図５（ａ）に示すようにＩＲ画素が１／１６に設定してもよい。また、図５（ｂ）に示すようにＩＲ画素が１／６４に設定してもよい。
【００２５】
本実施形態では、可視光領域及び赤外領域（例えば、近赤外領域）での光吸収係数の大きな材料を選択する必要がある。
【００２６】
フォトダイオードを構成する材料の光吸収について図６を参照して説明する。図６は、各材料の波長（エネルギー）に対する光吸収係数を示す特性図である。
【００２７】
図６に示すように、材料によって波長に対する光吸収係数は変化する。例えば、シリコン（Ｓｉ）とゲルマニウム（Ｇｅ）を比較すると、可視光領域及び近赤外領域ではシリコンはゲルマニウムの約１／３０しか光を吸収しない。このため、本実施形態では、画像センサ１１を構成する材料（半導体層２１と半導体層２２の構成材料）にシリコンゲルマニウムを用いている。
【００２８】
なお、顔認識システムを構成する集積回路を構成する材料には、通常シリコン基板を用いているので、画像センサ１１を構成する材料にシリコンを用いてもよい。この場合、近赤外領域での受光感度が低下するので画素配列を見直してＩＲ画素の割合を増やすのが好ましい。
【００２９】
また、画像センサ１１の材料にシリコンゲルマニウムを用い、信号処理部１２の材料にシリコン基板を用いてワンチップ化集積回路からなる画像取り込み部１にしてもよい。
【００３０】
信号処理部１２は、画像信号Ｓｃｉを入力し、信号処理を実行する。信号処理部１２は、青色帯域信号Ｓｂ、緑色帯域信号Ｓｇ、赤色帯域信号Ｓｒ、及び赤外帯域信号Ｓｉｒを画像表示部２に出力する。信号処理部１２は、赤外帯域信号Ｓｉｒを心拍数検出部４に出力する。
【００３１】
画像表示部２は、青色帯域信号Ｓｂ、緑色帯域信号Ｓｇ、赤色帯域信号Ｓｒ、及び赤外帯域信号Ｓｉｒを入力する。画像表示部２は、転送画像データ信号Ｓｔｉｄを外部から入力する。転送画像データ信号Ｓｔｉｄは、写真、ビデオ映像等を含む。画像表示部２は、記憶部６に格納されている画像データ信号Ｓｉｄ等を入力する。画像データ信号Ｓｉｄは、画像取り込み部１で取り込まれた種々の映像を含む。画像表示部２は、入力された信号に基づいて画像を表示する。
【００３２】
顔認識処理部３は、画像表示部２から出力される画像情報信号Ｓｉｆを入力し、表示された画像から顔を認識する。具体的な顔認識については詳細を後述する。
【００３３】
心拍数検出部４は、赤外帯域信号Ｓｉｒ、転送画像データ信号Ｓｔｉｄ、及び画像データ信号Ｓｉｄを入力する。心拍数検出部４は、入力された信号に基づいて、血流の脈動から人物の心拍数を読み取る。なお、顔認識処理部３で顔認識された人物が、拍数検出部４で心拍数を読み取られる。
【００３４】
顔認証部５は、顔認識処理部３から出力される顔認識信号Ｓｆｃを入力し、心拍数検出部４から出力される心拍数信号Ｓｈｒを入力する。顔認証部５は、心拍数の有無により人物本人か写真かを判定する。
【００３５】
次に、顔認識システムを用いた顔認証について図７及び図８を参照して説明する。図７は、顔認識のプロセスステップを示す図である。図８は、顔の識別のプロセスステップを示す図である。
【００３６】
図７に示すように、画像表示部２は、表示画面に画像を表示する（ステップＳ１）。顔認識処理部３は、表示画面に表示された、例えば複数人が表示された、例えばカラー画像から、特定の人物の顔の識別を実行する（ステップＳ２）。
【００３７】
顔の識別の詳細は、図８を用いて説明する。表示画面において、検出領域の設定を行う（ステップＳ２１）。設定領域の画像から顔領域を抽出する（ステップＳ２２）。複数人から個人を特定する（ステップＳ２３）。特定された人物の顔の向きを検出する（ステップＳ２４）。顔・パーツの詳細を検出する。具体的には、赤外線の透過を妨げる物（マスク、メガネ、マフラー等）の有無を確認し、血流の検出に最適な顔の露出領域を確認する（ステップＳ２５）。
【００３８】
心拍数検出部４は、赤外帯域信号Ｓｉｒ、画像データ信号Ｓｉｄ、転送画像データ信号Ｓｔｉｄを入力する。  心拍数検出部４は、顔認識処理部３で特定された人物の顔の露出領域で検出された信号（赤外領域の信号）に基づいて、血流の脈動から人物の心拍数を読み取る。
【００３９】
上述したように、本実施形態の心拍数検出装置及びそれを用いた顔認識システムでは、画像表示部２、顔認識処理部３、認証部５、記憶部６、及び心拍数検出装置８０が設けられる。心拍数検出装置８０は、画像取り込み部１と心拍数検出部４を有する。画像取り込み部１は、画像センサ１１と信号処理部１２を有する。画像センサ１１は、Ｂ画素（青色画素）、Ｇ画素（緑色画素）、Ｒ画素（赤色画素）、及びＩＲ画素（赤外画素）を有する。顔認識処理部３は、画像表示部２から出力される画像情報信号Ｓｉｆを入力し、表示された画像から顔を認識する。心拍数検出部４は、入力された赤外領域の信号に基づいて、血流の脈動から人物の心拍数を読み取る。
【００４０】
このため、心拍数を高感度に検出することができる。したがって、心拍数の有無を用いて高精度に顔認証を実行することができる。
【００４１】
本実施形態では、心拍数検出装置８０は、人体の心拍数を検出しているが、かならずしもこれに限定されるものではない。例えば、犬や猫などの動物の心拍数の検出に適用してもよい。
【００４２】
（第二の実施形態）
次に、本発明の第二の実施形態に係る心拍数検出装置及びそれを用いた顔認識システムについて、図面を参照して説明する。図９は、昼間モードでの信号処理部から出力される信号を示す図である。図１０は、夜間モードでの信号処理部から出力される信号を示す図である。本実施形態では、昼間モードと夜間モードで画像表示に入力される信号を変更している。
【００４３】
以下、第一の実施形態と同一構成部分には、同一符号を付してその部分の説明を省略し、異なる部分のみ説明する。
【００４４】
図９に示すように、本実施形態の顔認識システムでは、昼間モードで、画像表示部２は、信号処理部１２から青色帯域信号Ｓｂ、緑色帯域信号Ｓｇ、及び赤色帯域信号Ｓｒを入力して映像画面にカラー画像を表示する。
【００４５】
図１０に示すように、本実施形態の顔認識システムでは、夜間モードで、画像表示部２は赤外帯域信号Ｓｉｒを入力して映像画面にＩＲ画像を表示する。
【００４６】
顔認識処理部３は、昼間モードで、画像表示部２から出力されるカラーの画像情報信号Ｓｉｆを入力し、表示された画像から顔を認識する。顔認識処理部３は、夜間モードで、画像表示部２から出力される赤外帯域信号Ｓｉｒから生成される単色の画像情報信号Ｓｉｆを入力し、表示された画像から顔を認識する。
【００４７】
ここでは、昼間モードと夜間モードの切り替えは、制御部（図示しない）で、時間で自動的に切り替えを行っている。なお、カメラについている自動モード中の“夜景モード”の利用による切り替え、照度判定や輝度判定に基づく切り替えなどを代わりに用いてもよい。
【００４８】
心拍数検出部４は、赤外帯域信号Ｓｉｒを入力する。心拍数検出部４は、顔認識処理部３で特定された人物の顔の露出領域で検出された信号（赤外領域の信号）に基づいて、血流の脈動から人物の心拍数を読み取る。
【００４９】
上述したように、本実施形態の心拍数検出装置及びそれを用いた顔認識システムでは、昼間と夜間で画像表示に入力される信号を変更している。顔認識処理部３は、夜間、画像表示部２から出力される赤外帯域信号Ｓｉｒから生成される単色の画像情報信号Ｓｉｆを入力し、表示された画像から顔を認識する。心拍数検出部４は、顔認識処理部３で特定された人物の顔の露出領域で検出された信号（赤外領域の信号）に基づいて、血流の脈動から人物の心拍数を読み取る。
【００５０】
このため、心拍数を高感度に検出することができる。したがって、心拍数の有無を用いて高精度に顔認証を実行することができる。
【００５１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５２】
１  画像取り込み部
２  画像表示部
３  顔認識処理部
４  心拍数検出部
５  認証部
６  記憶部
１１  画像センサ
１２  信号処理部
２１、２２  半導体層
２３  配線層
２４  絶縁層
２５  配線
２６  画素トランジスタ
２７  支持基板
８０  心拍数検出装置
９０  顔認識システム
ＣＦｂ、ＣＦｇ、ＣＦｉｒ、ＣＦｒ  カラーフィルタ
ＭＬ  マイクロレンズ
ＳＴＩ  画素分離層
【図１】
2016126472.tif 000003
【図２】
2016126472.tif 000004
【図３】
2016126472.tif 000005
【図４】
2016126472.tif 000006
【図５】
2016126472.tif 000007
【図６】
2016126472.tif 000008
【図７】
2016126472.tif 000009
【図８】
2016126472.tif 000010
【図９】
2016126472.tif 000011
【図１０】
2016126472.tif 000012