(57)【要約】【課題】個人認証装置および個人認証プログラムについて、認証の正解率を上げる。【解決手段】個人認証装置１は、カメラ３２が撮像した被写体の画像情報から画像特徴量を算出する画像特徴量算出部と、マイク３１が集音した被写体が発する音声情報から音声特徴量を算出する音声特徴量算出部と、心拍センサが取得した心拍データから行動特徴量を算出する行動特徴量算出部と、画像特徴量と音声特徴量と行動特徴量を合成した個人特徴量に基づき、被写体が誰であるかを認証する認証手段とを備える。【選択図】図１
2020095063.tif 000002
【特許請求の範囲】
【請求項１】
カメラが撮像した被写体の画像情報から画像特徴量を算出する画像特徴量算出手段と、
前記被写体が発する音声をマイクで集音した音声情報から音声特徴量を算出する音声特徴量算出手段と、
前記画像特徴量と前記音声特徴量を合成した多次元の個人特徴量に基づき、前記被写体が誰であるかを認証する認証手段と、
を備えることを特徴とする個人認証装置。
【請求項２】
生体センサが取得した生体情報から生体情報特徴量を算出する生体情報特徴量算出手段、
を備え、
前記認証手段は、前記画像特徴量、前記音声特徴量、前記生体情報特徴量を合成した多次元の個人特徴量に基づき、前記被写体が誰であるかを認証する、
ことを特徴とする請求項１に記載の個人認証装置。
【請求項３】
前記音声特徴量算出手段は、前記カメラが前記被写体の口の動きを検知したときの音声情報から、前記音声特徴量を算出する、
ことを特徴とする請求項１または２に記載の個人認証装置。
【請求項４】
人である被写体のカメラで撮像した画像情報を記録し、同時に前記被写体が発する音声情報を集音する手順と、
前記画像情報から画像特徴量を算出する手順と、
前記音声情報から音声特徴量を算出する手順と、
前記画像特徴量と前記音声特徴量を合成した個人特徴量に基づき、前記被写体が誰であるかを認証する手順と、
をコンピュータに実行させるための個人認証プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者が誰であるかを認証する個人認証装置および個人認証プログラムに関する。
【背景技術】
【０００２】
近年のコンピューティングパワーの増大に伴い、さまざまな物をコンピュータによって認識することが行われるようになっている。特に、人を認識対象として個人を特定することで、鍵を用いることなく、特定の者だけに機器の操作などを許可することができる。
特許文献１の要約書の解決手段には、「個性認識部２４は、音声認識部１２、画像認識部１６、動作認識部２０の各々によって抽出された利用者の特徴量と個性ＤＢ２２に格納された個人特定用データとを比較して利用者の個性を認識して個人を特定するとともに、…」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−８３９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の発明において、個性認識部２４は、音声認識部１２、画像認識部１６、動作認識部２０のそれぞれによって抽出される各特徴量の一部または全部を取得し、個性ＤＢ２２に格納された個人特定用データを検索して、取得した特徴量と一致する個人特定用データがあるか否かを調べる。しかし、特許文献１に記載の発明では、どのようにして個人を特定した際の正解率を上げるかについては、記載されていない。
【０００５】
そこで、本発明は、個人認証装置および個人認証プログラムについて、個人認証の正解率を上げることを課題とする。
【課題を解決するための手段】
【０００６】
前記した課題を解決するため、本発明の個人認証装置は、
カメラが撮像した被写体の画像情報から画像特徴量を算出する画像特徴量算出手段と、
前記被写体が発する音声をマイクで集音した音声情報から音声特徴量を算出する音声特徴量算出手段と、
前記画像特徴量と前記音声特徴量を合成した多次元の個人特徴量に基づき、前記被写体が誰であるかを認証する認証手段と、
を備えることを特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。
【発明の効果】
【０００７】
本発明によれば、個人認証装置および個人認証プログラムについて、個人認証の正解率を上げることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態における個人認証システムの概略を示す構成図である。
【図２】本実施形態におけるソフトウェア構成の一例を示す図である。
【図３】本実施形態における個人認証装置の論理構成を示す図である。
【図４】本実施形態における機械学習サーバの論理構成を示す図である。
【図５】音声による個人認証動作の詳細を示す図である。
【図６】画像による個人認証動作の詳細を示す図である。
【図７】個人認証処理のフローチャート（その１）である。
【図８】個人認証処理のフローチャート（その２）である。
【図９】個人認証処理を行う階層型ニューラルネットワークを示す説明図である。
【図１０】層間のインデックスとエッジ重みの一例を示す説明図である。
【発明を実施するための形態】
【０００９】
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
図１は、本実施形態における個人認証システムＳの概略を示す構成図である。
個人認証システムＳは、個人認証装置１と、これによって操作が許可される機器２と、マイク３１と、カメラ３２と、心拍センサ３３と、機械学習サーバ４とを含んで構成される。個人認証装置１には、マイク３１、カメラ３２、心拍センサ３３などがケーブルや近距離無線通信などによって通信可能に接続される。マイク３１とカメラ３２と心拍センサ３３とが検知した各センサ情報は、個人認証装置１と機械学習サーバ４に送信される。機械学習サーバ４は、各センサ情報から特徴量を算出して特徴点をキャリブレーションし、その特徴点を保存する。ここで機器２とは、例えば車両などの移動体である。個人認証装置１を車両である機器２に組み込むことにより、例えば先進運転システム（advanced driver assistance system）を構成することができる。
【００１０】
ここで特徴点とは、各センサ情報から算出された各特徴量からなる多次元空間において、各認識結果がどの領域に対応しているかを示す情報であり、機械学習ラベルともいう。
機械学習サーバ４は、例えばクラウド（データセンタ）に設置されている。機械学習サーバ４は、個人認証装置１から特徴点情報を受信して、この特徴点情報をキャリブレーションして更新し、更新した特徴点を個人認証装置１に送信する。機械学習サーバ４は、特徴量算出部４２と、特徴量保存部４３と、キャリブレーション部４５とを備えている。特徴量算出部４２は、各センサ情報に基づき、それぞれ特徴量を算出する。特徴量保存部４３は、各センサ情報から算出した各特徴量を保存する。キャリブレーション部４５は、各センサ情報から算出した各特徴量に基づき、特徴点（機械学習ラベル）をキャリブレーションする。機械学習サーバ４の論理構成は、後記する図４で説明する。
【００１１】
個人認証装置１は、例えば車両である機器２に搭載されたマイク３１やカメラ３２、ハンドルや座席に設置された心拍センサ３３で検知した各センサ情報に基づき、操作者が誰であるのかを認証する。個人認証装置１は更に、認証した者が車両である機器２の操作権限を有する者であったならば、機器２の操作を許可する。これにより、鍵を用いることなく、特定の者だけに機器２の操作を許可することができる。
【００１２】
マイク３１は、機器２の操作者に向けて設置されており、操作者が発する音声を集音する。カメラ３２は、左右２つの光学系によって機器２の操作者の顔を撮像するステレオカメラである。
心拍センサ３３は、例えば機器２の操作座席など、操作者の身体に密着するように設置されている。これにより、心拍センサ３３は、機器２の操作者の心拍を検知可能である。心拍は、心臓の拍動の繰り返しである。この心拍データの繰り返しである心拍パターンは、各人によって異なる。よって、心拍センサによって心拍データを取得することで、その人が誰であるかを推定可能である。
【００１３】
個人認証装置１は、ＣＰＵ（Central Processing Unit）１１を備えている。このＣＰＵ１１が不図示のハイパーバイザプログラムを実行することにより、ハイパーバイザ１２が具現化する。ハイパーバイザ１２は、仮想機械（バーチャルマシン）を具現化するものである。このハイパーバイザ１２の動作により、それぞれリッチＯＳ１３、リアルタイムＯＳ１４、セキュアＯＳ１５を動作させる不図示の仮想機械が具現化する。
【００１４】
リッチＯＳ１３は、例えばLinux（登録商標）のようにユーザインタフェースが充実したオペレーティングシステムである。リアルタイムＯＳ１４は、リアルタイム性を重視し、時間資源の優先度に基づく配分と実行時間の予測可能性を提供することに特化したオペレーティングシステムである。セキュアＯＳ１５は、セキュリティを強化したオペレーティングシステムである。本実施形態では、リアルタイムＯＳ１４の上で動作するアプリケーションにより、個人音声検出部６１１、画像処理部６１２、行動分析部６１３が具現化されている。このように、リアルタイム性を重視したオペレーティングシステムで個人認証させることにより、認証を開始してから完了するまでのタイムラグを少なくすることができる。更に、音声と画像との関連性をリアルタイムに把握することもできる。
【００１５】
個人音声検出部６１１は、マイク３１が集音した音声情報を検出する。画像処理部６１２は、カメラ３２が撮像した画像情報を処理する。行動分析部６１３は、心拍センサ３３が検知した心拍データ（生体情報）から、対象者の行動を分析する。これら個人認証装置１の論理構成は、後記する図３で説明する。
【００１６】
図２は、本実施形態におけるソフトウェア構成の一例を示す図である。
センシングデータ受信機能５１は、音声、画像、心音などをセンシングした各データを各センサから受信する。センシングデータ受信機能５１が受信した各センシングデータは信号処理機能５２に出力される。
信号処理機能５２は、信号処理機能利用システム５３により、各センシングデータに対してフィルタリングや平滑化などの信号処理を行う。信号処理機能利用システム５３は、フィルタリングや平滑化などの信号処理を実行するものである。信号処理機能５２は、信号処理されたセンシングデータを、機械学習機能５４と推測機能５６とに出力する。
【００１７】
機械学習機能５４は、信号処理されたセンシングデータに基づく機械学習を行い、機械学習結果を出力する。特徴量算出機能５５は、この機械学習結果に基づき、現在の操作者に係る特徴点を検出する。
特徴点データベース５８１は、個人と、その特徴点とを対応づけたデータベースである。特徴量データベース５８２は、特徴量算出機能５５が算出した特徴量を保存するデータベースである。
【００１８】
推測機能５６は、この特徴点データベース５８１に基づき、信号処理された音声・画像・行動のセンシングデータに基づいて特徴量算出機能５５が算出した特徴量から、現在の操作者が誰であるかを判定する。
キャリブレーション機能５８は、特徴量データベース５８２に基づき、特徴点データベース５８１をメンテナンスする。メンテナンス対象は、個人認証のための声紋の特徴点と顔認識の特徴点と行動の特徴点、および感情認識のための個人ラベルと一般ラベルである。キャリブレーション機能５８がメンテナンスした特徴点データベース５８１は、推測機能５６によって参照される。
【００１９】
結果出力機能５９は、テキスト・グラフ・二次元または三次元のグラフィックを表示し、または音声により警告等を報知するものである。結果出力機能５９は、推測機能５６が推測した個人や、その個人の感情を表示または報知する。更に結果出力機能５９は、体調推測機能５７が推測した疾病や、その疾病により不許可となる操作について表示または報知する。
コンフィグ設定５０は、結果出力機能５９の出力形式を設定し、更にセンシングデータ受信機能５１の受信対象となるセンサを設定する。コンフィグ・データベース５０１は、コンフィグ設定５０が設定した内容を記憶する。
【００２０】
図３は、本実施形態における個人認証装置１の論理構成を示す図である。
個人認証装置１は、マイク３１、カメラ３２、心拍センサ３３、機器２と通信可能に接続されている。個人認証装置１は、センサ情報を取得してユーザを個人認証し、このユーザが機器２の操作権限を有する者ならば、機器２に対する操作を許可する。
【００２１】
個人認証装置１は、個人音声検出部６１１、音声特徴量算出部６２１、画像処理部６１２、画像特徴量算出部６２２、行動分析部６１３、行動特徴量算出部６２３、個人認証部６３、操作許可部６４を備えている。これらのうち、個人音声検出部６１１と画像処理部６１２と行動分析部６１３とは、図２に示したセンシングデータ受信機能５１および信号処理機能５２に相当する。音声特徴量算出部６２１と画像特徴量算出部６２２と行動特徴量算出部６２３とは、図２に示した特徴量算出機能５５に相当する。個人認証部６３と操作許可部６４は、図２に示した推測機能５６に相当する。
【００２２】
個人認証装置１は更に、特徴量保存部６５１、キャリブレーション部６５２、通信部６５３、記憶部６６を備えている。
個人音声検出部６１１は、マイク３１が集音した音声データを取得して、この音声データに対してスペクトログラム（Spectrogram）の信号処理を行い、処理結果である声紋を音声特徴量算出部６２１と個人認証部６３に出力する。音声特徴量算出部６２１は、声紋を機械学習して、この音声データに係る特徴量を算出し、この特徴量を個人認証部６３と特徴量保存部６５１に出力する。個人音声検出部６１１の処理結果である声紋の例を、後記する図５に示す。
【００２３】
画像処理部６１２は、カメラ３２が撮像した画像データを取得して、顔領域を検出する処理や、顔のうち両目、鼻、口の両端などの三次元座標を検出する処理を行い、画像データの処理結果を画像特徴量算出部６２２と個人認証部６３に出力する。画像特徴量算出部６２２は、処理結果である各部の三次元座標を機械学習して、この画像データに係る特徴量を算出し、この特徴量を個人認証部６３と特徴量保存部６５１に出力する。画像処理部６１２の処理結果である各部の三次元座標の例を、後記する図６に示す。
【００２４】
行動分析部６１３は、心拍センサ３３がセンシングした心拍データ（生体情報）を取得して、その心拍パターンを分析する処理を行い、分析した心拍パターンを個人認証部６３と行動特徴量算出部６２３に出力する。行動特徴量算出部６２３は、処理結果である心拍パターンを機械学習して、この心拍データに係る特徴量を算出する。
【００２５】
個人認証部６３は、音声データの処理結果、画像データの処理結果、分析した心拍パターンがどのように組み合わせられるかを判定し、この判定に基づき音声の特徴量、画像の特徴量、心拍パターンの特徴量を組み合わせる。個人認証部６３は更に、組み合わせた複数の特徴量を、記憶部６６に格納された各個人の特徴点と比較して、各センサによって捉えられた操作者が誰であるかを認証する。このように、操作者が誰であるかを認証する処理を、個人認証という。
【００２６】
操作許可部６４は、個人認証部６３が判定した操作者が機器２の操作権限を持つ者か否かを判定する。操作許可部６４は、操作者が機器２の操作権限を持つ者ならば、機器２の操作を許可する。
個人認証装置１は更に、特徴量保存部６５１、キャリブレーション部６５２、通信部６５３、記憶部６６を備えている。
【００２７】
特徴量保存部６５１は、音声データの処理結果、画像データの処理結果、分析した心拍パターンがどのように組み合わせられるかを判定し、この判定に基づき音声の特徴量、画像の特徴量、心拍パターンの特徴量を組み合わせて記憶部６６に保存（格納）する。
キャリブレーション部６５２は、記憶部６６に保存された各特徴量に基づいて個人の特徴点情報をキャリブレーションし、キャリブレーションした個人の特徴点情報を特徴点データベース５８１（図２参照）に保存する。個人認証装置１は、個人の特徴点情報をキャリブレーションすることで、個人認証の精度を上げることができる。
【００２８】
通信部６５３は、ネットワーク・インタフェースであり、機械学習サーバ４などとの間で情報を送受信する機能を有する。これにより、個人の特徴点情報のキャリブレーションを機械学習サーバ４に行わせることができる。
記憶部６６は、図１のセキュアＯＳ１５とリアルタイムＯＳ１４に限ってアクセス可能なセキュリティ領域６６１と、リッチＯＳ１３とリアルタイムＯＳ１４とセキュアＯＳ１５のいずれもがアクセス可能な非セキュリティ領域６６２を備える。個人認証装置１は、個人の特徴量や、個人を識別するための特徴点情報をセキュリティ領域６６１に格納している。これにより、個人認証装置１は、リッチＯＳ１３が不正に侵入された場合であっても、このセキュリティ領域６６１に格納された個人を特定するための情報の漏洩を防ぐことができる。
【００２９】
図４は、本実施形態における機械学習サーバ４の論理構成を示す図である。
機械学習サーバ４は、個人音声検出部４１１、音声特徴量算出部４２１、画像処理部４１２、画像特徴量算出部４２２、行動分析部４１３、行動特徴量算出部４２３、特徴量保存部４３、記憶部４４、キャリブレーション部４５、通信部４６を備えている。これら音声特徴量算出部４２１、画像特徴量算出部４２２、行動特徴量算出部４２３は、図１に示した特徴量算出部４２を構成する。
【００３０】
個人音声検出部４１１、画像処理部４１２、行動分析部４１３は、図２に示した信号処理機能５２に対応し、かつ図３に示した個人音声検出部６１１、画像処理部６１２、行動分析部６１３と同様である。音声特徴量算出部４２１、画像特徴量算出部４２２、行動特徴量算出部４２３は、図２に示した機械学習機能５４および特徴量算出機能５５に対応し、かつ図３に示した音声特徴量算出部６２１、画像特徴量算出部６２２、行動特徴量算出部６２３と同様である。
【００３１】
特徴量保存部４３は、音声データの処理結果、画像データの処理結果、分析した心拍パターンがどのように組み合わせられるかを判定し、この判定に基づき音声の特徴量、画像の特徴量、心拍パターンの特徴量を組み合わせて記憶部４４に保存（格納）する。
記憶部４４は、例えばハードディスクやフラッシュメモリなどで構成されており、各種センサ情報や、これらセンサ情報から算出した各特徴量、各特徴量に基づいてキャリブレーションした個人の特徴点情報などを記憶する。
【００３２】
通信部４６は、例えばネットワーク・インタフェースであり、図１に示した個人認証装置１との間で情報を送受信する。
キャリブレーション部４５は、図２に示したキャリブレーション機能５８に対応し、かつ図３に示したキャリブレーション部６５２と同様である。機械学習サーバ４は、個人認証装置１の演算能力が低い場合などに、この個人認証装置１に代わってキャリブレーションを行い、個人認証の精度を上げさせることができる。
【００３３】
図５は、音声による個人認証動作の詳細を示す図である。
図５には、音声波形領域７１と声紋領域７２とが表示されている。音声波形領域７１には、マイク３１が集音した音声の波形が表示される。音声波形領域７１の横軸は時間を示し、縦軸は信号の大きさを示す。
声紋領域７２には、音声波形領域７１に示された音声と同時刻における声紋が表示される。この声紋は、音声信号をハミング・ウインドウに通して周波数スペクトルを計算した結果である。声紋領域７２の横軸は時間を示し、縦軸は周波数を示している。そして各点の明るさや色で、その時点のその周波数における強さを示している。
【００３４】
人ごとの声の違いは、発声器官（口腔、鼻孔、声帯）や口唇、舌などの違いから生じる。特に声の音色に関しては、口腔や鼻孔の容積および構造によって規定される。声帯から口腔、鼻孔までの形や大きさも人それぞれの特徴を持つ。この特徴は、声紋に現れる。
更に、人の身長は、その人の声の高低と密接に関係している。一般的に身長の高い人ほど体の各部位も大きく、声帯も大きいことが多い。よって、身長が高い人ほど、声が低くなる。声の高低も、声紋に現れる。よって、声紋を機械学習することで音声に係る特徴量を算出し、この特徴量と各個人の特徴点とを比較することで、個人を認証できる。
【００３５】
図６は、画像による個人認証動作の詳細を示す図である。
三次元像７３は、顔画像を各部位の三次元座標と、これら各部位（例えば目尻、口端、鼻の上端と下端、顎の下端など）を結ぶ三次元ワイヤーフレームで構成されている。
三次元像７３は、カメラ３２によって左右２つの光学系により二次元で撮像された２枚の画像から顔領域を検出して、この顔領域を三次元像７３に変換することで求められる。
【００３６】
顔領域の検出には、主成分分析、線形判別分析、弾性パンチグラフマッチング、隠れマルコフモデル、ニューロン動機付けによるダイナミックリンク照合などを用いることができる。ここで顔の特徴量とは、例えば顔を構成する各部位の相対的な位置関係であり、各部位の三次元座標から求められる。これら各部位の相対的な位置関係と時間的変化を機械学習し、各個人の特徴点と幾何学的に比較することで、個人を認証できる。
なお、カメラ３２は二次元を撮像する単一の光学系を有してもよい。このとき、画像特徴量算出部４２２は、顔画像から各部位（例えば目尻、口端、鼻の上端と下端、顎の下端など）を結び、これら各部位の二次元の相対的な位置関係と時間的変化を機械学習する。個人認証部６３は、各個人の特徴点と幾何学的に比較することで、個人を認証することになる。
【００３７】
図７と図８は、個人認証処理のフローチャートである。
以下の個人認証処理において、ステップＳ１０〜Ｓ１４の音声に係る処理と、ステップＳ２０〜Ｓ２５の画像に係る処理と、ステップＳ３０〜Ｓ３３の心拍情報（生体情報）に係る処理とは、並行に行われる。
【００３８】
《音声処理》
最初、個人音声検出部６１１は、マイク３１が集音した音声を取得する（ステップＳ１０）。個人音声検出部６１１は、カメラ３２が撮像した画像から操作者の口が動いていないときの音声を無音化する（ステップＳ１１）。カメラ３２が撮像した画像から操作者の口の動きを検出する処理は、後記する画像処理のステップＳ２３において行われる。次いで、個人音声検出部６１１は、音声信号にスペクトログラム信号処理を行い、声紋を算出する（ステップＳ１２）。
【００３９】
次いで、個人音声検出部６１１は、声紋が人の声を含むか否かを判定する（ステップＳ１３）。声紋が人の声を含むか否かは、例えば声の大きさなどで判定できる。個人音声検出部６１１が声を検出できたならば、音声特徴量算出部６２１は、この声紋から特徴量を算出する（ステップＳ１４）。これにより、人の声ではない雑音から特徴量を算出してしまうことを抑止可能である。
【００４０】
音声特徴量算出部６２１が算出する特徴量とは、例えば各声の連続時間、各周波数における相対強度など、複数の次元によって構成される。
【００４１】
《画像処理》
最初、画像処理部６１２は、カメラ３２が撮像した画像を取得する（ステップＳ２０）。カメラ３２は１秒間６０フレームで撮像する。画像処理部６１２は、これら撮像された各フレームの画像を１／６０秒ごとに取得する。
画像処理部６１２は、取得した画像が顔画像を含むか否かを判定し（ステップＳ２１）、顔画像を検出する。次いで画像処理部６１２は、顔を構成する各部位の三次元相対座標を算出し（ステップＳ２２）、更に時間的に連続した画像から、口周辺の三次元相対座標の動きを算出し、よって口の動きを検出する（ステップＳ２３）。口の動きの情報は、個人音声検出部６１１に出力される。更に画像処理部６１２は、皮膚のしわやしみの三次元相対座標を算出する（ステップＳ２４）。これにより、特徴量の次元を増やして、個人を特定しやすくしている。
【００４２】
画像処理部６１２が顔画像を検出したならば、画像特徴量算出部６２２は、これら各部位の三次元相対座標で構成される顔の三次元像から、操作者の顔の特徴量を算出する（ステップＳ２５）。これにより、人の顔が撮像されていない画像から、顔の特徴量を算出してしまうことを抑止可能である。
【００４３】
顔の特徴量は、例えば顔に対する目や鼻の大きさ、顔に対する目や鼻や口の高さなど、複数の次元によって構成される。
【００４４】
《行動分析処理》
最初、行動分析部６１３は、心拍センサ３３がセンシングした心拍データを取得する（ステップＳ３０）。行動分析部６１３は、取得した心拍データが人の心拍パターンを含み、よって人の心拍を計測できたかを判定する（ステップＳ３１）。
次いで行動分析部６１３は、心拍データから、所定期間における心拍パターンを算出する（ステップＳ３２）。これにより、単一周期の心拍データに重畳しているノイズの影響を減らすことができる。
【００４５】
更に、行動分析部６１３によって、心拍データが人の心拍を計測できた結果であると判定したならば、行動特徴量算出部６２３は、この心拍パターンから特徴量を算出する。心拍パターンの特徴量は、心拍パターンの周期やその変動、心拍パターンの波形など、複数の次元によって構成される。心拍バターンの特徴量は、操作者の行動との関連性を有している。
【００４６】
《個人特定識別処理》
以下のステップＳ４０〜Ｓ４８の処理は、個人特定識別処理である。この個人特定識別処理は、所定周期（例えば３秒）ごとに繰り返し行われる。
個人認証部６３は、当該周期に画像処理部６１２が顔画像を検出したか否かを判定する（ステップＳ４０）。個人認証部６３は、当該周期に顔画像を検出しなかったならば（ステップＳ４０→Ｎｏ）、個人特定識別処理を終了する。個人認証部６３は、当該周期に顔画像を検出したならば（ステップＳ４０→Ｙｅｓ）、ステップＳ４１に進む。
【００４７】
ステップＳ４１において、個人認証部６３は、当該周期に画像処理部６１２が声を検出したか否かを判定する。個人認証部６３は、当該周期に声を検出したならば（ステップＳ４１→Ｙｅｓ）、ステップＳ４２の処理に進む。個人認証部６３は、当該周期に声を検出しなかったならば（ステップＳ４１→Ｎｏ）、ステップＳ４５の処理に進む。
【００４８】
ステップＳ４２において、個人認証部６３は、当該周期に行動分析部６１３が心拍を検出したか否かを判定する。個人認証部６３は、当該周期に心拍を検出したならば（ステップＳ４２→Ｙｅｓ）、顔の特徴量、声紋の特徴量、心拍パターンの特徴量を組み合わせた多次元の特徴量を生成し、対応する次元である個人の特徴点（ラベル）と照合することにより、個人を特定して識別する（ステップＳ４３）。単一のセンサから算出した特徴量と、このセンサに関する個人の特徴点（ラベル）とを照合するよりも、更に多次元の空間において照合しているので、個人認証の正解率を上げることができる。この処理が終了すると、ステップＳ４８の処理に進む。
【００４９】
個人認証部６３は、当該周期に心拍を検出しなかったならば（ステップＳ４２→Ｎｏ）、顔の特徴量と声紋の特徴量を組み合わせた多次元の特徴量を生成し、対応する次元である個人の特徴点（ラベル）と照合することにより、個人を特定して識別する（ステップＳ４４）。単一のセンサから算出した特徴量と、このセンサに関する個人の特徴点（ラベル）とを照合するよりも、更に多次元の空間において照合しているので、個人認証の正解率を上げることができる。更に個人認証部６３は、心拍パターンが検知できないので心拍パターンの特徴量を組み合わせていない。個人認証部６３は、無効なセンシングデータによる認証の誤りを防ぐことができる。この処理が終了すると、ステップＳ４８の処理に進む。
【００５０】
ステップＳ４５において、個人認証部６３は、当該周期に行動分析部６１３が心拍を検出したか否かを判定する。個人認証部６３は、当該周期に心拍を検出したならば（ステップＳ４２→Ｙｅｓ）、顔の特徴量に心拍パターンの特徴量を組み合わせた多次元の特徴量を生成し、対応する次元である個人の特徴点（ラベル）と照合することにより、個人を特定して識別する（ステップＳ４６）。
【００５１】
単一のセンサから算出した特徴量と、このセンサに関する個人の特徴点（ラベル）とを照合するよりも、更に多次元の空間において照合しているので、個人認証の正解率を上げることができる。更に個人認証部６３は、声が検知できないので声紋の特徴量を組み合わせていない。個人認証部６３は、無効なセンシングデータによる認証の誤りを防ぐことができる。この処理が終了すると、ステップＳ４８の処理に進む。
【００５２】
個人認証部６３は、当該周期に心拍を検出しなかったならば（ステップＳ４２→Ｎｏ）、顔の特徴量を対応する次元である個人の特徴点（ラベル）と照合することにより、個人を特定して識別する（ステップＳ４７）。この処理が終了すると、ステップＳ４８の処理に進む。
【００５３】
ステップＳ４８において、操作許可部６４は、個人認証部６３が識別した結果に基づき、この識別した個人に機器２の操作権限が有るか否かを判定する。操作許可部６４は、識別した個人に操作権限が有れば（ステップＳ４８→Ｙｅｓ）、機器２の操作を許可する（ステップＳ４９）。操作許可部６４は、識別した個人に操作権限が無ければ（ステップＳ４８→Ｎｏ）、機器２の操作を却下する（ステップＳ５０）。
【００５４】
個人認証部６３は、声が検知できないときには声紋の特徴量を組み合わせず、顔が検知できないときには顔の特徴量を組み合わせず、心拍パターンが検知できないときには心拍パターンの特徴量を組み合わせない。このように、センシングデータが無効である場合には、このセンシングデータから算出した特徴量を組み合わせないようにしたので、個人認証部６３は、無効なセンシングデータによる認証の誤りを防ぐことができる。
【００５５】
図９は、顔と声紋と心拍による個人認証処理を行う階層型ニューラルネットワーク９を示す説明図である。
個人認証部６３を構成する階層型ニューラルネットワーク９は、複数のノード９８が、入力層９１、第１中間層９２、第２中間層９３、出力層９４の４層で階層化されている。各層のノード９８は、それぞれエッジ９９で接続されている。
入力層９１のノード９８は、それぞれ顔の特徴量、声紋の特徴量、心拍の特徴量が入力される。出力層９４からは、個人認証した結果が出力される。
なお、本実施形態では、顔の特徴量と声紋の特徴量を組み合わせて学習した階層型ニューラルネットワーク、顔の特徴量と心拍の特徴量を組み合わせて学習した階層型ニューラルネットワーク、顔の特徴量のみで学習した階層型ニューラルネットワークが、それぞれ用意されている。
【００５６】
図１０は、層間のインデックスとエッジ重みの一例を示す説明図である。
入力層９１は、ノード９８−１，９８−２，…を備えている。第１中間層９２におけるノード９８−ｘは、入力層９１におけるノード９８−２，９８−４，９８−７とエッジ９９によって接続されている。
第１中間層９２におけるノード９８−ｘと、入力層９１におけるノード９８−２とを接続しているエッジ９９の重みは、“０．２”である。第１中間層９２におけるノード９８−ｘと、入力層９１におけるノード９８−４とを接続しているエッジ９９の重みは、“−０．５”である。第１中間層９２におけるノード９８−ｘと、入力層９１におけるノード９８−７とを接続しているエッジ９９の重みは、“０．１”である。第１中間層９２におけるノード９８−ｘ上の“１．１”は、このノード９８−ｘのバイアス値が“１．１”である旨を示している。 
【００５７】
次に、この階層型ニューラルネットワーク９の動作について説明する。 
階層型ニューラルネットワーク９を構成している入力層９１の各ノード９８に、顔の特徴量、声紋の特徴量、心拍の特徴量が与えられると、各ノード９８は、これら顔の特徴量、声紋の特徴量、心拍の特徴量から各ノード９８での活性度を算出する。
入力層９１の各ノード９８での活性度が算出されると、第１中間層９２のノード９８毎に、このノード９８にエッジ９９で接続されている入力層９１の各ノード９８から、当該ノード９８での活性度を取得する。
【００５８】
例えば、第１中間層９２におけるノード９８−ｘの場合、入力層９１のノード９８−２での活性度と、ノード９８−４での活性度と、ノード９８−７での活性度を取得する。更に、ノード９８−ｘと入力層９１の各ノード９８−２，９８−４，９８−７との間に接続されているエッジ９９の重みを取得する。 
ノード９８−ｘは、自身に接続されている入力層９１の各ノード９８−２，９８−４，９８−７での活性度と、各エッジ９９の重みとの積を算出し、これら積の総和に当該ノード９８−ｘのバイアス値を加算し、この加算値を活性化関数Ｆ（activation function）で演算してノード９８−ｘの活性度を算出する。
【００５９】
活性度の計算に用いられる活性化関数Ｆには、線形関数、シグモイド関数、ソフトマックス関数、整流化線形関数（ReLU:Rectified Linear Unit function）などがある。ここでは、第１中間層９２におけるノード９８−ｘの活性度の算出例を示したが、第１中間層９２における他のノード９８の活性度についても同様に算出される。
【００６０】
第１中間層９２の各ノード９８での活性度が算出されると、第２中間層９３の各ノード９８での活性度が算出される。第２中間層９３の各ノード９８での活性度の算出方法は、第１中間層９２の各ノード９８での活性度の算出方法と同様である。 
第２中間層９３の各ノード９８での活性度が算出されると、出力層９４の各ノード９８での活性度が算出される。出力層９４の各ノード９８での活性度の算出方法は、第１中間層９２の各ノード９８での活性度の算出方法と同様である。 
【００６１】
出力層９４のノード９８毎の活性度は、個人認証の結果である多次元の特徴量として出力される。
例えば、センサが検知した操作者が予め登録されたＡさん、Ｂさん、Ｃさん、またはそれ以外の人であるかを識別する場合、出力層９４は、個人識別のための特徴量空間の次元を示すノード９８を含んで構成される。出力層９４の各ノード９８の活性度が、それぞれＡさん、Ｂさん、Ｃさんを示す多次元空間の特徴量（座標値）を示す値になるように学習されている。 
推論時は、出力層９４で示される多次元空間の特徴量に基づき、この多次元空間のＡさん、Ｂさん、Ｃさんを示す個人ラベルと比較して、例えばＡさんという認証結果を出力する。なお、単なる認証結果のみでなく、活性度を用いた信頼度の算出や回帰予測値出力等の処理を実施してもよい。
なおニューラルネットワークが用いられるのは個人認証部６３に限定されず、音声特徴量算出部６２１、画像特徴量算出部６２２、行動特徴量算出部６２３などが特徴量の算出に用いてもよい。
【００６２】
（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｈ）のようなものがある。
（ａ）  本発明において、機器２は車両に限定されず、医療機器や家電機器や、扉の開閉を許可するセキュリティ機器などであってもよく、限定されない。
【００６３】
（ｂ）  本発明の行動センサは、脈拍をセンシングする心拍センサに限定されず、体重、血圧、体脂肪率、会話量、睡眠時間、脈拍、皮膚温、呼吸、体動、加速度などのうちいずれかをセンシングするものであってもよい。
（ｃ）  本発明は、行動センサを備えず、カメラとマイクの組合せで個人認証するものであってもよい。
【００６４】
（ｄ）  本発明のカメラ３２は、可視光を撮像するものに限定されず、赤外線や紫外線を撮像するものであってもよく、更に超音波によって物体を撮影する超音波カメラであってもよい。
（ｅ）  カメラ３２は、二次元の画像を撮像する単一の光学系で構成されたカメラであってもよく、ステレオカメラに限定されない。
（ｆ）  機械学習サーバ４は、クラウド（データセンタ）に設置されたサーバに限定されず、個人認証装置１に接続して用いられる機械学習装置であってもよい。
（ｇ）  ニューラルネットワークの階層は４層に限定されず、３層以下であってもよく、５層以上であってもよい。
（ｈ）  個人認証における機械学習は、階層型ニューラルネットワークに限定されない。例えば、決定木学習、サポートベクターマシン、ＬＳＴＭ（Long short-term memory）、クラスタリング、相関ルール学習、遺伝的プログラミング、ベイジアンネットワーク、強化学習、表現学習、Ｋ近傍法（k-nearest neighbor algorithm）、RusBoost、線形判別、教師あり学習（Boosting等）、バギング（bagging）などであってもよい。
【符号の説明】
【００６５】
１  個人認証装置
１１  ＣＰＵ
１２  ハイパーバイザ
１３  リッチＯＳ
１４  リアルタイムＯＳ
１５  セキュアＯＳ
２  機器
３１  マイク
３２  カメラ
３３  心拍センサ  （生体情報センサ）
４  機械学習サーバ
４１１  個人音声検出部
４１２  画像処理部
４１３  行動分析部
４２  特徴量算出部
４２１  音声特徴量算出部  （音声特徴量算出手段）
４２２  画像特徴量算出部  （画像特徴量算出手段）
４２３  行動特徴量算出部  （生体情報特徴量算出手段）
４３  特徴量保存部
４４  記憶部
４５  キャリブレーション部
４６  通信部
５０  コンフィグ設定
５０１  コンフィグ・データベース
５１  センシングデータ受信機能
５２  信号処理機能
５３  信号処理機能利用システム
５４  機械学習機能
５５  特徴量算出機能
５６  推測機能
５７  体調推測機能
５８  キャリブレーション機能
５８１  特徴点データベース
５８２  特徴量データベース
５９  結果出力機能
６  個人認証装置
６１１  個人音声検出部
６１２  画像処理部
６１３  行動分析部
６２１  音声特徴量算出部
６２２  画像特徴量算出部
６２３  行動特徴量算出部
６３  個人認証部
６４  操作許可部
６５１  特徴量保存部
６５２  キャリブレーション部
６５３  通信部
６６  記憶部
６６１  セキュリティ領域
６６２  非セキュリティ領域
７１  音声波形領域
７２  声紋領域
７３  三次元像
９  階層型ニューラルネットワーク
９１  入力層
９２  第１中間層
９３  第２中間層
９４  出力層
９８  ノード
９９  エッジ
【図１】
2020095063.tif 000003
【図２】
2020095063.tif 000004
【図３】
2020095063.tif 000005
【図４】
2020095063.tif 000006
【図５】
2020095063.tif 000007
【図６】
2020095063.tif 000008
【図７】
2020095063.tif 000009
【図８】
2020095063.tif 000010
【図９】
2020095063.tif 000011
【図１０】
2020095063.tif 000012