(57)【要約】【課題】人の感情を認識する感情認識装置において、感情の認識精度を向上する。【解決手段】認証装置１は、カメラ３２が撮影した被写体の画像情報から第１の感情特徴量を算出する画像特徴量算出部と、この被写体が発する音声をマイク３１で集音した音声情報から第２の感情特徴量を算出する音声特徴量算出部と、第１の感情特徴量と第２の感情特徴量を合成した感情特徴量に基づき、この被写体の感情を認識する認識手段とを備えている。【選択図】図１
2020099367.tif 000002
【特許請求の範囲】
【請求項１】
カメラが撮影した被写体の画像情報から第１の感情特徴量を算出する画像特徴量算出手段と、
前記被写体が発する音声をマイクで収録した音声情報から第２の感情特徴量を算出する音声特徴量算出手段と、
前記第１の感情特徴量と前記第２の感情特徴量を合成した感情特徴量に基づき、前記被写体の感情を認識する認識手段と、
を備えることを特徴とする感情認識装置。
【請求項２】
前記被写体から行動センサが取得した行動情報を分析した第３の感情特徴量を算出する行動特徴量算出手段と、
を備え、
前記認識手段は、前記第１の感情特徴量から前記第３の感情特徴量までを合成した感情特徴量に基づき、前記被写体の感情を認識する、
ことを特徴とする請求項１に記載の感情認識装置。
【請求項３】
前記被写体の周囲から環境センサが取得した環境情報を分析した第４の感情特徴量を算出する環境特徴量算出手段と、
を備え、
前記認識手段は、前記第１の感情特徴量から前記第４の感情特徴量までを合成した感情特徴量に基づき、前記被写体の感情を認識する、
ことを特徴とする請求項２に記載の感情認識装置。
【請求項４】
前記カメラが撮影した前記被写体の画像情報から当該被写体の口が動いている期間を特定する画像特定手段を備え、
前記音声特徴量算出手段は、各前記被写体の口が動いている期間の音声情報から、当該被写体に係る第２の感情特徴量を算出する、
ことを特徴とする請求項１ないし３のうちいずれか１項に記載の感情認識装置。
【請求項５】
前記被写体は複数であり、
前記カメラが撮影した各前記被写体の画像情報から、それぞれ第１の個人特徴量を算出する画像／個人特徴量算出手段と、
前記マイクが収録した前記音声情報から第２の個人特徴量を算出する音声／個人特徴量算出手段と、
を備え、
前記音声特徴量算出手段は、各前記被写体の画像情報と前記音声情報とを参酌して、各前記被写体が発している音声情報を特定する、
ことを特徴とする請求項１ないし３のうちいずれか１項に記載の感情認識装置。
【請求項６】
人である被写体をカメラで撮影して画像情報を記録し、同時に前記被写体が発する音声情報を収録する手順と、
前記画像情報から第１の感情特徴量を算出する手順と、
前記音声情報から第２の感情特徴量を算出する手順と、
前記第１の感情特徴量と前記第２の感情特徴量を合成した感情特徴量に基づき、前記被写体の感情を認識する認識手段と、
をコンピュータに実行させるための感情認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者の感情を認識する感情認識装置および感情認識プログラムに関する。
【背景技術】
【０００２】
近年のコンピューティングパワーの増大に伴い、さまざまな事象をコンピュータによって認識することが行われるようになっている。特に、人を認識対象として感情を特定することで、様々な応用が考えられる。
【０００３】
特許文献１の実施形態には、動画像表示中に利用者の心身状況を認識し、所定レベル以上の疲労度、倦怠感、恐怖感、または嫌悪感のいずれかを検出した場合、他の動画像表示への切り替え、現動画像表示の停止、または所定のメッセージ表示（「脳が疲労しています。これ以上は健康を害するおそれがあります」などの警告メッセージ）を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２３７５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載されている発明は、画像、音声、生体情報をセンシングすることは記載されている。しかし、特許文献１の発明は、画像、音声、生体情報をどのように組み合わせて利用者の状態を認識するかについては記載されていない。更に、被写体が複数のときは何ら考慮されていない。
そこで、本発明は、人の感情を認識する感情認識装置および感情認識プログラムにおいて、感情の認識精度を向上させることを課題とする。
【課題を解決するための手段】
【０００６】
前記した課題を解決するため、本発明の感情認識装置は、カメラが撮影した被写体の画像情報から第１の感情特徴量を算出する画像特徴量算出手段と、前記被写体が発する音声をマイクで集音した音声情報から第２の感情特徴量を算出する音声特徴量算出手段と、前記第１の感情特徴量と前記第２の感情特徴量を合成した感情特徴量に基づき、前記被写体の感情を認識する認識手段と、を備えることを特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。
【発明の効果】
【０００７】
本発明によれば、人の感情を認識する感情認識装置および感情認識プログラムにおいて、感情の認識精度を向上させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態における認証システムの概略を示す構成図である。
【図２】本実施形態におけるソフトウェア構成の一例を示す図である。
【図３】本実施形態における認証装置の論理構成を示す図である。
【図４】本実施形態における機械学習サーバの論理構成を示す図である。
【図５】認証処理のフローチャートである。
【図６】音声による個人認証動作の詳細を示す図である。
【図７】画像による個人認証動作の詳細を示す図である。
【図８】健常群と疾患群の検査結果およびその分布の概念を示すグラフである。
【図９】個人認証処理のフローチャート（その１）である。
【図１０】個人認証処理のフローチャート（その２）である。
【図１１】個人認証処理を行う階層型ニューラルネットワークを示す説明図である。
【図１２】層間のインデックスとエッジ重みの一例を示す説明図である。
【図１３】感情認識処理のフローチャートである。
【図１４】疲労感、覚醒感、快適感の３軸からなる感情の多次元空間を示す概念図である。
【図１５】覚醒感と快適感の２軸における感情空間を示す概念図である。
【発明を実施するための形態】
【０００９】
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
図１は、本実施形態における認証システムＳの概略を示す構成図である。
認証システムＳは、認証装置１と、これによって操作が許可される機器２と、マイク３１と、カメラ３２と、心拍センサ３３と、気温センサ３４と、機械学習サーバ４とを含んで構成される。認証装置１には、マイク３１、カメラ３２、心拍センサ３３などがケーブルや近距離無線通信などによって通信可能に接続される。マイク３１とカメラ３２と心拍センサ３３とが検知した各センサ情報は、認証装置１と機械学習サーバ４に送信される。機械学習サーバ４は、各センサ情報から特徴量を算出して特徴点をキャリブレーションし、その特徴点を保存する。ここで機器２とは、例えば車両などの移動体である。認証装置１を車両である機器２に組み込むことにより、例えば先進運転システム（advanced driver assistance system）を構成することができる。
また、認証装置１は、ウェアラブルセンサを追加することにより、体の状態や食事や生活習慣を記録して、これら記録結果に基づいて感情、疾病および眠気を判定してもよい。これにより、ユーザの精神的または肉体的な健康状態を、このユーザに報知できるので、ユーザの健康寿命を延ばすことに寄与できる。
【００１０】
ここで特徴点とは、各センサ情報から算出された各特徴量からなる多次元空間において、各認識結果がどの領域に対応しているかを示す情報であり、機械学習ラベルともいう。
機械学習サーバ４は、例えばクラウド（データセンタ）に設置されている。機械学習サーバ４は、認証装置１から特徴点情報を受信して、この特徴点情報をキャリブレーションして更新し、更新した特徴点を認証装置１に送信する。機械学習サーバ４は、特徴量算出部４２と、特徴量保存部４３と、キャリブレーション部４５とを備えている。特徴量算出部４２は、各センサ情報に基づいて、それぞれ特徴量を算出する。特徴量保存部４３は、各センサ情報から算出した各特徴量を保存する。キャリブレーション部４５は、各センサ情報から算出した各特徴量に基づいて、特徴点（機械学習ラベル）をキャリブレーションする。機械学習サーバ４の論理構成は、後記する図４で説明する。
【００１１】
認証装置１は、例えば車両である機器２に搭載されたマイク３１やカメラ３２、ハンドルや座席に設置された心拍センサ３３で検知した各センサ情報に基づいて、操作者が誰であるのかを認証し、機器２の操作権限を有する者ならば、この機器２の操作を許可する。
認証装置１は更に、音声情報と画像情報と心拍情報に、気温センサ３４で検知した室温情報（第４の感情特徴量）を加えて、認証した者の感情を認識し、認識した感情から所定の疾病（例えば、てんかんや心臓病の発作など）が検知されたならば、機器２を停止させる。
【００１２】
マイク３１は、機器２の操作者に向けて設置されており、操作者が発する音声を集音する。カメラ３２は、機器２の操作者の顔を撮像するステレオカメラである。心拍センサ３３は、例えば機器２の操作座席など、操作者の身体に密着するように設置されている。これにより、心拍センサ３３は、機器２の操作者の心拍を検知可能である。心拍は、心臓の拍動の繰り返しである。この心拍データの繰り返しである心拍パターンは、各人によって異なる。よって、心拍センサ３３によって心拍データを取得することで、その人が誰であるかを推定可能である。心拍センサ３３は、機器２の操作者の具体的な行動を検知する行動センサである。
気温センサ３４は、機器２の操作者の近傍に設置されて、この操作者の周囲の気温を計測する環境センサである。
【００１３】
認証装置１は、ＣＰＵ（Central Processing Unit）１１を備えている。このＣＰＵ１１が不図示のハイパーバイザプログラムを実行することにより、ハイパーバイザ１２が具現化する。ハイパーバイザ１２は、仮想機械（バーチャルマシン）を具現化するものである。このハイパーバイザ１２の動作により、それぞれリッチＯＳ１３、リアルタイムＯＳ１４、セキュアＯＳ１５を動作させる不図示の仮想機械が具現化する。
【００１４】
リッチＯＳ１３は、例えばLinux（登録商標）のようにユーザインタフェースが充実したオペレーティングシステムである。リアルタイムＯＳ１４は、リアルタイム性を重視し、時間資源の優先度に基づく配分と実行時間の予測可能性を提供することに特化したオペレーティングシステムである。セキュアＯＳ１５は、セキュリティを強化したオペレーティングシステムである。本実施形態では、リアルタイムＯＳ１４の上で動作するアプリケーションにより、個人音声検出部６１１、画像処理部６１２、行動分析部６１３、環境分析部６１４が具現化されている。このように、リアルタイム性を重視したオペレーティングシステムで個人認証させることにより、認証を開始してから完了するまでのタイムラグを少なくすることができる。更に、音声と画像との関連性をリアルタイムに把握することもできる。
【００１５】
個人音声検出部６１１は、マイク３１が集音した音声情報を検出する。画像処理部６１２は、カメラ３２が撮像した画像情報を処理する。行動分析部６１３は、心拍センサ３３が検知した心拍データ（行動情報）から、対象者の行動を分析する。環境分析部６１４は、気温センサが検知した気温データ（環境情報）を加味して、対象者の感情認識精度を向上させる。これら認証装置１の論理構成は、後記する図３で説明する。
【００１６】
図２は、本実施形態におけるソフトウェア構成の一例を示す図である。
センシングデータ受信機能５１は、音声、画像、心音などをセンシングした各データを各センサから受信する。センシングデータ受信機能５１が受信した各センシングデータは信号処理機能５２に出力される。
信号処理機能５２は、信号処理機能利用システム５３により、各センシングデータに対してフィルタリングや平滑化などの信号処理を行う。信号処理機能利用システム５３は、フィルタリングや平滑化などの信号処理を実行するものである。信号処理機能５２は、信号処理されたセンシングデータを、機械学習機能５４と個人推測機能５６１と感情推測機能５６２に出力する。
【００１７】
機械学習機能５４は、信号処理されたセンシングデータに基づく機械学習を行い、機械学習結果を出力する。特徴量算出機能５５は、この機械学習結果に基づいて、現在の操作者に係る特徴点を検出する。
特徴点データベース５８１は、個人と、その特徴点とを対応づけたデータベースである。特徴量データベース５８２は、特徴量算出機能５５が算出した特徴量を保存するデータベースである。ラベルデータベース５８３は、感情空間と、その感情空間において人の感情を決定するためのラベルとを対応づけたデータベースである。各人それぞれに対応させたラベルを、個人ラベルという。人によらずに汎用的に適用されるラベルを、一般ラベルという。
【００１８】
個人推測機能５６１は、信号処理された音声・画像・行動のセンシングデータや、特徴量算出機能５５が算出した特徴量を特徴点データベース５８１と照合して、現在の操作者が誰であるかを判定する。感情推測機能５６２は、音声・画像・行動のセンシングデータおよび特徴量から感情空間における感情の座標を算出し、この感情の座標をラベルデータベース５８３と照合して操作者の感情を推測する。
体調推測機能５６３は、操作者の感情から体調を推測する。
【００１９】
キャリブレーション機能５８は、特徴量データベース５８２に基づいて、特徴点データベース５８１とラベルデータベース５８３をメンテナンスする。メンテナンス対象は、特徴点データベース５８１に記憶された個人認証のための声紋の特徴点と顔認識の特徴点と行動の特徴点、およびラベルデータベース５８３に記憶された感情認識のための個人ラベルと一般ラベルである。キャリブレーション機能５８がメンテナンスした特徴点データベース５８１は、個人推測機能５６１によって参照される。ラベルデータベース５８３は、感情推測機能５６２や体調推測機能５６３によって参照される。
【００２０】
結果出力機能５９は、テキスト・グラフ・二次元または三次元のグラフィックを表示し、または音声により警告等を報知するものである。結果出力機能５９は、個人推測機能５６１が推測した個人や、感情推測機能５６２が推測した個人の感情を表示または報知する。更に結果出力機能５９は、体調推測機能５６３が推測した疾病や、その疾病により不許可となる操作について表示または報知する。
コンフィグ設定５０は、結果出力機能５９の出力形式を設定し、更にセンシングデータ受信機能５１の受信対象となるセンサを設定する。コンフィグ・データベース５０１は、コンフィグ設定５０が設定した内容を記憶する。
【００２１】
図３は、本実施形態における認証装置１の論理構成を示す図である。
認証装置１は、マイク３１、カメラ３２、心拍センサ３３、気温センサ３４、機器２と通信可能に接続されている。認証装置１は、センサ情報を取得してユーザを個人認証し、このユーザが機器２の操作権限を有する者であるかい否かを認証する。更に認証装置１は、ユーザの感情を推測して、この感情から疾病を推測し、機器２に対する操作の許可／不許可を判定する。
【００２２】
認証装置１は、個人音声検出部６１１、音声特徴量算出部６２１、画像処理部６１２、画像特徴量算出部６２２、行動分析部６１３、行動特徴量算出部６２３、環境分析部６１４、環境特徴量算出部６２４、個人認証部６３、操作許可部６４を備えている。これらのうち、個人音声検出部６１１と画像処理部６１２と行動分析部６１３と環境分析部６１４とは、図２に示したセンシングデータ受信機能５１および信号処理機能５２に相当する。音声特徴量算出部６２１と画像特徴量算出部６２２と行動特徴量算出部６２３と環境特徴量算出部６２４とは、図２に示した特徴量算出機能５５に相当する。個人認証部６３と操作許可部６４は、図２に示した個人推測機能５６１に相当する。
【００２３】
更に認証装置１は、音声感情分析部６７１、画像感情分析部６７２、行動感情分析部６７３、環境感情分析部６７４、感情推測部６８、体調推測部６８１を備えている。これらのうち、音声感情分析部６７１、画像感情分析部６７２、行動感情分析部６７３、環境感情分析部６７４、感情推測部６８は、図２に示した感情推測機能５６２に相当する。体調推測部６８１は、図２に示した体調推測機能５６３に相当する。
認証装置１は更に、特徴量保存部６５１、キャリブレーション部６５２、通信部６５３、記憶部６６を備えている。
【００２４】
個人音声検出部６１１は、マイク３１が集音した音声データを取得して、この音声データに対してスペクトログラム（Spectrogram）の信号処理を行い、処理結果である声紋を音声特徴量算出部６２１と個人認証部６３に出力する。音声特徴量算出部６２１は、声紋を機械学習して、この音声データに係る特徴量を算出し、この特徴量を個人認証部６３と音声感情分析部６７１と特徴量保存部６５１に出力する。個人音声検出部６１１の処理結果である声紋の例を、後記する図６に示す。
音声感情分析部６７１は、声紋と、声紋から算出した特徴量に基づいて、この音声を発話した人の感情を分析し、分析した感情空間の座標値を感情推測部６８に出力する。
【００２５】
画像処理部６１２は、カメラ３２が撮像した画像データを取得して、顔領域を検出する処理や、顔のうち両目、鼻、口の両端などの三次元座標を検出する処理を行い、画像データの処理結果を画像特徴量算出部６２２と個人認証部６３に出力する。画像特徴量算出部６２２は、処理結果である各部の三次元座標を機械学習して、この画像データに係る特徴量を算出し、この特徴量を個人認証部６３と特徴量保存部６５１と画像感情分析部６７２に出力する。画像処理部６１２の処理結果である各部の三次元座標の例を、後記する図７に示す。
画像感情分析部６７２は、顔の三次元像と、顔の三次元像から算出した特徴量に基づいて、この顔の感情を分析し、分析した感情空間の座標値を感情推測部６８に出力する。
【００２６】
行動分析部６１３は、心拍センサ３３がセンシングした心拍データ（生体情報）を取得して、その心拍パターンを分析する処理を行い、分析した心拍パターンを個人認証部６３と行動特徴量算出部６２３と行動感情分析部６７３に出力する。行動特徴量算出部６２３は、処理結果である心拍パターンを機械学習して、この心拍データに係る特徴量を算出する。
行動感情分析部６７３は、心拍データと、この心拍データを分析した心拍パターンに基づいて、この心拍に係る人の感情を分析し、分析した感情空間の座標値を感情推測部６８に出力する。
【００２７】
環境分析部６１４は、気温センサ３４がセンシングした気温データ（環境情報）を取得して、その気温の時間的変化を分析する処理を行い、分析した気温を環境特徴量算出部６２４と環境感情分析部６７４に出力する。環境特徴量算出部６２４は、処理結果である気温変化を機械学習して、この気温変化に係る特徴量を算出する。環境感情分析部６７４は、この特徴量と気温変化に基づいて、操作者の感情を推測する。
【００２８】
個人認証部６３は、音声データの処理結果、画像データの処理結果、分析した心拍パターンがどのように組み合わせられるかを判定し、この判定に基づいて音声の特徴量、画像の特徴量、心拍パターンの特徴量を組み合わせる。個人認証部６３は更に、組み合わせた複数の特徴量を、記憶部６６に格納された各個人の特徴点と比較して、各センサによって捉えられた操作者が誰であるかを認証する。このように、操作者が誰であるかを認証する処理を、個人認証という。
【００２９】
感情推測部６８は、音声データの処理結果、画像データの処理結果、分析した心拍パターンがどのように組み合わせられるかを判定し、この判定に基づいて音声から分析した感情、画像から分析した感情、心拍パターンから分析した感情を組み合わせて、更に環境から分析した感情の傾向を加味する。これにより、単一のセンサでセンシングしたデータから感情を分析するよりも次元数が多くなるので、感情の推測精度を向上させることができる。
【００３０】
体調推測部６８１は、感情推測部６８が推測した感情に基づいて、操作者の体調を推測する。ここで体調推測部６８１が、操作者のてんかんの発作や心臓病の発作を推測したならば、操作許可部６４は、機器２を停止させ、かつ操作者による機器２の操作を禁止する。
【００３１】
操作許可部６４は、個人認証部６３が判定した操作者が機器２の操作権限を持つ者か否かを判定する。操作許可部６４は、操作者が機器２の操作権限を持つ者ならば、機器２の操作を許可する。
認証装置１は更に、特徴量保存部６５１、キャリブレーション部６５２、通信部６５３、記憶部６６を備えている。
【００３２】
特徴量保存部６５１は、音声データの処理結果、画像データの処理結果、分析した心拍パターンがどのように組み合わせられるかを判定し、この判定に基づいて音声の特徴量、画像の特徴量、心拍パターンの特徴量を組み合わせて記憶部６６に保存（格納）する。更に特徴量保存部６５１は、音声データの処理結果、画像データの処理結果、分析した心拍パターンがどのように組み合わせられるかを判定し、この判定に基づいて音声による感情分析結果、画像による感情分析結果、心拍パターンによる感情分析結果を組み合わせて、更に環境から分析した感情の傾向を加味して記憶部６６に保存（格納）する。
【００３３】
キャリブレーション部６５２は、記憶部６６に保存された各特徴量に基づいて個人の特徴点情報をキャリブレーションし、キャリブレーションした個人の特徴点情報を特徴点データベース５８１（図２参照）に保存する。認証装置１は、個人の特徴点情報をキャリブレーションすることで、個人認証の精度を上げることができる。
更にキャリブレーション部６５２は、記憶部６６に保存された感情分析結果をキャリブレーションし、キャリブレーションした個人の感情ラベルをラベルデータベース５８３（図２参照）に保存する。認証装置１は、個人の感情ラベルをキャリブレーションすることで、感情認識の精度を上げることができる。
【００３４】
通信部６５３は、ネットワーク・インタフェースであり、機械学習サーバ４などとの間で情報を送受信する機能を有する。これにより、個人の特徴点情報や感情ラベルのキャリブレーションを機械学習サーバ４に行わせることができる。
記憶部６６は、図１のセキュアＯＳ１５とリアルタイムＯＳ１４に限ってアクセス可能なセキュリティ領域６６１と、リッチＯＳ１３とリアルタイムＯＳ１４とセキュアＯＳ１５のいずれもがアクセス可能な非セキュリティ領域６６２を備える。認証装置１は、個人の特徴量や、個人を識別するための特徴点情報や感情を認識するための感情ラベル情報をセキュリティ領域６６１に格納している。これにより、認証装置１は、リッチＯＳ１３が不正に侵入された場合であっても、このセキュリティ領域６６１に格納された個人を特定するための情報の漏洩を防ぐことができる。
【００３５】
図４は、本実施形態における機械学習サーバ４の論理構成を示す図である。
機械学習サーバ４は、個人音声検出部４１１、音声特徴量算出部４２１、音声感情分析部４７１、画像処理部４１２、画像特徴量算出部４２２、画像感情分析部４７２、行動分析部４１３、行動特徴量算出部４２３、行動感情分析部４７３、環境分析部４１４、環境特徴量算出部４２４、環境感情分析部４７４、特徴量保存部４３、記憶部４４、キャリブレーション部４５、通信部４６を備えている。これら音声特徴量算出部４２１、画像特徴量算出部４２２、行動特徴量算出部４２３は、図１に示した特徴量算出部４２を構成する。
【００３６】
個人音声検出部４１１、画像処理部４１２、行動分析部４１３は、図２に示した信号処理機能５２に対応し、かつ図３に示した個人音声検出部６１１、画像処理部６１２、行動分析部６１３と同様である。音声特徴量算出部４２１、画像特徴量算出部４２２、行動特徴量算出部４２３は、図２に示した機械学習機能５４および特徴量算出機能５５に対応し、かつ図３に示した音声特徴量算出部６２１、画像特徴量算出部６２２、行動特徴量算出部６２３と同様である。
音声感情分析部４７１、画像感情分析部４７２、行動感情分析部４７３、環境感情分析部４７４は、図２に示した感情推測機能５６２の一部に対応し、かつ図３に示した音声感情分析部６７１、画像感情分析部６７２、行動感情分析部６７３、環境感情分析部６７４と同様である。
【００３７】
特徴量保存部４３は、音声データの処理結果、画像データの処理結果、分析した心拍パターンがどのように組み合わせられるかを判定し、この判定に基づいて音声の特徴量、画像の特徴量、心拍パターンの特徴量を組み合わせて記憶部４４に保存（格納）する。更に特徴量保存部４３は、音声データの処理結果、画像データの処理結果、分析した心拍パターンがどのように組み合わせられるかを判定し、この判定に基づいて音声による感情分析結果、画像による感情分析結果、心拍パターンによる感情分析結果を組み合わせて、更に環境から分析した感情の傾向を加味して記憶部４４に保存（格納）する。
【００３８】
記憶部４４は、例えばハードディスクやフラッシュメモリなどで構成されており、各種センサ情報や、これらセンサ情報から算出した各特徴量、各特徴量に基づいてキャリブレーションした個人の特徴点情報などを記憶する。
【００３９】
通信部４６は、例えばネットワーク・インタフェースであり、図１に示した認証装置１との間で情報を送受信する。
キャリブレーション部４５は、図２に示したキャリブレーション機能５８に対応し、かつ図３に示したキャリブレーション部６５２と同様である。機械学習サーバ４は、認証装置１の演算能力が低い場合などに、この認証装置１に代わってキャリブレーションを行い、個人認証の精度を上げさせることができる。
【００４０】
図５は、認証処理のフローチャートである。
認証装置１のＣＰＵ１１（図１参照）は、各センサがセンシングした信号に対して個人特定識別処理を実行し（ステップＳ１）、センシングされた人が誰であるかを判定する。個人特定識別処理は、後記する図９から図１２で説明する。
更にＣＰＵ１１は、センシングした人に対する感情認識処理を実行して（ステップＳ２）、人の感情を推測する。感情認識処理は、後記する図１３から図１５で説明する。
【００４１】
ＣＰＵ１１は、個人を認証した後、この個人の感情ラベルに基づく感情認識処理を行うので、個人を特定せずに一般の感情ラベルに基づく感情認識処理を行うよりも、高精度に感情を認識することができる。更にＣＰＵ１１は、音声と顔画像の両方を組み合わせて感情を認識しているので、音声単独や顔画像単独よりも高精度に感情を認識することができる。
【００４２】
次いでＣＰＵ１１は、ステップＳ３で、機器２の操作者を判定する。ＣＰＵ１１は、例えば機器２が車両であった場合、運転席に座っている者を操作者として判定する。機器２が家電などであった場合、この機器２の操作部に最も近い者を操作者として判定する。
【００４３】
ＣＰＵ１１は、操作者の感情の特徴量を病気に係るラベルと比較して、操作者の病気の発作や眠気の兆候を定量的に算出し、この兆候が第１閾値を超えているか否かを判断する（ステップＳ４）。病気とは、てんかん、うつ、心臓病の発作などをいう。この第１閾値は、兆候の有無を判定するための閾値である。
【００４４】
ＣＰＵ１１は、発作や眠気の兆候が第１閾値以上ならば（ステップＳ５→Ｙｅｓ）、当該操作者または他者に報知して（ステップＳ６）、ステップＳ７に進む。ここで、ＣＰＵ１１は、車両の運転を止めるように促すアドバイスを音声などで伝える。ＣＰＵ１１は、発作や眠気の兆候が第１閾値未満ならば（ステップＳ５→Ｎｏ）、操作者には病気の発作や眠気の兆候が見られないと判定し、図５の処理を終了する。
【００４５】
ステップＳ７において、ＣＰＵ１１は、発作や眠気の兆候が第２閾値以上であると判定したならば（ステップＳ７→Ｙｅｓ）、この機器２を停止させたのち（ステップＳ８）、図５の処理を終了する。ＣＰＵ１１は、発作や眠気の兆候が第２閾値未満であると判定したならば（ステップＳ７→Ｎｏ）、図５の処理を終了する。
これら兆候を示す定量的な検査結果と、第１閾値および第２閾値との関係を、後記する図８に示す。
【００４６】
図６は、音声による個人認証動作の詳細を示す図である。
図６には、音声波形領域７１と声紋領域７２とが表示されている。音声波形領域７１には、マイク３１が集音した音声の波形が表示される。音声波形領域７１の横軸は時間を示し、縦軸は信号の大きさを示す。
声紋領域７２には、音声波形領域７１に示された音声と同時刻における声紋が表示される。この声紋は、音声信号をハミング・ウインドウに通して周波数スペクトルを計算した結果である。声紋領域７２の横軸は時間を示し、縦軸は周波数を示している。そして各点の明るさや色で、その時点のその周波数における強さを示している。
【００４７】
人ごとの声の違いは、発声器官（口腔、鼻孔、声帯）や口唇、舌などの違いから生じる。特に声の音色に関しては、口腔や鼻孔の容積および構造によって規定される。声帯から口腔、鼻孔までの形や大きさも人それぞれの特徴を持つ。この特徴は、声紋に現れる。
更に、人の身長は、その人の声の高低と密接に関係している。一般的に身長の高い人ほど体の各部位も大きく、声帯も大きいことが多い。よって、身長が高い人ほど、声が低くなる。声の高低も、声紋に現れる。よって、声紋を機械学習することで音声に係る特徴量を算出し、この特徴量と各個人の特徴点とを比較することで、個人を認証できる。
【００４８】
図７は、画像による個人認証動作の詳細を示す図である。
三次元像７３は、顔画像を各部位の三次元座標と、これら各部位（例えば目尻、口端、鼻の上端と下端、顎の下端など）を結ぶ三次元ワイヤーフレームで構成されている。
三次元像７３は、カメラ３２によって二次元で撮像された画像から顔領域を検出して、この顔領域を三次元像７３に変換することで求められる。
【００４９】
顔領域の検出には、主成分分析、線形判別分析、弾性パンチグラフマッチング、隠れマルコフモデル、ニューロン動機付けによるダイナミックリンク照合などを用いることができる。ここで顔の特徴量とは、例えば顔を構成する各部位の相対的な位置関係であり、各部位の三次元座標から求められる。これら各部位の相対的な位置関係と時間的変化を機械学習し、各個人の特徴点と幾何学的に比較することで、個人を認証できる。
【００５０】
図８は、健常群と疾患群の検査結果およびその分布の概念を示すグラフである。
健常群は、病気の発作がなく、かつ眠気を感じていない者をいい、実線で示している。疾患群とは、病気の発作があるか、または、眠気を感じている者をいい、破線で示している。グラフの横軸は機械学習による検査結果を示し、グラフの縦軸は、その検査結果における人数分布を示している。
【００５１】
第１閾値Ｔ1は、機械学習による検査結果に基づいて陽性と陰性とを区別する閾値である。ここで陽性とは、病気の発作があるか、または、眠気を感じていると判定したことを示している。陽性は、疾患群に含まれる真陽性と、健常群に含まれる偽陽性とを含んでいる。陰性は、健常群に含まれる真陰性と、疾患群にふくまれる偽陰性とを含んでいる。偽陽性と偽陰性は、誤判定である。
【００５２】
本実施形態において第１閾値Ｔ1は、健常群の分布と疾患群の分布とが交差する値である。このとき、偽陽性の人数と、偽陰性の人数との和を最も少なくすることができる。
第２閾値Ｔ2は、認証装置１が機器２を停止させるための閾値である。第２閾値Ｔ2を超えた領域では、健常群がほぼ分布しなくなり、疾患群のみが分布している。このように、第２閾値Ｔ2を設定することで、認証装置１は、健常者が操作しているにも関わらず、誤って機器２を停止することがなくなる。
【００５３】
図９と図１０は、個人認証処理のフローチャートである。
以下の個人認証処理において、ステップＳ１０〜Ｓ１４の音声に係る処理と、ステップＳ２０〜Ｓ２５の画像に係る処理と、ステップＳ３０〜Ｓ３３の心拍情報（生体情報）に係る処理とは、並行に行われる。
【００５４】
《音声処理》
最初、個人音声検出部６１１は、マイク３１が集音した音声を取得する（ステップＳ１０）。個人音声検出部６１１は、カメラ３２が撮像した画像から操作者の口が動いていないときの音声を無音化する（ステップＳ１１）。カメラ３２が撮像した画像から操作者の口の動きを検出する処理は、後記する画像処理のステップＳ２３において行われる。次いで、個人音声検出部６１１は、音声信号にスペクトログラム信号処理を行い、声紋を算出する（ステップＳ１２）。
【００５５】
次いで、個人音声検出部６１１は、声紋が人の声を含むか否かを判定する（ステップＳ１３）。声紋が人の声を含むか否かは、例えば声の大きさなどで判定できる。個人音声検出部６１１が声を検出できたならば、音声特徴量算出部６２１は、この声紋から特徴量を算出する（ステップＳ１４）。これにより、人の声ではない雑音から特徴量を算出してしまうことを抑止可能である。
【００５６】
音声特徴量算出部６２１が算出する特徴量とは、例えば各声の連続時間、各周波数における相対強度など、複数の次元によって構成される。
【００５７】
《画像処理》
最初、画像処理部６１２は、カメラ３２が撮像した画像を取得する（ステップＳ２０）。カメラ３２は１秒間６０フレームで撮像する。画像処理部６１２は、これら撮影された各フレームの画像を１／６０秒ごとに取得する。
画像処理部６１２は、取得した画像が顔画像を含むか否かを判定し（ステップＳ２１）、顔画像を検出する。次いで画像処理部６１２（画像特定手段）は、顔を構成する各部位の三次元相対座標を算出し（ステップＳ２２）、更に時間的に連続した画像から、口周辺の三次元相対座標の動きを算出し、よって口の動きを検出する（ステップＳ２３）。口の動きの情報は、個人音声検出部６１１に出力されると共に、後記する顔画像と声との対応づけに用いられる。更に画像処理部６１２は、皮膚のしわやしみの三次元相対座標を算出する（ステップＳ２４）。これにより、特徴量の次元を増やして、個人を特定しやすくしている。
【００５８】
画像処理部６１２が顔画像を検出したならば、画像特徴量算出部６２２は、これら各部位の三次元相対座標で構成される顔の三次元像から、操作者の顔の特徴量を算出する（ステップＳ２５）。これにより、人の顔が撮影されていない画像から、顔の特徴量を算出してしまうことを抑止可能である。
【００５９】
顔の特徴量は、例えば顔に対する目や鼻の大きさ、顔に対する目や鼻や口の高さなど、複数の次元によって構成される。
【００６０】
《行動分析処理》
最初、行動分析部６１３は、心拍センサ３３がセンシングした心拍データを取得する（ステップＳ３０）。行動分析部６１３は、取得した心拍データが人の心拍パターンを含み、よって人の心拍を計測できたかを判定する（ステップＳ３１）。
次いで行動分析部６１３は、心拍データから、所定期間における心拍パターンを算出する（ステップＳ３２）。これにより、単一周期の心拍データに重畳しているノイズの影響を減らすことができる。
【００６１】
更に、行動分析部６１３によって、心拍データが人の心拍を計測できた結果であると判定したならば、行動特徴量算出部６２３は、この心拍パターンから特徴量を算出する。心拍パターンの特徴量は、心拍パターンの周期やその変動、心拍パターンの波形など、複数の次元によって構成される。心拍バターンの特徴量は、操作者の行動との関連性を有している。
【００６２】
《個人特定識別処理》
以下のステップＳ４０〜Ｓ４８の処理は、個人特定識別処理である。この個人特定識別処理は、所定周期（例えば３秒）ごとに繰り返し行われる。
個人認証部６３は、当該周期に画像処理部６１２が検出した顔についてステップＳ４０〜Ｓ４８の処理を繰り返す。
【００６３】
ステップＳ４１において、個人認証部６３は、この顔画像に声が対応しているか否かを判定する。個人認証部６３は、この顔画像に対応した声が有るならば（ステップＳ４１→Ｙｅｓ）、ステップＳ４２の処理に進む。個人認証部６３は、この顔画像に対応した声がなかったならば（ステップＳ４１→Ｎｏ）、ステップＳ４５の処理に進む。なお、個人認証部６３は、撮影された顔画像の口の動きと各時刻の音量とを対応づけることによって、対象者の顔画像と、対象者が発している声の時刻とを対応づける。
なお、指向性マイクにより、各時刻において声を発した者の位置を検知し、撮影された各個人の位置と対応づけてもよい。
【００６４】
ステップＳ４２において、個人認証部６３は、この顔画像に対応した心拍データが有るか否かを判定する。個人認証部６３は、この顔画像に対応した心拍データが有るならば（ステップＳ４２→Ｙｅｓ）、顔の特徴量（第１の個人特徴量）、声紋の特徴量（第２の個人特徴量）、心拍パターンの特徴量（第３の個人特徴量）を組み合わせた多次元の特徴量を生成し、対応する次元である個人の特徴点（ラベル）と照合することにより、個人を特定して識別する（ステップＳ４３）。顔画像と心拍データとの対応は、例えば心拍センサが設置された位置（例えば、運転席）と、撮影された各個人の位置（運転席か助手席か）とを対応づけることで行われる。
単一のセンサから算出した特徴量と、このセンサに関する個人の特徴点（ラベル）とを照合するよりも、更に多次元の空間において照合しているので、個人認証の正解率を上げることができる。この処理が終了すると、ステップＳ４８の処理に進む。
【００６５】
個人認証部６３は、この顔画像に対応した心拍データが無かったならば（ステップＳ４２→Ｎｏ）、顔の特徴量と声紋の特徴量を組み合わせた多次元の特徴量を生成し、対応する次元である個人の特徴点（ラベル）と照合することにより、個人を特定して識別する（ステップＳ４４）。単一のセンサから算出した特徴量と、このセンサに関する個人の特徴点（ラベル）とを照合するよりも、更に多次元の空間において照合しているので、個人認証の正解率を上げることができる。更に個人認証部６３は、顔画像に対応する心拍データが無いので心拍パターンの特徴量を組み合わせていない。個人認証部６３は、無効なセンシングデータによる認証の誤りを防ぐことができる。この処理が終了すると、ステップＳ４８の処理に進む。
【００６６】
ステップＳ４５において、個人認証部６３は、この顔画像に対応した心拍データが有るか否かを判定する。個人認証部６３は、この顔画像に対応した心拍データが有るならば（ステップＳ４５→Ｙｅｓ）、顔の特徴量に心拍パターンの特徴量を組み合わせた多次元の特徴量を生成し、対応する次元である個人の特徴点（ラベル）と照合することにより、個人を特定して識別する（ステップＳ４６）。
【００６７】
単一のセンサから算出した特徴量と、このセンサに関する個人の特徴点（ラベル）とを照合するよりも、更に多次元の空間において照合しているので、個人認証の正解率を上げることができる。更に個人認証部６３は、顔画像に対応した声が無いので声紋の特徴量を組み合わせていない。個人認証部６３は、無効なセンシングデータによる認証の誤りを防ぐことができる。この処理が終了すると、ステップＳ４８の処理に進む。
【００６８】
個人認証部６３は、この顔画像に対応した心拍データが無いならば（ステップＳ４５→Ｎｏ）、顔の特徴量を対応する次元である個人の特徴点（ラベル）と照合することにより、個人を特定して識別する（ステップＳ４７）。この処理が終了すると、ステップＳ４８の処理に進む。
【００６９】
ステップＳ４８において、個人認証部６３は、当該周期に検出した全ての顔について処理を繰り返したか否かを判断する。当該周期に検出した全ての顔について処理を繰り返したならば、検出した顔と声紋と行動（心拍データ）を各個人に対応付ける（ステップＳ４９）。
【００７０】
個人認証部６３は、顔画像に対応した声が無いときには声紋の特徴量を組み合わせず、顔画像に対応した心拍データが無いときには心拍パターンの特徴量を組み合わせない。このように、センシングデータが無効である場合には、このセンシングデータから算出した特徴量を組み合わせないようにしたので、個人認証部６３は、無効なセンシングデータによる認証の誤りを防ぐことができる。
個人認証部６３は、顔画像に対応した声が無いときには、ミュートした音声信号と組み合わせ、顔画像に対応した心拍データが無いときには平均的な心拍パターンの特徴量を組み合わせてもよい。これによっても個人認証部６３は、無効なセンシングデータによる認証の誤りを防ぐことができる。
【００７１】
図１１は、顔と声紋と心拍による個人認証処理を行う階層型ニューラルネットワーク９を示す説明図である。
個人認証部６３を構成する階層型ニューラルネットワーク９は、複数のノード９８が、入力層９１、第１中間層９２、第２中間層９３、出力層９４の４層で階層化されている。各層のノード９８は、それぞれエッジ９９で接続されている。
入力層９１のノード９８は、それぞれ顔の特徴量、声紋の特徴量、心拍の特徴量が入力される。出力層９４からは、個人認証した結果が出力される。
なお、本実施形態では、顔の特徴量と声紋の特徴量を組み合わせて学習した階層型ニューラルネットワーク、顔の特徴量と心拍の特徴量を組み合わせて学習した階層型ニューラルネットワーク、顔の特徴量のみで学習した階層型ニューラルネットワークが、それぞれ用意されている。
【００７２】
図１２は、層間のインデックスとエッジ重みの一例を示す説明図である。
入力層９１は、ノード９８−１，９８−２，…を備えている。第１中間層９２におけるノード９８−ｘは、入力層９１におけるノード９８−２，９８−４，９８−７とエッジ９９によって接続されている。
第１中間層９２におけるノード９８−ｘと、入力層９１におけるノード９８−２とを接続しているエッジ９９の重みは、“０．２”である。第１中間層９２におけるノード９８−ｘと、入力層９１におけるノード９８−４とを接続しているエッジ９９の重みは、“−０．５”である。第１中間層９２におけるノード９８−ｘと、入力層９１におけるノード９８−７とを接続しているエッジ９９の重みは、“０．１”である。第１中間層９２におけるノード９８−ｘ上の“１．１”は、このノード９８−ｘのバイアス値が“１．１”である旨を示している。
【００７３】
次に、この階層型ニューラルネットワーク９の動作について説明する。
階層型ニューラルネットワーク９を構成している入力層９１の各ノード９８に、顔の特徴量、声紋の特徴量、心拍の特徴量が与えられると、各ノード９８は、これら顔の特徴量、声紋の特徴量、心拍の特徴量から各ノード９８での活性度を算出する。
入力層９１の各ノード９８での活性度が算出されると、第１中間層９２のノード９８毎に、このノード９８にエッジ９９で接続されている入力層９１の各ノード９８から、当該ノード９８での活性度を取得する。
【００７４】
例えば、第１中間層９２におけるノード９８−ｘの場合、入力層９１のノード９８−２での活性度と、ノード９８−４での活性度と、ノード９８−７での活性度を取得する。更に、ノード９８−ｘと入力層９１の各ノード９８−２，９８−４，９８−７との間に接続されているエッジ９９の重みを取得する。
ノード９８−ｘは、自身に接続されている入力層９１の各ノード９８−２，９８−４，９８−７での活性度と、各エッジ９９の重みとの積を算出し、これら積の総和に当該ノード９８−ｘのバイアス値を加算し、この加算値を活性化関数Ｆ（activation function）で演算してノード９８−ｘの活性度を算出する。
【００７５】
活性度の計算に用いられる活性化関数Ｆには、線形関数、シグモイド関数、ソフトマックス関数、整流化線形関数（ReLU:Rectified Linear Unit function）などがある。ここでは、第１中間層９２におけるノード９８−ｘの活性度の算出例を示したが、第１中間層９２における他のノード９８の活性度についても同様に算出される。
【００７６】
第１中間層９２の各ノード９８での活性度が算出されると、第２中間層９３の各ノード９８での活性度が算出される。第２中間層９３の各ノード９８での活性度の算出方法は、第１中間層９２の各ノード９８での活性度の算出方法と同様である。
第２中間層９３の各ノード９８での活性度が算出されると、出力層９４の各ノード９８での活性度が算出される。出力層９４の各ノード９８での活性度の算出方法は、第１中間層９２の各ノード９８での活性度の算出方法と同様である。
【００７７】
出力層９４のノード９８毎の活性度は、個人認証の結果である多次元の特徴量として出力される。
例えば、センサが検知した操作者が予め登録されたＡさん、Ｂさん、Ｃさん、またはそれ以外の人であるかを識別する場合、出力層９４は、個人識別のための特徴量空間の次元を示すノード９８を含んで構成される。出力層９４の各ノード９８の活性度が、それぞれＡさん、Ｂさん、Ｃさんを示す多次元空間の特徴量（座標値）を示す値になるように学習されている。
【００７８】
推論時は、出力層９４で示される多次元空間の特徴量に基づき、この多次元空間のＡさん、Ｂさん、Ｃさんを示す個人ラベルと比較して、例えばＡさんという認証結果を出力する。なお、単なる認証結果のみでなく、活性度を用いた信頼度の算出や回帰予測値出力等の処理を実施してもよい。
なおニューラルネットワークが用いられるのは個人認証部６３に限定されず、音声特徴量算出部６２１、画像特徴量算出部６２２、行動特徴量算出部６２３などが特徴量の算出に用いてもよい。
【００７９】
図１３は、感情認識処理のフローチャートである。
このステップＳ６０〜Ｓ７０で示す感情認識処理は、図９と図１０で示した個人特定識別処理の後に行われる。つまり、感情認識処理は、所定周期（例えば３秒）ごとに繰り返し実行される。
環境感情分析部６７４は、現在の気温とその推移から、人の感情の傾向を分析する（ステップＳ６０）。この分析結果は、分析する全ての人の感情に加味される。
【００８０】
感情推測部６８は、ステップＳ６１〜Ｓ６９の処理を、個人特定識別処理で検出した各人について繰り返す。
最初、感情推測部６８は、この人の声紋情報が検出されたか否かを判定する（ステップＳ６２）。感情推測部６８は、声紋情報が検出されていたならば（ステップＳ６２→Ｙｅｓ）、ステップＳ６３の処理に進む。感情推測部６８は、声紋情報が検出されていなかったならば（ステップＳ６２→Ｎｏ）、ステップＳ６６の処理に進む。
【００８１】
ステップＳ６３において、感情推測部６８は、この人に係る心拍データが検出されたか否かを判定する。感情推測部６８は、心拍データが検出されていたならば（ステップＳ６３→Ｙｅｓ）、顔の特徴量（第１の感情特徴量）と声紋の特徴量（第２の感情特徴量）と心拍パターンの特徴量（第３の感情特徴量）と気温情報とから多次元の感情特徴量を算出し、多次元空間の感情ラベルと照合することにより、この人の感情を推定する（ステップＳ６４）。感情推測部６８は、この人が認証されていれば、この人の個人ラベルを用いる。これにより、感情推測部６８は、一般ラベルを用いるよりも、高い精度で感情を推測可能である。また、単一のセンサから多次元の感情特徴量を算出するよりも情報量が多いので、推測した感情の正解率を上げることができる。この処理が終了すると、ステップＳ６９の処理に進む。
【００８２】
感情推測部６８は、心拍データを検出しなかったならば（ステップＳ６３→Ｎｏ）、顔の特徴量と声紋の特徴量と気温情報とから多次元の感情特徴量を算出し、多次元空間の感情ラベルと照合することにより、この人の感情を推測する（ステップＳ６５）。感情推測部６８は、心拍データが検知できないので心拍パターンの特徴量を用いていない。感情推測部６８は、無効なセンシングデータによる誤りを防ぐことができる。この処理が終了すると、ステップＳ６９の処理に進む。
【００８３】
ステップＳ６６において、感情推測部６８は、この人に係る心拍データを検出したか否かを判定する。感情推測部６８は、心拍データを検出したならば（ステップＳ６６→Ｙｅｓ）、顔の特徴量と心拍パターンの特徴量と気温情報とから多次元の感情特徴量を算出し、多次元空間の感情ラベルと照合することにより、この人の感情を推定する（ステップＳ６７）。感情推測部６８は、声紋の特徴量を用いていない。感情推測部６８は、無効なセンシングデータによる誤りを防ぐことができる。この処理が終了すると、ステップＳ６９の処理に進む。
【００８４】
感情推測部６８は、この人に係る心拍データを検出しなかったならば（ステップＳ６６→Ｎｏ）、顔の特徴量と気温情報とから多次元の感情特徴量を生成し、多次元空間の感情ラベルと照合することにより、この人の感情を推定する（ステップＳ６８）。この処理が終了すると、ステップＳ６９の処理に進む。
【００８５】
ステップＳ６９において、感情推測部６８は、個人特定識別処理で検出した各人について処理を繰り返したか否かを判定する。感情推測部６８は、全ての人の処理が終わったならば、検出した人たちの感情から、場の感情を推測し（ステップＳ７０）、図１３の処理を終了する。
感情推測部６８は、個人認証部６３と同様に、顔画像に対応した声が無いときには、ミュートした音声信号と組み合わせ、顔画像に対応した心拍データが無いときには平均的な心拍パターンの特徴量を組み合わせてもよい。
【００８６】
図１４は、疲労感、覚醒感、快適感の３軸からなる多次元の感情特徴量空間８１を示す概念図である。
本実施形態の多次元の感情特徴量空間８１は、３軸で構成されている。感情推測部６８は、顔の特徴量や声紋の特徴量や心拍パターンの特徴量や気温情報から感情特徴量を算出する。感情特徴量は、この多次元の感情特徴量空間８１のうち、この人の感情がどの座標に位置するかを示すものである。この感情特徴量の算出にあたり、例えば階層化ニューラルネットワークなどが用いられる。
【００８７】
図１５は、覚醒感と快適感の２軸における感情特徴量平面８２を示す概念図である。
この感情特徴量平面８２は、図１４に示した感情特徴量空間８１のうち、疲労感の値が所定値に設定された場合の切平面を示している。
感情特徴量平面８２の縦軸は覚醒感であり、上方向は興奮を示しており、下方向は沈静を示している。感情特徴量平面８２の横軸は快適感であり、右方向は快適を示しており、左方向は不快を示している。
【００８８】
感情特徴量平面８２の第１象限はリフレッシュの感情を示しており、興奮、驚喜、喜び、幸福がラベリングされている。第２象限はイライラの感情を示しており、警戒、恐れ、怒り、緊張、不満、不愉快、抑圧がラベリングされている。第３象限は退屈の感情を示しており、悲しみ、悩み、退屈、憂鬱がラベリングされている。第４象限はリラックスの感情を示しており、眠気、平穏、くつろぎ、安心、満足がラベリングされている。
感情推測部６８が算出した感情特徴量と、上記の感情ラベルとを照合することにより、人の感情を推測することができる。
【００８９】
（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｊ）のようなものがある。
【００９０】
（ａ）  本発明において、機器２は車両に限定されず、医療機器や家電機器や、扉の開閉を許可するセキュリティ機器などであってもよく、限定されない。
【００９１】
（ｂ）  本発明の行動センサは、脈拍をセンシングする心拍センサに限定されず、体重、血圧、体脂肪率、会話量、睡眠時間、脈拍、皮膚温、呼吸、体動、加速度などのうちいずれかをセンシングするものであってもよい。
（ｃ）  本発明は、行動センサを備えず、カメラとマイクの組合せで個人認証するものであってもよい。
【００９２】
（ｄ）  本発明のカメラ３２は、可視光を撮像するものに限定されず、赤外線や紫外線を撮像するものであってもよく、更に超音波によって物体を撮影する超音波カメラであってもよい。
（ｅ）  カメラ３２は、二次元の画像を撮像する単一の光学系で構成されたカメラであってもよく、ステレオカメラに限定されない。
（ｆ）  機械学習サーバ４は、クラウド（データセンタ）に設置されたサーバに限定されず、認証装置１に接続して用いられる機械学習装置であってもよい。
（ｇ）  ニューラルネットワークの階層は４層に限定されず、３層以下であってもよく、５層以上であってもよい。
（ｈ）  個人認証や感情認識における機械学習は、階層型ニューラルネットワークに限定されない。これらは、決定木学習、サポートベクターマシン、ＬＳＴＭ（Long short-term memory）、クラスタリング、相関ルール学習、遺伝的プログラミング、ベイジアンネットワーク、強化学習、表現学習、Ｋ近傍法（k-nearest neighbor algorithm）、RusBoost、線形判別、教師あり学習（Boosting等）、バギング（bagging）などであってもよい。
（ｉ）  感情特徴量空間の次元は３次元に限定されず、更に多次元であってもよい。
（ｊ）  マイク３１は、指向性を有するマイクに限定されず、複数のマイクから音源位置を特定可能なものであってもよい。
【符号の説明】
【００９３】
Ｓ  認証システム
１  認証装置
１１  ＣＰＵ
１２  ハイパーバイザ
１３  リッチＯＳ
１４  リアルタイムＯＳ
１５  セキュアＯＳ
２  機器
３１  マイク
３２  カメラ
３３  心拍センサ  （行動センサ）
３４  気温センサ  （環境センサ）
４  機械学習サーバ
４１１  個人音声検出部
４１２  画像処理部
４１３  行動分析部
４１４  環境分析部
４２  特徴量算出部
４２１  音声特徴量算出部
４２２  画像特徴量算出部
４２３  行動特徴量算出部
４２４  環境特徴量算出部
４３  特徴量保存部
４４  記憶部
４５  キャリブレーション部
４６  通信部
４７１  音声感情分析部
４７２  画像感情分析部
４７３  行動感情分析部
４７４  環境感情分析部
５０  コンフィグ設定
５０１  コンフィグ・データベース
５１  センシングデータ受信機能
５２  信号処理機能
５３  信号処理機能利用システム
５４  機械学習機能
５５  特徴量算出機能
５６１  個人推測機能
５６２  感情推測機能
５６３  体調推測機能
５８  キャリブレーション機能
５８１  特徴点データベース
５８２  特徴量データベース
５８３  ラベルデータベース
５９  結果出力機能
６１１  個人音声検出部
６１２  画像処理部  （画像特定手段）
６１３  行動分析部
６１４  環境分析部
６２１  音声特徴量算出部
６２２  画像特徴量算出部
６２３  行動特徴量算出部
６２４  環境特徴量算出部
６３  個人認証部
６４  操作許可部
６５１  特徴量保存部
６５２  キャリブレーション部
６５３  通信部
６６  記憶部
６６１  セキュリティ領域
６６２  非セキュリティ領域
６７１  音声感情分析部
６７２  画像感情分析部
６７３  行動感情分析部
６７４  環境感情分析部
６８  感情推測部
６８１  体調推測部
７１  音声波形領域
７２  声紋領域
７３  三次元像
８１  感情特徴量空間
８２  感情特徴量平面
９  階層型ニューラルネットワーク
９１  入力層
９２  第１中間層
９３  第２中間層
９４  出力層
９８  ノード
９９  エッジ
【図１】
2020099367.tif 000003
【図２】
2020099367.tif 000004
【図３】
2020099367.tif 000005
【図４】
2020099367.tif 000006
【図５】
2020099367.tif 000007
【図６】
2020099367.tif 000008
【図７】
2020099367.tif 000009
【図８】
2020099367.tif 000010
【図９】
2020099367.tif 000011
【図１０】
2020099367.tif 000012
【図１１】
2020099367.tif 000013
【図１２】
2020099367.tif 000014
【図１３】
2020099367.tif 000015
【図１４】
2020099367.tif 000016
【図１５】
2020099367.tif 000017