(57)【要約】      （修正有）【課題】適正に迅速な認識を行うことができる個人認識システムを提供する。【解決手段】認証データセンタシステムに、登録ユーザの自動車利用のシーン毎の写真データのセットであるシーンデータを保管する。自動車に搭載された個人認証装置１１は、カメラ１１１で撮影した運転席ユーザの顔を、ローカルＤＢ１１３の写真データを用いて認識する顔認識エンジン１１２を備えている。また、個人認証装置１１の制御装置１１６は、自動車の利用終了時に、次回の自動車利用のシーンを推定し、認証データセンタシステムから推定した各シーンのシーンデータを取得し、記憶装置１１４に格納すると共に、自動車の利用開始時に、現在の自動車利用のシーンを推定し、推定したシーンのシーンデータに含まれる写真データを記憶装置１１４からローカルＤＢ１１３にロードする。【選択図】図３
2018151709.tif 000002
【特許請求の範囲】
【請求項１】
自動車に搭載され、自動車のユーザを識別する個人認識システムであって、
ユーザの顔を撮影するカメラと、
予め登録されているユーザである登録ユーザの顔または顔の特徴を表す顔データを１または複数格納した認識用データベースと、
前記認識用データベースに格納された顔データを用いて、前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であるか否かを認識する顔認識エンジンと、
自動車の利用のシーン毎に対応して設けられた、登録ユーザの１以上の顔データを含むシーンデータを格納した記憶装置と、
自動車の各回の利用の開始時に、現在の自動車の利用のシーンを推定するシーン推定手段と、
自動車の利用の開始時に、前記記憶装置に格納されている、前記シーン推定手段が推定したシーンに対応するシーンデータに含まれる顔データを、前記認識用データベースに格納する認識用データベース更新手段とを有することを特徴とする個人認識システム。
【請求項２】
自動車のユーザを識別する個人認識システムであって、
自動車の利用のシーン毎に対応して設けられた、予め登録されているユーザである登録ユーザの１以上の顔データを含むシーンデータを保管する認識データサーバと、
前記認識データサーバと移動通信を介して接続可能な、自動車に搭載される個人認識装置とを備え、
当該個人認識装置は、
ユーザの顔を撮影するカメラと、
登録ユーザの顔または顔の特徴を表す顔データを１または複数格納した認識用データベースと、
前記認識用データベースに格納された顔データを用いて、前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であるか否かを認識する顔認識エンジンと、
記憶装置と、
自動車の各回の利用の終了時に、次回の自動車の利用のシーンを推定し、推定したシーンに対応するシーンデータを移動通信を介して前記認識データサーバから取得し、前記記憶装置に格納するシーンデータ先行取得手段と、
自動車の各回の利用の開始時に、現在の自動車の利用のシーンを推定するシーン推定手段と、
自動車の利用の開始時に、前記記憶装置に格納されている、前記シーン推定手段が推定したシーンに対応するシーンデータに含まれる顔データを、前記認識用データベースに格納する認識用データベース更新手段とを有することを特徴とする個人認識システム。
【請求項３】
請求項１または２記載の個人認識システムであって、
前記シーン推定手段は、少なくとも現在日時と前記自動車の現在位置に応じて、現在の自動車の利用のシーンを推定することを特徴とする個人認識システム。
【請求項４】
請求項２記載の個人認識システムであって、
前記シーンデータ先行取得手段は、少なくとも現在日時と前記自動車の現在位置に応じて、次回の自動車の利用のシーンを推定し、
前記シーン推定手段は、少なくとも現在日時と前記自動車の現在位置に応じて、現在の自動車の利用のシーンを推定することを特徴とする個人認識システム。
【請求項５】
請求項２または請求項４記載の個人認識システムであって、
前記認識用データベース更新手段は、自動車の利用の開始時に、前記記憶装置に、前記シーン推定手段が推定したシーンに対応するシーンデータが記憶されていない場合には、当該シーン推定手段が推定したシーンに対応するシーンデータを、移動通信を介して前記認識データサーバから取得し、取得したシーンデータに含まれる顔データを、前記認識用データベースに格納することを特徴とする個人認識システム。
【請求項６】
請求項２、４または請求項５記載の個人認識システムであって、
前記顔認識エンジンは、前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であると認識するときに、併せて前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であることの尤度を算出し、
前記個人認識装置は、前記尤度が中間的なレベルの範囲内にあるときに、移動通信を介して前記認識データサーバから前記顔認識エンジンが認識した登録ユーザの各シーンのシーンデータに含まれる顔データを、一つのシーンデータにつき一つ取得し、取得した各顔データのうちに前記カメラが撮影した画像に含まれる顔または顔の特徴との整合度が所定のしきい値以上である顔データが含まれていない場合に、前記カメラが撮影した画像が表す顔または顔の特徴を表す顔データを、前移動通信を介して、前記認識データサーバに、前記顔認識エンジンが認識した登録ユーザの前記シーン推定手段が推定したシーンのシーンデータの顔データとして保管する顔データ保管手段を有することを特徴とする個人認識システム。
【請求項７】
請求項２、４または請求項５記載の個人認識システムであって、
前記顔認識エンジンは、前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であると認識するときに、併せて前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であることの尤度を算出し、
前記個人認識装置は、前記尤度が中間的なレベルの範囲内にあるときに、移動通信を介して前記認識データサーバから前記顔認識エンジンが認識した登録ユーザの各シーンのシーンデータに含まれる顔データを、一つのシーンデータにつき一つ取得し、取得した各顔データのうちに前記カメラが撮影した画像に含まれる顔または顔の特徴との整合度が所定のしきい値以上である顔データが含まれている場合に、前記整合度が所定のしきい値以上であった顔データが含まれていたシーンデータを、移動通信を介して前記認識データサーバから取得し、取得したシーンデータに含まれる顔データを、前記認識用データベースに格納するシーンデータ切替手段を有することを特徴とする個人認識システム。
【請求項８】
ユーザを識別する個人認識システムであって、
ユーザの顔を撮影するカメラと、
予め登録されているユーザである登録ユーザの顔または顔の特徴を表す顔データを１または複数格納した認識用データベースと、
前記認識用データベースに格納された顔データを用いて、前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であるか否かを認識する顔認識エンジンと、
予め定めた複数のシーンについて、シーン毎に対応して設けられた、登録ユーザの１以上の顔データを含むシーンデータを格納した記憶装置と、
現在のシーンを推定するシーン推定手段と、
前記記憶装置に格納されている、前記シーン推定手段が推定したシーンに対応するシーンデータに含まれる顔データを、前記認識用データベースに格納する認識用データベース更新手段とを有することを特徴とする個人認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔を撮影した画像からユーザを認識する個人認識システムに関するものである。
【背景技術】
【０００２】
顔を撮影した画像からユーザを認識する技術としては、自動車の運転席に着座したユーザの顔を撮影するカメラと、カメラで撮影した画像から抽出した顔の特徴と、自動車の登録ユーザの顔の特徴を表す顔特徴データとを比較し、両者の類似度が所定のしきい値以上であった場合に、運転席に着座したユーザを登録ユーザであると認識する技術が知られている（たとえば、特許文献１）。
【０００３】
なお、この技術では、上記しきい値を、現在位置や時間帯や曜日に応じて変更している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６-３０６１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザの顔の外観は、髪型、眼鏡装着の有無、化粧、髭の程度などの顔の外観の固定的でない要素の状態によって変化するため、当該顔の外観の固定的でない要素の状態が変動するユーザについて、当該要素の状態に関わらずにユーザを正しく認識するためには、当該要素の各状態毎にそれぞれユーザの顔の特徴を表す顔特徴データを用意し、用意した顔特徴データの各々と、カメラで撮影した画像から抽出した顔の特徴とを比較して、当該ユーザを認識する必要がある。
【０００６】
しかしながら、このようにすると、カメラで撮影した画像から抽出した顔の特徴を、多数の顔特徴データの各々と比較する必要があるため迅速な認識を行うことができなくなる。
【０００７】
そこで、本発明は、顔の外観の固定的でない要素の状態が変動するユーザについても、迅速に適正な認識を行うことを課題とする。
【課題を解決するための手段】
【０００８】
前記課題達成のために、本発明は、自動車に搭載され、自動車のユーザを識別する個人認識システムに、ユーザの顔を撮影するカメラと、予め登録されているユーザである登録ユーザの顔または顔の特徴を表す顔データを１または複数格納した認識用データベースと、前記認識用データベースに格納された顔データを用いて、前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であるか否かを認識する顔認識エンジンと、自動車の利用のシーン毎に対応して設けられた、登録ユーザの１以上の顔データを含むシーンデータを格納した記憶装置と、自動車の各回の利用の開始時に、現在の自動車の利用のシーンを推定するシーン推定手段と、自動車の利用の開始時に、前記記憶装置に格納されている、前記シーン推定手段が推定したシーンに対応するシーンデータに含まれる顔データを、前記認識用データベースに格納する認識用データベース更新手段とを備えたものである。
【０００９】
このような個人認識システムによれば、各回の自動車の利用開始時に自動車の利用のシーンを推定し、推定したシーンのシーンデータの顔データを用いて、カメラが撮影した顔が登録ユーザであるか否かの認識を行う。よって、自動車の利用のシーン毎に、当該シーンにおいて自動車を利用する際に、登録ユーザが呈することのある顔の外観もしくはその特徴を表す顔データを登録したシーンデータを用意することにより、シーン毎に最適化した限定された数の顔データを用いて登録ユーザの認識を行うことができ、この結果、顔の外観の固定的でない要素の状態が変動するユーザについても迅速に適正な認識を行うことができるようになる。
ここで、以上のような個人認識システムは、前記シーン推定手段において、少なくとも現在日時と前記自動車の現在位置に応じて、現在の自動車の利用のシーンを推定するように構成してもよい。
【００１０】
また、前記課題達成のために、本発明は、自動車のユーザを識別する個人認識システムを、自動車の利用のシーン毎に対応して設けられた、予め登録されているユーザである登録ユーザの１以上の顔データを含むシーンデータを保管する認識データサーバと、前記認識データサーバと移動通信を介して接続可能な、自動車に搭載される個人認識装置とを含めて構成したものである。ここで、当該個人認識装置は、ユーザの顔を撮影するカメラと、登録ユーザの顔または顔の特徴を表す顔データを１または複数格納した認識用データベースと、前記認識用データベースに格納された顔データを用いて、前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であるか否かを認識する顔認識エンジンと、記憶装置と、自動車の各回の利用の終了時に、次回の自動車の利用のシーンを推定し、推定したシーンに対応するシーンデータを移動通信を介して前記認識データサーバから取得し、前記記憶装置に格納するシーンデータ先行取得手段と、自動車の各回の利用の開始時に、現在の自動車の利用のシーンを推定するシーン推定手段と、自動車の利用の開始時に、前記記憶装置に格納されている、前記シーン推定手段が推定したシーンに対応するシーンデータに含まれる顔データを、前記認識用データベースに格納する認識用データベース更新手段とを備えている。
【００１１】
このような個人認識システムによれば、各回の自動車の利用開始時に自動車の利用のシーンを推定し、推定したシーンのシーンデータの顔データを用いて、カメラが撮影した顔が登録ユーザであるか否かの認識を行う。よって、自動車の利用のシーン毎に、当該シーンにおいて自動車を利用する際に、登録ユーザが呈することのある顔の外観もしくはその特徴を表す顔データを登録したシーンデータを用意することにより、シーン毎に最適化した限定された数の顔データを用いて登録ユーザの認識を行うことができ、この結果、顔の外観の固定的でない要素の状態が変動するユーザについても迅速に適正な認識を行うことができるようになる。
また、自動車の利用終了時に予め次回の自動車利用のシーンを推定し、推定したシーンのシーンデータを認識データサーバから取得しておくので、各回の自動車の利用開始時に、当該時点の自動車の利用のシーンのシーンデータを用いた登録ユーザの認識を、直ちに行えるようになる。
【００１２】
ここで、このような個人認識システムは、前記シーン推定手段において、少なくとも現在日時と前記自動車の現在位置に応じて、現在の自動車の利用のシーンを推定するように構成してもよい。
また、前記シーンデータ先行取得手段において、少なくとも現在日時と前記自動車の現在位置に応じて、次回の自動車の利用のシーンを推定するように構成してもよい。
【００１３】
また、このような個人認識システムは、前記認識用データベース更新手段において、自動車の利用の開始時に、前記記憶装置に、前記シーン推定手段が推定したシーンに対応するシーンデータが記憶されていない場合には、当該シーン推定手段が推定したシーンに対応するシーンデータを、移動通信を介して前記認識データサーバから取得し、取得したシーンデータに含まれる顔データを、前記認識用データベースに格納するように構成してもよい。
【００１４】
また、このような個人認識システムは、前記顔認識エンジンにおいて、前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であると認識するときに、併せて前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であることの尤度を算出すると共に、前記個人認識装置に、前記尤度が中間的なレベルの範囲内にあるときに、移動通信を介して前記認識データサーバから前記顔認識エンジンが認識した登録ユーザの各シーンのシーンデータに含まれる顔データを、一つのシーンデータにつき一つ取得し、取得した各顔データのうちに前記カメラが撮影した画像に含まれる顔または顔の特徴との整合度が所定のしきい値以上である顔データが含まれていない場合に、前記カメラが撮影した画像が表す顔または顔の特徴を表す顔データを、前移動通信を介して、前記認識データサーバに、前記顔認識エンジンが認識した登録ユーザの前記シーン推定手段が推定したシーンのシーンデータの顔データとして保管する顔データ保管手段を設けるようにしてもよい。
【００１５】
また、このような個人認識システムでは、前記顔認識エンジンにおいて、前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であると認識するときに、併せて前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であることの尤度を算出するようにすると共に、前記個人認識装置に、前記尤度が中間的なレベルの範囲内にあるときに、移動通信を介して前記認識データサーバから前記顔認識エンジンが認識した登録ユーザの各シーンのシーンデータに含まれる顔データを、一つのシーンデータにつき一つ取得し、取得した各顔データのうちに前記カメラが撮影した画像に含まれる顔または顔の特徴との整合度が所定のしきい値以上である顔データが含まれている場合に、前記整合度が所定のしきい値以上であった顔データが含まれていたシーンデータを、移動通信を介して前記認識データサーバから取得し、取得したシーンデータに含まれる顔データを、前記認識用データベースに格納するシーンデータ切替手段を設けるようにしてもよい。
【００１６】
また、本発明は、前記課題達成のために、ユーザを識別する個人認識システムに、ユーザの顔を撮影するカメラと、予め登録されているユーザである登録ユーザの顔または顔の特徴を表す顔データを１または複数格納した認識用データベースと、前記認識用データベースに格納された顔データを用いて、前記カメラが撮影した画像に含まれる顔が前記登録ユーザの顔であるか否かを認識する顔認識エンジンと、予め定めた複数のシーンについて、シーン毎に対応して設けられた、登録ユーザの１以上の顔データを含むシーンデータを格納した記憶装置と、現在のシーンを推定するシーン推定手段と、前記記憶装置に格納されている、前記シーン推定手段が推定したシーンに対応するシーンデータに含まれる顔データを、前記認識用データベースに格納する認識用データベース更新手段とを備えたものである。
【００１７】
このような個人認識システムによれば、自動車の登録ユーザに限らず、任意のシステムの登録ユーザについて、シーン毎に最適化した限定された数の顔データを用いて登録ユーザの認識を行うことができ、顔の外観の固定的でない要素の状態が変動するユーザについても迅速に適正な認識を行うことができるようになる。
【発明の効果】
【００１８】
以上のように、本発明によれば、顔の外観の固定的でない要素の状態が変動するユーザについても、迅速に適正な認識を行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る認証システムを示すブロック図である。
【図２】本発明の実施形態に係る認証データＤＢの内容を示す図である。
【図３】本発明の実施形態に係る車載システムを示すブロック図である。
【図４】本発明の実施形態に係るローカルＤＢと記憶装置の内容を示す図である。
【図５】本発明の実施形態に係るシーンデータ先行取得処理を示すフローチャートである。
【図６】本発明の実施形態に係る個人認証処理を示すフローチャートである。
【図７】本発明の実施形態に係るシーンデータ更新処理を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について説明する。
図１に、本実施形態に係る認証システムの構成を示す。
図示するように、認証システムは、各々自動車に搭載される車載システム１と、認証データセンタシステム２を備えており、各車載システム１は移動通信によりインターネットなどのＷＡＮ３を介して認証データセンタシステム２に接続することができる。
【００２１】
次に、認証データセンタシステム２は、認証データＤＢ（認証データデータベース）２１と認証データサーバ２２とを備えている。
ここで、図２に示すように、認証データＤＢ２１には、認証データセンタシステム２に登録されたユーザ毎に対応して設けられたユーザ認証データを有し、各ユーザ認証データには対応するユーザの識別情報であるユーザ識別情報とシーンデータセットが登録されている。そして、シーンデータセットには、通勤、旅行、近所のお出かけ等といった自動車の利用のシーン毎に対応して設けたシーンデータが登録され、各シーンデータには、対応するシーンを示すシーン識別情報と写真データセットが登録されている。そして、各写真データセットには、対応するユーザが対応するシーンにおいて取り得る顔の外観の固定的でない要素の状態のそれぞれに対応する、当該要素が対応する状態にあるときの当該対応するユーザの顔を撮影した写真を表す写真データが登録される。
【００２２】
ここで、顔の外観の固定的でない要素の状態とは、髪型の形態、眼鏡装着の有無、化粧の有無や態様、髭の程度などのユーザが変更可能な顔の状態である。
すなわち、たとえば、ユーザＸが「通勤」で自動車を利用する際に、常に眼鏡を装着し、Ａという髪型とＢという髪型のいずれかをしているのであれば、当該ユーザＸの「通勤」のシーンのシーンデータには、眼鏡を装着し髪型がＡであるユーザＸを撮影した写真を表す写真データと、眼鏡を装着し髪型がＢであるユーザＸを撮影した写真を表す写真データが登録される。
【００２３】
また、たとえば、ユーザＸが「旅行」で自動車を利用する際に、常にＢという髪型をし、眼鏡を装着したりしなかったりしているであれば、当該ユーザＸの「旅行」のシーンのシーンデータには、髪型がＢであり眼鏡を装着していないユーザＸを撮影した写真を表す写真データと、髪型がＢであり眼鏡を装着しているユーザＸを撮影した写真を表す写真データとが登録される。
【００２４】
また、写真データセットの先頭には、対応するシーンにおいて対応するユーザが最も大きな頻度で取る顔の外観の固定的でない要素の状態にあるときの当該対応するユーザを撮影した写真を表す写真データが登録され、当該先頭の写真データはシーンデータの代表写真データとして取り扱わられる。
【００２５】
次に、図３に示すように、各自動車に搭載される車載システム１は、運転席に着座したユーザの個人認証を行う個人認証装置１１、ナビゲーション装置１２、個人認証装置１１の認証結果を利用した処理を行う認証結果利用装置１３等を備えている。
【００２６】
そして、個人認証装置１１は、運転席に着座したユーザの顔を撮影するカメラ１１１、顔認識エンジン１１２、ローカルＤＢ（ローカルデータベース）１１３、記憶装置１１４、ＷＡＮ３を介して認証データサーバ２２と移動通信を行う無線通信装置１１５、制御装置１１６とを備えている。
【００２７】
ここで、図４ａに示すように、ローカルＤＢ１１３には、個人認証装置１１が搭載されている自動車のユーザとして登録されているユーザである登録ユーザの各々について、当該ユーザの顔を撮影した写真データが１以上格納される。
【００２８】
そして、顔認識エンジン１１２は、カメラ１１１が撮影した顔の画像と、ローカルＤＢ１１３に格納されている各写真データとを比較し、カメラ１１１が撮影した顔の画像と最も整合している顔を表す写真データを算定し、算定した写真データのユーザを認識ユーザとして出力すると共に、カメラ１１１が顔を撮影したユーザが認識ユーザである尤度を表すスコアを出力する顔認識を行う。なお、スコアは、カメラ１１１が撮影した顔の画像と最も整合した顔を表す写真データと、カメラ１１１が撮影した顔の画像との整合度として求める。
【００２９】
次に、図４ｂに示すように、記憶装置１１４には、個人認証装置１１が搭載されている自動車の登録ユーザの各々について、認証データセンタシステム２から取得した当該ユーザに対応するシーンデータが格納される。
【００３０】
また、記憶装置１１４には、次回利用時シーン推定ルールテーブルと、シーン推定ルールテーブルとが格納されている。
次回利用時シーン推定ルールテーブルには、出勤や旅行や近所のお出かけ等の自動車の利用のシーンの各々に対応するルールが登録されている。なお、次回利用時シーン推定ルールテーブルは、各回の自動車の利用終了時に、現在の状態がルールを満たすシーンを、次回の自動車利用時の自動車利用のシーンとして推定するために用いられる。
【００３１】
すなわち、たとえば、図示した例では、シーン「出勤」に対して、現在日時は18時-03時であり、現在位置は自宅であり、翌日は平日である」というルールが登録されており、シーン「旅行」に対して、「休日であり、現在位置は（自宅から）遠隔地である」というルールが登録されている。
【００３２】
次に、シーン推定ルールテーブルには、出勤や旅行や近所のお出かけ等の自動車の利用のシーンの各々に対応するルールが登録されている。なおシーン推定ルールテーブルは、各回の自動車の利用開始時に、現在の状態がルールを満たすシーンを、現在の自動車利用のシーンとして推定するために用いられる。
【００３３】
すなわち、たとえば、図示した例では、シーン「出勤」に対して、現在日時は06時-08時であり、現在位置は自宅であり、平日である」というルールが登録されており、シーン「旅行」に対して、「休日であり、現在位置は遠隔地である」というルールが登録されている。
【００３４】
以下、このような認証システムにおいて、車載システム１の制御装置１１６が行うシーンデータ先行取得処理について説明する。
図５に、このシーンデータ先行取得処理の手順を示す。
図示するように、個人認証装置１１の制御装置１１６はシーンデータ先行取得処理において、自動車の利用終了の発生を監視する（ステップ５０２）。
ここで、自動車の利用終了の検出は、自動車のエンジンオフかつパーキングブレーキオンの状態が発生したときや、自動車のアクセサリ電源オフかつパーキングブレーキオンの状態が発生したときに、自動車の利用終了の発生を検出することなどにより行う。
【００３５】
そして、自動車の利用終了が発生したならば（ステップ５０２）、次回利用時シーン推定ルールテーブルを用いて、現在の日時や曜日や現在位置の状態がルールを満たすシーンを、次回の自動車利用時の自動車利用のシーンとして１または複数推定する（ステップ５０４）。なお、現在の日時や曜日は内蔵した時計より、現在位置や自宅位置の情報はナビゲーション装置１２から取得する。
【００３６】
そして、次に、無線通信装置１１５を介して認証データサーバ２２にアクセスして、個人認証装置１１が搭載されている自動車の登録ユーザの各々の、推定した各シーンのシーンデータを取得し、記憶装置１１４に格納する（ステップ５０６）。
【００３７】
ここで、このシーンデータの取得は、制御装置１１６から登録ユーザを表すユーザ識別情報と、推定した各シーンを表すシーン識別情報とを含むシーンデータ要求を認証データサーバ２２に発行し、認証データサーバ２２において、シーンデータ要求に応答して、ユーザ識別情報が表すユーザのユーザ認証データのシーンデータセットの、シーン識別情報が示すシーンのシーンデータを認証データＤＢ２１より読み出して制御装置１１６に送信することにより行われる。
【００３８】
そして、シーンデータ先行取得処理を終了する。
以上、個人認証装置１１の制御装置１１６が行うシーンデータ先行取得処理について説明した。
なお、制御装置１１６は自動車から常時供給される常時電源を用いて動作し、自動車が利用されていない期間中に本シーンデータ先行取得処理を実行する。
次に、個人認証装置１１の制御装置１１６が行う個人認証処理について説明する。
ここで、この個人認証処理は、自動車のアクセサリ電源がオンとなると実行される処理である。
図６に、個人認証処理の手順を示す。
図示するように、制御装置１１６は、個人認証処理において、シーン推定ルールテーブルを用いて、現在の日時や曜日や現在位置の状態がルールを満たすシーンを、現在の自動車利用のシーンとして推定する（ステップ６０２）。
【００３９】
そして、自動車の各登録ユーザの推定したシーンのシーンデータが記憶装置１１４に格納されているかどうかを調べ（ステップ６０４）、格納されている場合には、自動車の各登録ユーザの推定したシーンのシーンデータに含まれる写真データセットの写真データをローカルＤＢ１１３にロードし、ロードした写真データにローカルＤＢ１１３の各登録ユーザの写真データを更新する（ステップ６０８）。
【００４０】
一方、自動車の各登録ユーザの推定したシーンのシーンデータが記憶装置１１４に格納されていない場合には、無線通信装置１１５を介して認証データサーバ２２にアクセスして、自動車の登録ユーザの各々の、推定した各シーンのシーンデータを取得した上で（ステップ６０６）、取得した各登録ユーザのシーンデータに含まれる写真データセットの写真データをローカルＤＢ１１３にロードし、ロードした写真データにローカルＤＢ１１３の各登録ユーザの写真データを更新する（ステップ６０８）。
【００４１】
そして、顔認識エンジン１１２に、顔認識を行わせる（ステップ６１０）。顔認識エンジン１１２は、上述のように顔認識において、カメラ１１１が撮影した顔の画像と、ローカルＤＢ１１３に格納されている各写真データとを比較し、カメラ１１１が撮影した画像の顔と最も整合している顔を表している写真データを算定し、算定した写真データのユーザを認識ユーザとして出力すると共に、認識ユーザの尤度をスコアとして出力する。なお、スコアＮ％は、認識ユーザがカメラ１１１で撮影したユーザである確率がＮ％であることを表す。
【００４２】
次に、顔認識エンジン１１２から出力されたスコアが９０％以上であるかどうかを調べ（ステップ６１２）、９０％以上であれば、顔認識エンジン１１２から出力された認識ユーザを認証ユーザとする認識結果を認証結果利用装置１３に出力し（ステップ６１４）、個人認証処理を終了する。
【００４３】
一方、顔認識エンジン１１２から出力されたスコアが９０％以上でない場合はスコアが７０％以上であるかどうかを調べ（ステップ６１６）、７０％以上であれば、顔認識エンジン１１２から出力された認識ユーザを認証ユーザとする認識結果を認証結果利用装置１３に出力し（ステップ６１８）、後述するシーンデータ更新処理を実行し（ステップ６２０）、個人認証処理を終了する。
【００４４】
そして、顔認識エンジン１１２から出力されたスコアが７０％以上でない場合は、認証失敗を認証結果として認証結果利用装置１３に出力し（ステップ６２２）、個人認証処理を終了する。
【００４５】
以上、個人認証装置１１の制御装置１１６が行う個人認証処理について説明した。
ここで、このようにして個人認証処理によって制御装置１１６から出力された認証結果を受け取った認証結果利用装置１３は、たとえば、認証ユーザを表す認証結果が出力されるまで自動車のエンジンの始動を抑止するなどして自動車を利用できないようにするセキュリティ処理や、認証結果が表す認証ユーザに対して予め登録されている環境（シート位置や姿勢などの運転環境や、自動車に搭載された音響装置の音響環境）を設定するパーソナライズ処理を行う。
【００４６】
次に、個人認証処理のステップ６２０で制御装置１１６が行うシーンデータ更新処理について説明する。
図７に、このシーンデータ更新処理の手順を示す。
図示するように制御装置１１６は、シーンデータ更新処理において、まず、無線通信装置１１５を介して認証データサーバ２２にアクセスして、認識ユーザの各シーンのシーンデータの代表写真データを取得する（ステップ７０２）。
【００４７】
ここで、この代表写真データの取得は、制御装置１１６から認識ユーザを表すユーザ識別情報を含む代表写真データ要求を認証データサーバ２２に発行し、認証データサーバ２２において、代表写真データ要求に応答して、ユーザ識別情報が表すユーザのユーザ認証データのシーンデータセットの各シーンデータの先頭に登録されている写真データである代表写真データを認証データＤＢ２１より読み出して、各代表写真データと当該代表写真データが登録されていたシーンデータのシーンとの対応を表す対応シーン情報と共に制御装置１１６に送信することにより行われる。
【００４８】
そして、取得した各代表写真データでローカルＤＢ１１３にロードし、ローカルＤＢ１１３の写真データを更新し（ステップ７０４）、顔認識エンジン１１２に顔認識を行わせる（ステップ７０６）。
【００４９】
次に、顔認識エンジン１１２から出力されたスコアが９０％以上であるかどうかを調べ（ステップ７０８）、９０％以上であれば、顔認識エンジン１１２が算定した、カメラ１１１が撮影した顔の画像と最も整合している代表写真データの識別を示す写真識別情報を顔認識エンジン１１２から取得する。ここで、顔認識エンジン１１２から出力されたスコアは、カメラ１１１が撮影した顔の画像と最も整合している代表写真データと、カメラ１１１が撮影した顔の画像との整合度を表すものとなる。
そして、無線通信装置１１５を介して認証データサーバ２２にアクセスして、認識ユーザの、写真識別情報が示す代表写真データに対応するシーンのシーンデータを取得し、取得したシーンデータの写真データをローカルＤＢ１１３にロードし、ローカルＤＢ１１３の写真データを更新する（ステップ７１０）。なお、写真識別情報が示す代表写真データに対応するシーンは、上述した対応シーン情報によって示される。
【００５０】
ここで、写真識別情報が示す代表写真データに対応するシーンのシーンデータの取得は、制御装置１１６から認識ユーザを表すユーザ識別情報と、写真識別情報が示す代表写真データに対応するシーンを表すシーン識別情報とを含むシーンデータ要求を認証データサーバ２２に発行し、認証データサーバ２２において、シーンデータ要求に応答して、ユーザ識別情報が表すユーザのユーザ認証データのシーンデータセットの、シーン識別情報が示すシーンのシーンデータを認証データＤＢ２１より読み出して制御装置１１６に送信することにより行われる。
【００５１】
そして、シーンデータ更新処理を終了する。
一方、顔認識エンジン１１２から出力されたスコアが９０％以上でなければ、無線通信装置１１５を介して認証データサーバ２２にカメラ１１１で撮影した写真データをアップロードして、認証データＤＢ２１の認識ユーザの、シーンデータセットの、個人認証処理のステップ６０２で推定した現在の自動車利用のシーンのシーンデータにカメラ１１１で撮影した写真データを追加登録する（ステップ７１２）。
【００５２】
ここで、この写真データの追加登録は、制御装置１１６から認識ユーザを表すユーザ識別情報と、現在の自動車利用のシーンを表すシーン識別情報と、カメラ１１１で撮影した写真データを含む写真データ登録要求を認証データサーバ２２に発行し、認証データサーバ２２において、写真データ登録要求に応答して、ユーザ識別情報が表すユーザのユーザ認証データの、シーンデータセットのシーン識別情報が示すシーンのシーンデータに、写真データを登録することにより行われる。
【００５３】
そして、シーンデータ更新処理を終了する。
以上、本発明の実施形態について説明した。
以上のように本実施形態によれば、自動車の利用のシーン毎に、当該シーンにおいて自動車を利用する際に、登録ユーザが呈することのある外観を撮影した写真データのみを登録したシーンデータを用意し、各回の自動車の利用開始時に自動車の利用のシーンを推定し、推定したシーンのシーンデータの写真データを用いて、カメラ１１１が撮影した顔が登録ユーザであるか否かの認識を行う。
【００５４】
よって、シーン毎に最適化した限定された数の写真データを用いて登録ユーザの認識を行うことができ、顔の外観の固定的でない要素の状態が変動するユーザについても適正に迅速な認識を行うことができるようになる。
また、自動車の利用終了時に予め次回の自動車利用時のシーンを推定し、推定したシーンのシーンデータをダウンロードしておくので、各回の自動車の利用開始時に、当該時点の自動車の利用のシーンのシーンデータを用いた登録ユーザの認識を、直ちに行えるようになる。
【００５５】
ところで、以上の実施形態は、認証データＤＢ２１の各ユーザ認証データの各シーンデータセットの各シーンデータの写真データに代えて、当該写真データの写真が表す顔の特徴を示す顔特徴データを用いるようにしてもよい。なお、この場合の認証システムの動作は、以上の動作において、写真データを顔特徴データに置換したものとなる。ただし、この場合には、顔認識エンジン１１２は上述した顔認識として、カメラ１１１が撮影した画像が示す顔の特徴と、ローカルＤＢ１１３に格納されている顔特徴データとを比較し、カメラ１１１が撮影した顔の画像の特徴と最も整合している顔特徴データを算定し、算定した顔特徴データのユーザを認識ユーザとして出力すると共に、認識ユーザの尤度をスコアとして出力するようにする。
【００５６】
また、以上の認証システムは、自動車の運転席に着座したユーザを認証する用途以外の任意の用途に適用することができる。すなわち、たとえば、以上の認証システムは、カメラ１１１をドアの前に立ったユーザを撮影するものとし、認証結果利用装置１３を認証結果に応じてドアの鍵の解錠を行う装置とすればキーレスドアシステムを構成することができる。
【００５７】
また、以上の実施形態では、認証データセンタシステム２の認証データＤＢ２１にユーザ認証データを保管し、個人認証装置１１の制御装置１１６において、当該個人認証装置１１が搭載された自動車の登録ユーザのシーンデータを認証データセンタシステム２から取得するようにしたが、自動車の登録ユーザのユーザ認証データは、当該自動車に搭載された個人認証装置１１の記憶装置１１４に保管するようにしてもよい。なお、この場合、個人認証装置１１の制御装置１１６において、上述したシーンデータ先行取得処理は、これを行う必要はない。
【符号の説明】
【００５８】
１…車載システム、２…認証データセンタシステム、３…ＷＡＮ、１１…個人認証装置、１２…ナビゲーション装置、１３…認証結果利用装置、２１…認証データＤＢ、２２…認証データサーバ、１１１…カメラ、１１２…顔認識エンジン、１１３…ローカルＤＢ、１１４…記憶装置、１１５…無線通信装置、１１６…制御装置。
【図１】
2018151709.tif 000003
【図２】
2018151709.tif 000004
【図３】
2018151709.tif 000005
【図４】
2018151709.tif 000006
【図５】
2018151709.tif 000007
【図６】
2018151709.tif 000008
【図７】
2018151709.tif 000009