(57)【特許請求の範囲】
【請求項１】
対象者の顔画像を取得し、上記顔画像と予め記憶された参照画像とを比較して上記対象者の認識を行う顔認識装置において、
上記対象者の運転操作の状況に応じた運転操作状況情報として方向指示器操作信号の有無に関する情報を生成する運転操作状況情報生成手段と、
上記運転操作状況情報に基づいて上記参照画像の記憶処理の開始を判断する参照画像情報記憶判断手段と、
上記参照画像情報記憶判断手段が開始と判断したとき、上記顔画像を取得する第１の顔画像取得手段と、
上記顔画像の顔角度に関する情報である顔角度情報を生成する顔角度情報生成手段と、
上記顔画像を上記顔角度情報と対応させて上記参照画像情報として記憶する参照画像情報記憶手段とを備えた
ことを特徴とする顔認識装置。
【請求項２】
車内の状況に応じた車内状況情報を生成する車内状況情報生成手段と、
上記車内状況情報に基づいて上記顔画像を取得する第２の顔画像取得手段とを有する
ことを特徴とする請求項１に記載の顔認識装置。
【請求項３】
上記参照画像情報記憶手段は、上記顔角度情報に基づいて、上記顔角度が予め定めた所定角であるときに上記顔画像を上記参照画像情報として記憶する
ことを特徴とする請求項１または２に記載の顔認識装置。
【請求項４】
上記参照画像情報記憶手段は、上記顔角度情報に基づいて、上記顔角度の移動角度が予め定めた角度より大きいときに上記顔画像を上記参照画像情報として記憶する
ことを特徴とする請求項１または２に記載の顔認識装置。
【請求項５】
上記車内状況情報は、シートベルト装着の有無に関する情報、シート上の荷重の状況に関する情報、車内の乗員配置の状況に関する情報の少なくともいずれかである
ことを特徴とする請求項２乃至４のいずれかに記載の顔認識装置。
【請求項６】
上記対象者を識別する情報である対象者ＩＤが入力されたとき、上記対象者ＩＤを記憶する運転者ＩＤ登録手段を有する
ことを特徴とする請求項１乃至５のいずれかに記載の顔認識装置。
【請求項７】
対象者の顔画像を取得し、上記顔画像と予め記憶された参照画像とを比較して上記対象者の認識を行う顔認識装置における顔認識方法において、
上記顔認識装置が、上記対象者の運転操作の状況に応じた運転操作状況情報として方向指示器操作信号の有無に関する情報を生成する運転操作状況情報生成ステップと、
上記顔認識装置が、上記運転操作状況情報に基づいて上記参照画像の記憶処理の開始を判断する参照画像情報記憶判断ステップと、
上記顔認識装置が、上記参照画像情報記憶判断手段が開始と判断したとき、上記顔画像を取得する顔画像取得ステップと、
上記顔認識装置が、上記顔画像の顔角度に関する情報である顔角度情報を生成する顔角度情報生成ステップと、
上記顔認識装置が、上記顔画像を上記顔角度情報と対応させて上記参照画像情報として記憶する参照画像情報記憶ステップとを有する
ことを特徴とする顔認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象者の顔画像を取得し、上記顔画像と予め記憶された参照画像情報とを比較して上記対象者の認識を行う顔認識装置および顔認識方法に関するものである。
【背景技術】
【０００２】
今後、様々なシステムにおいて、個人特定を行い、ユーザごとに最適化されたサービスの提供が行われると思われ、その個人特定をユーザの負荷なく実現できる技術として顔認識があげられる。
【０００３】
このような顔認識において、認識率を向上させるために、対象者が顔や体を動かした状態で、複数の参照画像を撮影しておき、この複数の参照画像と、撮影した顔画像とを比較する技術が開示されている。
【特許文献１】特開２００４−１５７７７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、このような従来技術においては、複数の参照画像を記憶するために、対象者自身が顔あるいは身体を動かす必要があり、対象者に煩わしさを与えてしまう。
【０００５】
本発明は、上述の課題を解決するためになされたものであり、対象者に煩わしさを与えることなく複数の参照画像を記憶することができる顔認識装置および顔認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この目的を達成するため、本発明においては、運転操作状況情報として方向指示器操作信号の有無に関する情報を生成する運転操作状況情報生成手段と、上記運転操作状況情報から上記参照画像の記憶処理の開始を判断する参照画像情報記憶判断手段と、上記参照画像情報記憶判断手段が開始と判断したとき、上記顔画像と顔角度情報とを生成する顔角度情報生成手段と、上記顔画像を上記参照画像情報として記憶する参照画像情報記憶手段とを設ける。
【発明の効果】
【０００７】
本発明に係る車両用表示装置および車両用表示方法においては、対象者が何も操作を行わなくとも、所定の方向を向いた顔の顔画像を参照画像情報として記憶するから、対象者に煩わしさを与えることなく複数の参照画像を記憶することができる。
【発明を実施するための最良の形態】
【０００８】
（実施の形態１）
最初に、図１を用いて、本発明の実施の形態１に係る顔認識装置の構成について説明する。図に示すように、この顔認識装置は、撮影部１０１、照明部１０２、表示部１０３、通信網１１３および処理部１１６を備えている。処理部１１６は、車内状況情報生成部１０４（車内状況情報生成手段）、顔画像取得部１０５（第２の顔画像取得手段）、特微量抽出部１０６、認識部１０７、運転操作状況情報生成部１０８（運転操作状況情報生成手段）、参照画像情報記憶判断部１０９（参照画像情報記憶判断手段）、顔角度情報生成部１１０（顔角度情報生成手段）、参照画像情報記憶部１１１（参照画像情報記憶手段）、参照画像情報記憶部１１２および顔画像取得、保存部１１７（第１の顔画像取得手段）を備えている。また、運転者１１４（対象者）は、自車両１１５に乗車している。
【０００９】
撮影部１０１は、運転者１１４の顔画像を撮影して入力するものであり、たとえば、ＣＣＤ（Charge Coupled Device：電荷結合素子）、ＣＭＯＳ（Complementary  Metal Oxide Semiconductor）等の撮影素子、光学レンズ、通信インターフェイス等を備え、処理部１１６に接続可能で、撮影した画像を電子データの形態で出力することができるものであれば、静止画を撮影するデジタルスチルカメラや動画を撮影するデジタルビデオカメラであってもよく、いかなる形態のものであってもよい。
【００１０】
照明部１０２は、撮影部１０１の近傍（たとえば、撮影部１０１の側部）から運転者１１４の顔に向けて一定の照度で光を照射する蛍光灯等の照明器具である。また、この照明部１０２は、運転者１１４に眩感を与えない光源を用いている。
【００１１】
表示部１０３は、撮影部１０１により撮影された運転者１１４の顔画像や各種メッセージ、処理結果等を表示するものであり、たとえば、ＣＲＴ、液晶ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイである。
【００１２】
通信網１１３は、インターネット、公衆網、専用線、移動体通信網、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ケーブル等の通信網である。処理部１１６は、車両用表示装置の主体的な動作を行う。
【００１３】
車内状況情報生成部１０４は、車内の状況（たとえば、シートベルト装着の有無、シート上の荷重の状況、車内の乗員配置等の状況）に応じた車内状況情報を生成する。この車内状況情報生成部１０４は、たとえばシートベルトのセンサ、シートの荷重センサ、接触・非接触の車内の状況検出センサである。
【００１４】
顔画像取得部１０５は、車内状況情報生成部１０４により生成された車内状況情報に基づいて顔画像を取得するものであり、撮影部１０１により撮影された顔画像を通信網１１３を介して取得する。
【００１５】
特微量抽出部１０６は、顔認識に用いる顔の特微量として、目、口、耳、鼻等の部位の特微量を抽出する。なお、顔認識に用いる顔の特微量を抽出する対象となる部位は、生物学的な特徴を利用して本人を確認することができるものであれば、顔のいかなる部位であってもよい。
【００１６】
認識部１０７は、特微量抽出部１０６により抽出された特微量と、参照画像情報記憶部１１２に記憶された参照画像情報から抽出した特微量とを比較して、顔認識を行う。この比較において、この認識部１０７は、認識スコアを算出する。なお、認識スコアを算出する場合のパターンマッチング方法としては、たとえば正規化した相互相関を使用する方法が知られているが、これに限らず、認識スコアを算出することができるものであれば、いかなるパターンマッチング方法を使用してもよい。
【００１７】
運転操作状況情報生成部１０８は、運転操作の状況（たとえば、方向指示器操作信号の有無、バック操作信号の有無、ハンドル操作の有無、顔を向けると想定されるスイッチ操作等の操作の有無、これらの複合操作の有無）に応じた運転操作状況情報を生成する。
【００１８】
参照画像情報記憶判断部１０９は、運転操作状況情報生成部１０８により生成された運転操作状況情報に基づいて参照画像の参照画像情報記憶部１１２への記憶処理の開始を判断する。
【００１９】
顔画像取得、保存部１１７は、参照画像情報記憶判断部１０９が開始と判断したとき、顔画像を取得し、保存する機能を有しており、撮影部１０１により撮影された顔画像を通信網１１３を介して取得する。また、この顔画像取得、保存部１１７は、顔画像（収集画像）から顔部分を切り出した候補画像を取得する。顔角度情報生成部１１０は、顔画像に基づいて、顔画像の運転者１１４の顔角度に関する情報である顔角度情報を生成する。
【００２０】
参照画像情報記憶部１１１は、顔画像を顔角度情報と対応させて参照画像情報として参照画像情報記憶部１１２に記憶する。また、この参照画像情報記憶部１１１は、参照画像情報記憶部１１２の設定により、ある指定枚数の参照画像を記憶する場合、参照画像が指定枚数以上か否かを判断し、参照画像が指定枚数以上であるとき、一番古い参照画像情報を削除し、常に最新の参照画像情報が残されるように構成する。
【００２１】
参照画像情報記憶部１１２は、データを格納する機能を有しており、メモリやハードディスクによって構成される。この参照画像情報記憶部１１２は、少なくとも参照画像情報を記憶している。
【００２２】
運転者１１４は、撮影部１０１により撮影される対象となる者である。自車両１１５には、車両用表示装置が備えられている。
【００２３】
続いて、図２を用いて、本発明の実施の形態１に係る顔認識装置における処理すなわち顔認識方法のフローチャートについて説明する。
【００２４】
まず、車内状況情報生成部１０４は、シートベルト装着の有無を検出し、シートベルト装着の有無に応じた車内状況情報を生成する（ステップＳ２０１）。つぎに、この車内状況情報にシートベルト装着の有の情報が含まれている場合には（ステップＳ２０２）、顔画像取得部１０５が運転者１１４の顔画像を取得し、認識部１０７がその顔画像を使用して運転者１１４を特定する（ステップＳ２０３）。これは、シートベルトが装着されているときは、運転者１１４を継続して撮影できる状態にあると推定できるからである。
【００２５】
一方、この車内状況情報にシートベルト装着の無の情報が含まれている場合には（ステップＳ２０２）、顔画像取得部１０５と認識部１０７は何も行わない（ステップＳ２０２）。これは、運転者１１４を継続して撮影できる状態にないと推定できるからである。
【００２６】
つぎに、運転操作状況情報生成部１０８は、方向指示器操作信号の有無を検出し、方向指示器操作信号の有無に応じた運転操作状況情報を生成する（ステップＳ２０４、運転操作状況情報生成ステップ）。つぎに、方向指示器操作信号が無から有に変わった場合（ステップＳ２０５）、方向指示器の操作が開始されたと認識し、参照画像情報記憶判断部１０９は参照画像の参照画像情報記憶部１１２への記憶処理の開始を判断する（ステップＳ２０６、参照画像情報記憶判断ステップ）。
【００２７】
つぎに、参照画像情報記憶判断部１０９が参照画像の記憶処理の開始を判断したとき、顔画像取得、保存部１１７は運転者１１４の顔画像を取得、保存する（ステップＳ２０７）。ここで、方向指示器操作信号が有のまま（方向指示器の操作中）である限り（ステップＳ２０８）、顔画像取得、保存部１１７は運転者１１４の顔画像を一定周期で取得、保存する（ステップＳ２０７）。
【００２８】
つぎに、顔角度情報生成部１１０は、顔画像の顔角度に関する情報である顔角度情報を生成する（ステップＳ２０９、ステップＳ２１０、顔角度情報生成ステップ）。なお、顔角度の算出方法は、顔画像に基づいて顔角度を算出することができる方法であれば、いかなる方法を使用してもよい。
【００２９】
ここで、顔角度情報生成部１１０が顔角度情報を生成することができる場合（ステップＳ２０９）、顔画像取得、保存部１１７が顔画像から顔部分を切り出す（ステップＳ２１１）。以下、顔画像取得、保存部１１７により切り出された顔部分の画像を「候補画像」という。
【００３０】
一方、顔角度情報生成部１１０が顔角度情報を生成することができない場合（たとえば、顔が横を向いていくことにより、顔画像に基づいて顔角度を算出できない場合、ステップＳ２０９）、顔角度情報生成部１１０は顔画像取得部１０５により一定周期で取得された顔画像から顔角度の移動角度と移動時間を算出し、顔角度の移動角度と移動時間から平均移動角度を算出し、これを顔角度の移動角度と移動時間が算出することができなくなるまで行う（ステップＳ２１２）。顔角度情報生成部１１０が顔角度情報を生成することができない顔画像については、この平均移動角度、直近に生成できたときの顔角度情報および直近に顔角度情報を生成できたときから顔角度情報を生成することができなくなったときまでの経過時間に基づいて顔角度を算出して顔角度情報として使用し（ステップＳ２１３）、顔画像取得、保存部１１７が顔部分を切り出す（ステップＳ２１１）。ここで、顔角度情報生成部１１０による顔角度情報の生成は、顔角度の移動角度が所定の角度以下になったとき、顔の向きが停止したとしてそれ以降の顔画像については行わない。
【００３１】
つぎに、候補画像について、輝度値の最大値を算出し、最大値が規定値より大きいものは、参照画像情報として不適切のため、参照画像情報記憶部１１１が候補画象から削除する（ステップＳ２１４）。輝度値の規定値の設定については、顔画像の撮影環境により変化するため、一概にはいえないが、一例として、顔画像の一部に光が入っている場合に不適切な参照画像となり、このような顔画像と正常な参照画像を認識できるような値を設定する。
【００３２】
つぎに、参照画像情報記憶部１１１は、今回の参照画像情報の登録と前回の参照画像情報の登録との時間間隔が開いた場合（ステップＳ２１５）、候補画像を参照画像情報として所定の顔角度に対応した参照画像情報記憶部１１２に記憶する（ステップＳ２１６、参照画像情報記憶ステップ）。ここで、今回の参照画像情報の登録と前回の参照画像情報の登録との時間間隔が開いた場合に、候補画像を参照画像情報としてするのは、これまで記憶された参照画像情報とは表情が違うと考えられるためである。
【００３３】
一方、参照画像情報記憶部１１１は、今回の参照画像情報の登録と前回の参照画像情報の登録との時間間隔が開いていない場合（ステップＳ２１５）、候補画像を参照画像情報として所定の顔角度に対応した参照画像情報記憶部１１２に記憶しない（ステップＳ２１５）。ここで、時間間隔が開いているか否かの基準となる時間間隔は、任意に設定可能である。また、参照画像情報記憶部１１２には、参照画像情報が顔角度情報と時系列情報の２次元で記憶されている。記憶する参照画像情報の顔角度間隔については、撮影する顔画像の解像度、大きさ、処理能力等に依存する。
【００３４】
なお、本実施の形態において、参照画像情報記憶部１１１は、今回の参照画像情報の登録と前回の参照画像情報の登録との時間間隔が開いた場合にのみ、候補画像を参照画像情報として顔角度に対応した参照画像情報記憶部１１２に記憶しているが、これに代えて、顔認識を行った場合の本人一致度が低くなった場合にのみ、候補画像を参照画像情報として顔角度に対応した参照画像情報記憶部１１２に記憶するようにしてもよい。これは、顔認識を行った場合の本人一致度が低くなった場合も、これまで記憶された参照画像情報とは表情が違うと考えられるためである。
【００３５】
つぎに、参照画像情報記憶部１１１は、参照画像情報記憶部１１２の設定により、ある指定枚数の参照画像を記憶する場合、参照画像が指定枚数以上か否かを判断する（ステップＳ２１７）。つぎに、参照画像情報記憶部１１１により参照画像が指定枚数以上であると判断された場合、参照画像情報記憶部１１１は、一番古い参照画像情報を削除し、常に最新の参照画像情報が残されるように構成する（ステップＳ２１８）。一方、参照画像情報記憶部１１１により参照画像が指定枚数以上でないと判断された場合、一番古い参照画像情報を削除しない。
【００３６】
つぎに、参照画像情報記憶部１１１は、全ての顔画像の処理が終了したか否かを判断し、全ての顔画像の処理が終了した場合には、参照画像記憶処理は終了し、全ての顔画像の処理が終了しない場合には、ステップＳ２０９の処理に戻る（ステップＳ２１９）。
【００３７】
上述した本発明に係る顔認識装置および顔認識方法においては、運転者１１４が何も操作を行わなくとも、所定の方向を向いた顔の顔画像を参照画像情報として記憶するから、運転者１１４に煩わしさを与えることなく複数の参照画像を記憶することができる。
【００３８】
（実施の形態２）
続いて、図３を用いて、本発明の実施の形態２に係る顔認識装置の構成について説明する。本実施の形態に係る顔認識装置の構成は、顔画像取得、保存部３０１（第１の顔画像取得手段）、認識部３０２、参照画像情報記憶部３０３およびグループ分け部３０４以外は本発明の実施の形態１に係るものと同様である。このため、ここでは顔画像取得、保存部３０１、認識部３０２、参照画像情報記憶部３０３およびグループ分け部３０４の構成要素について説明する。
【００３９】
顔画像取得、保存部３０１は、参照画像情報記憶判断部１０９が開始と判断したとき、顔画像を取得し、保存するとともに、顔画像に対応して、車内状況情報生成部１０４が検出したシートベルト装着状態を保存する。グループ分け部３０４は、シートベルト装着状態から、運転者１１４を継続して撮影している状態にある顔画像ごとに、グループ分けする。認識部３０２は、グループ分け部３０４によりグループ分けされたグループの顔画像の先頭から、顔認識を行い、運転者１１４を特定する。参照画像情報記憶部３０３は、グループ分け部３０４によりグループ分けされた全てのグループについての操作が終了したか否かを判断する。
【００４０】
続いて、図４を用いて、本発明の実施の形態２に係る顔認識装置における処理すなわち顔認識方法のフローチャートについて説明する。
【００４１】
本実施の形態に係る顔認識装置における処理は、ステップＳ４０１〜Ｓ４０４以外のステップについては上述した本発明の実施の形態１に係る顔認識装置における処理のものと同様であるため、ここでは説明を省略する。
【００４２】
参照画像情報記憶判断部１０９が開始と判断したとき、顔画像取得、保存部３０１は、顔画像を取得し、保存する（ステップＳ２０７）。つぎに、車内状況情報生成部１０４は、シートベルト装着状態を検出し、シートベルト装着状態に応じた車内状況情報を生成し（ステップＳ２０１）、顔画像取得、保存部３０１は、顔画像に対応してシートベルト装着状態を保存する（ステップＳ４０１）。そして、方向指示器操作信号が有のままである限り（ステップＳ２０８）、顔画像取得、保存部３０１は運転者１１４の顔画像を一定周期で取得、保存し、顔画像に対応してシートベルト装着状態を保存する。
【００４３】
つぎに、グループ分け部３０４は、シートベルト装着状態から、同一の運転者１１４を継続して撮影している状態にある画像ごとに、グループ分けする（ステップＳ４０２）。つぎに、認識部３０２は、それぞれのグループの顔画像の先頭から、顔認識を行い、運転者１１４を特定する（ステップＳ４０３）。つぎに、顔角度情報生成部１１０は、顔画像の顔角度に関する情報である顔角度情報を生成する。
【００４４】
また、参照画像情報記憶部３０３は、全ての顔画像の処理が終了したか否かを判断し（ステップＳ２１９）、全ての顔画像の処理が終了した場合には、さらにグループ分け部３０４によりグループ分けされた全てのグループについての操作が終了したか否かを判断し、全てのグループについての操作が終了した場合には、参照画像記憶処理は終了し、全てのグループについての操作が終了しない場合には、ステップＳ２０９の処理に戻る（ステップＳ４０４）。
【００４５】
上述した本発明に係る顔認識装置および顔認識方法においては、顔画像をシートベルト装着状態に応じてグループ分けするから、複数の運転者１１４の参照画像情報を効率よく記憶することができる。
【００４６】
（実施の形態３）
続いて、図５を用いて、本発明の実施の形態３に係る顔認識装置の構成について説明する。本実施の形態に係る顔認識装置の構成は、顔画像取得部５０１（第１の顔画像取得手段）、顔画像保存判断部５０２以外は本発明の実施の形態２に係るものと同様である。このため、ここでは顔画像取得部５０１および顔画像保存判断部５０２の構成要素について説明する。
【００４７】
顔画像取得部５０１は、参照画像情報記憶判断部１０９が開始と判断したとき、顔画像を取得する。顔画像保存判断部５０２は、顔画像取得部５０１により取得された顔画像から顔角度の移動角度を算出し、移動角度が大きいときには、その顔画像を保存する。ここで、移動角度とは、参照画像情報記憶部１１２に記憶された運転者１１４の最新の参照画像の顔角度と顔画像取得部５０１により今回取得された顔画像の顔角度との角度の差のことである。
【００４８】
続いて、図６を用いて、本発明の実施の形態３に係る顔認識装置における処理すなわち顔認識方法のフローチャートについて説明する。
【００４９】
本実施の形態に係る顔認識装置における処理は、ステップＳ６０１〜Ｓ６０４以外のステップについては上述した本発明の実施の形態２に係る顔認識装置における処理のものと同様であるため、ここでは説明を省略する。
【００５０】
顔画像取得部５０１は、参照画像情報記憶判断部１０９が開始と判断したとき、顔画像を取得する（ステップＳ６０１）。つぎに、顔角度情報生成部１１０が顔画像の顔角度を算出する（ステップＳ６０２）。つぎに、顔画像保存判断部５０２は、顔画像取得部５０１により取得された顔画像から顔角度の移動角度を算出し、移動角度が所定値よりも大きいときには（ステップＳ６０３）、その顔画像を保存する（ステップＳ６０４）。一方、移動角度が所定値よりも大きくないときには、ステップＳ６０１の処理に戻る（ステップＳ６０３）。
【００５１】
上述した本発明に係る顔認識装置および顔認識方法においては、顔角度の変化が大きかったときに顔画像を保存するため、効率的に参照画像情報記憶部１１２の容量を管理することができる。
【００５２】
（実施の形態４）
続いて、図７を用いて、本発明の実施の形態４に係る顔認識装置の構成について説明する。本実施の形態に係る顔認識装置の構成は、運転者ＩＤ登録部７０１以外は本発明の実施の形態１に係るものと同様である。このため、ここでは運転者ＩＤ登録部７０１の構成要素について説明する。
【００５３】
運転者ＩＤ登録部７０１は、運転者１１４を識別する情報である運転者ＩＤ（対象者ＩＤ）が入力されたとき、運転者ＩＤを記憶する。
【００５４】
続いて、図８を用いて、本発明の実施の形態４に係る顔認識装置における処理すなわち顔認識方法のフローチャートについて説明する。
【００５５】
ここで、本実施の形態に係る顔認識装置における処理は、運転者ＩＤが入力されないときの処理は実施の形態１の図２に示す処理と同様である。そして、運転者ＩＤが入力されたときには、図８に示す処理が行なわれる。また、図８に示す処理においては、ステップＳ８０１以外のステップについては図２に示す処理のものと同様であるため、ここでは説明を省略する。
【００５６】
まず、運転者ＩＤ登録部７０１は、運転者ＩＤが入力されたとき、運転者ＩＤを記憶する（ステップＳ８０１）。つぎに、運転操作状況情報生成部１０８は、方向指示器操作信号の有無を検出し、方向指示器操作信号の有無に応じた運転操作状況情報を生成する（ステップＳ２０４）。なお、参照画像情報記憶部１１１は参照画像情報を運転者ＩＤに対応して記憶する。
【００５７】
上述した本発明に係る顔認識装置および顔認識方法においては、効率的に新規の運転者１１４の参照画像情報を登録することができる。
【００５８】
なお、上述した本発明の実施の形態１〜３においては、運転者１１４が顔を向けると想定されている場面の参照画像情報の登録しか特に述べていないが、それ以外の場面の参照画像情報についても、参照画像情報が一定期間以上更新されていないものは、順次参照画像情報として更新してもよい。また、運転者１１４の顔認識において本人一致度が比較的低いものについては、通常の表情とは違うと考えられるため、この参照画像情報についても更新していくことで様々な表情にも対応することができる。
【００５９】
また、上述した本発明の実施の形態２においては、参照画像情報記憶部３０３が、移動角度が予め定めた角度より大きいときに顔画像を参照画像情報として記憶したが、顔角度が予め定めた所定角であるときに顔画像を参照画像情報として記憶してもよい。
【００６０】
また、上述した本発明の実施の形態１〜３においては、顔画像の取得、顔角度情報の生成、参照画像情報の登録を一連の作業で行っているが、これに限らず、顔画像の取得、顔角度情報の生成、参照画像情報の登録を別々に行ってもよい。また、顔画像の取得を予め行っておき、処理能力に余裕があるときに顔角度情報の生成、参照画像情報の登録を行ったり、取得された顔画像を別の処理部１１６に転送し、顔角度情報を生成する等、柔軟な構成をとることができる。
【００６１】
また、上述した本発明の実施の形態１〜３においては、運転者１１４を継続して撮影できる状態にあると推定できる要素の一例として、シートベルトが装着されている状態をあげたが、これに限らず、シートにあるセンサによりシートに座っている状態が継続しているという状態や、接触もしくは非接触の車内状態センサ等により、運転者１１４がその場所から移動していないということがわかる状態としてもよい。
【００６２】
この場合、シート上の荷重の状況、車内の乗員配置の状況に応じて継続して撮影できる状態にあるか否かを推定することができる。
【００６３】
また、上述した本発明の実施の形態１〜３においては、顔を他の向きに向けると想定される状態を検出する対象の一例として方向指示器操作の有無をあげたが、これに限らず、顔を向けると想定される操作の有無に関する情報であればいかなる情報であってもよく、たとえばバック操作信号の有無、ハンドル操作の有無（たとえば、ハンドル操作を設定値以上回転させたときを顔を他の向きに向けると想定される状態として検出する）、顔を向けると想定されるスイッチ操作の有無、これらの組み合わせ（たとえば、方向指示器操作を出し、ハンドル操作を設定値以上回転させたときを顔を他の向きに向けると想定される状態として検出する）であってもよい。
【００６４】
この場合、バック操作信号の有無、ハンドル操作の有無、顔を向けると想定されるスイッチ操作の有無等の顔を向けると想定される操作の有無に応じて顔を向けると想定される操作か否かを検出することができる。
【００６５】
また、上述した本発明の実施の形態１〜３においては、運転者１１４の参照画像情報を記憶する期間の一例として方向指示器操作を出している間をあげたが、これに限らず、顔画像の取得時間（たとえば、一定期間の取得時間）によっては一定量の参照画像情報をサイクリックに記憶してもよい。
【００６６】
また、上述した本発明の実施の形態１〜３においては、運転者１１４を継続して撮影している情報を保持もしくは記憶しているが、これに限らず、明らかに運転者１１４がシートベルトの装着を変更していない状況である場合は、運転者１１４を継続して撮影している情報を保持もしくは記憶しなくてもよい。
【００６７】
また、上述した本発明の実施の形態１〜３においては、候補画象を参照画像情報として記憶しているが、これに限らず、顔画像取得、保存部１１７、３０１、顔画像取得部５０１により取得された顔画像を参照画像情報として記憶してもよい。
【００６８】
また、本発明は上述した実施の形態のみに限定されるものではなく、上述した実施の形態のいずれかを組み合わせてもよく、また、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００６９】
【図１】本発明の実施の形態１に係る顔認識装置の構成図である。
【図２】本発明の実施の形態１に係る顔認識装置における処理を示すフローチャートである。
【図３】本発明の実施の形態２に係る顔認識装置の構成図である。
【図４】本発明の実施の形態２に係る顔認識装置における処理を示すフローチャートである。
【図５】本発明の実施の形態３に係る顔認識装置の構成図である。
【図６】本発明の実施の形態３に係る顔認識装置における処理を示すフローチャートである。
【図７】本発明の実施の形態４に係る顔認識装置の構成図である。
【図８】本発明の実施の形態４に係る顔認識装置における処理を示すフローチャートである。
【符号の説明】
【００７０】
１０４…車内状況情報生成部
１０５…顔画像取得部
１０８…運転操作状況情報生成部
１０９…参照画像情報記憶判断部
１１０…顔角度情報生成部
１１１…参照画像情報記憶部
【図１】
0005104369.tif 000002
【図２】
0005104369.tif 000003
【図３】
0005104369.tif 000004
【図４】
0005104369.tif 000005
【図５】
0005104369.tif 000006
【図６】
0005104369.tif 000007
【図７】
0005104369.tif 000008
【図８】
0005104369.tif 000009