(57)【要約】  【課題】顔照合における照合精度と、表示部に表示される顔画像の見易さとを両立させる。  【解決手段】近赤外光画像を取得する近赤外光カメラ１１と、これと並行して可視光画像を取得する可視光カメラ１２と、近赤外光の顔画像と可視光の顔画像とを特定人物ごとに関連付けて記憶した記憶部２６と、近赤外光カメラ１１が取得した近赤外光画像の人物が特定人物か否かを判定する人物判定部２３と、特定人物の顔画像を表示する表示部３２とを備える。特定人物か否かを判定する場合は、近赤外光カメラ１１が取得した近赤外光画像より得られる顔画像を、記憶部２６に記憶されている近赤外光の顔画像と照合することにより判定を行う。表示部３２に特定人物の顔画像を表示する場合は、記憶部２６に記憶されている可視光による顔画像に基づいて表示を行う。【選択図】  図１
2006238002.tif 000002
【特許請求の範囲】
【請求項１】
監視領域内の人物を撮像して得られる顔画像を予め登録されている顔画像と照合して、前記人物が特定人物か否かを判定するとともに、前記撮像した顔画像を記憶し、当該記憶した顔画像を表示する監視装置であって、
近赤外光により監視領域を撮影して得られた人物の近赤外光画像を取得する第１の画像取得手段と、
前記近赤外光による撮像と並行して、可視光により前記監視領域を撮影して得られた人物の可視光画像を取得する第２の画像取得手段と、
特定人物ごとに、近赤外光により撮像された第１の顔画像と、可視光により撮像された第２の顔画像とを関連付けて記憶した記憶手段と、
前記第１の画像取得手段が取得した近赤外光画像の人物が特定人物か否かを判定する判定手段と、
特定人物の顔画像を表示する表示手段と、
を備え、
前記判定手段により特定人物か否かを判定する場合は、前記第１の画像取得手段が取得した近赤外光画像より得られる顔画像を、前記記憶手段に記憶されている第１の顔画像と照合することにより判定を行い、
前記表示手段により特定人物の顔画像を表示する場合は、前記記憶手段に記憶されている第２の顔画像に基づいて表示を行うことを特徴とする監視装置。
【請求項２】
請求項１に記載の監視装置において、
特定人物ごとに、第１の画像取得手段が取得した近赤外光画像より得られる顔画像と、第２の画像取得手段が取得した可視光画像より得られる顔画像とを関連付けて、前記記憶手段に履歴データとして記憶することを特徴とする監視装置。
【請求項３】
請求項２に記載の監視装置において、
第１の画像取得手段が取得した近赤外光画像より得られる顔画像の顔位置データに基づいて、第２の画像取得手段が取得した可視光画像より顔領域を切り出して、可視光による顔画像を得ることを特徴とする監視装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の監視装置において、
前記近赤外光に代えて、近紫外光を用いることを特徴とする監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、建物等に出入りする人物を監視するための監視システムに関するものである。
【背景技術】
【０００２】
カメラを用いて人物を監視する監視システムとして、例えば、下記の特許文献１に記載されたものが知られている。本文献では、人物の顔画像をカメラにより撮影し、この顔画像をデータベースに記録されている顔画像と照合することにより、ユーザごとにアクセス日時や顔画像を行動履歴として記憶し、表示できるようにしている。
【０００３】
【特許文献１】特開２００４−２６５２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このような監視システムに用いられるカメラには、可視光カメラと近赤外光カメラがある。可視光カメラは、波長が４００ｎｍ〜７８０ｎｍの可視光により被写体を撮影するものであり、近赤外光カメラは、波長が７８０ｎｍ〜３μｍの近赤外光により被写体を撮影するものである。監視システムにおいては、カメラで撮像した顔画像を予め登録されている顔画像と照合して人物の判定を行うが、この照合精度を高めるには、可視光カメラよりも近赤外光カメラのほうが適している。これは、近赤外光カメラは光の影響を受けにくく、昼夜・屋内外を問わず一定の画像が得られることから、顔画像から目、鼻、口などの特徴量を精度良く抽出できるためである。
【０００５】
ところで、上記特許文献１のものでは、ユーザごとの行動履歴として、カメラで撮像された顔画像そのものを表示するようにしているが、表示部に表示される顔画像は、可視光カメラで撮像した場合と近赤外光カメラで撮像した場合とで顕著に異なる。図１０（ａ）は、可視光カメラを用いて撮影した画像の例、図１０（ｂ）は、近赤外光カメラを用いて撮影した画像の例である。これからわかるように、図１０（ａ）の可視光カメラによる画像は、実際に眼で見たものと変わらないが、図１０（ｂ）の近赤外光カメラによる画像は、ツートン調の画像となって実際に眼で見たものとは大きく異なっており、顔の部分も陰影のために実際の顔とは違った印象を与える。このため、特許文献１において近赤外光カメラを用いた場合は、表示部に表示される顔画像を確認しづらくなるという問題がある。一方、特許文献１において可視光カメラを用いた場合は、表示部に表示される顔画像は見た目と異ならないので、顔の確認は容易に行うことができるが、可視光カメラによる画像は光の影響を受け易いことから、一定の画像を得るのが難しく、顔の照合精度が低下するという問題がある。
【０００６】
本発明は、上述した問題に鑑み、顔照合には近赤外光画像、表示には可視光画像を使用することで、照合精度と見易さを両立させた監視装置を提供することを課題としている。
【課題を解決するための手段】
【０００７】
本発明に係る監視装置は、監視領域内の人物を撮像して得られる顔画像を予め登録されている顔画像と照合して、前記人物が特定人物か否かを判定するとともに、撮像した顔画像を記憶し、当該記憶した顔画像を表示する監視装置であって、  近赤外光により監視領域を撮影して得られた人物の近赤外光画像を取得する第１の画像取得手段と、近赤外光による撮像と並行して、可視光により監視領域を撮影して得られた人物の可視光画像を取得する第２の画像取得手段と、特定人物ごとに、近赤外光により撮像された第１の顔画像と、可視光により撮像された第２の顔画像とを関連付けて記憶した記憶手段と、第１の画像取得手段が取得した近赤外光画像の人物が特定人物か否かを判定する判定手段と、特定人物の顔画像を表示する表示手段とを備える。そして、判定手段により特定人物か否かを判定する場合は、第１の画像取得手段が取得した近赤外光画像より得られる顔画像を、記憶手段に記憶されている第１の顔画像と照合することにより判定を行う。また、表示手段により特定人物の顔画像を表示する場合は、記憶手段に記憶されている第２の顔画像に基づいて表示を行う。
【０００８】
このように、近赤外光と可視光の両方を用いて顔画像を撮像し、顔の照合を行う場合は、近赤外光による顔画像同士の照合を行い、顔の表示を行う場合は、近赤外光による顔画像は表示せずに、可視光による顔画像のみを表示するようにしたことで、顔照合の精度を高く維持できるとともに、顔画像を見た目と同じように見易く表示することができ、照合精度と見易さを両立させることが可能となる。また、照合用の近赤外光画像が表示されないため、セキュリティの強化も期待できる。
【０００９】
本発明においては、第１の画像取得手段が取得した近赤外光画像より得られる顔画像と、第２の画像取得手段が取得した可視光画像より得られる顔画像とを関連付けて、記憶手段に履歴データとして記憶してもよい。これにより、監視領域への過去のアクセス状況を知りたい場合に、履歴データに基づいて、特定人物のアクセス状況を可視光の顔画像により見易く表示することができる。
【００１０】
この場合、第１の画像取得手段が取得した近赤外光画像より得られる顔画像の顔位置データに基づいて、第２の画像取得手段が取得した可視光画像より顔領域を切り出して、可視光による顔画像を得るようにしてもよい。これにより、第２の画像取得手段が取得した可視光画像に対する顔検出処理が不要となり、可視光画像から簡単かつ確実に顔画像を得ることができる。
【００１１】
本発明においては、上述した近赤外光に代えて、近紫外光を用いてもよい。この場合も、顔の照合を行う場合は、近紫外光による顔画像同士の照合を行い、顔の表示を行う場合は、可視光による顔画像を表示することで、照合精度と見易さを両立させることができ、また、照合用の近紫外光画像が表示されないことから、セキュリティを強化することができる。
【発明の効果】
【００１２】
本発明によれば、近赤外光（または近紫外光）の画像により顔照合の精度を高く維持できるとともに、可視光の画像により顔画像を見易く表示することができるので、照合精度と見易さを両立させることが可能となり、また、照合用の画像が表示されないため、セキュリティの強化を図ることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態につき、図面を参照して説明する。図１は、本発明に係る監視装置の実施形態を示したブロック図である。１１は撮像手段としての近赤外光カメラ、１２は撮像手段としての可視光カメラである。これらの２台のカメラ１１，１２は、例えば建物や部屋の出入口付近に一定距離を隔てて並設されており、各カメラ１１，１２によって監視領域が並行して同時に撮像される。近赤外光カメラ１１は、波長が７８０ｎｍ〜３μｍの近赤外光により監視領域を撮影し、可視光カメラ１２は、波長が４００ｎｍ〜７８０ｎｍの可視光により監視領域を撮影する。
【００１４】
２０はコンピュータから構成される画像処理装置であって、顔検出部２１、顔照合部２２、人物判定部２３、顔位置取得部２４、顔切出し部２５および記憶部２６からなる。２１〜２５の各ブロックは、実際にはコンピュータの機能としてソフトウエア的に実現されるが、ハードウエアとして構成してもよい。
【００１５】
顔検出部２１は、近赤外光カメラ１１が撮像した監視領域内の人物の近赤外光画像から顔を検出する。顔照合部２２は、顔検出部２１で検出された顔画像から抽出された顔の特徴量と、記憶部２６に予め登録されている登録者（特定人物）の顔画像から抽出された顔の特徴量との一致度を照合する。人物判定部２３は、顔照合部２２での照合結果に基づいて、近赤外光カメラ１１の撮像した人物が予め登録されている特定人物か否かを判定する。顔位置取得部２４は、顔検出部２１で検出された人物の顔画像から顔位置を取得する。顔切出し部２５は、顔位置取得部２４で取得された顔位置データに基づいて、可視光カメラ１２が撮像した人物の可視光画像より顔領域を切り出す。記憶部２６はＲＡＭ、ＲＯＭ、ハードディスクなどから構成される。記憶部２６は、登録データ格納部２７、履歴データ格納部２８を備えている。
【００１６】
３１はデータや指令を入力するための操作部であって、押ボタン、キーボード、マウス等の入力装置から構成されている。３２は顔画像を表示するための表示部であって、ＬＣＤ（液晶ディスプレイ）あるいはＣＲＴ（陰極線管）などの表示装置から構成されている。
【００１７】
以上の構成において、近赤外光カメラ１１は本発明における第１の画像取得手段の一実施形態を構成し、可視光カメラ１２は本発明における第２の画像取得手段の一実施形態を構成し、記憶部２６は本発明における記憶手段の一実施形態を構成し、顔照合部２２および人物判定部２３は本発明における判定手段の一実施形態を構成し、表示部３２は本発明における表示手段の一実施形態を構成する。
【００１８】
図２は、記憶部２６の登録データ格納部２７に格納されているデータ内容の一例を示している。登録データ格納部２７には、登録者情報、登録日、初期登録データ、追加登録データが記憶されている。登録者情報は、登録者を特定するための情報であって、例えば個人別に割り当てられたＩＤコードからなる。登録日は、登録データが格納された年月日を表している。登録データは、登録者の顔画像データであって、初期登録データは最初に登録された顔画像データ、追加登録データはその後に登録された顔画像データである。
【００１９】
各登録者について、初期登録データは、近赤外光により撮像された顔画像Ｐ１（第１の顔画像）と、可視光により撮像された顔画像Ｐ２（第２の顔画像）とを含んでいる。顔画像Ｐ１は近赤外光カメラ１１により撮像されたものであり、顔画像Ｐ２はこれと並行して可視光カメラ１２により撮像されたものであるが、カメラ１１，１２とは別のカメラで撮像したものであってもよい。顔画像Ｐ１と顔画像Ｐ２とは、同じ登録者情報および登録日を共有することで、互いに関連付けて（紐付けされて）記憶されている。なお、顔画像Ｐ１と顔画像Ｐ２に別途同一の画像ＩＤを付与することにより、両画像Ｐ１，Ｐ２を関連付けるようにしてもよい。
【００２０】
また、各登録者について、追加登録データも、上述した近赤外光により撮像された顔画像Ｐ１と、可視光により撮像された顔画像Ｐ２とを含んでいる。初期登録データと同様に、顔画像Ｐ１と顔画像Ｐ２とは、同じ登録者情報および登録日を共有することで、互いに関連付けて記憶されている。この場合も、顔画像Ｐ１と顔画像Ｐ２に同一の画像ＩＤを付与することで、両画像Ｐ１，Ｐ２を関連付けてもよい。なお、追加登録データは本発明では必須のものではなく、初期登録データだけを登録データ格納部２７に格納してもよいが、初期登録データに加えて追加登録データも照合用データとして用いることで、照合の精度を向上させることができる。
【００２１】
図３は、記憶部２６の履歴データ格納部２８に格納されているデータ内容の一例を示している。履歴データ格納部２８には、撮像日時ごとに、登録者情報、近赤外光により撮像された顔画像Ｑ１、可視光により撮像された顔画像Ｑ２が記憶されている。撮像日時は、顔画像が撮像された年月日および時間を表している。登録者情報は、図２におけるそれと同じであって、登録者を特定するための情報である。顔画像Ｑ１は近赤外光カメラ１１により撮像されたものであり、顔画像Ｑ２はこれと並行して可視光カメラ１２により撮像されたものである。図３からわかるように、履歴データ格納部２８には、近赤外光による顔画像Ｑ１と可視光による顔画像Ｑ２とが対をなして、時系列的な履歴データとして記憶されている。対をなす顔画像Ｑ１と顔画像Ｑ２とは、同じ撮像日時および登録者情報を共有することで、互いに関連付けて記憶されている。この場合も、顔画像Ｑ１と顔画像Ｑ２に同一の画像ＩＤを付与することで、両画像Ｑ１，Ｑ２を関連付けるようにしてもよい。
【００２２】
履歴データ格納部２８に記憶した顔画像は、登録データ格納部２７の追加登録データとして追加することもできる。図２の追加登録データは、図３の履歴データから追加したものである。図２において、例えば登録者情報ＡＡＡＡの人物の追加登録データは、図３における登録者情報ＡＡＡＡの人物の２００４年１１月１５日８時２０分と同日１０時４０分に撮像した、近赤外光による顔画像Ｑ１および可視光による顔画像Ｑ２を登録したものである。この履歴データからの追加登録は、顔画像が履歴データに記録される都度行ってもよいし、所定の時期にまとめて行ってもよい。また、登録データ格納部２７に複数の登録データが記憶されている場合、古い登録データを履歴データ格納部２８の履歴データによって更新するようにしてもよい。
【００２３】
次に、上述した監視装置の動作について説明する。図４は、記憶部２６の登録データ格納部２７に顔画像を登録する場合の手順を示したフローチャートである。最初に、新規に登録を行うか履歴データから登録を行うかを決める（ステップＳ１１）。新規に登録を行う場合は（ステップＳ１１：ＮＯ）、登録ボタンを押す（ステップＳ１２）。登録ボタンは、操作部３１に設けてもよいし、表示部３２の画面上に表示してもよい。後者の場合、登録ボタンはマウスで操作される。登録ボタンが押されると、監視装置の動作モードは登録モードへ移行し（ステップＳ１３）、撮像ボタンが押されるのを待つ（ステップＳ１４）。この撮像ボタンも、操作部３１に設けてもよいし、表示部３２の画面上に表示してもよい。後者の場合、撮像ボタンはマウスで操作される。
【００２４】
撮像ボタンが押されると（ステップＳ１４：ＹＥＳ）、図１の近赤外光カメラ１１と可視光カメラ１２の２台のカメラが同時に作動して人物を撮像し、近赤外光カメラ１１により撮像された近赤外光画像から顔検出部２１により顔画像が取得され、可視光カメラ１２により撮像された可視光画像から顔切出し部２５により顔画像が取得される（ステップＳ１５）。取得したそれぞれの画像は、記憶部２６のバッファ領域（図示省略）に一時的に格納され、表示部３２に表示されるので、これを見て各画像が正常に取得されておれば（ステップＳ１６：ＹＥＳ）、バッファ領域に格納されている近赤外光による顔画像を登録者情報とともに、照合用画像として記憶部２６の登録データ格納部２７に記憶する（ステップＳ１７）。なお、登録者情報は、操作部３１のキーボードを用いて入力する。続いて、バッファ領域に格納されている可視光による顔画像を、近赤外光による顔画像と関連付けて、表示用画像として記憶部２６の登録データ格納部２７に記憶し（ステップＳ１８）、登録処理を終了する。一方、ステップＳ１６において、画像が正常に取得されていなければ（ステップＳ１６：ＮＯ）、ステップＳ１４へ戻って撮像のやり直しを行う。
【００２５】
また、ステップＳ１１において、履歴データから登録を行う場合は（ステップＳ１１：ＹＥＳ）、すでに顔画像を取得済であるので、ステップＳ１２〜Ｓ１６をスキップして、ステップＳ１７へ移り、履歴データ格納部２８に格納されている近赤外光による顔画像を登録者情報とともに、照合用画像として記憶部２６の登録データ格納部２７に記憶する。この場合、履歴データ格納部２８の顔画像の中から、登録する顔画像を任意に選択できるようにしてもよい。続いて、履歴データ格納部２８に格納されている可視光による顔画像を、近赤外光による顔画像と関連付けて、表示用画像として記憶部２６の登録データ格納部２７に記憶し（ステップＳ１８）、登録処理を終了する。
【００２６】
図５は、２台のカメラ１１，１２により監視領域内を監視する場合の手順を示したフローチャートである。監視装置は、通常、図５の監視モードで動作している。監視モードにおいては、図１の近赤外光カメラ１１と可視光カメラ１２の２台のカメラが同時に作動して監視領域内を撮像し、画像を取得する（ステップＳ２１）。そして、近赤外光カメラ１１が取得した画像から顔検出部２１で顔が検出されたか否かを判定する（ステップＳ２２）。顔検出部２１で顔が検出されない場合は（ステップＳ２２：ＮＯ）、ステップＳ２１へ戻って、監視領域内の撮像を継続する。顔検出部２１で顔が検出された場合は（ステップＳ２２：ＹＥＳ）、顔位置取得部２４が近赤外光の顔画像から顔位置データを取得し、この顔位置データに基づいて、顔切出し部２５が、可視光カメラ１２で撮像した可視光画像から顔の切出しを行う（ステップＳ２３）。なお、この切出しにあたって、近赤外光画像の顔位置から可視光画像の顔位置を算出する変換式を得るためのキャリブレーションが予め実行されるが、これについては後述する。
【００２７】
次に照合に移り、登録データ格納部２７に格納されている登録データ（図２）のうち、各登録者の近赤外光による顔画像Ｐ１を順次読み出し（ステップＳ２４）、読み出した顔画像Ｐ１と、顔検出部２１で検出された顔画像とを顔照合部２２で照合する（ステップＳ２５）。この照合においては、前述したとおり、登録されている顔画像Ｐ１から抽出される特徴量と、取得した顔画像から抽出される特徴量の一致度を照合する。次に、この照合結果に基づき、取得した顔画像の人物が、登録者すなわち特定人物か否かを人物判定部２３で判定する（ステップＳ２６）。
【００２８】
顔照合部２２での照合の結果、取得した顔画像の特徴量と、登録されている特定の顔画像Ｐ１の特徴量との一致度が所定値以上であれば、取得した顔画像の人物は特定人物であると判定される（ステップＳ２６：ＹＥＳ）。この場合は、当該特定人物に相当する登録者情報を登録データ格納部２７から抽出する（ステップＳ２７）。そして、ステップＳ２２で検出された近赤外光の顔画像と、ステップＳ２３で切出した可視光の顔画像とを、登録者情報および撮像日時とともに、図３のような履歴データとして履歴データ格納部２８に記憶する（ステップＳ２８）。
【００２９】
また、ステップＳ２６において、取得した顔画像の特徴量と、登録されている顔画像Ｐ１の特徴量との一致度が所定値以上となるものがなければ、取得した顔画像の人物は特定人物でないと判定される（ステップＳ２６：ＮＯ）。この場合は、登録データ格納部２７に登録者情報が存在しないので、ステップＳ２７を実行することなくステップＳ２８へ移行する。そして、ステップＳ２８で履歴データとして履歴データ格納部２８に記憶する際に、登録者情報が付与される。この登録者情報は、操作部３１のキーボードで入力することができる。
【００３０】
図６は、図５のステップＳ２３で触れたキャリブレーションを説明する図である。このキャリブレーションは、監視装置を導入して最初に稼働する際に１回だけ行われる作業である。キャリブレーションを行うにあたっては、まず、近赤外光カメラ１１と可視光カメラ１２の前に人物（誰でもよい）に立ってもらい、当該人物を２台のカメラで同時に撮像する。図６（ａ）は、この撮像により得られた近赤外光画像と可視光画像を示している。２台のカメラ１１，１２は、水平方向に一定間隔を置いて配置されているので、それぞれのカメラで撮像した人物の画像上の位置は、図のように異なっている。次に、これらの画像のそれぞれについて、図６（ｂ）に示すように、目、鼻、口などの位置にマーキングを行うことにより、顔位置データを入力する。この顔位置データは、各部位の２次元座標値である。この顔位置データが決まると、図６（ｃ）に×印で示すように、それぞれの画像における顔の重心位置が決まる。この重心位置の座標値の差から、次の変換式が得られる。
（Ｘｏｐｔ，Ｙｏｐｔ）＝ｆ（Ｘｉｎｆ，Ｙｉｎｆ）
ここで、（Ｘｏｐｔ，Ｙｏｐｔ）は可視光画像における重心位置の座標、（Ｘｉｎｆ，Ｙｉｎｆ）は近赤外光画像における重心位置の座標である。こうして得られた変換式は、記憶部２６の所定領域に記憶され、以後はこの変換式を用いて、近赤外光の顔画像の顔位置（重心）から可視光画像の顔位置（重心）を求め、可視光画像から顔領域の切出しが行われる。
【００３１】
図７は、監視装置の表示部３２に監視領域へのアクセス状況を表示する場合の手順を示したフローチャートである。アクセス状況を表示するには表示ボタンを押す（ステップＳ３１）。表示ボタンは、操作部３１に設けてもよいし、表示部３２の画面上に表示してもよい。後者の場合、表示ボタンはマウスで操作される。表示ボタンが押されると、監視装置の動作モードはアクセス状況表示モードへ移行する（ステップＳ３２）。アクセス状況表示モードへ移行すると、操作部３１のキーボードにより登録者情報が入力されたか否かを判定する（ステップＳ３３）。登録者情報が入力された場合は（ステップＳ３３：ＹＥＳ）、当該登録者情報に基づき、登録データ格納部２７の登録データから登録者情報に対応する可視光の顔画像Ｐ２を読み出すとともに、履歴データ格納部２８の履歴データから登録者情報に対応する可視光の顔画像Ｑ２を読み出す（ステップＳ３４）。そして、読み出したこれらの可視光の顔画像Ｐ２，Ｑ２を、登録者別のアクセス状況として表示部３２に表示する（ステップＳ３５）。
【００３２】
図８は、表示部３２における登録者別のアクセス状況の表示例を示している。ここでは、登録者情報ＡＡＡＡの人物についての初期登録データと履歴データとが、それぞれ可視光の顔画像Ｐ２，Ｑ２により表示されている。図８の左欄の顔画像Ｐ２は、図２における登録者情報ＡＡＡＡの人物についての初期登録データの可視光の顔画像Ｐ２と同じものであり、図８の右欄の顔画像Ｑ２は、図３における登録者情報ＡＡＡＡの人物についての履歴データの可視光の顔画像Ｑ２と同じものである。ここでは、特定人物の初期登録データと履歴データの両方が表示されているが、初期登録データを省略して履歴データのみを表示するようにしてもよい。
【００３３】
一方、ステップＳ３３において、登録者情報が入力されず、日時や時間帯の情報が入力された場合は（ステップＳ３３：ＮＯ）、当該情報に基づき、履歴データ格納部２８の履歴データから、該当する日時や時間帯の可視光の顔画像Ｑ２を読み出す（ステップＳ３６）。そして、読み出した可視光の顔画像Ｑ２を、時系列的なアクセス状況として表示部３２に表示する（ステップＳ３７）。
【００３４】
図９は、表示部３２における時系列的なアクセス状況の表示例を示している。ここでは、２００４年１１月１５日にどのような人物が監視領域内に現れたかを確認するために、撮像日時、登録者情報、アクセス者の履歴データおよび初期登録データが時系列的に表示されている。履歴データは可視光の顔画像Ｑ２により表示され、初期登録データも可視光の顔画像Ｐ２により表示されている。図９の各登録者の顔画像Ｑ２は、図３における各登録者の可視光の顔画像Ｑ２と同じものであり、図９の各登録者の顔画像Ｐ２は、図２における各登録者の初期登録データの顔画像Ｐ２と同じものである。ここでは、特定人物ごとに履歴データと初期登録データの両方が表示されているが、初期登録データを省略して履歴データのみを表示するようにしてもよい。
【００３５】
このように、上記実施形態では、近赤外光カメラ１１と可視光カメラ１２の両方を用いて顔画像を撮像し、顔照合部２２で照合を行う場合は、近赤外光による顔画像同士の照合を行い、表示部３２に顔を表示する場合は、近赤外光による顔画像Ｐ１，Ｑ１は表示せずに、可視光による顔画像Ｐ２，Ｑ２のみを表示するようにしている。このため、取得した近赤外光の顔画像と予め登録されている近赤外光の顔画像Ｐ１とを照合することで照合精度を高く維持できるとともに、図８および図９のように可視光による顔画像Ｐ２，Ｑ２を表示することで顔画像を見た目と同じように見易く表示することができる。この結果、照合精度と見易さを両立させることが可能となる。また、表示部３２には照合用の近赤外光画像Ｐ１が表示されないため、セキュリティの向上を図ることができる。
【００３６】
また、上記実施形態では、図３で示したように、特定人物ごとに、近赤外光カメラ１１が取得した近赤外光画像より得られる顔画像Ｑ１と、可視光カメラ１２が取得した可視光画像より得られる顔画像Ｑ２とを関連付けて、記憶部２６の履歴データ格納部２８に履歴データとして記憶するので、監視領域への過去のアクセス状況を知りたい場合に、履歴データから可視光画像の顔画像Ｑ２を読み出して、図９のように表示部３２に表示することで、特定人物のアクセス状況を可視光の顔画像Ｑ２により見易く表示することができる。
【００３７】
また、上記実施形態では、近赤外光カメラ１１が取得した近赤外光画像より得られる顔画像の顔位置データに基づいて、可視光カメラ１２が取得した可視光画像より顔領域を切り出して、可視光による顔画像を得ているので、可視光カメラ１２が取得した可視光画像に対する顔検出処理が不要となり、可視光画像から簡単かつ確実に顔画像を得ることができる。
【００３８】
以上述べた実施形態においては、近赤外光カメラ１１を用いたが、これに代えて近紫外光カメラを用いてもよい。近紫外光カメラは、波長が３００ｎｍ〜４００ｎｍの近紫外光により撮像を行い、近紫外光画像を取得する。この場合も、顔照合部２２で顔の照合を行う場合は、近紫外光による顔画像同士の照合を行い、表示部３２に顔を表示する場合は、可視光による顔画像を表示することで、照合精度と見易さを両立させることができ、また、表示部３２に照合用の近紫外光画像が表示されないことから、セキュリティを強化することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明に係る監視装置の実施形態を示したブロック図である。
【図２】登録データ格納部に格納されているデータ内容の一例である。
【図３】履歴データ格納部に格納されているデータ内容の一例である。
【図４】顔画像を登録する場合の手順を示したフローチャートである。
【図５】監視領域内を監視する場合の手順を示したフローチャートである。
【図６】キャリブレーションを説明する図である。
【図７】監視領域へのアクセス状況を表示する場合の手順を示したフローチャートである。
【図８】登録者別のアクセス状況の表示例である。
【図９】時系列的なアクセス状況の表示例である。
【図１０】可視光カメラを用いて撮影した画像と近赤外光カメラを用いて撮影した画像の例である。
【符号の説明】
【００４０】
１１  近赤外光カメラ
１２  可視光カメラ
２０  画像処理装置
２１  顔検出部
２２  顔照合部
２３  人物判定部
２４  顔位置取得部
２５  顔切出し部
２６  記憶部
２７  登録データ格納部
２８  履歴データ格納部
３１  操作部
３２  表示部
Ｐ１，Ｑ１  近赤外光による顔画像
Ｐ２，Ｑ２  可視光による顔画像
【図１】
2006238002.tif 000003
【図４】
2006238002.tif 000004
【図５】
2006238002.tif 000005
【図７】
2006238002.tif 000006
【図８】
2006238002.tif 000007
【図９】
2006238002.tif 000008
【図２】
2006238002.tif 000009
【図３】
2006238002.tif 000010
【図６】
2006238002.tif 000011
【図１０】
2006238002.tif 000012