(57)【特許請求の範囲】
【請求項１】
被認証者の顔を含む認証用画像を撮像する認証用画像撮像部と、
前記認証用画像の中から、前記被認証者の顔を示す顔領域を検出し、当該顔領域内の画像に基づいて前記被認証者を認証する認証部と、
上方から前記被認証者を含む監視画像を撮像する監視画像撮像部と、
前記監視画像の中から、１又は複数の人物像を抽出する人物像抽出手段と、
前記認証用画像撮像部及び前記監視画像撮像部のカメラパラメータ同士の関係から、前記人物像抽出手段が抽出した前記監視画像中の人物像のうち前記認証部が検出した顔領域ごとに、前記認証用画像中の位置に対応する人物像を被認証者の人物像と特定する被認証者特定手段と、
を含むことを特徴とする監視装置。
【請求項２】
前記人物像抽出手段は、人の頭部領域を人物像として検出する請求項１に記載の監視装置。
【請求項３】
請求項１又は２記載の監視装置において、
前記被認証者特定手段は、前記認証用画像内において前記被認証者の顔領域が検出された位置に基づいて、前記監視画像内において前記被認証者の顔が存在すると推定される範囲を算出し、当該算出した範囲を用いて前記被認証者の人物像を特定する
ことを特徴とする監視装置。
【請求項４】
請求項１から３のいずれか一項記載の監視装置において、
前記被認証者特定手段は、前記認証用画像内において検出された前記被認証者の顔領域の大きさにさらに基づいて、前記抽出された人物像の中から、前記被認証者の人物像を特定する
ことを特徴とする監視装置。
【請求項５】
請求項１から４のいずれか一項記載の監視装置において、
前記監視画像撮像部は、前記認証部が前記被認証者を認証する際に前記被認証者が存在すると推定される位置を、略鉛直上方から撮像する位置に設置される
ことを特徴とする監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被認証者が認証を受ける場所の画像を撮像して監視を行う監視装置に関する。
【背景技術】
【０００２】
例えば出入口を通行する人物を制限するために、認証装置によってこの人物を認証し、認証結果に応じて出入口を開閉するなどの制御が行われることがある。さらに、この場合において、認証を受けずに不正に出入口を通行しようとする人物（不正通行者）を監視するために、監視カメラ等によってこの出入口付近の画像を撮像することもある。
【０００３】
上記事例において、監視カメラ等によって撮像された監視画像を用いて有効に不正通行者の監視を行うためには、監視画像の中に映っている人物の中から、認証を受けた被認証者と認証されていない不正通行者とを識別する必要がある。このような識別の方法の一つとして、認証装置が被認証者の認証を行った際に、認証装置の前方所定範囲に存在する人物を、被認証者として特定する技術が提案されている（特許文献１参照）。
【特許文献１】特開２００４‐１８５４８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、出入口付近には複数の人物が往来する。上記従来例の技術では、複数の人物が、偶然に、あるいは不正な意図で同時に認証装置前方の所定範囲内に立った場合などにおいて、複数の人物のどちらが認証を受けた被認証者か、正しく特定できないことがあり得る。また、人物の影や、人物が持っている手荷物、台車などが監視画像に映っていると、これら外乱の影響で監視画像に映っている人物像を精度よく抽出できず、被認証者と比べて認証装置から離れた位置に立っている人物の方を被認証者と誤認識してしまう問題も発生しうる。特に、認証装置が被認証者の顔を撮像して、撮像された顔の画像を解析して被認証者が誰かを認証する場合、被認証者は認証装置に接触する必要はなく、認証装置から離れた位置で認証を受けることが可能となる。このような認証方法を用いる場合、上記問題が生じる可能性は高くなる。また、従来例の技術では、被認証者の像を特定するために、認証装置で得られている情報が十分に活用されていなかった。
【０００５】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、被認証者が認証を受ける場所の画像を撮像して監視を行う場合に、撮像された監視画像の中から精度よく被認証者を特定することのできる監視装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明に係る監視装置は、被認証者の顔を含む認証用画像を撮像する認証用画像撮像部と、前記認証用画像の中から、前記被認証者の顔を示す顔領域を検出し、当該顔領域内の画像に基づいて前記被認証者を認証する認証部と、上方から前記被認証者を含む監視画像を撮像する監視画像撮像部と、前記監視画像の中から、１又は複数の人物像を抽出する人物像抽出手段と、前記認証用画像撮像部及び前記監視画像撮像部のカメラパラメータ同士の関係から、前記認証部が検出した被認証者の顔領域の位置に対応する人物像を被認証者の人物像とする被認証者特定手段と、を含むことを特徴とする。
【０００７】
また、上記監視装置において、前記人物像抽出手段は、人の頭部領域を人物像として検出することとしてもよい。
【０００８】
また、上記監視装置において、前記被認証者特定手段は、前記認証用画像内において前記被認証者の顔領域が検出された位置に基づいて、前記監視画像内において前記被認証者の顔が存在すると推定される範囲を算出し、当該算出した範囲を用いて前記被認証者の人物像を特定することとしてもよい。
【０００９】
さらに、上記監視装置において、前記被認証者特定手段は、前記認証用画像内において検出された前記被認証者の顔領域の大きさにさらに基づいて、前記抽出された人物像の中から、前記被認証者の人物像を特定することとしてもよい。
【００１０】
また、上記監視装置において、前記監視画像撮像部は、前記認証部が前記被認証者を認証する際に前記被認証者が存在すると推定される位置を、略鉛直上方から撮像する位置に設置されることとしてもよい。
【発明の効果】
【００１１】
本発明によれば、被認証者の認証を行う際に撮像した認証用画像内における被認証者の顔の位置の情報を用いて、監視画像から抽出された人物像の中から、精度よく被認証者の人物像を特定することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１３】
本発明の一実施形態に係る監視装置１は、図１に示すように、認証装置１０と、制御部１１と、記憶部１２と、監視画像撮像部１３と、認証信号受信部１４と、操作部１５と、出力部１６と、を含んで構成されている。本実施形態では、監視装置１は、監視対象となる出入口であるドアＤを通行しようとする人物の認証を行うとともに、このドアＤ周辺の画像を撮像することにより、ドアＤを通行しようとする人物の監視を行う。
【００１４】
認証装置１０は、ドアＤを通行しようとする人物の認証を行う装置であって、図１に示すように、認証用画像撮像部２１と、認証情報記憶部２２と、認証処理部２３と、認証信号送信部２４と、を含んで構成されている。なお、認証装置１０を構成する各部は、一つの筺体内に収容されてもよいし、認証用画像撮像部２１とその他の部分とがそれぞれ別の筺体に収容され、通信線によって接続されてもよい。また、以下では、認証装置１０による認証を受ける人物を、被認証者Ｐａという。本実施形態では、認証装置１０は、被認証者Ｐａの顔を撮像して得られる画像を用いて、被認証者Ｐａの認証を行う。
【００１５】
認証用画像撮像部２１は、被認証者Ｐａの顔を含む認証用画像を撮像するビデオカメラ等の撮像装置である。被認証者Ｐａの顔を撮像するため、例えば認証用画像撮像部２１は、ドアＤ近傍の壁面の、人の身長に応じた高さ（例えば約１．５ｍ）の位置に設置される。また、認証用画像撮像部２１の撮像方向は、床面に対して略水平な方向となっている。なお、認証用画像撮像部２１は、継続的に認証用画像を撮像してもよいし、例えば被認証者Ｐａが所定のボタンを押下したタイミングで認証用画像を撮像してもよい。認証用画像撮像部２１によって撮像された認証用画像は、認証処理部２３に対して出力される。
【００１６】
認証情報記憶部２２は、例えばＲＯＭ等のメモリ素子を含んで構成され、予め認証の対象となる人物の認証情報を記憶している。具体的に、認証情報記憶部２２は、ドアＤの通行が許可される１又は複数の人物（以下、通行許可者という）それぞれの認証情報を記憶する。ここで認証情報は、例えば通行許可者の顔の特徴を表す特徴量など、通行許可者を他の人物と区別して特定するための情報である。
【００１７】
認証処理部２３は、例えばデジタルシグナルプロセッサ（ＤＳＰ）等の演算装置により構成され、被認証者Ｐａを認証する認証処理を実行する。具体的に、まず認証処理部２３は、認証用画像撮像部２１が撮像した認証用画像の中から、被認証者Ｐａの顔を示す顔領域を検出する。ここで、認証用画像の中から被認証者Ｐａの顔領域を検出する方法としては、例えば特開２００５−９２２６２号公報に記載された方法を用いることができる。なお、認証用画像の中から複数の顔領域が検出された場合、認証処理部２３は、これら顔領域の中から、例えば最も大きな顔領域など、所定の基準を満たす顔領域を、被認証者Ｐａの顔を示す顔領域として選択する。
【００１８】
さらに、認証処理部２３は、検出した被認証者Ｐａの顔領域内の画像に基づいて、被認証者Ｐａを認証する。すなわち、検出した顔領域の画像を解析して得られる解析結果と、認証情報記憶部２２に記憶された通行許可者の認証情報と、を照合することにより、被認証者Ｐａが通行許可者であるか否か判定する。この顔画像の解析及び認証情報との照合の方法としては、例えば特開２００７−２９９１８６号公報に記載された方法を用いることができる。
【００１９】
認証処理部２３は、認証処理の結果、被認証者Ｐａが通行許可者であることを認証した場合、所定の認証信号を認証信号送信部２４に対して出力する。この認証信号には、被認証者Ｐａの認証に成功したことを示す情報のほか、認証用画像の中から検出された被認証者Ｐａの顔領域に関する情報（以下、顔領域情報という）が含まれる。具体的に、顔領域情報は、認証用画像内において被認証者Ｐａの顔領域が検出された位置を示す位置情報（位置座標の情報など）を少なくとも含んでいる。この位置情報は、例えば顔領域の重心位置を示す情報であってもよいし、顔領域に外接する外接矩形の中心位置を示す情報であってもよい。さらに、顔領域情報には、認証用画像内において検出された顔領域の大きさを示すサイズ情報（例えば顔領域に外接する外接矩形の幅及び高さを表す数値など）が含まれてもよい。
【００２０】
認証信号送信部２４は、例えばＬＡＮインタフェース等の通信装置であって、被認証者Ｐａの認証が成功したタイミングで認証処理部２３が出力する認証信号を、認証信号受信部１４に対して送信する。また、認証信号送信部２４は、この認証処理部２３が出力する認証信号を受けて、ドアＤを開錠するための制御信号を電気錠（不図示）に対して出力する。これにより、ドアＤが所定時間だけ開錠され、被認証者Ｐａはその間にドアＤを通行できる。
【００２１】
制御部１１は、例えばＣＰＵやＤＳＰ等の演算装置であって、記憶部１２に記憶されるプログラムに従って各種の情報処理を実行する。本実施形態では、制御部１１は、監視画像撮像部１３によって撮像される監視画像を解析して、異常を検知した場合に当該異常の検知に応じた信号を出力部１６に出力する処理を行う。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。
【００２２】
記憶部１２は、例えばＲＯＭやＲＡＭ等のメモリ素子を含んで構成され、制御部１１によって実行される各種のプログラムや、制御部１１が実行する処理により利用される各種のパラメタなどの情報が記憶される。
【００２３】
監視画像撮像部１３は、上方から被認証者Ｐａを含む監視画像を撮像するビデオカメラ等の撮像装置である。本実施形態では、監視画像撮像部１３は、継続して所定時間おきに監視画像の撮像を続けており、各タイミングで撮像した監視画像（フレーム画像）を、制御部１１に対して順次出力する。
【００２４】
図２（ａ）及び図２（ｂ）は、監視装置１の監視対象となる空間（以下、監視空間という）の様子の一例を示す図である。図２（ａ）は、認証装置１０が被認証者Ｐａの認証を行っている時点での被認証者Ｐａを側面から見た図を示しており、図２（ｂ）は、同じ被認証者Ｐａを背面から見た図を示している。これらの図に示されるように、監視画像撮像部１３は、認証装置１０が被認証者Ｐａを認証する際に被認証者Ｐａが存在すると推定される位置を撮像可能な位置に設置され、その撮像方向は水平面より下向きになっている。これにより、監視画像撮像部１３は、認証用画像撮像部２１の撮像方向とは異なる撮像方向で、同じ被認証者Ｐａを含む画像を撮像する。図３は、監視画像撮像部１３によって撮像される監視画像の一例を示す図である。図３の例では、監視画像内に、ドアＤと、認証用画像撮像部２１と、被認証者Ｐａと、が映っている。ここで、被認証者Ｐａが存在すると推定される位置の略鉛直上方に監視画像撮像部１３が設置されることによって、監視画像撮像部１３によって撮像された監視画像内において、被認証者Ｐａの人物像が、その周囲に存在する他の人物の人物像と重なりにくくすることができる。
【００２５】
認証信号受信部１４は、例えばＬＡＮインタフェース等の通信装置であって、認証装置１０の認証信号送信部２４が送信する認証信号を受信して、所定の一時記憶領域に記憶する。一時記憶領域に記憶された認証信号に含まれる情報は、制御部１１によって読み出される。
【００２６】
操作部１５は、例えばタッチパネルディスプレイ等のユーザインタフェースであって、監視装置１の管理者が各種のパラメタなどの情報を入力するために用いられる。操作部１５から管理者が入力した情報は、記憶部１２に記憶され、制御部１１が実行する処理に用いられる。具体例として、管理者は、認証用画像撮像部２１及び監視画像撮像部１３のそれぞれのカメラパラメータを操作部１５から入力する。カメラパラメータには、実空間における、認証用画像撮像部２１の設置位置（以下、認証用画像撮像位置Ｃ１という）及び撮像方向、監視画像撮像部１３の設置位置（以下、監視画像撮像位置Ｃ２という）及び撮像方向を含む設置パラメータや、認証用画像撮像部２１の画角、画素数及びレンズ歪み、監視画像撮像部１３の画角、画素数及びレンズ歪みを含む撮像パラメータなどがある。また、管理者は、監視画像内におけるドアＤの位置及び監視画像内における認証用画像撮像位置Ｃ１を示す情報を操作部１５から入力する。
【００２７】
出力部１６は、制御部１１による処理結果を外部機器等に出力するためのインタフェースである。出力部１６は、例えばスピーカやブザー等の音響出力手段と接続され、制御部１１からの指示により、当該音響出力手段に対して警告音の鳴動を実行させる異常信号を出力する。これにより、監視装置１は、制御部１１の処理によって異常が検知された場合に、警告音を鳴らすことができる。また、出力部１６は、外部のセンタ装置等に対して異常信号を送信する通信インタフェースを含んでもよい。これにより、制御部１１の処理によって異常が検知された場合に、監視装置１は、異常の検知を知らせる信号を外部の監視センタなどに通知することができる。なお、この場合、出力部１６は、認証信号受信部１４と共通のインタフェース装置であってもよい。
【００２８】
以下、監視画像撮像部１３によって撮像された監視画像を用いて監視を行う際に、監視装置１が実現する機能の具体例について、説明する。監視装置１は、機能的に、図４に示すように、人物像抽出手段３１と、頭部検出手段３２と、被認証者特定手段３３と、追跡手段３４と、異常判定手段３５と、を含んで構成される。また、被認証者特定手段３３は、被認証者存在範囲算出手段３３ａと、被認証者像選択手段３３ｂと、を含んで構成される。これらの機能は、制御部１１が記憶部１２に格納されたプログラムを実行することにより、実現される。
【００２９】
人物像抽出手段３１は、監視画像撮像部１３によって所定時間おきに撮像された監視画像のそれぞれについて、当該監視画像の中から、１又は複数の人物像を抽出する。具体的に、例えば人物像抽出手段３１は、予め人が誰もいない状態の監視空間を撮像して得られる監視画像を背景画像として記憶部１２に記憶しておき、当該背景画像と監視画像とを比較して差分画素を抽出する。そして、互いに隣接する差分画素を含んで構成される差分画素群のうち、所定の条件を満足する形状や所定値以上の大きさを有する差分画素群を、人を表す人物像として抽出する。また、人物像抽出手段３１は、上記方法のほか、エッジ検出などの各種の画像処理を組み合わせて人物像を抽出してもよい。
【００３０】
人物像は、監視画像が撮像されたタイミングで監視空間内にいる人物の数に応じた数だけ、監視画像の中から抽出される。また、認証装置１０による認証を受けた被認証者Ｐａがいる場合、この被認証者Ｐａの人物像（以下、被認証者像という）が人物像抽出手段３１によって監視画像の中から抽出されることとなる。なお、人物像抽出手段３１は、被認証者Ｐａが監視空間内に存在せず、認証信号が認証装置１０から送信されていない間も、撮像された監視画像の中から人物像を抽出する処理を実行する。人物像抽出手段３１によって抽出された人物像に関する情報は、記憶部１２に記憶され、後述する追跡手段３４による人物像の追跡処理に用いられる。
【００３１】
頭部検出手段３２は、人物像抽出手段３１によって抽出された１又は複数の人物像のそれぞれから、人の頭部を示す頭部領域を検出する。具体的に、例えば頭部検出手段３２は、エッジ検出及びハフ変換やパターンマッチングなどの画像処理を実行することにより、各人物像の画像領域の中から、人体頭部の特徴を有する領域（例えば所定範囲の大きさの略円形の領域）を頭部領域として検出し、当該検出した頭部領域の位置及び大きさを示す情報を出力する。人物像抽出手段３１によって抽出される人物像は、人物の影や、人物が持つ手荷物、台車等の影響によって、その中心位置が必ずしもその人物が立っている実際の位置に対応しない場合がある。そのような場合であっても、頭部検出手段３２によって人物像の中からさらに頭部領域を検出することによって、監視空間内に存在する人の顔に対応する監視画像内の位置を、精度よく特定することができる。なお、本実施の形態では、頭部検出手段３２を用いて精度を上げているが、人物像抽出手段３１にて十分な精度が得られれば、頭部検出手段３２を省略してもよい。
【００３２】
被認証者特定手段３３は、認証装置１０が被認証者Ｐａの認証を行ったタイミングで監視画像撮像部１３によって撮像された監視画像の中から、人物像抽出手段３１によって複数の人物像が抽出された場合に、この抽出された人物像の中から、被認証者像を特定する。このとき、被認証者特定手段３３は、認証用画像内において顔領域が検出された位置と対応関係にある認証用画像内の位置に抽出された人物像を被認証者像に特定する。認証用画像内の位置座標と監視画像内の位置座標の間の対応関係は前述したカメラパラメータにより導出される。導出の規則は被認証者特定手段３３のプログラムとして記憶部１２に予め記憶されており、被認証者特定手段３３は動作に先立って記憶部１２に記憶されているカメラパラメータを規則に適用して対応関係を導出する。これにより、被認証者特定手段３３は、監視画像内に複数の人物像が映っている場合に、単に認証用画像撮像部２１の前方に位置する人物像を被認証者像として特定する場合と比較して、より精度よく被認証者像を特定できる。
【００３３】
ここで、被認証者特定手段３３が被認証者像を特定する方法の具体例について説明する。まず被認証者存在範囲算出手段３３ａが、認証装置１０から受信した認証信号に含まれる顔領域情報に基づいて、監視画像内において被認証者Ｐａの顔が存在すると推定される範囲（以下、被認証者存在範囲という）を算出する。ここで利用する顔領域情報は、認証装置１０により被認証者Ｐａ本人のものと確認されているので確実に被認証者像を特定できる。また、１つに絞り込まれた顔領域の情報から被認証者像を特定するので効率がよい。
【００３４】
例えば被認証者存在範囲算出手段３３ａは、認証信号に含まれる顔領域情報のうち、顔領域が検出された認証用画像内の位置を監視画像の撮像面に射影することによって、被認証者存在範囲を算出する。具体的に、被認証者存在範囲算出手段３３ａは、認証用画像内の顔領域の位置座標と、記憶部１２に記憶されている認証用画像撮像位置Ｃ１及び認証用画像撮像部２１の撮像方向に関する情報と、に基づいて、認証用画像撮像位置Ｃ１と被認証者Ｐａの顔の位置とを結ぶ実空間上の直線を算出する。被認証者Ｐａの顔の位置は、この直線に沿った範囲に存在すると推定される。そこで、被認証者存在範囲算出手段３３ａは、この算出された直線を、監視画像撮像位置Ｃ２及び監視画像撮像部１３の撮像方向に関する情報を用いて、監視画像撮像部１３の撮像面に射影することにより、エピポーラ線ＥＰを算出し、このエピポーラ線ＥＰに沿った範囲を被認証者存在範囲とする。この被認証者存在範囲により、監視画像内において被認証者Ｐａの顔が存在する方向を限定できる。なお、被認証者存在範囲算出手段３３ａがエピポーラ線ＥＰを算出する処理の具体例については、後述する。
【００３５】
次に、被認証者像選択手段３３ｂが、被認証者存在範囲算出手段３３ａが算出した被認証者存在範囲の情報を用いて、人物像抽出手段３１によって抽出された人物像の中から被認証者像を選択する。例えば被認証者像選択手段３３ｂは、被認証者存在範囲に存在する人物像のうち、認証用画像撮像位置Ｃ１に最も近い位置に存在する人物像を、被認証者像として選択する。
【００３６】
このとき、被認証者像選択手段３３ｂは、人物像抽出手段３１によって抽出された人物像のそれぞれについて、さらに頭部検出手段３２が検出した頭部領域の位置に基づいて、被認証者像を特定してもよい。認証用画像撮像部２１によって撮像された被認証者Ｐａの顔の位置に対応する監視画像内の位置には、被認証者Ｐａの頭部が現れていると考えられる。そのため、認証用画像内における顔領域の位置を監視画像の撮像面に射影した被認証者存在範囲と、監視画像から検出した各人物像の頭部領域の位置とを比較して、被認証者存在範囲に位置する頭部領域が検出された人物像を被認証者像と特定することにより、単に人物像全体の重心位置などを用いて被認証者像の特定を行う場合と比較して、より精度よく被認証者像の特定を行うことができる。
【００３７】
また、被認証者特定手段３３は、認証用画像内における顔領域の位置だけでなく、さらに顔領域の大きさに基づいて、被認証者像を特定してもよい。認証用画像内における被認証者Ｐａの顔の大きさは、被認証者Ｐａが立っている位置から認証用画像撮像位置Ｃ１までの距離に応じて変化する。そこで、認証用画像内における顔領域の大きさから監視画像内において被認証者Ｐａの顔が存在する認証用画像撮像位置Ｃ１からの距離範囲を推定し、監視画像から検出した各人物像又は各人物像の頭部領域の位置と当該距離範囲とを比較して、当該距離範囲に位置する人物像を被認証者像と特定する、又は当該距離範囲に位置する頭部領域が検出された人物像を被認証者像と特定することにより、さらに精度よく被認証者像を特定できる。
【００３８】
具体的に、例えば標準的な大きさの顔を持つ人物を様々な距離から認証用画像撮像部２１が撮像して、そのときの顔領域の大きさを記録することによって、顔領域の大きさと認証用画像撮像部２１から被認証者Ｐａの顔までの距離との間の対応関係に応じた数式や換算テーブルなどを決定し、記憶部１２に予め記憶させておく。被認証者存在範囲算出手段３３ａは、顔領域の大きさを示すパラメタをこの数式や換算テーブルなどに適用して、認証用画像撮像位置Ｃ１から被認証者Ｐａの顔が存在すると推定される位置までの推定距離範囲を算出する。この推定距離範囲の情報を用いて、被認証者存在範囲算出手段３３ａは、認証用画像内における顔領域の位置に基づいて算出した被認証者存在範囲をさらに限定して、その範囲を絞り込む。これにより、例えば認証用画像撮像位置Ｃ１から見て同一方向に複数の人物が立っており、その複数の人物のうち後方に立っている人物が被認証者Ｐａだったとしても、監視画像から抽出された人物像の中から精度よく被認証者像を特定できる。
【００３９】
追跡手段３４は、監視画像撮像部１３が所定時間おきに撮像した監視画像のそれぞれについて、人物像抽出手段３１が人物像を抽出するごとに、以下に説明するような人物像の追跡処理を行う。すなわち、追跡手段３４は、新たに撮像された監視画像から人物像抽出手段３１によって抽出された人物像のそれぞれを、当該監視画像より過去時点において撮像された監視画像から人物像抽出手段３１によって抽出され、記憶部１２に記憶されている人物像と比較することによって、当該人物像に対応する人物の監視空間内における移動経路を追跡する。具体的に、追跡手段３４は、新たな監視画像から抽出された各人物像の位置や画像特徴に関する量（例えば色ヒストグラム等）を、前回撮像された監視画像から抽出された人物像の位置や画像特徴に関する量と比較することによって、同じ人物を表す人物像同士を関連付ける。そして、同一人物を表す人物像として互いに関連付けられた人物像の、時系列に従って撮像された各監視画像内における位置を示す時系列情報を、当該人物の移動経路を示す移動経路情報として出力する。
【００４０】
ここで、追跡手段３４は、被認証者特定手段３３によって被認証者像であると特定された人物像については、他の人物像と区別するために、当該人物の移動経路情報に対して、被認証者像であることを示す属性情報を関連付ける。具体例として、追跡手段３４は、新たな監視画像から抽出された人物像のうち、前回撮像された監視画像内に同一人物を示す人物像が存在しないと判定された人物像については、新たに監視空間に入ってきた人物の人物像として、まず被認証者Ｐａではないことを示す属性情報を関連付ける。これにより、追跡手段３４により追跡対象となる監視空間内の各人物は、常に最初は被認証者Ｐａではないものとして管理される。そして、認証装置１０から認証信号を受信したタイミングにおいて、被認証者特定手段３３によって被認証者像であると特定された人物像については、この属性情報を被認証者Ｐａであることを示す値に更新する。これにより、追跡手段３４による追跡対象となっている人物のうち、被認証者Ｐａとして特定された人物については、それ以降は他の人物と区別して追跡されることとなる。
【００４１】
異常判定手段３５は、追跡手段３４が出力する監視空間内の各人物の移動経路情報に基づいて、所定の条件に合致する不正な移動がないか否かを判定する。具体例として、被認証者Ｐａではないことを示す属性情報が関連付けられた人物が、監視画像内においてドアＤに対応する領域外からドアＤに対応する領域内に移動したことを示す移動経路情報が追跡手段３４によって出力された場合、異常判定手段３５は、ドアＤの通行が許可されていない人物による不正な通行があると判定して、異常の検知を示す異常信号を出力部１６に対して出力する。これにより、監視装置１は、認証を受けていない人物がドアＤを通行しようとした場合に、警告音を鳴らしたりセンタに通報したりすることができる。
【００４２】
ここで、被認証者存在範囲算出手段３３ａがエピポーラ線ＥＰを算出する処理の具体例について、説明する。
【００４３】
図５（ａ）及び図５（ｂ）は、監視空間に複数の人物が存在する場合に、監視画像撮像部１３が撮像する監視画像及び認証用画像撮像部２１が撮像する認証用画像の一例を示す図である。図５（ａ）は、監視画像の一例を示しており、人物Ｐ１，Ｐ２及びＰ３の３人が映っている。また、図５（ｂ）に示す認証用画像内には、人物Ｐ１及びＰ２が映っており、人物Ｐ３は人物Ｐ１の陰になって認証用画像内には映っていない。ここで、認証装置１０は人物Ｐ１を被認証者Ｐａとして選択し、その顔領域Ｆを検出し、認証を行ったものとする。このとき、認証信号送信部２４が送信する認証信号には、被認証者Ｐａの顔領域Ｆの認証用画像内における位置を示す位置情報が含まれる。ここでは、認証用画像の画像中心を原点として、画素を単位とした顔領域Ｆの中心位置の位置座標を（ｕ１，ｖ１）とする。
【００４４】
なお、以下では、認証用画像撮像部２１及び監視画像撮像部１３の撮像条件に関するパラメタとして、以下に説明する各パラメタが記憶部１２に記憶されているものとする。すなわち、認証用画像の画像中心から画像の端部までの画素数を横ｗ１、縦ｈ１とし、認証用画像撮像部２１の横方向の画角をα１、縦方向の画角をβ１とする。また、監視画像の画像中心から画像の端部までの画素数を横ｗ２、縦ｈ２とし、監視画像撮像部１３の横方向の画角をα２、縦方向の画角をβ２とする。
【００４５】
さらに、記憶部１２には、認証用画像撮像位置Ｃ１及び監視画像撮像位置Ｃ２の位置関係並びにそれぞれの撮像部の撮像方向を示す情報も記憶されている。具体例として、図６は、実空間における認証用画像撮像位置Ｃ１及び監視画像撮像位置Ｃ２の位置関係を示している。この図においては、認証用画像撮像位置Ｃ１を座標系の原点としている。また、認証用画像撮像部２１の撮像方向をＹ軸正方向、鉛直上方をＺ軸正方向とし、Ｙ軸及びＺ軸双方と直交し、認証用画像の右側に向かう方向をＸ軸正方向としている。さらに、監視画像撮像位置Ｃ２の位置座標を（０，Ｃ２ｙ，Ｃ２ｚ）とし、監視画像撮像部１３の撮像方向をＺ軸負方向とする。
【００４６】
これらの各情報を用いて、ピンホールカメラモデルを適用することにより、被認証者存在範囲算出手段３３ａは、実空間における認証用画像撮像位置Ｃ１に対する被認証者Ｐａの顔の中心位置（以下、顔位置Ｆｃという）の方向を算出する。具体的に、原点Ｃ１から顔位置Ｆｃに向かうベクトルＶｆと、認証用画像撮像部２１の撮像方向（Ｙ軸正方向）と、のなす角のＸ軸方向成分θｕ１及びＺ軸方向成分θｖ１は、それぞれ下記の計算式により算出できる。
【数１】
0005180630.tif 000002
なお、被認証者存在範囲算出手段３３ａは、ｕ１，ｖ１，ｗ１，ｈ１の各値を、記憶部１２に記憶されている認証用画像撮像部２１のレンズ歪みに関するパラメタに基づいて歪み成分を除去した値に換算してから、演算を行ってもよい。
【００４７】
これにより、ベクトルＶｆは、所定の定数Ｔを用いて（Ｔ・ｔａｎθｕ１，Ｔ，Ｔ・ｔａｎθｖ）と表される。このベクトルＶｆが、実空間における認証用画像撮像位置Ｃ１から見た顔位置Ｆｃの方向を表している。ここで、位置座標が（Ｔ・ｔａｎθｕ１，Ｔ，Ｔ・ｔａｎθｖ１）で表される仮想点Ｑを考えると、原点Ｃ１とこの仮想点Ｑとを結ぶ直線上に顔位置Ｆｃが存在すると推定される。なお、以下では仮想点Ｑの位置座標を（Ｑｘ，Ｑｙ，Ｑｚ）と表記する。
【００４８】
さらに、被認証者存在範囲算出手段３３ａは、この仮想点Ｑを監視画像撮像部１３の撮像面に射影することによって、監視画像上におけるエピポーラ線ＥＰを算出する。具体的に、監視画像撮像位置Ｃ２から仮想点Ｑに向かうベクトル（Ｑｘ，Ｑｙ−Ｃ２ｙ，Ｑｚ−Ｃ２ｚ）と、監視画像撮像部１３の撮像方向（Ｚ軸負方向）と、のなす角のＸ軸方向成分θｕ２及びＹ軸方向成分θｖ２は、それぞれ下記の計算式により算出できる。
【数２】
0005180630.tif 000003
さらに、このθｕ２及びθｖ２を用いて、仮想点Ｑを監視画像上に射影した位置の位置座標は、監視画像の画像中心を原点として、画素単位で
【数３】
0005180630.tif 000004
で表される。この位置座標と、予め記憶部１２に記憶されている監視画像上における認証用画像撮像位置Ｃ１と、を結ぶ直線が、エピポーラ線ＥＰとなる。このとき、監視画像上における仮想点Ｑの位置が認証用画像撮像位置Ｃ１に近いと、算出誤差による影響が大きくなる。そこで、仮想点Ｑが認証用画像撮像位置Ｃ１と所定距離以上離れるように、前述した定数Ｔを定めることとしてもよい。また、被認証者存在範囲算出手段３３ａは、得られた直線を監視画像撮像部１３のレンズ歪みに関するパラメタに基づいて補正した直線を、エピポーラ線ＥＰとしてもよい。
【００４９】
以上説明した方法で算出されたエピポーラ線ＥＰの例が、図５（ａ）に破線で示されている。図５（ａ）の例では、例えば人物像抽出手段３１が人物の影も含めた領域を人物像として抽出している場合、認証用画像撮像位置Ｃ１に最も近い位置に存在する人物像は、人物Ｐ２の人物像になる。しかしながら、人物Ｐ２の頭部領域Ｈ２はエピポーラ線ＥＰ上になく、一方で人物Ｐ１の頭部領域Ｈ１はエピポーラ線ＥＰ上に存在している。そこで、エピポーラ線ＥＰに沿った範囲を被認証者存在範囲として用いることにより、被認証者像選択手段３３ｂは、人物Ｐ２ではなく人物Ｐ１の人物像を、被認証者像として特定する。なお、図５（ａ）の例では、人物Ｐ１だけでなく人物Ｐ３の頭部領域Ｈ３もエピポーラ線ＥＰ上に存在している。この場合、例えば被認証者像選択手段３３ｂは、前述したように、監視画像内における認証用画像撮像位置Ｃ１から各人物の頭部領域までの距離の情報に基づいて、人物Ｐ１の人物像を被認証者像として特定する。
【００５０】
以下、本実施形態に係る監視装置１の制御部１１が実行する処理の流れの一例について、図７のフロー図に基づいて説明する。
【００５１】
まず、監視装置１の電源が投入されると、制御部１１は、所定の初期化処理を実行する（Ｓ１）。このとき、監視画像撮像部１３によって撮像された監視画像が背景画像として記憶部１２に記憶される。さらに、制御部１１は、認証用画像撮像部２１及び監視画像撮像部１３の撮像条件に関する情報など、後続する処理に必要な所定のパラメタが記憶部１２に記憶されているか否か判定する（Ｓ２）。記憶されていなければ、制御部１１は、操作部１５を介して、これらパラメタの入力を促すメッセージ等を管理者に提示して、管理者からパラメタの入力を受け付ける（Ｓ３）。
【００５２】
その後、監視画像撮像部１３が所定時間間隔で新たな監視画像を撮像するごとに、以下に説明する処理が繰り返し実行される。すなわち、まず制御部１１の人物像抽出手段３１は、監視画像撮像部１３が撮像した新たな監視画像を取得する（Ｓ４）。そして、Ｓ４で取得した監視画像を背景画像と比較して、人物像の抽出を行う（Ｓ５）。さらに、制御部１１は、Ｓ５の処理で１以上の人物像が抽出されたか否か判定する（Ｓ６）。人物像が抽出されなかった場合には、Ｓ４で取得した監視画像を新たな背景画像として記憶部１２に記憶して（Ｓ７）、Ｓ４に戻って次の監視画像に対する処理を行う。ここで、人物像が抽出されなかった場合に監視画像を更新するのは、時間の経過によって背景画像に変化が生じる場合に対応するためである。
【００５３】
一方、Ｓ６において１以上の人物像が抽出されたと判定された場合、制御部１１の頭部検出手段３２及び被認証者特定手段３３は、抽出された人物像の中から被認証者像を特定する被認証者特定処理を行う（Ｓ８）。この被認証者特定処理の詳細については、後述する。
【００５４】
続いて、制御部１１の追跡手段３４は、Ｓ５で抽出された人物像の追跡処理を行う（Ｓ９）。この追跡処理は、具体的には、Ｓ５で抽出された人物像のそれぞれについて、前回までに抽出された人物像と同一人物を示す人物像か否かの判定を行い、判定結果に応じて、新たに抽出された人物像の位置を既に記憶部１２に記録されている各人物の移動経路情報に追加する処理である。このとき、追跡手段３４は、Ｓ８の処理により被認証者像として特定された人物像に対応する移動経路情報に対して、被認証者Ｐａであることを示す属性情報を関連付ける。
【００５５】
さらに、制御部１１の異常判定手段３５は、Ｓ９の処理により得られる移動経路情報を参照して、認証装置１０による認証を受けていない人物がドアＤを通行しようとする不正通行がないか判定する（Ｓ１０）。判定の結果、不正通行が検知された場合、異常判定手段３５は出力部１６に対して異常信号を出力する（Ｓ１１）。Ｓ１０で不正通行が検知されない場合、及び不正通行が検知されて異常信号が出力された場合のいずれの場合においても、その後、Ｓ４に戻って新たな監視画像に対する処理が繰り返される。
【００５６】
次に、上述した図７のフローにおけるＳ８の被認証者特定処理の流れの具体例について、図８のフロー図に基づいて説明する。
【００５７】
まず、制御部１１は、認証信号受信部１４が認証装置１０からの認証信号を新たに受信しているか否か判定する（Ｓ２１）。認証装置１０は、制御部１１が上述した図７のフローにおけるＳ４からＳ１１までのフローを繰り返し実行している間も、独立して動作しており、認証処理を実行して被認証者Ｐａが通行許可者であると判定した場合には、その旨を制御部１１に通知する認証信号を出力する。ここで、Ｓ２１で認証信号を受信していると判定された場合、処理対象となっている監視画像は、認証装置１０による認証が行われたタイミングで撮像された画像であり、その中には被認証者Ｐａが映っていると判断される。その場合、制御部１１は、後述するＳ２２以降の処理を実行する。一方、Ｓ２１で認証信号を受信していないと判定された場合、監視画像内に新たに認証された被認証者Ｐａは映っていないと判断されるため、処理を終了する。
【００５８】
次に、制御部１１の頭部検出手段３２が、図７のフローにおけるＳ５の処理で抽出された人物像のそれぞれについて、頭部領域の検出を行う（Ｓ２２）。その後、制御部１１の被認証者存在範囲算出手段３３ａが、認証信号に含まれる顔領域の位置情報に基づいて、被認証者Ｐａの顔位置Ｆｃと認証用画像撮像位置Ｃ１とを結ぶ直線を監視画像上に射影したエピポーラ線ＥＰを、被認証者存在範囲として算出する（Ｓ２３）。さらに、認証信号に含まれる顔領域のサイズ情報に基づいて、認証用画像撮像位置Ｃ１から被認証者Ｐａの顔位置Ｆｃが存在する位置までの推定距離範囲を算出する（Ｓ２４）。
【００５９】
続いて、制御部１１の被認証者像選択手段３３ｂが、Ｓ２２で検出された頭部領域のうち、Ｓ２３で算出されたエピポーラ線ＥＰと交差する頭部領域を選出する（Ｓ２５）。そして、選出された頭部領域が１つだけか否かを判定する（Ｓ２６）。Ｓ２６によりエピポーラ線ＥＰと交差する頭部領域が２つ以上あると判定された場合、被認証者像選択手段３３ｂは、さらにこれらの頭部領域のうち、認証用画像撮像位置Ｃ１からの距離がＳ２４で算出された推定距離範囲に含まれる頭部領域を選出する（Ｓ２７）。そして、再び選出された頭部領域が１つだけか否かを判定する（Ｓ２８）。Ｓ２８においても条件に合致する頭部領域が２つ以上あると判定された場合には、被認証者像選択手段３３ｂは、これらの頭部領域のうち、認証用画像撮像位置Ｃ１に最も近い位置に存在する頭部領域を１つ選出する（Ｓ２９）。
【００６０】
Ｓ２６又はＳ２８の判定において条件に合致する頭部領域が１つだけと判定された場合、あるいはＳ２９の処理によって１つの頭部領域が選出された場合、被認証者像選択手段３３ｂは、この選出された頭部領域を含む人物像を、被認証者像として特定する（Ｓ３０）。これにより、被認証者像を特定できたので、処理を終了する。
【００６１】
なお、以上のフローにおいてはエピポーラ線ＥＰと交差する頭部領域が必ず存在することとしたが、頭部領域の検出誤差などによって、エピポーラ線ＥＰと交差する頭部領域が１つも存在しない場合もあり得る。この場合、エピポーラ線ＥＰまでの距離が最も短い頭部領域や、エピポーラ線ＥＰまでの距離が所定値以下の頭部領域のうち、認証用画像撮像位置Ｃ１からの距離がＳ２４で算出した推定距離範囲内にある頭部領域などを含んだ人物像を、被認証者像として特定することとしてもよい。また、Ｓ２９の処理においても、認証用画像撮像位置Ｃ１に最も近い位置に存在する頭部領域ではなく、認証用画像撮像位置Ｃ１からの距離がＳ２４で算出した推定距離範囲の閾値に最も近い頭部領域を選出することとしてもよい。
【００６２】
以上説明した本実施の形態によれば、監視装置１は、認証装置１０が被認証者Ｐａの認証を行った際の被認証者Ｐａの顔の位置に関する情報を用いて監視画像内における被認証者像を特定することにより、単に監視画像内における認証用画像撮像部２１と人物像との間の位置関係だけに基づいて被認証者像を特定する場合と比較して、監視画像内に複数の人物が映っている場合でも精度よく被認証者像を特定できる。
【００６３】
なお、本発明の実施の形態は、以上説明したものに限られない。例えば、以上の説明では、認証装置１０は顔画像の特徴量を解析することによって被認証者Ｐａの認証を行うこととしたが、これに限らず、被認証者Ｐａの顔を含む画像を撮像して認証を行うのであれば、他の認証方法を用いても構わない。具体的に、例えば認証装置１０は、少なくとも顔領域を検出する手段を備え、虹彩や網膜のパターンなど、顔の一部領域の画像に基づいて被認証者Ｐａの認証を行ってもよい。
【００６４】
また、以上の説明においては、認証用画像内の位置座標と監視画像内の位置座標の間の対応関係を導出する規則として、認証用画像内の位置座標から監視画像内のエピポーラ線ＥＰを算出する規則を例示したが、これ以外の規則を用いてもよい。具体的には、例えば、カメラパラメータに基づき認証用画像内に予め設定された複数の小領域と対応関係にある監視画像内の領域を求めて、求めた対応関係のテーブルを規則として記憶部１２に記憶させておくことができる。この場合、被認証者存在範囲算出手段３３ａは、テーブルを参照して、顔領域が検出された位置を含む認証用画像内の小領域と対応関係にある監視画像内の対応領域を被認証者存在範囲として導出する。
【００６５】
また、以上の説明においては、被認証者特定手段３３は、顔領域の位置を監視画像内に射影することにより顔領域の位置に対応する監視画像内の位置を算出したが、これ以外の方法を用いてもよい。具体的には、監視画像内で抽出された各人物像を実空間に投影するとともに、認証用画像内における顔領域の位置を実空間に投影し、実空間内で顔領域の位置と交わる人物像を被認証者像と特定してもよい。また、監視画像内で抽出された各人物像を認証用画像内に射影し、顔領域の位置に射影された人物像を被認証者像と特定してもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施の形態に係る監視装置の概略の構成を表すブロック図である。
【図２】監視空間の様子の一例を示す図である。
【図３】監視画像撮像部によって撮像される監視画像の一例を示す図である。
【図４】本発明の実施の形態に係る監視装置によって実現される機能例を表す機能ブロック図である。
【図５】監視空間に複数の人物が存在する場合の、監視画像及び認証用画像の一例を示す図である。
【図６】実空間における認証用画像撮像位置及び監視画像撮像位置の位置関係の一例を示す図である。
【図７】本発明の実施の形態に係る監視装置が実行する処理の流れの一例を示すフロー図である。
【図８】被認証者特定処理の流れの一例を示すフロー図である。
【符号の説明】
【００６７】
１  監視装置、１０  認証装置、１１  制御部、１２  記憶部、１３  監視画像撮像部、１４  認証信号受信部、１５  操作部、１６  出力部、２１  認証用画像撮像部、２２  認証情報記憶部、２３  認証処理部、２４  認証信号送信部、３１  人物像抽出手段、３２  頭部検出手段、３３  被認証者特定手段、３３ａ  被認証者存在範囲算出手段、３３ｂ  被認証者像選択手段、３４  追跡手段、３５  異常判定手段。
【図１】
0005180630.tif 000005
【図２】
0005180630.tif 000006
【図３】
0005180630.tif 000007
【図４】
0005180630.tif 000008
【図５】
0005180630.tif 000009
【図６】
0005180630.tif 000010
【図７】
0005180630.tif 000011
【図８】
0005180630.tif 000012