(57)【特許請求の範囲】
【請求項１】
撮影手段を用いて撮影対象物の画像を取込み、取込まれた画像を予め記憶手段に記憶されている登録画像に関する情報と比較し、その比較結果を出力する画像比較システムであって、
前記撮影対象物の存在を検知する対象物検知センサと、前記撮影対象物によって押下される照合確認用のボタンとを有する操作パネルを備え、
前記対象物検知センサによる前記撮影対象物の検知に基づいて前記撮影手段を用いた前記撮影対象物の画像の取込みを開始し、前記照合確認用のボタンの押下に基づいて終了するまでの間、同一対象物について取込まれた複数枚の画像を順次、前記記憶手段に記憶されている登録画像に関する情報と比較し、
この比較した結果、前記複数枚の画像の中に照合判定閾値を満たす類似画像が存在する場合は、適正判定結果を出力し、
前記複数枚の画像の中に照合判定閾値を満たす類似画像が存在しない場合は、不適判定結果を出力する
画像比較システム。
【請求項２】
前記照合確認用のボタンが押下された押下直後の取得画像が照合不良画像の場合、前記ボタンの押下前に取得した画像のうち、ボタン押下時期に近い順番で照合を行うことを特徴とする
請求項１記載の画像比較システム。
【請求項３】
照合状況を表示する表示手段を備えたことを特徴とする
請求項１又は２記載の画像比較システム。
【請求項４】
撮影手段を用いて撮影対象物の画像を取得し、かつ照合確認用のボタンが押下された場合、当該取得した画像と、予め記憶されている登録画像に関する情報とを比較し、その比較結果を出力する画像比較装置であって、
前記撮影対象物の存在を検知する対象物検知センサを設け、
この対象物検知センサによる前記撮影対象物の検知に基づいて前記撮影対象物の画像の取得を開始し、前記照合確認用のボタンの押下に基づいて終了するまでの間、前記撮影手段は撮影対象物の画像を複数枚取得し、
前記ボタンが押下された場合、前記取得した複数枚の画像と予め記憶されている登録画像に関する情報とを比較した結果、
前記取得した複数枚の画像の中に照合判定閾値を満たす類似画像が存在する場合は、適正判定結果を出力し、
前記取得した複数枚の画像の中に照合判定閾値を満たす類似画像が存在しない場合は、不適判定結果を出力する
画像比較装置。
【請求項５】
前記照合確認用のボタンが押下された押下直後の取得画像が照合不良画像の場合、前記ボタンの押下前に取得した画像のうち、ボタン押下時期に近い順番で照合を行うことを特徴とする
請求項４記載の画像比較装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば人間の顔を撮影して比較照合するような画像比較システムに関し、さらに詳しくは同一対象物に対する撮影情報を高めて照合精度を向上することができる画像比較システムおよび画像比較装置に関する。
【０００２】
【従来の技術】
一般に、この種の画像比較装置は、カメラを用いて取得した照合対象者の顔画像と、予め登録しておいた登録画像とを照合して照合対象者本人を確認している。
【０００３】
例えば、室の入退室を管理するゲート機能に適用した場合は、図７に示すように、画像比較装置７１を構成する照明装置７２と、カメラ７３と、人検知センサ７４と、撮影開始用の照合ボタン７５を、扉７６あるいは扉近傍の壁面に取付けている。
【０００４】
そして、この画像比較装置７１を利用して照合対象者７７が入室または退室利用する際は、照合対象者７７が照合位置に立止まって照合ボタン７５を押下操作すると、これに連動してカメラ７３に近づいた照合対象者７７の顔の撮影を開始し、撮影した顔画像と予め登録した照合対象者の顔画像とを比較して一致・不一致を照合確認し、これに基づいて入退室許容または入退室規制している。
【０００５】
この場合、図８の画像情報取得曲線８１に表されるように、照合対象者がカメラの撮影に適した照合位置に立止まって照合ボタンを押下操作するときのタイミングが、最も照合対象者の顔画像が正確に得られる。これに対し、照合対象者が照合ボタンの位置から離れる程、照合対象者の顔画像を正確に捉え難くなり、画像情報安定度が低下する傾向にあることが知られている。
【０００６】
【発明が解決しようとする課題】
ところで、照合用ボタンを押下操作したときに、照合対象者が目をつぶったり、口を開けたり、視線を逸らせたりした表情の場合は、登録画像と異なるため照合対象者本人であっても照合不良画像と判定して再照合操作を繰返し行わせていた。
【０００７】
この再照合操作は予め指定されたリトライ回数まで繰返し照合させ、未だ照合確認できなければ暗証キーによる入力操作や照合カードを用いた読取りを行わせている。
【０００８】
しかし、この場合は再照合のために照合リトライ回数が増えたり、照合操作に手間がかかり、入退室利用する照合対象者の利便性が低下する他、処理時間がかかって照合待ちによる入退室利用が停滞するなど円滑な利用が図れないことがあった。
【０００９】
そこでこの発明は、撮影対象物の画像取得に際して、照合確認用のボタンが押下されたときだけでなく、それ以前の複数の画像から撮影対象物の画像を的確に取得して照合確認することができる高照合機能を有する画像比較装置、画像比較システムの提供を目的とする。
【００１０】
【課題を解決するための手段】
この発明は、撮影手段を用いて撮影対象物の画像を取込み、取込まれた画像を予め記憶手段に記憶されている登録画像に関する情報と比較し、その比較結果を出力する画像比較システムであって、前記撮影対象物の存在を検知する対象物検知センサと、前記撮影対象物によって押下される照合確認用のボタンとを有する操作パネルを備え、前記対象物検知センサによる前記撮影対象物の検知に基づいて前記撮影手段を用いた前記撮影対象物の画像の取込みを開始し、前記照合確認用のボタンの押下に基づいて終了するまでの間、同一対象物について取込まれた複数枚の画像を順次、前記記憶手段に記憶されている登録画像に関する情報と比較し、この比較した結果、前記複数枚の画像の中に照合判定閾値を満たす類似画像が存在する場合は、適正判定結果を出力し、前記複数枚の画像の中に照合判定閾値を満たす類似画像が存在しない場合は、不適判定結果を出力することを特徴とする。
【００１１】
この結果、撮影した複数枚の画像を順次記憶手段に記憶されている登録画像に関する情報と比較して１枚ずつ照合適否を確認できるため、登録済みの撮影対象物の場合は、必ず登録画像と一致する画像が得られる。
【００１３】
さらに、照合確認用のボタンが押下された撮影対象物の照合時に、仮に照合不良画像が生じても、それ以前のタイミングで取得した補完用の画像を用いて照合できるため、照合時には常に撮影対象物の照合判定に適した画像を確保でき、再照合操作を省略して短時間に照合処理することができる。例えば、撮影対象者の入退室利用に適用した場合は、ボタンが押下された時点で口を開けたり、目をつむるなどの顔の表情が通常より大きく変化して照合不良画像と判定されても、それ以前の画像を用いて照合できるため正確な照合判定を確保でき、短時間に能率のよい照合操作ができる。
【００１４】
また別の発明では、照合確認用のボタンが押下された時点の取得画像が照合不良画像の場合、前記ボタンの押下前に取得した複数枚の画像の中からボタン押下時期に近い順番で取得した画像を用いて照合を行うことを特徴とする。
【００１５】
この場合は、照合に最も適したボタン押下時点の画像に近い順番で照合することができる。
【００１６】
また別の発明では、照合時に照合状況を表示する表示手段を備えたことを特徴とする。
【００１７】
この場合は、照合時に照合成功、照合失敗、照合失敗時の現在の照合回数等の照合状況を表示案内するため、撮影対象者の場合はその表示案内を見て直ちに確認することができ、撮影対象者に安心感を与えながら照合処理を実行することができる。
【００１８】
また別の発明では、撮影手段を用いて撮影対象物の画像を取得し、かつ照合確認用のボタンが押下された場合、当該取得した画像と、予め記憶されている登録画像に関する情報とを比較し、その比較結果を出力する画像比較装置であって、前記撮影対象物の存在を検知する対象物検知センサを設け、この対象物検知センサによる前記撮影対象物の検知に基づいて前記撮影対象物の画像の取得を開始し、前記照合確認用のボタンの押下に基づいて終了するまでの間、前記撮影手段は撮影対象物の画像を複数枚取得し、前記ボタンが押下された場合、前記取得した複数枚の画像と予め記憶されている登録画像に関する情報とを比較した結果、前記取得した複数枚の画像の中に照合判定閾値を満たす類似画像が存在する場合は、適正判定結果を出力し、前記取得した複数枚の画像の中に照合判定閾値を満たす類似画像が存在しない場合は、不適判定結果を出力することを特徴とする。
【００１９】
ここで撮影対象物としては、照合対象者の顔面や各種物体の全体および特定部分の撮影も含む。
【００２０】
【発明の実施の形態】
この発明の一実施の形態を以下図面に基づいて詳述する。
【００２１】
図面は人の顔を撮影して照合する画像比較システムの画像取得側に設置される画像比較装置を示し、図１において、この画像比較装置１１は入退室利用する扉面に照合データ取得機能を持たせた操作パネル１２を設置して構成される。
【００２２】
上述の操作パネル１２は人の顔高さ位置に取付けられ、上部には顔を照らすための照明装置１３を設置し、中間部にはカメラ１４と、人検知センサ１５と、照合結果表示ＬＥＤ１６と、照合回数表示ＬＥＤ１７と、照合開始ボタン１８とを配設し、下部には暗証キー１９と、カードリーダ２０とを配置している。
【００２３】
照明装置１３は複数の照明用ＬＥＤを配列して、前方の顔高さ位置に向けて照明する。これにより、カメラ１４に近付いて来た人の顔の凹凸状態を鮮明に照らしてカメラ１４の顔画像取得性能を高めている。
【００２４】
上述のカメラ１４はＣＣＤカメラ等を用いて顔画像を撮影し、このカメラ１４の前面に人が近づけば、反射型赤外線センサ等の人検知センサ１５を介して人が近付いたことを検知し、この検知した時点からカメラ１４の撮影を開始し、照合開始ボタン１８が押下操作されるまでの間に同一人物の複数枚の顔画像を補完用に撮影する。
【００２５】
この補完用に複数枚画像を取得するのは、照合開始ボタン１８が押下されたときのタイミングで取得した画像に仮に照合不良画像が生じても、それ以前のタイミングで取得した補完用の画像を用いて照合するためである。
【００２６】
その後、照合開始ボタン１８が押下操作されると、照合対象者の照合要請と判定して照合を開始する。このとき、照合した照合対象者の一致、不一致の照合結果を照合結果表示ＬＥＤ１６に表示出力する。この照合結果表示ＬＥＤ１６は色別の２個のＬＥＤの一方に青色や赤色の判定結果を点灯させて一目で認識できるようにしている。
【００２７】
また、照合時には１回目の照合か、照合失敗により再照合して２回目あるいは３回目かの照合状況かを複数のＬＥＤを備えた照合回数表示ＬＥＤ１７によりリアルタイムに点灯表示して照合対象者に明瞭に認識させる。
【００２８】
このように、照合結果表示ＬＥＤ１６の点灯表示によって照合適否を認識でき、また照合回数表示ＬＥＤ１７の表示案内を見て照合状況を把握できるため照合対象者は照合利用時に不信感や不安感を抱くことがなく、安心して照合処理を実行することができる。
【００２９】
人検知センサ１５は例えば光源に赤外線を照射する発光ダイオードを使用し、この赤外線の反射光を検知して照合対象者の有無を検知する反射型の距離検知機能を有している。
【００３０】
上述の照合利用に際しては、照合開始ボタン１８に限らず、暗証キー１９を用いてもよく、またカードリーダ２０を用いてもよく、さらにこれらを併用することもできる。
【００３１】
このうち、暗証キー１９やカードリーダ２０は独立した照合機能を有しており、照合対象者が予め与えられた本人を特定する暗証番号を暗証キー１９を用いて入力操作し、照合確認すれば、入退室利用する扉を開錠する。また、カードリーダ２０を利用するときは照合対象者本人を特定するＩＤデータが記憶されたカードのＩＤデータを読取ったとき扉を開錠する。
【００３２】
図２は照合対象者の顔画像をカメラが撮影したときの画像情報取得曲線２１を示し、この画像情報取得曲線２１は照合開始ボタン１８を押下操作したときのタイミングが最も照合対象者の顔画像が正確に得られる画像情報の安定度が高いことを示している。
【００３３】
そして、顔画像の取得に際しては、人検知センサ１５が照合対象者を検知してから照合開始ボタン１８が押下するまでの間、カメラ１４は照合対象者の顔画像を複数回撮影して取得し、照合開始ボタン１８が押下された場合、取得した複数枚の画像の少なくとも１つと予め記憶されている登録画像に関する情報とを比較する。
【００３４】
この画像の比較に際しては、予め定められた照合判定閾値を満たす類似画像が存在する場合は適正判定結果を出力し、複数枚の画像の中に照合判定閾値を満たす類似画像が存在しない場合は不適判定結果を出力する。このため、同一照合対象者についての複数枚の画像を照合判定用の画面に用いれば、高精度の照合確認ができ、登録済みの照合対象者の場合は必ず登録画像と一致する画像が得られる。
【００３５】
この結果、照合開始ボタン１８が押下された時点で顔の表情が通常時に比べて変化して照合不良画像と判定されても、それ以前の複数枚の画像を用いて再照合することができる。
【００３６】
ことに、同一人物の照合対象者に対して複数回撮影して複数枚の顔画像を有しているため、何れかの画像で照合確認できることになり、照合対象者を煩わせず１回のボタン押下操作で照合処理を完結することができる。
【００３７】
ところで、同一照合対象者に対する複数枚の取得画像を照合する際は、ボタン押下時期２２に近い順番で取得した直前画像２３を用いて照合を行う。これにより、照合に最も適したボタン押下時点の画像に近い順番で照合することができる。
【００３８】
したがって、図３（Ａ）に示すように、照合対象者３１の顔の向きが正面を向いている場合は、照合に適した画像が得られる。これに対し、照合対象者３１の顔の向きが、図３（Ｂ）に示すように、斜め上を向いた場合、あるいは図３（Ｃ）に示すように、斜め下を向いた場合は、正面のカメラ３２に対して視線に若干の触れ角度θが生じる。この「触れ角度θ＝０°」のときが、最も画像が安定し、θ＝１５°を超えると、顔の特徴量が正確に算出できなくなり、不安定な画像になってしまう。
【００３９】
したがって、ボタン押下時の１枚の画像だけでは照合処理に限界が生じる。それゆえ、後述する制御処理によって照合を補完するものである。
【００４０】
図４は画像比較システムの制御回路ブロック図を示し、画像比較装置１１の操作パネル１２に設けられる各機器を制御する画像比較センタ装置４１によって構成され、この画像比較センタ装置４１のＣＰＵ４２はメモリ４３に格納されたプログラムに沿って各回路装置を制御し、その制御データをメモリ４３に記憶する。
【００４１】
画像キャプチャ４４はカメラ１４で撮影した画像を取得し、これをメモリ４３に記憶させる。また、取得した画像は表示制御部４５を介して監視用にモニタ４６に表示させる。
【００４２】
第１入出力制御部４７は操作パネル１２に備えられる照明装置１３、人検知センサ１５、照合結果表示ＬＥＤ１６、照合回数表示ＬＥＤ１７、照合開始ボタン１８の各入出力データを制御し、第２入出力制御部４８は入退室監視室用のキーボード４９からの入力を制御する。
【００４３】
ＲＳ２３２Ｃ通信部５０はカードリーダ２０および暗証キー１９からの入力データをＣＰＵ４２に伝送する通信接続機能を有している。
【００４４】
登録ファイル５１は顔画像登録時のデータベースファイルとして設けられ、ここに各登録者の顔画像特徴量のデータが保存される。
【００４５】
そして、ＣＰＵ４２はカメラ１４で撮影した照合対象者の顔画像情報と予め登録した登録情報とを照合することにより、照合対象者の一致、不一致を判定し、このときに照合した判定結果に基づいて入退室許容または入退室規制を施す。
【００４６】
また、この画像比較センタ装置４１に接続されたモニタ４６により入退室状態が監視され、さらにキーボード４９を用いて監視者によるデータ入力および扉の開閉制御を許容している。
【００４７】
このように構成された画像比較システムを用いて照合利用した処理動作を図５および図６のフローチャートを参照して説明する。
今、画像比較装置１１が備えられた室の扉に入退室利用する人が近付いて来ると、先ず、これを人検知センサ１５が検知確認する（ステップｎ1 ）。
【００４８】
このとき、同センサ１５の検知信号に基づいてカメラ１４は撮影を開始し（ステップｎ2 ）、
このカメラ１４が取得した画像は、画像比較センタ装置４１のメモリ４３に記憶される（ステップｎ3 ）。
【００４９】
この画像取得に際しては、顔画像を１枚取得した後、視線、顔の向きの変化を捉えるのに必要な時間が経過する毎に次の顔画像の撮影を行い（ステップｎ4 ）。
【００５０】
カメラ１４の前に来た照合対象者が照合開始ボタン１８を押下操作するまで繰返し撮影を行い、複数枚撮影する。また、このとき取得枚数の上限を定めて不必要に撮影しないように設定するのが好ましい。そして、照合対象者が照合開始ボタン１８を押下操作すると（ステップｎ5 ）、
ＣＰＵ４２は照合開始ボタン１８押下直後の照合対象者の画像を取得する（ステップｎ6 ）。
【００５１】
ＣＰＵ４２は取得した顔画像と、予め登録しておいた顔画像とを比較照合して類似度を判定する。この判定に際しては、照合時の特徴となる目、鼻、口…などの顔の特徴量を抽出して照合する（ステップｎ7 〜ｎ10）。
【００５２】
この照合判定した結果が一致すれば、照合結果表示ＬＥＤ１６に一致した旨を点灯表示し（ステップｎ11〜ｎ12）、
また、照合回数表示ＬＥＤ１７で１回目の照合処理であること、および照合結果が一致したことを表示すると同時に（ステップｎ13〜ｎ14）、
入退室用の扉を開錠して照合対象者の入退室を許容する（ステップｎ15）。
【００５３】
これに対し、ＣＰＵ４２が照合不可と判定した場合は、予め定められた照合限度回数になるまで繰返し自動照合判定を行う（ステップｎ16）。
【００５４】
例えば、照合開始ボタン１８の押下直後に取得した画像を照合したとき、照合対象者が目をつぶったり、口を開けたり、視線を逸らせたりして照合不良画像と判定されたときは、登録画像と異なるためＣＰＵ４２は不適判定結果と判定して、照合結果表示ＬＥＤ１６に照合処理失敗である旨を点灯表示し（ステップｎ17）、
同時にその照合処理回数が何回目であるかを照合回数表示ＬＥＤ１７により表示案内し（ステップｎ18）、
再照合時には照合結果表示ＬＥＤ１６を消灯した後（ステップｎ19）、
ＣＰＵ４２は複数枚取得した同一照合対象者の画像の中からボタン押下時点より１つ前の画像を抽出して再照合を開始する（ステップｎ20）。
【００５５】
再照合しても一致しなければ、ボタン押下時期に近い順番で取得した画像を用いて再照合を行う。それでも一致しなければ、同様な再照合操作を繰返し行い、予め定められた照合限度回数になると、他の照合手段を案内し、照合対象者が暗証キー１９を用いて暗証番号を入力操作するか、あるいはカードリーダ２０を用いてカードデータを読取らせて照合確認できれば、入退室ゲートを開錠して入退室許容する（ステップｎ21〜ｎ22）、
しかし、予め定められた照合限度回数になっても照合確認できなかった場合や暗証キー１９やカードリーダ２０を用いても不適判定結果と判定された場合は、照合結果表示ＬＥＤ１６に不適判定結果を表示して入退室規制する（ステップｎ23〜ｎ24）。
【００５６】
この発明と、上述の一実施の形態の構成との対応において、
この発明の撮影手段は、実施の形態のカメラ１４，３２に対応し、
以下同様に、
撮影対象物は、照合対象者３１に対応し、
照合確認用のボタンは、照合開始ボタン１８に対応し、
対象物検知センサは、人検知センサ１５に対応し、
記憶手段は、メモリ４３または登録ファイル５１に対応し、
表示手段は、照合結果表示ＬＥＤ１６および照合回数表示ＬＥＤ１７に対応するも、
この発明は、請求項に示される技術思想に基づいて応用することができ、上述の一実施の形態の構成のみに限定されるものではない。
【００５７】
【発明の効果】
この発明によれば、照合確認用のボタンが押下された時点で適正な照合画像が得られなくても、他の画像を用いて照合確認できるため、ボタンを繰返し押下操作する必要がなくなり、１回のボタン押下操作で照合処理を完結することができる。
【図面の簡単な説明】
【図１】  この発明の画像比較装置を示す正面図。
【図２】  この発明の画像情報取得曲線とカメラの撮影状況を示す図表。
【図３】  この発明の画像比較装置を使用する照合対象者の触れ角度状態を示す説明図。
【図４】  この発明の画像比較システムの制御回路ブロック図。
【図５】  この発明の画像比較システムを用いた照合処理動作を示すフローチャート。
【図６】  図５に続くフローチャート。
【図７】  従来の画像比較装置の使用状態を示す概略側面図。
【図８】  従来の画像比較装置で撮影する画像情報取得曲線とカメラの撮影タイミングを示す図表。
【符号の説明】
１１…画像比較装置
１４，３２…カメラ
１５…人検知センサ
１６…照合結果表示ＬＥＤ
１７…照合回数表示ＬＥＤ
１８…照合開始ボタン
２１…画像情報取得曲線
２２…ボタン押下時期
２３…直前画像
３１…照合対象者
４１…画像比較センタ装置
４２…ＣＰＵ
４３…メモリ
５１…登録ファイル
【図１】
0004374759.tif 000002
【図２】
0004374759.tif 000003
【図３】
0004374759.tif 000004
【図４】
0004374759.tif 000005
【図５】
0004374759.tif 000006
【図６】
0004374759.tif 000007
【図７】
0004374759.tif 000008
【図８】
0004374759.tif 000009