(57)【特許請求の範囲】
【請求項１】
人の移動経路に関して方向性を持つ所定幅の通路を撮像してその通路を通行する歩行者の顔面を観測する装置であって、歩行者の顔面を撮像し、その撮像により得られた画像を出力するためのカメラと、このカメラを、前記通路の外側または通路内の幅方向の境界付近に設置するためのカメラ支持具とを具備し、
前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置に光軸を斜め上方に向けた状態で支持しており、
前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、前記カメラの画角と被写界深度とで決まる観測可能領域内に含まれ、かつ、あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、前記カメラの視野に、認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、前記カメラの撮像条件と前記カメラ支持具の設置条件とが調整されている歩行者観測装置。
【請求項２】
人の移動経路に関して方向性を持つ所定幅の通路を撮像してその通路を通行する歩行者の顔面を観測する装置であって、歩行者の顔面を撮像し、その撮像により得られた画像を出力するためのカメラと、このカメラを、前記通路の外側または通路内の幅方向の境界付近に設置するためのカメラ支持具とを具備し、
前記カメラ支持具は、前記カメラを、あらかじめ登録された複数人の顔面の高さの最小値よりも低い位置に光軸を斜め上方に向けた状態で支持しており、
前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、および前記登録された複数人の移動速度と顔面の観測のための画像の取得に必要な時間とにより算出される歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、前記カメラの画角と被写界深度とにより決まる観測可能領域内に含まれ、かつ、前記登録された高さの範囲にある顔面が前記必須観測領域を通過する間に、前記カメラの視野に、認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、前記カメラの撮像条件と前記カメラ支持具の設置条件とが調整されている歩行者観測装置。
【請求項３】
人の移動経路に関して方向性を持つ所定幅の通路を撮像してその通路を通行する歩行者の顔面を観測する装置であって、
前記通路上で歩行者の移動方向を向いた場合に通路上の所定の通過ラインに対して前方になり、前記通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を前記通過ラインの方に向けて配置される少なくとも１台のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する少なくとも１台のカメラ支持具とを具備し、
前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置に光軸を斜め上方に向けた状態で支持しており、
前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の平均的な移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、各カメラの画角と被写界深度とで決まる各カメラの観測可能領域内に含まれ、かつ、あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、各カメラの視野に、それぞれ認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、各カメラの撮像条件と各カメラ支持具の設置条件とが調整されている歩行者観測装置。
【請求項４】
前記カメラ支持具は、前記通路を通過する可能性のある複数の歩行者から得られる顔面の高さの最小値より低い位置に、光軸を斜め上方に向けた姿勢でカメラを支持している請求項３に記載された歩行者観測装置。
【請求項５】
前記カメラは、前記通路上で歩行者の移動方向を向いた場合に前記通過ラインに対して前方になり、前記通路の幅方向の両境界に対し、通路内の近傍の対称位置または通路の外側へ変位した対称位置に、それぞれ１台ずつ、前記カメラ支持具により支持された状態で設置される請求項３または４に記載された歩行者観測装置。
【請求項６】
所定の地点に向けて人が移動する領域内において、人の移動経路に関して異なる方向性をもつ所定幅の複数の通路を通路毎に撮像し、各通路を通行する歩行者の顔面を観測する装置であって、
各通路上で歩行者の移動方向を向いた場合に通路上の所定の通過ラインに対して前方になり、通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を通過ラインの方に向けて配置される通路毎のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する複数台のカメラ支持具とを備えており、
前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置に光軸を斜め上方に向けた状態で支持しており、
前記各通路に対し、それぞれその通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、当該通路に対して配置されたカメラの画角と被写界深度とで決まる観測可能領域内に含まれ、かつ、あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、各カメラの視野に、それぞれ認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、各カメラの撮像条件と各カメラ支持具の設置条件とが調整されている歩行者観測装置。
【請求項７】
所定の地点を通過する歩行者を認識するためのシステムであって、
前記通過地点に人の移動経路に関して方向性をもつ所定幅の通路を設定してその通路を撮像し、前記通過地点を通過する歩行者を観測する歩行者観測装置と、前記歩行者観測装置により得られた画像を用いて前記歩行者を認識する認識処理装置とを具備しており、
前記歩行者観測装置は、前記通路上で歩行者の移動方向を向いた場合に通路上の前記通過地点に対して前方になり、前記通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を前記通過地点の方に向けて配置される少なくとも１台のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する少なくとも１台のカメラ支持具とを備え、
前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置に光軸を斜め上方に向けた状態で支持しており、
前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、各カメラの画角と被写界深度とで決まる各カメラの観測可能領域内に含まれ、かつ、前記あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、各カメラの視野にそれぞれ認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、各カメラの撮像条件と各カメラ支持具の設置条件とが調整されており、
前記認識処理装置は、前記複数の登録者についての顔面の特徴点が登録されたメモリと、前記カメラにより得られた画像から顔面の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段による抽出結果をメモリ内の登録データと照合して、前記歩行者が登録者であるか否かを判別する判別手段とを具備して成る歩行者認識システム。
【請求項８】
前記カメラ支持具は、前記複数の登録者から得られる顔面の高さの最小値より低い位置に、光軸を斜め上方を向けた姿勢でカメラを支持している請求項７に記載された歩行者認識システム。
【請求項９】
前記認識処理装置は、前記カメラから所定の時間間隔毎に画像を入力する画像入力手段と、画像を入力する毎にその入力画像と１段階前の入力画像との差分処理を実行する差分演算手段とを備え、前記差分処理により得た差分変化量が所定のしきい値を上回ったとき、その時点から変化量が抽出されなくなるまでの間に入力された画像を用いて、前記特徴点抽出手段および判別手段による処理を実行する請求項７または８に記載された歩行者認識システム。
【請求項１０】
前記認識処理装置は、前記判別手段により歩行者が登録者であると判別されたとき、その判別結果を外部に通報する通報手段を具備して成る請求項７〜９のいずれかに記載された歩行者認識システム。
【請求項１１】
前記認識処理装置は、前記判別手段により歩行者は登録者でないと判別されたとき、その判別結果を外部に通報する通報手段を具備して成る請求項７〜９のいずれかに記載された歩行者認識システム。
【請求項１２】
扉により閉鎖された出入口に向かう歩行者を検知して前記扉を開放する扉開閉制御システムであって、
前記出入口に向けて人が移動する領域内に人の移動経路に関して方向性をもつ所定幅の通路を設定してその通路を撮像し、前記出入口に向かう歩行者を観測する歩行者観測装置と、前記歩行者観測装置により得られた画像を用いて前記扉の開閉動作を制御する制御装置とを具備し、
前記歩行者観測装置は、前記通路上で歩行者の移動方向を向いた場合に通路上の所定の通過ラインに対して前方になり、前記通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を前記通過ラインの方に向けて配置される少なくとも１台のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する少なくとも１台のカメラ支持具とを備え、
前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置から光軸を斜め上方に向けた状態で支持しており、
前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、前記カメラの画角と被写界深度とで決まる各カメラの観測可能領域内に含まれ、かつ、前記あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、各カメラの視野にそれぞれ認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、各カメラの撮像条件と各カメラ支持具の設置条件とが調整されており、
前記制御装置は、前記複数の登録者についての顔面の特徴点が登録されたメモリと、前記カメラにより得られた画像から顔面の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段による抽出結果をメモリ内の登録データと照合して、前記歩行者が登録者であるか否かを判別する判別手段と、前記判別手段により前記歩行者が登録者であることが判別されたとき、前記扉を開放する扉開放手段とを具備して成る扉開閉制御システム。
【請求項１３】
前記カメラ支持具は、前記複数の登録者から得られる顔面の高さの最小値より低い位置に、光軸を斜め上方を向けた姿勢でカメラを支持している請求項１２に記載された扉開閉制御システム。
【請求項１４】
前記制御装置は、前記カメラから所定の時間間隔毎に画像を入力する画像入力手段と、画像を入力する毎にその入力画像と１段階前の入力画像との差分処理を実行する差分演算手段とを備え、前記差分処理により得た差分変化量が所定のしきい値を上回ったとき、その時点から変化量が抽出されなくなるまでの間に入力された画像を用いて、前記特徴抽出手段および判別手段による処理を実行する請求項１２または１３に記載された扉開閉制御システム。
【請求項１５】
人が出入りするための出入口と、この出入口に人の移動経路に関して方向性をもつ所定幅の通路を設定してその通路を撮像し、前記通路を通行する歩行者を観測する歩行者観測装置とを具備して成る建造物であって、
前記歩行者観測装置は、前記通路上で歩行者の移動方向を向いた場合に通路上の所定の通過ラインに対して前方になり、前記通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を前記通過地点の方に向けて配置される少なくとも１台のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する少なくとも１台のカメラ支持具とを備え、
前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置に光軸を斜め上方に向けた状態で支持しており、
前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、前記カメラの画角と被写界深度とで決まる各カメラの観測可能領域内に含まれ、かつ、前記あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、各カメラの視野にそれぞれ認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、各カメラの撮像条件と各カメラ支持具の設置条件とが調整されている建造物。
【請求項１６】
前記建造物は居住者が特定されている居住施設であって、前記歩行者観測装置により得られた画像を用いて前記通路を通過した歩行者を認識するための認識処理装置を具備しており、
前記認識処理装置は、各居住者についての顔面の特徴点が登録されたメモリと、前記カメラにより得られた画像から顔面の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段による抽出結果をメモリ内の登録データと照合して、前記歩行者観測装置により観測された歩行者が居住者であるか否かを判別する判別手段を具備して成る請求項１５に記載された建造物。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、廊下、出入口に至る人の移動経路の範囲など、人が通行する可能性のある空間として想定し得る領域（ここでは「通路」と総称する）であって、特に人の移動経路に関しての方向性が特定された所定幅の通路を、徒歩または徒歩に近い速さで移動する人物（以下「歩行者」と総称する）を撮像して、得られた画像よりその歩行者の顔面を観測するための技術分野に属するもので、特に、歩行者の顔面を精度良く観測するための技術に関連する。
【０００２】
【従来の技術】
従来、防犯などの用途のために出入口付近に撮像装置を設置して、入場または退場する人物を観測するシステムが存在する。この種の目的に用いられる撮像装置は、通常、出入りする人の通行を妨げることがないように、観測対象位置の上方に設置されて斜め上方から歩行者を撮像するようにしている。また特開平１０−２８２６４号公報のように、出入口に設置されたホログラムスクリーンにより出入口に近づく歩行者の正面像を生成した後、この像を上方の撮像装置に導いて歩行者の顔を正面から観測するようにしたシステムも開発されている。
【０００３】
【発明が解決しようとする課題】
ところで、病院や老人ホームなどの施設では、近年、入所している痴呆性徘徊老人に対するケアが大きな問題となっている。痴呆症の悪化を防ぐためには、入所者の行動を必要以上に束縛せず、自由な生活環境を与えることが望ましいが、職員数の問題などからすべての入所者に目を行き届かせるのは困難である。
このような問題を解決するには、画像処理による認識技術を用いて施設外に出ていこうとしている入所者を早期に発見して保護するシステムを導入するのが有効である。このシステムによれば、施設の出入口付近に撮像装置を設置して、施設外に出ようとしている人物を前方から撮像し、その画像上で歩行者の顔面を認識することにより、保護の必要な入所者の外出を検知して職員に緊急通報する、といった措置をとることが可能となり、職員の負担を軽減し、かつ入所者の安全を確保することができる。
【０００４】
また近年、マンションのような居住施設において、居住者に登録番号を入力させてその番号を照合し、扉を開放するようにしたオートロックシステムが見受けられるが、このシステムでは、登録番号が外部に漏れると、居住者以外の人物も建物内に入ることができるようになるという問題がある。そこで上記した顔面の認識技術により出入口に近づいてくる歩行者が居住者であるか否かを自動的に認識して扉の開閉を制御するようにすれば、システムのセキュリティーが大幅に向上する上、居住者は煩わしい番号入力操作から開放されるというメリットが得られる。
【０００５】
上記した各システムでは、歩行者の顔面を高精度で認識する必要があり、高精度の認識処理を実現するには、画像上の顔面が、認識処理に必要な大きさであり、かつ目、鼻、口などの特徴部分がはっきりと認識できるような画像を生成する必要がある。言い換えれば、認識処理に必要な画像が取得されるまでの間は、歩行者の顔面が認識可能な状態で撮像されるように、カメラの設置位置、光軸の向き、画角や被写界深度などの観測条件を設定する必要がある。しかしながら従来のカメラの観測条件は、歩行者が通過する可能性のある領域がカメラの観測可能領域に含まれる程度に設定されているだけであり、歩行者の顔面を確実に撮像するための条件設定は、なんら提案されていない。
【０００６】
加えて観測対象位置の斜め上方にカメラを設置して歩行者を撮像した場合、顔面よりも頭部が強調された画像が生成されるため、目や口などの特徴が捉えにくくなり、認識精度が低下する。特に、歩行者はうつむき加減であるのが通常であるため、顔面の特徴を捉えるのはますます困難になり、認識精度が著しく悪くなるという問題が生じる。
【０００７】
また特開平１０−２８２６４号公報に開示された構成は、歩行者の正面にホログラムスクリーンを設ける必要があるので、出口が開放状態にある場合や出口以外の通路上で認識処理を行いたい場合の導入は不可能である。またこの構成では、歩行者が正面を向いている場合には精度の良い認識処理が可能であるが、歩行者がうつむき加減で歩いていると、やはり顔の特徴が捉えにくくなり、認識精度が低下するという問題が発生する。
【０００８】
この発明は上記問題点に着目してなされたもので、歩行者の顔面の特徴が安定して抽出できるような画像を取得して、歩行者の顔面を精度良く観測することを、第１の目的とする。
またこの発明は、歩行者の顔面を高精度で観測するのに必要な条件を満たし、かつ歩行者の通行を妨げることなく、歩行者の顔面を精度良く観測することを第２の目的とする。
【０００９】
さらにこの発明では、この種の歩行者観測装置を用いて、あらかじめ登録された人物の出入りを高精度で認識するシステムを実現することを第３の目的とし、さらに登録された人物のみに扉を開放するシステムを実現することを第４の目的とする。
【００１０】
加えてこの発明では、銀行，コンビニエンスストア，遊園地など、不特定多数の人が出入りするような建造物に前記の歩行者観測装置を導入することにより、出入りする人々の顔面を個別に精度良く観測することを第５の目的とする。
さらにこの発明では、老人ホーム、病院、マンションのような居住者の特定された居住施設の出入口における人の出入りを、上記の歩行者観測装置により観測して居住者であるかどうかを確認することにより、居住者を安全に保護したり、施設内のセキュリティーを向上させることを第６の目的とする。
【００１１】
【課題を解決するための手段】
この発明にかかる歩行者観測装置では、人の移動経路に関して方向性をもつ所定幅の通路を撮像して、その通路内を通行する歩行者の顔面を観測する。なおここで言う通路は、歩行者が出入口など所定の目標位置に向かって移動する場合に歩行者が通過する可能性のある空間領域であって、廊下や道路のように規定された幅をもって伸びる通路のほか、目標位置までの歩行者の移動範囲として方向と幅とを想定することにより決まる仮想通路も含む概念である。
【００１２】
たとえば図１に示すように、扉のない開放された出入口３０を通って、建物の内部から外に退出する歩行者の顔面を観測するために、出入口３０の両端が前後に延長された仮想通路ＲＤを設定すると、この仮想通路ＲＤ上の所定の観測対象位置Ｒに位置する歩行者の顔面を撮像するには、歩行者にとってこの観測対象位置Ｒより前方にカメラ１が設置される必要がある。
【００１３】
また前記仮想通路ＲＤにおいての歩行者の通行を妨げずにその顔面を撮像する方法として、仮想通路ＲＤの幅方向の境界位置より外側に変位した位置、または仮想通路ＲＤ内で可能な限り境界位置に接近した位置（図１では前者の位置を採用している）に、床面から所定の高さをもってカメラ１を設置する方法が考えられる。このような位置にカメラ１を設置した場合、前記観測対象位置Ｒにいる歩行者の顔面は前方斜め方向から撮像されることになる。
【００１４】
さらにこのカメラ１により得られた画像を用いて歩行者の顔面を精度良く観測するには、少なくとも観測に必要な画像を取得する間は、カメラ１のレンズ上に歩行者の顔面が鮮明に写り込むように、カメラ１の観測条件を調整する必要がある。
【００１５】
いま歩行者が前記仮想通路ＲＤ上を、矢印Ｈで示す移動方向に沿って所定の通過ラインＬ（図示例では、出入口３０の両端を結んだ線に該当する）に向かって進んでいる場合、通過ラインＬを通過する歩行者の顔面を観測するには、カメラ１を、仮想通路ＲＤ上で前記図１の矢印Ｈが指す方向を向いた場合に、通過ラインＬより前方になる位置であって、歩行者の通行を妨げない位置に設置する必要がある。
また歩行者の腕の付け根位置から首部に至るまでの標準的な幅長さ（ここではこの長さを「肩幅」という）をｄとすると（約１５〜２５cm程度の値をとる）、前記仮想通路ＲＤにおいて、幅方向の各境界位置から前記肩幅ｄだけ内側の各位置を結ぶ範囲Ａが、通路の幅方向において歩行者の顔面が通過する可能性のある範囲ということになる。また歩行者の顔面を観測するのに必要なｎ枚（ｎ≧１）の画像を取得する間に歩行者の顔面が移動する距離範囲をＢとすると、これらＡ，Ｂの範囲により決まる領域Ｑが、顔面の観測のための画像を取得する間に歩行者の顔面が移動し得る領域に相当すると考えることができる（以下この領域Ｑを「必須観測領域」という）。
【００１６】
ここでカメラの視野（平面的に言えば、図１のレンズの中心点Ｃから水平方向に画角θの広がりをもって延びる二点鎖線で示す範囲をいう）内において、レンズに鮮明な画像が生成されて観測が可能となる領域Ｐ（図１中、点ｐ１，ｐ２による円弧、ｐ３，ｐ４による円弧、ｐ１，ｐ３を結ぶ直線、およびｐ２，ｐ４を結ぶ直線により表される領域）は、カメラの画角（図中の水平方向の画角θおよび図示しない垂直方向の画角の両方を指す）や被写界深度Ｄにより特定される（以下この領域Ｐを「観測可能領域」という）。
したがって、前記通過ラインＬにかかる位置に前記必須観測領域Ｑが設定される場合、この必須観測領域Ｑがカメラ１の観測可能領域Ｐ内に確実に含まれるように、カメラ１の設置位置（ここではカメラレンズの中心点Ｃをいう）、光軸の向き、水平，垂直の各方向における画角，および被写界深度Ｄを設定することにより、前記通過ラインＬを通過する歩行者の顔面を確実に捉えた画像を生成して、精度の良い観測処理を行うことが可能となる。
【００１７】
なお前記必須観測領域Ｑを特定するための各方向の範囲Ａ，Ｂについては、観測対象となり得る歩行者の体格や平均的な移動速度などに応じて、あらかじめ設定しておく必要がある。
【００１８】
請求項１，２の発明の装置は、歩行者の顔面を撮像し、その撮像により得られた画像を出力するためのカメラと、このカメラを、前記通路の外側または通路内の幅方向の境界付近に設置するためのカメラ支持具とを具備するものである。
請求項１の発明では、前記カメラ支持具は、前記カメラを、歩行者の顔面の高さの最小値として設定された値よりも低い位置に光軸を斜め上方に向けた状態で支持する。また前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、およびあらかじめ設定された歩行者の移動速度と顔面の観測のための画像の取得に必要な時間長さとにより求められる歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、前記カメラの画角と被写界深度とで決まる観測可能領域内に含まれ、かつ、あらかじめ設定された高さの範囲にある顔面が前記必須観測領域を通過する間に、前記カメラの視野に、認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、前記カメラの撮像条件と前記カメラ支持具の設置条件とが調整されている。
請求項２の発明でも、前記カメラ支持具は、上記と同様に、カメラを、あらかじめ登録された複数人の顔面の高さの最小値よりも低い位置に光軸を斜め上方に向けた状態で支持する。また、前記通路の幅方向において歩行者の顔面が通過する可能性のある範囲、および前記登録された複数人の移動速度と顔面の観測のための画像の取得に必要な時間とにより算出される歩行者の顔面の移動範囲、の２つの範囲により示される必須観測領域の全てが、前記観測可能領域内に含まれ、かつ、前記登録された高さの範囲にある顔面が前記必須観測領域を通過する間に、前記カメラの視野に、認識処理に必要な数の特徴点を抽出可能な大きさの前記顔面が現れるように、前記カメラの撮像条件と前記カメラ支持具の設置条件とが調整される。
【００１９】
請求項３の発明にかかる歩行者観測装置は、通路上で歩行者の移動方向（図１の矢印Ｈの方向に相当する）を向いた場合に通路上の所定の通過ラインＬに対して前方になり、前記通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を前記通過ラインの方に向けて配置される少なくとも１台のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する少なくとも１台のカメラ支持具とを具備するもので、各カメラの撮像条件および各カメラ支持具の設置条件は、いずれも請求項１と同様に調整される。
【００２０】
なおここでいう通過ラインとは、通路上の幅方向に沿って仮想的に設定されるラインであって、図１のような出入口の位置に限らず、歩行者の通過を確認したい任意の位置に設定できる。また撮像条件とは、カメラの観測可能領域の範囲を決定するための垂直，水平の両方向における画角，および被写界深度を指し、これらは、レンズの焦点距離（図１中、ｆで示す）、カメラの絞りやシャッタ速度を選択することにより、望ましい値に設定し得る。またカメラおよびカメラ支持具の設置条件とは、カメラの設置位置（具体的にはカメラレンズの中心点Ｃの空間座標位置）や光軸の向きを決めるための条件を指す。
また請求項１〜１７の各発明でいうところの「カメラ」は、アナログの画像信号を出力するテレビカメラのほか、ディジタルカメラも含む概念である。
【００２１】
請求項４の発明では、上記請求項３の構成において、前記カメラ支持具を、前記通路を通過する可能性のある複数の歩行者から得られる顔面の高さの最小値より低い位置に、光軸を斜め上方に向けた姿勢でカメラを支持するように構成する。また請求項５の発明では、前記カメラは、前記通路上で歩行者の移動方向を向いた場合に前記通過ラインに対して前方になり、前記通路の幅方向の両境界に対し、通路内の近傍の対称位置または通路の外側へ変位した対称位置に、それぞれ１台ずつ、前記カメラ支持具により支持された状態で設置される。
請求項６の発明にかかる歩行者観測装置は、人の移動経路に関して異なる方向性をもつ所定幅の複数の通路に対し、それぞれその通路上で歩行者の移動方向を向いた場合に通路上の所定の通過ラインに対して前方になり、通路の幅方向の境界に対し、通路内の近傍位置または通路の外側へ変位した位置に、光軸を通過ラインの方に向けて配置される通路毎のカメラと、配置された各カメラを所定の高さ位置にそれぞれ支持する複数台のカメラ支持具とを具備する。各カメラの撮像条件および各カメラの設置条件は、請求項１や３の発明と同様に設定されている。
【００２２】
請求項７の発明にかかる歩行者認識システムは、請求項３と同様の構成の歩行者観測装置と、この装置により得られた画像を用いて歩行者を認識する認識処理装置とを具備する。前記歩行者観測装置は、所定の通過地点に人の移動方向に関して方向性をもつ所定幅の道路を設定してその通路を撮像し、前記通過地点を通過する歩行者を観測する。前記認識処理装置は、複数の登録者についての顔面の特徴点が登録されたメモリと、歩行者観測装置のカメラにより生成された画像から顔面の特徴点を抽出する特徴点抽出手段と、特徴点抽出手段による抽出結果をメモリ内の登録データと照合して、撮像された歩行者が登録者であるか否かを判別する判別手段とを具備する。
【００２３】
請求項８〜１１の発明は、請求項７の発明の構成を具備する歩行者認識システムについてなされたものである。請求項８の発明では、前記カメラ支持具は、前記複数の登録者から得られる顔面の高さの最小値より低い位置に、光軸を斜め上方を向けた状態でカメラを支持する。
請求項９の発明では、前記認識処理装置は、前記カメラから所定の時間間隔毎に画像を入力する画像入力手段と、画像を入力する毎に、その入力画像と１段階前の入力画像との差分処理を実行する差分演算手段とを備え、前記差分処理により得た差分変化量が所定のしきい値を上回ったとき、その時点から変化量が抽出されなくなるまでの間に入力された画像を用いて、前記特徴点抽出手段および判別手段による処理を実行する。
請求項１０の発明では、前記認識処理装置は、前記判別手段により歩行者が登録者であると判別されたとき、その判別結果を外部に通報する通報手段を具備する。
請求項１１の発明では、前記認識処理装置は、前記判別手段により歩行者は登録者でないと判別されたとき、その判別結果を外部に通報する通報手段を具備する。
【００２４】
請求項１２の発明は、扉により閉鎖された出入口に向かう歩行者を検知して前記扉を開放する扉開閉制御システムであって、請求項３と同様の構成の歩行者観測装置と、扉の開閉動作を制御するための制御装置とを具備する。前記歩行者観測装置は、前記出入口に向けて人が移動する領域内に人の移動経路に関して方向性をもつ所定幅の通路を設定してその通路を撮像し、前記出入口に向かう歩行者を観測する。前記制御装置には、請求項７の発明における認識処理装置と同様のメモリ、特徴点抽出手段、判別手段のほか、判別手段により撮像された歩行者が登録者であることが判別されたときに、前記扉を開放する扉開放手段を具備させている。
さらに、請求項１３の発明では、上記請求項１２の構成において、前記カメラ支持具を請求項８の発明と同様に構成する。また、請求項１４の発明では、請求項１２の発明にかかる制御装置を、請求項９と同様に構成する。
【００２５】
請求項１５の発明は、人が出入りするための出入口と、この出入口に人の移動経路に関して方向性をもつ所定幅の通路を設定してその通路を撮像し、前記通路を通行する歩行者の顔面を観測する歩行者観測装置とを具備する建造物であって、歩行者観測装置は、請求項３と同様の構成を具備して成る。さらに、請求項１６の発明では、上記の建造物に、前記請求項７の発明と同様の構成の認識処理装置が設けられる。
【００２６】
【作用】
請求項１，２の発明によれば、観測用のカメラは、通路の外側または通路の幅方向の境界付近に設置されるので、カメラにより歩行者の通行が妨げられる可能性はきわめて少なくなる。また顔面観測用のカメラは、観測領域を通過する可能性のある歩行者の顔面の高さの最小値として設定された値より低い位置から光軸を斜め上方を向けて設置されるので、認識対象として想定されたすべての歩行者の顔面を斜め下から撮像して、顔面の特徴を精度良く捉えた画像を生成することができる。さらに、通路内の必須観測領域が全てカメラの観測可能領域に含まれ、さらに歩行者が必須観測領域を通過している間、カメラの視野には、前記顔面が認識処理に必要な数の特徴点を抽出可能な大きさをもって現れるので、顔面の認識処理に適した画像を取得することが可能になる。
さらに、必須観測領域は、通路の幅方向において歩行者の顔面が通過する可能性のある範囲と、観測のための画像の取得に必要な時間内に歩行者の顔面が移動する範囲とにより定められるので、歩行者が通路の幅方向のどの位置を歩いていても、その顔面を認識処理に必要な大きさで撮像することが可能になる。
【００２７】
請求項３の構成によれば、観測用のカメラは、通路上の通過ラインより前方において、通路の幅方向の境界に対し、通路内の近傍位置、または通路の外側へ変位した位置に光軸を通過ラインの方に向けて設置されるので、カメラにより歩行者の通行が妨げられる可能性がきわめて少なくなる。さらにカメラの撮像条件やカメラ支持具の設置条件は請求項１，２の発明と同様に設定されるので、歩行者が必須観測領域を通過する間に顔面の認識処理に適した画像を取得することが可能になる。
【００２９】
請求項７の構成によれば、請求項３と同様の構成による歩行者観測装置により通過地点を通過する歩行者の顔面を精度良く捉えた画像を生成し、さらにその画像上の顔面の特徴から歩行者が登録者であるかどうかを判別するので、画像処理による個人認証の精度が大幅に向上する。
【００３０】
請求項１０の構成によれば、例えば病院や老人ホームのような施設で居住者が外に出ていくような場合の職員への通報が実現する。また請求項１１の発明では、マンションのような施設で居住者以外の人物が侵入したときの警報出力が実現する。
【００３１】
請求項１２の構成によれば、請求項７と同様の処理により、画像上の特徴点を用いた認識処理により歩行者が登録者であるか否かが高精度で判別され、さらに登録者であると判別された場合に、出入口を閉鎖している扉が開放されて、歩行者の通過が可能となる。
【００３２】
請求項１５の構成によれば、多数の人の出入りが想定される建造物に対し、出入りする人々の顔面を精度良く捉えた画像を取得することが可能となる。
【００３３】
【実施例】
図１は、請求項１の発明にかかる歩行者観測装置の設置例を示す。
図示例は、扉のない開放された出入口３０を通過する歩行者の顔面を観測することを目的としたもので、歩行者が出入口３０の両端が前後に延長された仮想通路ＲＤ上を移動することを前提としている。カメラ１は、仮想通路ＲＤ上で歩行者の移動方向Ｈを向いた場合に、出入口３０の両端を結ぶ通過ラインＬの前方であって、幅方向において仮想通路ＲＤの一方の境界位置より外側に変位した位置に、光軸を通過ラインＬの方に向けて設置される。
【００３４】
この実施例では、出入口３０を通過して建物の内側から外へと退出する歩行者の顔面を精度良く観測するために、カメラの設置位置、光軸の向き、レンズの焦点距離、絞り、シャッタ速度などの条件（以下これらの条件を「観測条件」と総称する）を調整して、カメラ１の視野において、歩行者の顔面観測に必要な画像を取得する間に顔面が移動し得る範囲を示す必須観測領域Ｑが、前記通過ラインＬにまたがる位置に設定され、さらにこの必須観測領域Ｑがカメラ１の観測可能領域Ｐ内に含まれるように設定している。
これにより、歩行者が出入口３０を含む空間内を通過している間にその顔面を観測するのに必要な画像が生成されることになり、歩行者の顔面を確実に精度良く捉えた画像を用いて、高精度の認識処理を行うことが可能となる。
【００３５】
なお図１のように出入口３０が開放された状態にある場合には、前記必須観測領域Ｑを、必ずしも出入口３０にまたがる位置に設定する必要はなく、建物内部の所定位置から出入口３０まで、あるいは出入口３０から外部の所定位置までにかかるように、設定してもよい。
【００３６】
図２は、図１の原理を応用した徘徊者保護システムの構成を示す。
このシステムは、病院や老人ホームなど、徘徊癖のある入所者を抱える施設において、一人で外出しようとしている徘徊者を自動的に検知して、職員に通報するためのもので、前記カメラ１としての白黒のＣＣＤカメラのほか、制御装置２，通報装置３などにより構成される。
【００３７】
ＣＣＤカメラ１（以下単に「カメラ１」という）は、詳細は後記するが、施設の出入口が視野内に入るように設置されて、白黒の動画像データを生成する。なおこの実施例では、歩行者という移動体を観測することから、画像のぶれが生じないように、プログレッシブ・スキャンタイプのカメラを用いている。
【００３８】
前記制御装置２は、２個のＣＰＵ（図示せず）が搭載された高性能パソコンであって、前記カメラ１からのアナログ映像信号をディジタル変換するためのキャプチャボードや、入出力用のインターフェイス（いずれも図示せず）などが組み込まれている。この制御装置２は、施設内の適所（受付、管理事務所など）に設置され、ディジタル処理された入力画像を用いて前記歩行者の顔面に対する認識処理を実行して、徘徊者が外出しようとしていないかどうかを検知する。通報装置３は、制御装置２により徘徊者の外出が検知されたことを報知するための音声ブザーや、外出しようとしている人の名前など、詳細な検知結果を報知するための音声出力装置や表示装置などにより構成される。
【００３９】
なおこの通報装置３は、制御装置２の近傍位置に設置されるが、必要に応じて職員の詰め所などの遠方位置に設置することも可能である。また通報装置３の近傍位置にＮＴＳＣ方式のモニタを配備し、制御装置２において、前記カメラ１からの毎時の入力画像を、奇数行と偶数行とに分けて記憶するとともに、各画像データを奇数行、偶数行の順にアナログ信号に復号して前記モニタに出力するようにすれば、通報装置３の作動時などに、出入口付近の画像を職員の目により確認することが可能となる。
【００４０】
図３および図４は、前記カメラ１の設置例を示す。なお図中の各数値の単位はミリメートルである。また以下の説明では、歩行者の移動方向に基づき、通路ＲＤ上でＨの方向を向いた場合の前方を「前方」、その反対方向を「後方」として、各構成の前後関係を述べることにする。
図示例は、開閉扉付きの外側出入口４と扉のない内側出入口５とを有する二重構造の玄関であって、施設内より内側出入口５を通過した歩行者を撮像対象に定めている。
【００４１】
図示例の外側出入口４と内側出入口５とは、幅１.４ｍの開口部を有し、２ｍの間隔をあけて配置されている。前記カメラ１は、これら出入口間の空間内の通行の妨げにならない位置（図示例では、外側出入口４に対し歩行者側から見て２５ｃｍ手前であって、通路の中心線Ｍに対し、幅方向に１ｍ変位した位置）に、床面から所定の高さをもって（図示例では床面から１ｍの高さ位置に）、固定配備される。
【００４２】
図５は、前記カメラ１を設置するためのカメラスタンド６の一例を示す。
このカメラスタンド６は、円柱状の支持部６ｂの上端に中空のカメラ収容部６ａを連設して成る。カメラ収容部６ａは、透明樹脂製の球状体の周面に透光性を有する暗色フィルムを貼設するなどして、内部から外部に対する視認は可能であるが、外部から内部に対する視認は困難となるように構成される。このような構成により、歩行者にカメラ１の存在を看過されることなく、顔面の自然な状態を撮像することが可能となる。
【００４３】
図６（１）は、前記内側出入口５に対し、歩行者の通行を妨げずにその顔を撮像するためのカメラ１の設置位置を示す。図中の▲１▼では、カメラ１は出入口５の真上に設置され、歩行者の顔を斜め上から撮像する。▲２▼では、カメラ１はレンズの中心を人の平均的な顔の高さに合わせた状態で設置され、光軸をほぼ水平な状態に設定して顔を斜め横から撮像する。これに対し▲３▼では、カメラ１は前記図３，４に示したように、レンズの中心を床から所定の高さ位置に合わせて設置され、歩行者の顔を斜め下方から撮像することになる。
【００４４】
図６（２）（３）は、前記図６（１）に示した各設置位置に設けられたカメラ１による画像であって、図６（２）は、歩行者が真正面を向いて歩いている場合の画像を、図６（３）は、歩行者がうつむき加減で歩いている場合の画像を、それぞれ示す。
【００４５】
▲１▼の設置例によれば、歩行者が真正面を向いて歩いている場合は、顔全体の輪郭は認識できるものの、目や口の特徴が捉えにくくなり、さらに歩行者がうつむき加減で歩いていると、目や口の特徴は殆ど捉えられなくなる。▲２▼の設置例によれば、歩行者が真正面を向いている場合、顔の輪郭や各部の特徴を明確に捉えた画像が生成されるが、歩行者がうつむき加減になると、口元や顔の下部の輪郭が捉えにくくなる。
これに対し、▲３▼の設置例によれば、歩行者の顔の向きに関わらず、顔の輪郭および各部の特徴を、ともに明確に捉えた画像を生成することが可能となる。
【００４６】
さらに車椅子の使用者の場合は、顔の高さ位置がさらに低くなるから、▲１▼や▲２▼の設置例によれば、顔の輪郭や特徴部分を認識するのがますます困難になる。このようなことから歩行者の顔を認識処理するためには、前記▲１▼〜▲３▼の中では、▲３▼の設置例が最適であると考えられる。
【００４７】
なお▲３▼におけるカメラ１の高さ方向における設置位置は、認識対象となり得る通行者の頭の高さに応じて、適宜、変更可能である。この場合、車いすの使用者など頭の位置が最も低くなる歩行者の顔面の高さよりも低い位置にカメラ１を設置することにより、すべての歩行者の顔面を精度良く捉えた画像を生成することができる。
【００４８】
ここで図３，４に戻って、上記高さ位置にカメラ１を設置した際の、歩行者の顔認識を行うために必要な観測条件について説明する。
画像上の顔面から個人を識別するためには、通常、複数枚の画像が必要である。この認識対象の画像を取得する間も歩行者は移動し続けているから、その移動経路において、歩行者の顔が認識処理を施すのに十分な大きさを持ち、かつ顔の各部の特徴が明確に現れるような画像を、複数枚、生成する必要がある。
【００４９】
この実施例では、後記するように、０.３秒おきに画像をサンプリングして、計４〜６枚の画像を取得し、顔面の認識処理を行うようにしている。
またこの実施例では、通報の対象となる歩行者の頭の高さが（車いす使用者の高さも含めて）１１０〜１８０cmの数値範囲内にあると想定している。そして内部出入口５の両端を前後に延長して成る仮想通路ＲＤに対し、認識処理に十分な精度をもって歩行者の顔面を捉えた画像を、必要枚数分取得できるように、カメラ１の視野および観測可能領域Ｐを設定している。
【００５０】
具体的には、前記カメラ１は、床面から１ｍの高さ位置に位置するとともに、光軸が、水平方向においては仮想通路側に３０度傾き、垂直方向においては上方に７度傾くように、設置される。さらにレンズの焦点距離や絞りなどの調節により、前記レンズ中心Ｃから約１．５ｍ離れた位置から約３ｍ離れた位置までの範囲がカメラ１の被写界深度になるように設定し、さらにこの範囲を歩行者の顔面が通過する場合に、カメラ１の視野に前記高さ範囲にある歩行者の顔面が認識処理に十分な大きさをもって現れるように、垂直方向の画角を３３．４度に、水平方向の画角を４３．６度に、それぞれ設定している。
【００５１】
上記した観測可能領域Ｐの設定条件は、歩行者の顔面が通過する範囲として仮想通路ＲＤの両境界位置から歩行者の肩幅に相当する距離ｄだけ内側の各位置を結ぶ範囲Ａを想定した場合に、この範囲Ａ全体がカメラ１の観測可能領域Ｐ内に入り、かつこの範囲Ａにおける顔面の最短の通過経路（すなわち仮想通路ＲＤのカメラ寄りの境界位置から前記距離ｄだけ内側の各位置を通る経路ｍ）が、その長さＢが、上記の画像サンプリング期間内に歩行者が移動し得る距離に対応し、かつ内側出入口５をまたぐ位置（すなわち図１でいうところの通過ラインＬをまたぐ位置）にくるように、設定されたものである。すなわち各範囲Ａ，Ｂにより前記した必須観測領域Ｑが決定され、この必須観測領域Ｑが観測可能領域Ｐ内に含まれるように設定されることになり、歩行者が内側出入口５を含む空間内を通過している間に、認識処理に必要な画像を確実に取得することが可能となる。
【００５２】
前記必須観測領域Ｑの幅方向の範囲Ａや、カメラ１の高さ位置については、観測対象となり得る歩行者の体格に応じて、適度な数値を設定する必要がある。また必須観測領域Ｑの長さ方向の範囲Ｂは、観測対象となり得る各歩行者の移動速度に応じて、画像の取得に必要な１〜２秒の間にいずれの歩行者も通過可能な距離範囲を設定する必要がある。
なお前記カメラスタンド６を、カメラ支持位置の高さを可変設定できるように構成しておけば、観測対象となり得る歩行者の頭の高さの想定値が変化しても、柔軟に対応することができる。
【００５３】
ところで図示例によれば、認識処理のための必須観測領域Ｑは内側出入口５をまたぐ位置に設定されているが、単に施設内から内側出入口５まで移動した歩行者を認識することを目的とする場合は、少なくとも必須観測領域Ｑの最前線が内側出入口５の位置に対応するように位置すればよい。
【００５４】
これに対し、内側出入口５が自動ドアや開閉扉などにより、通常閉鎖された状態にある場合は、扉が開放されてカメラ１により顔面の視認が可能となる間に認識処理のための画像がサンプリングされるように、カメラの観測条件を設定する必要がある。
【００５５】
図７は、通常、扉３２により閉鎖されている出入口３１を通過する歩行者の顔面を観測する場合のカメラ設置例を示す。カメラ１は、前記した図１や図３，４の具体例と同様に、出入口３１の両端を結ぶ通過ラインＬの前方位置であって、幅方向において仮想通路ＲＤの一方の境界位置より外側に変位した位置に設置され、仮想通路ＲＤに対し、前記通過ラインＬを視野を含むように方向決めされる。
【００５６】
図中のＥは、歩行者の移動により前記扉３２が開放され、歩行者の顔面を出入口３１の前方から視認できる距離範囲を示している。
この実施例では、必須観測領域Ｑの長さ方向における設定範囲Ｂの後端位置が前記扉３２の開放により歩行者の顔面を観測できる範囲Ｅ内に含まれ、かつこの範囲Ｂが通過ラインＬをまたぐように設定するとともに、この必須観測領域Ｑが観測可能領域Ｐ内に含まれるように、カメラ１の観測条件を設定している。これにより、歩行者が開放された出入口３１内の空間を通過している間に顔面の認識に必要な画像を取得することが可能となり、精度の良い認識処理を実現することが可能となる。
【００５７】
さらに廊下のように両側が壁などにより閉鎖された空間により形成される通路３３を通過する歩行者を認識対象とする場合は、カメラ１は、図８に示すように、通路３３の一端に可能な限り引き寄せて設置される（図中、通路端から距離ｄ１の範囲に設置される）とともに、この設置位置より、移動経路の方向Ｈを基準に見た後方位置において、所定位置の通過ラインＬが視野に入るようにカメラの観測条件が設定される。さらにこの観測条件により、カメラ１の視野において、通路３３の両端より歩行者の肩幅に相当する距離ｄだけ内側の各位置を結ぶ範囲Ａと、前記画像のサンプリング期間内に歩行者の顔面が移動し得る範囲Ｂとにより決まる必須観測領域Ｑが、前記通過ラインＬをまたいで位置し、かつカメラ１の観測可能領域Ｐ内に含まれるように設定される。
このような設定により、歩行者が通路３３上の通過ラインＬを含む空間内を通過している間に、認識処理に必要な画像を生成して、精度の良い認識処理を行うことが可能となる。
【００５８】
なお前記図７，８および後記する図１１，１３の各図に表されるアルファベット符号は、いずれも前記図１に示したのと同様の意味をもつものである。
【００５９】
このようにカメラ１の観測条件は、必須観測領域Ｑが観測可能領域Ｐ内に含まれることを前提に、周囲環境や観測目的に応じて、適宜、変更可能である。
なお前記図３，４のような二重構造の出入口４，５を具備する施設においては、各出入口４，５間の空間内にカメラスタンド６を設置することにより、条件に応じた観測可能領域Ｐを比較的容易に設定することができるが、単独の出入口より退出する歩行者が観測対象となる場合は、カメラ１は建物の外部であって、たとえば植え込みの陰など、歩行者の通行の妨げにならない位置に設置する必要がある。
【００６０】
上記の条件で設置されたカメラ１からの動画像データは、制御装置２内のキャプチャボードに逐次伝送されてディジタル変換され、メモリ内に記憶される。制御装置２の２個のＣＰＵには、それぞれ個別のタスクが割り当てられており、各ＣＰＵの連動処理により、画像上の顔の抽出および抽出された顔から歩行者を認識する処理が実現する。
【００６１】
図９は、各ＣＰＵに割り当てられたタスクの具体的な処理手順を示す。
第１のＣＰＵに割り当てられたタスク（図中、ＳＴA−１〜ＳＴA−４で示す）は、毎時の入力画像と１段階前の入力画像との差分処理（フレーム差分）による差分変化量により、歩行者などの移動体を検出するためのもので、所定しきい値を上回る差分変化量が抽出されると、その時点から画像の変化が抽出されなくなるまでの間、所定の時間間隔おきに入力画像を取り込んで時系列画像として保存するバッファリング処理が実行される（ＳＴA−２〜ＳＴA−４）。
【００６２】
前記図３，４に示した観測可能領域Ｐによれば、０．３秒間隔でバッファリング処理を実施した場合に、通常、４〜６枚の時系列画像が抽出される（以下この複数枚の時系列画像を「ターム」と呼ぶ）。したがって歩行者がこの観測可能領域Ｐを通常に歩行している場合、前記バッファリング処理により、観測可能領域Ｐ内の異なる位置における歩行者の顔面を表すタームが取得されるようになる。
【００６３】
第２のＣＰＵに割り当てられたタスクは、前記タームの抽出に応じて実行されるもので、ＳＴB−１でタームの抽出が確認されると、そのターム内の各画像に対し、それぞれ顔に相当する画像領域を抽出し（ＳＴB−２）、ついでその画像領域内で目や鼻など顔の特徴を表す特徴点を抽出する（ＳＴB−３）。そしてつぎのＳＴB−４で、特徴点の抽出結果をあらかじめ用意されていた登録データと照合し、登録された徘徊者の顔であると判断された場合は、前記通報装置３を作動させることになる（ＳＴB−５，６）。
【００６４】
近年、顔認識処理の分野では、Gabor Wavelet 変換による画像上の特徴点の抽出処理、およびこれらの特徴点とグラフ表現されたテンプレートとのマッチング処理により、画像上の人物が真正面を向いていなくとも、その顔の認識を高精度で行い得ることが、報告されている（E.Elagin, J.Steffens, and H.Neven. Automatic Pose Estimation System for Human Faces Based on Bunch Graph Matching Technology. Proceedings of the International Conference on Automatic Face and Gesture Recognition '98.pp136-141,1998）。この実施例では、この手法をＳＴB−２〜４の顔認識処理に導入することにより、前記カメラ１により斜め下方向から撮像された歩行者の顔を精度良く認識するようにしている。
【００６５】
Gabor Wavelet フィルタは、つぎの（１）式により表される。この（１）式において、σはガウス関数の標準偏差であり、２πに設定される。またｋは周波数、θは方位（角度）であって、ｋ，θを変化させてフィルタの解像度と方位とを制御しつつ画像を走査し、各走査位置において、それぞれ周囲近傍の画素データを用いた畳込み演算を行ってJetと呼ばれる特徴量を算出する。
【００６６】
【数１】
0003755343.tif 000002
【００６７】
一方、顔面抽出用のテンプレートとして、目、鼻、口などの各顔器官の配置関係を複数個の特徴点により表現したグラフ（図１０に示す）が用意される。この実施例では、斜め向きの顔が抽出対象となるので、標準的な斜め顔画像から抽出された各特徴点について、それぞれの特徴点間の空間位置関係と各Jetとが求められる。
【００６８】
前記ＳＴB−２では、前記フィルタ走査により生成された特徴抽出画像に対し、上記のテンプレートを、平行移動、拡大・縮小、回転などの処理を行いつつ走査し、各走査位置において、下記の（２）式を実行することにより、テンプレートの各特徴点のJet（ａ1j）とこれら特徴点に対応する特徴抽出画像上の点のJet（ａ2j）との類似度Ｓを算出する。そしてこの類似度が所定のしきい値を越えたときのテンプレートに重なる画像領域が、顔を表す領域であると判断する。
【００６９】
【数２】
0003755343.tif 000003
【００７０】
さらにＳＴB−３では、さらに特徴点の数を増やしたテンプレートを用いて、前記ＳＴB−２でラフに検出された画像領域およびその周辺領域に対し、前記（２）式によるマッチング処理を行い、テンプレートに最も類似する画像領域を求める。さらにこの画像領域およびその近傍において、テンプレートの各特徴点を局所的に移動させることにより、各特徴点に対する類似度がさらに高くなる点を抽出し、認識対象の顔の特徴点として特定する。
【００７１】
ＳＴB−４では、上記の処理により特定された各特徴点のJetと、あらかじめ登録された各徘徊者の顔の特徴点のJetとを前記（２）式にあてはめて、類似度Ｓを算出する。そしてＳＴB−５では、この類似度Ｓが所定のしきい値を越えた場合、そのときの登録データから画像上の人物を特定することになる。
いずれの登録データに対しても、しきい値を越える類似度が得られなかった場合は、ＳＴB−５が「ＮＯ」となり、歩行者は徘徊者ではないと判断される。
【００７２】
なおＳＴB−４の照合処理に用いられる登録データは、あらかじめ、各登録対象者に内側出入口５を通過してもらって、その通過状態を前記図２，３の条件で撮像し、その結果得られた画像上で顔の特徴点を抽出し、各特徴点のJetを算出することにより得られたものである。
この場合、時間が経つにつれて顔の特徴が変化していくため、認識精度がしだいに落ちてゆく可能性がある。ただし、前記の処理で所定の登録データに対し高い類似度が得られて個人が特定された場合に、そのときの特徴点のJetにより前記登録データを置き換えるようにすれば、認識精度を安定維持することができる。
【００７３】
また歩行者によっては、移動経路の途中で立ち止まってしまったり、極端に遅い速度で移動することが考えられるが、このような可能性がある場合には、タスク１において、画像の変化が抽出されない状態が所定期間続いた場合にも、所定の期間毎の画像を用いてタスク２による顔面の認識処理を行うとよい。
【００７４】
なお上記実施例では、出入口５の幅方向に変位する片側位置にカメラ１を設置しているが、これに限らず、複数のカメラ１を設置してもよい。たとえば出入口５の幅に沿う両方向に変位する対称位置にそれぞれカメラ１を設置して、各カメラ１からの画像データを個別に処理した後に各処理結果を統合するようにすれば、異なる位置や異なる方向から見た顔面を個別に認識した結果を用いて、各人の認識精度をさらに向上することができる。また複数の歩行者が連れだって移動しているような場合の認識精度を向上することもできる。
【００７５】
図１１は、開放された出入口３０を通過する歩行者の顔面を、２台のカメラ１，１により両側から観測する場合の各カメラ１，１の設置例を示す。各カメラ１，１は、出入口３０の両端を結ぶ通過ラインＬの前方であって、仮想通路ＲＤの幅方向に沿って外側位置に変位した対称位置に、各カメラ１の光軸が通過ラインＬの方を向き、かつ仮想通路ＲＤの幅方向における中心線に対し対称となるように設置される。
なお図中のＣ１，Ｃ２は各カメラ１，１のレンズの中心点を示し、Ｐ１，Ｐ２は各カメラ１，１の観測可能領域を示す。
【００７６】
上記のカメラ設置により、仮想通路ＲＤ上では、各カメラ１，１の視野において、それぞれ前記各実施例と同様の条件による必須観測領域Ｑが各カメラ１，１の観測可能領域Ｐ１，Ｐ２に含まれるように、各カメラ１，１の観測条件が設定される。
【００７７】
なおここまでは、出入口に対する歩行者の移動経路として、出入口の両端を延長して一方向に延びる仮想通路ＲＤを想定したが、これに限らず、出入口に対し、異なる方向に延びる複数の仮想通路ＲＤを設定し、各仮想通路ＲＤ毎に上記と同様の条件でカメラ１を設置し、各仮想通路ＲＤより出入口へと進む歩行者の顔面を認識するように構成することも可能である。この構成によれば、各方向からの歩行者の顔面を観測できるので、歩行者の認識範囲を拡大でき、出入口の内側にロビーが設けられているような施設にも、有用なシステムを提供することができる。
【００７８】
ところでこの発明によるカメラ配置によれば、建物の外に出ていく歩行者のみならず、建物内に入ろうとする歩行者を観測対象とすることができる。したがってマンションなどのオートロックシステムに前記の配置によるカメラ１を導入すれば、居住者を精度良く自動認識して扉を自動的に開放するシステムを構築することができる。
【００７９】
図１２は、この発明が適用されたオートロックシステムの概略構成を示す。
図中のカメラ１，制御装置２は、前記徘徊者保護システムに用いられたものと同様の構成のもので、さらに制御装置２には、自動ドアの開閉装置１０や通過者検知センサ１１などが接続されている。
【００８０】
図１３は、上記システムにおけるカメラ１および通過者検知センサ１１の設置例を示す。
この実施例では、開放された外側出入口１２と、扉１４により通常は閉鎖されている内側出入口１３とによる二重構造の玄関において、外側出入口１２から内側出入口１３へと向かって建物内に入る歩行者を観測するために、各出入口１２，１３の両端を延長した仮想通路ＲＤが設定される。この場合の通過ラインＬは外側出入口１２の位置に設定されており、カメラ１は、歩行者から見て内側出入口１３の手前位置であって、仮想通路ＲＤの外側に変位した位置に、通過ラインＬの方に向けて設置される。さらにこのカメラ１の視野において、前記各実施例と同様の条件による必須観測領域Ｑが通過ラインＬをまたぐ位置に設定され、かつカメラ１の観測可能領域Ｐ内に含まれるように、カメラ１の観測条件が設定される。
【００８１】
一方、光電センサなどによる通過者検知センサ１１は、内側出入口１３を通過した歩行者を検知するために、建物の内部の内側出入口１３の近傍位置であって、仮想通路ＲＤの幅方向に沿う対称位置に設置される。
【００８２】
上記システムにおいて、制御装置２は、前記第１の実施例と同様の方法で、カメラ１からの画像をサンプリングし、画像上の顔面から歩行者が登録された居住者であるかどうかを判別する。そして歩行者が居住者であると判別すると、自動ドア開閉装置１０を作動して扉１４を開放する。さらに通過者検知センサ１１により前記歩行者が内側出入口１３を通過したことが検知されると、制御装置２は、自動ドア開閉装置１０を作動して前記扉１４を再び閉鎖する。
【００８３】
このようなシステムにより、暗証番号などを入力する必要なしに、登録された人物に対してのみ自動的に入口を開放することが可能となるので、居住者にとって、煩わしい入力操作から解放された利便性の高いシステムが提供される。また外部から不正な方法で暗証番号を取得して侵入される虞がなくなるので、防犯上もすぐれたシステムを提供できる。
なおこのシステムの構成に警報装置を導入し、歩行者が居住者ではないと判別されたときに警報装置を作動させるようにすれば、さらにセキュリティーの高いシステムを提供することが可能となる。
【００８４】
さらにこの発明によるカメラ配置は、登録された人物を認識する用途のみならず、不特定多数の人が出入りするような建造物にも導入することができる。
たとえば、建造物の出入口の近傍に前記図１，７，１３などの実施例と同様の条件でカメラを配置して出入口より入場または退場する歩行者の顔面を撮像し、得られた画像を管理事務所などのモニタに出力する。これにより係員は、各入退場者の顔面を認識して、不審者がいないかどうかなどをチェックすることができる。またこのカメラ１により得られた画像を記録するようにすれば、万一、何らかの事件が起こった場合も、各入場者の顔面の特徴を安定して捉えた画像を捜査活動に役立てることができる。
【００８５】
【発明の効果】
請求項１〜３の発明によれば、歩行者の通行を極力妨げない位置にカメラが設置されるから、移動経路上で顔面の観測が遮られることがない。また顔面観測用のカメラは、観測領域を通過する可能性のある歩行者の顔面の高さの最小値として設定された値より低い位置から光軸を斜め上方を向けて設置されるので、認識対象として想定されたすべての歩行者の顔面を斜め下から撮像して、顔面の特徴を精度良く捉えた画像を生成することが可能となる。
【００８６】
さらに顔面の観測に必要な必須観測領域が観測可能領域に含まれ、かつ歩行者が必須観測領域を通過する間、その顔面が、認識処理に必要な数の特徴点を抽出可能な大きさをもってカメラの視野内に現れるから、歩行者が通路を通過する間に顔面の観測に必要な特徴点の現れた画像を取得でき、歩行者の顔面を精度良く観測することが可能になる。
【００８７】
しかも、必須観測領域は、通路の幅方向において歩行者の顔面が通過する可能性のある範囲と、観測のための画像の取得に必要な時間内に歩行者の顔面が移動する範囲とにより定められるので、歩行者が通路の幅方向のどの位置を歩いていても、その顔面を認識処理に必要な大きさで撮像することが可能になる。
【００８８】
請求項５の発明によれば、通路の幅方向の両境界に対し、移動経路に沿う歩行者の通過範囲の両境界位置の近傍の対象位置または通過範囲より外側に変位した対称位置にそれぞれ請求項１と同様の条件でカメラを設置することにより、歩行者の顔面を異なる２方向から撮像することが可能となり、顔面の観測精度をより一層向上することができる。また複数の歩行者が同時に通過する場合の観測精度も向上することができる。
【００８９】
請求項６の発明によれば、所定の地点に対し、それぞれ異なる方向からの複数の移動経路が想定される場合に、各移動経路に対し、請求項１と同様の条件でカメラを設置するので、各移動経路から目的の地点に移動した歩行者を、精度良く観測することが可能になる。
【００９０】
請求項７の発明では、歩行者観測装置により生成された画像から所定の通過地点を通過する歩行者の顔面の特徴点を抽出し、その抽出結果を登録データと照合することにより、歩行者が登録者であるか否かを判別するが、歩行者観測装置を構成するカメラは、請求項１の発明と同様の条件で設置されるので、顔面の認識処理に必要な数の特徴点が含まれた画像を安定取得して、高精度の認識処理を行うことが可能である。
【００９１】
請求項１０の発明によれば、歩行者が登録者であると判別されたときに通報手段が作動するので、病院や老人ホームなどの出入口において入所者の外出を自動判別する用途に適用した場合に、認識精度の高いシステムを提供することができる。
【００９２】
請求項１１の発明によれば、歩行者が登録者ではないと判別されたときに通報手段が作動するので、登録された人しか入場できないような施設の出入口において不法侵入者を自動判別する用途に適用すれば、セキュリティーの高いシステムを提供することができる。
【００９３】
請求項１２の発明によれば、扉により閉鎖されている出入口に接近する歩行者の顔面を、請求項１の発明と同様の構成の歩行者観測装置により観測して、その歩行者が登録者であると判別されたときに扉を開放するので、登録された人を自動認識して出入口を通過させる高性能のオートロックシステムを提供することができる。
【００９４】
請求項１５の発明によれば、建造物の出入口に対して設定される通路に対し、請求項１の発明と同様の構成の歩行者観測装置を設置することにより、出入口より入場または退場する人の顔面を精度良く観測して居住者かどうかを確認することが可能となる。
【００９５】
請求項１６の発明によれば、居住者が特定された施設において、観測のための画像から顔面の特徴を抽出して登録データと照合することにより、出入口より入場または退場する人が居住者であるかどうかの自動認識処理を、高精度で実現することができる。
【００９６】
請求項８，１３の発明では、顔面観測用のカメラを、認識対象として登録された複数人から得られる顔面の高さの最小値より低い位置に、光軸を斜め上方を向けた姿勢で支持するので、個人認証のための認識処理の精度を大幅に向上することができる。
【図面の簡単な説明】
【図１】請求項１の発明にかかる歩行者観測装置の設置例および原理を示す説明図である。
【図２】図１の歩行者観測装置を応用した徘徊者保護システムの構成を示すブロック図である。
【図３】歩行者観測装置の具体的な設置例を示す側面図である。
【図４】歩行者観測装置の具体的な設置例を示す平面図である。
【図５】カメラスタンドの構成例を示す正面図である。
【図６】カメラの設置位置と取得される画像との関係を示す説明図である。
【図７】歩行者観測装置の他の設置例を示す説明図である。
【図８】歩行者観測装置の他の設置例を示す説明図である。
【図９】制御装置における認識処理の手順を示すフローチャートである。
【図１０】顔面検出、照合用の特徴点のテンプレートを示す説明図である。
【図１１】２台のカメラによる歩行者観測装置の設置例を示す説明図である。
【図１２】歩行者観測装置を具備するオートロックシステムの構成例を示すブロック図である。
【図１３】図１２のオートロックシステムにおけるカメラおよび通過者検知センサの設置例を示す説明図である。
【符号の説明】
１  カメラ
２  制御装置
６  カメラスタンド
Ｐ  観測可能領域
Ｑ  必須観測領域
Ｌ  通過ライン
【図１】
0003755343.tif 000004
【図２】
0003755343.tif 000005
【図３】
0003755343.tif 000006
【図４】
0003755343.tif 000007
【図５】
0003755343.tif 000008
【図６】
0003755343.tif 000009
【図７】
0003755343.tif 000010
【図８】
0003755343.tif 000011
【図９】
0003755343.tif 000012
【図１０】
0003755343.tif 000013
【図１１】
0003755343.tif 000014
【図１２】
0003755343.tif 000015
【図１３】
0003755343.tif 000016