(57)【特許請求の範囲】
【請求項１】
所定エリアに入場する対象者が所持する記録媒体から対象者の識別情報を取得する第１の取得手段と、  前記第１の取得手段により識別情報が取得された対象者の顔画像を撮影する第１の撮影手段と、  前記所定エリアを区分した複数の分割エリアをそれぞれ撮影する第２の撮影手段と、  前記所定エリアに入場した対象者が到達すべき目的位置において、対象者が所持する記録媒体から対象者の識別情報を取得する第２の取得手段と、  前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により取得された対象者の識別情報に基づいて、前記目的位置に到達していない対象者を特定する未到着者特定手段と、  前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する未到着者位置推測手段と、  を備えたことを特徴とする映像監視システム。
【請求項２】
前記第２の取得手段は、前記所定エリアに入場した対象者が所定の時刻までに到達すべき目的位置において、対象者が所持する記録媒体から対象者の識別情報を取得し、前記未到着者特定手段は、前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により取得された対象者の識別情報に基づいて、前記所定の時刻において前記目的位置に到達していない対象者を特定する、ことを特徴とする請求項１に記載の映像監視システム。
【請求項３】
前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像と、当該対象者と推定される人物の顔画像及び当該人物が撮影された分割エリアとを表示する表示手段を更に備えた、  ことを特徴とする請求項１または請求項２に記載の映像監視システム。
【請求項４】
前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量及び顔画像以外の画像部分の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量及び顔画像以外の画像部分の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する、  ことを請求項１乃至請求項３のいずれか１項に記載の映像監視システム。
【請求項５】
前記第１の取得手段は、空港施設の保安検査場において、搭乗ロビーエリアに入場する対象者の識別情報を取得し、  前記第１の撮影手段は、搭乗ロビーエリアに入場する対象者を撮影し、  前記第２の撮影手段は、搭乗ロビーエリアを区分した複数の分割エリアをそれぞれ撮影し、  前記第２の取得手段は、搭乗ロビーエリアに入場した対象者が定刻までに到達すべき搭乗ゲートにおいて、対象者の識別情報を取得し、  前記未到着者特定手段は、定刻後でありながら搭乗ゲートに到達していない対象者を特定し、  前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者と推定される人物が撮影された搭乗ロビーエリア内の分割エリアを特定する、  ことを請求項１乃至請求項４のいずれか１項に記載の映像監視システム。
【請求項６】
第１の取得手段と、第２の取得手段と、第１の撮影手段と、第２の撮影手段と、未到着者特定手段と、未到着者位置推測手段とを備える映像監視システムにおいて、  前記第１の取得手段は、所定エリアに入場する対象者が所持する記録媒体から対象者の識別情報を取得し、  前記第１の撮影手段は、前記第１の取得手段により識別情報が取得された対象者の顔画像を撮影し、  前記第２の撮影手段は、前記所定エリアを区分した複数の分割エリアをそれぞれ撮影し、  前記第２の取得手段は、前記所定エリアに入場した対象者が到達すべき目的位置において、対象者が所持する記録媒体から対象者の識別情報を取得し、  前記未到着者特定手段は、前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により取得された対象者の識別情報に基づいて、前記目的位置に到達していない対象者を特定し、  前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する、ことを特徴とする映像監視方法。
【請求項７】
前記第２の取得手段は、前記所定エリアに入場した対象者が所定の時刻までに到達すべき目的位置において、対象者が所持する記録媒体から対象者の識別情報を取得し、前記未到着者特定手段は、前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により取得された対象者の識別情報に基づいて、前記所定の時刻において前記目的位置に到達していない対象者を特定する、ことを特徴とする請求項６に記載の映像監視方法。
【請求項８】
前記映像監視システムは、表示手段をさらに備え、  前記表示手段は、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像と、当該対象者と推定される人物の顔画像及び当該人物が撮影された分割エリアとを表示する、ことを特徴とする請求項６または請求項７に記載の映像監視方法。
【請求項９】
前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量及び顔画像以外の画像部分の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量及び顔画像以外の画像部分の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する、  ことを請求項６乃至請求項８のいずれか１項に記載の映像監視方法。
【請求項１０】
前記第１の取得手段は、空港施設の保安検査場において、搭乗ロビーエリアに入場する対象者の識別情報を取得し、  前記第１の撮影手段は、搭乗ロビーエリアに入場する対象者を撮影し、  前記第２の撮影手段は、搭乗ロビーエリアを区分した複数の分割エリアをそれぞれ撮影し、  前記第２の取得手段は、搭乗ロビーエリアに入場した対象者が所定の時刻までに到達すべき搭乗ゲートにおいて、対象者の識別情報を取得し、  前記未到着者特定手段は、前記所定の時刻後でありながら搭乗ゲートに到達していない対象者を特定し、  前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者と推定される人物が撮影された搭乗ロビーエリア内の分割エリアを特定する、  ことを請求項６乃至請求項９のいずれか１項に記載の映像監視方法。
【請求項１１】
第１の取得手段により所定エリアに入場する対象者が所持する記録媒体から取得された対象者の識別情報と、第２の取得手段により前記所定エリアに入場した対象者が到達すべき目的位置において対象者が所持する記録媒体から取得された対象者の識別情報に基づいて、前記目的位置に到達していない対象者を特定する未到着者特定手段と、  前記未到着者特定手段により特定された対象者について、第１の撮影手段により撮影された前記第１の取得手段により識別情報が取得された対象者の顔画像の特徴量と、第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する未到着者位置推測手段と、  を備えたことを特徴とする映像監視装置。
【請求項１２】
前記未到着者特定手段は、前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により、前記所定エリアに入場した対象者が所定の時刻までに到達すべき目的位置において、対象者が所持する記録媒体から取得された対象者の識別情報に基づいて、前記所定の時刻において前記目的位置に到達していない対象者を特定する、ことを特徴とする請求項１１に記載の映像監視装置。
【請求項１３】
前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像と、当該対象者と推定される人物の顔画像及び当該人物が撮影された分割エリアとを、表示装置に表示させる、ことを特徴とする請求項１１または請求項１２に記載の映像監視装置。
【請求項１４】
前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量及び顔画像以外の画像部分の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量及び顔画像以外の画像部分の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する、  ことを請求項１１乃至請求項１３のいずれか１項に記載の映像監視装置。
【請求項１５】
前記第１の取得手段より取得される識別情報は、空港施設の保安検査場において、搭乗ロビーエリアに入場する際に取得される対象者の識別情報であり、  前記第１の撮影手段により取得される顔画像は、搭乗ロビーエリアに入場する対象者を撮影したものであり、  前記第２の撮影手段により取得される顔画像は、搭乗ロビーエリアを区分した複数の分割エリアをそれぞれ撮影したものであり、  前記第２の取得手段により取得される識別情報は、搭乗ロビーエリアに入場した対象者が所定の時刻までに到達すべき搭乗ゲートにおいて取得される対象者の識別情報であり、  前記未到着者特定手段は、前記所定の時刻後でありながら搭乗ゲートに到達していない対象者を特定し、  前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者と推定される人物が撮影された搭乗ロビーエリア内の分割エリアを特定する、  ことを請求項１１乃至請求項１４のいずれか１項に記載の映像監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視映像の中から目的の人物を検索する映像監視システムに関する。
【背景技術】
【０００２】
従来から航空会社において定時運行率（定時到着率）が重要視されており、顧客が航空会社を選定する重要な要素の一つとなっている。各航空会社は定時運行率を上げるために色々な施策を行なっているが、それら施策の一つとして未搭乗者の捜索が挙げられる。具体的には、搭乗を予定している顧客（以下、搭乗者）でありながら、出発時間が迫ってきているにも関わらず未だ搭乗していない顧客（以下、未搭乗者）が存在する場合に、例えば、アナウンスによる呼び出しと共に地上職員が無線機を片手に走り回って探し、なんとか定刻に出発が行なえるように対応している。また、携帯電話メールを登録している搭乗者に対しては、搭乗時間が迫るとメール配信による注意喚起を行なっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０２９７３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図７には、空港施設において未搭乗者を捜索する様子を示してある。  搭乗者は、搭乗の開始時刻を過ぎると、搭乗者情報を記録した媒体（ＩＣカード、おサイフケータイ（登録商標）、２次元バーコード等）を搭乗ゲート端末に提示して搭乗ゲートを通過し、目的の便に搭乗する。地上職員は、搭乗ゲート端末で収集された情報から未搭乗者（搭乗ゲートの未通過者）を把握し、或る規定時間をもって、空港施設内アナウンスによる呼び出しや、無線機を片手に走り回って捜索することで対応をとっている。  しかしながら、このような対応は、地上職員が広大な出発ロビーを走り回って探すことによる身体的な疲労を伴うため、改善が求められている。その改善方法の一つとして、携帯端末を所持している搭乗者に対してメール配信による注意喚起を行うことで、未搭乗者の発生を未然に防ぐ対策が挙げられるが、全ての搭乗者がメール受信を行える携帯端末を所持しているとは限らず、この対策では不十分である。【０００５】
本発明は、上記のような従来の事情に鑑みて為されたものであり、所定エリア内の目的位置に定刻までに到達していない人物が当該エリア内のどこにいるかを探し出すのに役立つ技術を提案することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では、上記目的を達成するために、以下のような映像監視システムを提案する。  すなわち、本発明に係る映像監視システムでは、所定エリアに入場する対象者が所持する記録媒体から対象者の識別情報を取得する第１の取得手段と、前記第１の取得手段により識別情報が取得された対象者の顔画像を撮影する第１の撮影手段と、前記所定エリアを区分した複数の分割エリアをそれぞれ撮影する第２の撮影手段と、前記所定エリアに入場した対象者が到達すべき目的位置において、対象者が所持する記録媒体から対象者の識別情報を取得する第２の取得手段と、前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により取得された対象者の識別情報に基づいて、前記目的位置に到達していない対象者を特定する未到着者特定手段と、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する未到着者位置推測手段と、を備えることとする。  また、本発明に係る映像監視システムでは、前記第２の取得手段は、前記所定エリアに入場した対象者が所定の時刻までに到達すべき目的位置において、対象者が所持する記録媒体から対象者の識別情報を取得し、前記未到着者特定手段は、前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により取得された対象者の識別情報に基づいて、前記所定の時刻において前記目的位置に到達していない対象者を特定する。【０００７】
このような構成によれば、所定エリア内の目的位置に定刻までに到達していない対象者であると推定される人物がいる大まかな位置（分割エリア）を推測することができ、未到着の対象者を所定エリア内から探し出すのに有用である。【０００８】
ここで、第１の撮影手段は、前記第１の取得手段により識別情報が取得されたことに応じて撮影を行うことで、対象者の顔画像の撮影を行ってもよく、常時撮影を行っておき、前記第１の取得手段により識別情報が取得されたタイミングに撮影された顔画像を特定し、これを対象者の顔画像として扱うものであってもよい。【０００９】
また、第２の撮影手段は、分割エリア全体を撮影する必要は無く、分割エリア間を跨いで移動する人物を撮影できればよい。ここで、分割エリア間を跨いで移動する人物を撮影可能な配置としては、２つの分割エリアを区分するラインにおいて、一方の分割エリアを撮影する第２の撮影手段と他方の分割エリアを撮影する第２の撮影手段とを互いに逆向きにする配置が挙げられ、このような配置により、第２の撮影手段の設置数を少なくすることができる。【００１０】
また、未到着者特定手段では、一例として、未到着者特定手段により特定された対象者の顔画像の特徴量を検索キーにして、第２の撮影手段により撮影された映像の中から、検索キーとなる顔画像の特徴量との類似度が閾値以上となる特徴量を有する顔画像を検索する類似顔画像検索を行う。これにより、未到着の対象者に顔画像の特徴量が類似する人物（未到着の対象者と推定される人物）を効率よく検索することができ、この検索結果に基づいて、未到着の対象者であると推定される人物がいずれの分割エリアで撮影されたかを特定することができる。【００１１】
なお、類似顔画像検索では、未到着の対象者であると推定される人物が複数検索され得るが、その場合には、検索された複数の人物の中から類似度の高さ又は撮影時刻の新しさの一方又は両方を基準に一人選び出して分割エリアの特定を行ってもよく、検索された複数の人物それぞれについて分割エリアの特定を行ってもよい。  また、第１の撮影手段を複数設け、これら第１の撮影手段により未到着の対象者の顔画像を複数の方向から撮影し、各方向の顔画像の特徴量を検索キーに用いて類似顔画像検索を行なえば、未到着の対象者に類似する人物を検索する精度を高めることができる。【００１２】
また、本発明に係る映像監視システムでは、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像と、当該対象者と推定される人物の顔画像及び当該人物が撮影された分割エリアとを表示する表示手段を更に備えた。  これにより、未到着の対象者であると推定される人物が複数存在する場合でも、いずれの人物が目的の人物であるかをユーザが目視により判断することができ、その人物がどの分割エリアにいたのかを把握することができる。【００１３】
ここで、未到着の対象者であると推定される人物が複数存在する場合に、未到着の対象者との類似度や撮影時刻に応じて、各人物の顔画像の表示の強調度合いを変えたり、或いは表示の位置を変えたりしてもよく、これにより、複数の顔画像の中からいずれの人物が目的の人物であるかを見つけ出すのが容易となる。【００１４】
また、本発明に係る映像監視システムでは、前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量及び顔画像以外の画像部分の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量及び顔画像以外の画像部分の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する。  このように、顔画像の特徴量だけでなく、顔画像以外の画像部分の特徴量を加味して、第２の撮影手段により撮影された映像に含まれる人物が未到着の対象者であるかを推定することで、未到着の対象者に類似する人物を検索する精度を更に高めることができる。【００１５】
ここで、本発明に係る映像監視システムは、所定エリア内の目的位置に定刻までに到達していない人物を捜索する種々の場面に適用することができる。  例えば、空港施設における未搭乗者の捜索に適用する場合には、前記第１の取得手段は、空港施設の保安検査場において、搭乗ロビーエリアに入場する対象者の識別情報を取得し、前記第１の撮影手段は、搭乗ロビーエリアに入場する対象者を撮影し、前記第２の撮影手段は、搭乗ロビーエリアを区分した複数の分割エリアをそれぞれ撮影し、前記第２の取得手段は、搭乗ロビーエリアに入場した対象者が定刻までに到達すべき搭乗ゲートにおいて、対象者の識別情報を取得し、前記未到着者特定手段は、定刻後でありながら搭乗ゲートに到達していない対象者を特定し、前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者と推定される人物が撮影された搭乗ロビーエリア内の分割エリアを特定すればよい。
【発明の効果】
【００１６】
本発明によれば、対象者であると推定される人物がいる大まかな位置（分割エリア）を推測することができ、目的位置に定刻までに到達していない対象者を所定エリア内から探し出すのに有用である。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した未搭乗者検索システムの構成例を示す図である。
【図２】搭乗ロビーをエリア区分して管理する様子を示す図である。
【図３】未搭乗者が最後にいたと推定される分割エリアを判別する例を示す図である。
【図４】未搭乗者位置表示装置による表示の例を示す図である。
【図５】未搭乗者位置表示装置による表示の他の例を示す図である。
【図６】未搭乗者がいると推測される分割エリアのみに選択的にアナウンスを行う例を示す図である。
【図７】空港施設において未搭乗者を捜索する様子を示す図である。
【発明を実施するための形態】
【００１８】
本発明の一実施形態について図面を参照して説明する。  図１には、本発明に係る映像監視システムを適用した未搭乗者検索システムの構成例を示してある。  本例の未搭乗者検索システムは、保安検査場、運行管理センタ、搭乗者ロビー、搭乗ゲートのブロックで構成され、各ブロックは互いに通信可能に接続されている。
【００１９】
保安検査場のブロックは、複数の搭乗者受付システムを有する。  各搭乗者受付システムは、搭乗者管理装置１と、搭乗者受付端末２と、監視カメラ３と、顔特徴量抽出／登録装置４と、映像記録装置５を有し、これらはネットワークスイッチ６を介して通信可能に接続されている。また、各搭乗者受付システムのネットワークスイッチ６は、上位のネットワークスイッチ７に接続されている。
【００２０】
運行管理センタのブロックは、搭乗者管理装置９と、顔特徴量検索装置１０と、映像表示装置１１と、アナウンス送出装置１２を有し、これらはネットワークスイッチ８を介して通信可能に接続されている。
【００２１】
搭乗者ロビーのブロックは、搭乗者ロビーを複数に分割したエリア毎に設けられた１以上の監視カメラ１４及びアナウンス再生装置１５と、顔特徴量抽出／登録装置１６と、映像記録装置１７を有し、これらはネットワークスイッチ１３を介して通信可能に接続されている。
【００２２】
搭乗ゲートのブロックは、複数ある搭乗ゲート毎に、搭乗者管理装置１９と、搭乗ゲート端末２０と、未搭乗者位置表示装置２１を有し、これらはネットワークスイッチ１８を介して通信可能に接続されている。また、本例の各搭乗ゲートシステムは、オプションとして、顔特徴量検索装置２２と、映像表示装置２３を有し、これらもネットワークスイッチ１８を介して通信可能に接続してある。
【００２３】
本例では、保安検査場のブロックにおける搭乗者受付システムの数、搭乗者ロビーのブロックにおける分割エリアの数、搭乗ゲートのブロックにおける搭乗ゲートの数を、それぞれ共通のＮ個としているが、これらの数はそれぞれ異なっていても構わない。
【００２４】
本例の未搭乗者検索システムの動作を時間的な流れに沿って説明する。  搭乗者は、保安検査場、搭乗ロビー、搭乗ゲートの順に進み、目的の便に搭乗する。  まず、搭乗者は、保安検査場において、搭乗者の氏名や搭乗便等の搭乗者情報を記録した搭乗者情報記録媒体（パスポート、ｅチケット、ＩＣカード、おサイフケータイ（登録商標）、二次元バーコード等）を搭乗者受付端末２に提示して搭乗者情報を読み取らせ、搭乗案内を発券し、搭乗便名／座席番号／搭乗口等の情報を得た後に、搭乗ロビーへ入場する。ここで、本例の搭乗者受付端末２は、搭乗者情報記録媒体として種々の形式のものが存在することに対応すべく、ＩＣチップリーダ・ライタや二次元バーコードリーダといった種々の形式の情報読み取り部を有している。
【００２５】
保安検査場では、搭乗者受付端末２に搭乗者情報記録媒体を提示して搭乗者情報を読み取らせる操作をトリガとして、搭乗者受付端末２の近傍に設置された監視カメラ３にて搭乗者の顔を含む映像を撮影し、映像記録装置５にて映像の記録（録画）を行う。また、搭乗者管理装置１は、上記操作をトリガとして、航空券番号などの“搭乗者を一意に管理する番号”である搭乗者管理番号を発行し、以降は、この搭乗者管理番号にて各搭乗者の管理を行う。  つまり、搭乗者が保安検査場を通過して搭乗ロビーへ入場する過程で、搭乗者の搭乗者管理番号（識別情報）や顔画像が取得される。
【００２６】
その後、顔特徴量抽出／登録装置４は、映像記録装置５から搭乗者の顔を含む録画映像を読み出し、当該映像に基づいて搭乗者の顔の特徴量を抽出し、当該映像を撮影した際（搭乗者受付端末２にて発券をした際）に発行された搭乗者管理番号を搭乗者管理装置１から呼び出して、顔特徴量のデータと搭乗者管理番号とを紐付ける形式で顔特徴量データベースに登録する。本例では、監視カメラ３により撮影された映像を映像記録装置５に記録した後、速やかに顔特徴量を抽出してデータベースに登録するが、顔特徴量の抽出やデータベースへの登録は、後述の類似顔画像検索を実施する時点に行っても構わない。
【００２７】
ここで、顔特徴量の抽出は、一例として、以下のようにして実施される。  まず、公知の顔検出技術を用いて、映像中の顔の存在の有無を判定し、顔が存在することを検出した場合には、その領域の座標を算出して、映像中の顔画像領域を特定する。次に、顔画像領域を解析して、顔の輪郭の形状や方向、皮膚の色、顔の主要構成要素（目、鼻、口など）の大きさ・形状や配置関係等々から、統計的に個人毎に差異が現れるベクトル成分や統計量等を検出し、これらを顔特徴量のデータとして搭乗者管理番号に紐付けて記録する。
【００２８】
また、搭乗者の顔特徴量の抽出に加え、搭乗者の特定に資する他の人物的特徴量の抽出を行ってもよい。一例として、搭乗者の着衣の特徴量を抽出する場合について説明する。  まず、公知の動的プログラミング等の技術を用いて、人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴（ＦＦＴやウェーブレット変換等を行ったときの周波数分布等）から着衣（服）の存在を検出し、その領域の座標を算出して、映像中の着衣領域を特定する。次に、着衣領域について、着衣の色の分布や周波数的な特徴量を検出し、これらを着衣特徴量のデータとして搭乗者管理番号に紐付けて記録する。
【００２９】
搭乗ロビーに進んだ搭乗者は、搭乗の開始時刻が到来するまで搭乗ロビーのエリア内で過ごすことになる。  ここで、空港施設の搭乗ロビーは一般的に広大なエリアを有している。このため、このエリア内で搭乗者の顔を含む映像を撮影する環境を構築することを試みると、膨大な数の監視カメラを設置しなければならないことが予想される。しかしながら、それでは導入及び運用コストが高額になり、あまり現実的ではない。そこで、本例の未搭乗者検索システムでは、エリア区分という概念で、搭乗ロビー全体を大まかに複数のエリアに区分できる形に監視カメラを設置することとしている。
【００３０】
図２には、搭乗ロビーをエリア区分して管理する様子を示してある。  同図に示すように、本例では、搭乗ロビー全体をＮ個の分割エリアに区分して管理している。また、各分割エリアの区切りとなるエリア区分ラインを仮想的に設定してあり、或るエリア区分ラインで区分けされた２つの分割エリアについて、一方の分割エリアを撮影する１以上の監視カメラ１４と他方の分割エリアを撮影する１以上の監視カメラ１４とを互いにエリア区分ラインを挟んで逆向きに設置してある。例えば、分割エリア（２）と分割エリア（３）のエリア区分ラインに沿って、エリア区分ラインの左側に位置する分割エリア（２）を撮影する監視カメラ１４は左向きに設置され、エリア区分ラインの右側に位置する分割エリア（３）を撮影する監視カメラ１４は右向きに設置される。
【００３１】
これにより、分割エリア間を跨いで移動する搭乗者は、一方の分割エリアから出る際に、当該分割エリアを撮影する監視カメラ１４によって撮影されることになる。  ここで、本発明においては分割エリア間を跨いで移動する搭乗者を撮影できればよいため、本例では、エリア間の移動経路となる部分を撮影できる程度の数及び性能の監視カメラ１４を設置しているが、分割エリアの全体を撮影できるような数及び性能の監視カメラ１４を設置してもよい。  また、各々の監視カメラ１４は、その識別情報と撮影対象となる分割エリアの識別情報とを対応付ける形式で管理されており、監視カメラ１４の特定により分割エリアを特定できるようにしてある。
【００３２】
各々の監視カメラ１４により撮影された映像は、映像記録装置１７にてカメラ別に記録（録画）される。  顔特徴量抽出／登録装置１６は、映像記録装置１７から搭乗者の顔を含む録画映像を読み出し、当該映像に基づいて搭乗者の顔の特徴量を抽出し、顔特徴量のデータと当該映像を撮影した監視カメラ１４の識別情報及び当該映像の撮影時刻とを紐付ける形式で顔特徴量データベースに登録する。このとき、搭乗者の顔特徴量の抽出に加え、搭乗者の特定に資する他の特徴量（例えば、着衣の特徴量）の抽出を行ってもよい。  なお、搭乗者の顔特徴量（及び他の特徴量）の抽出は映像の全フレームについて行ってもよいが、本例では所定数のフレーム毎に行っている。
【００３３】
搭乗ロビーのエリア内にいる搭乗者は、搭乗の開始時刻が到来すると、出発時刻までに到達すべき目的位置である搭乗ゲートに向かい、搭乗者情報記録媒体を搭乗ゲート端末２０に提示して搭乗者情報を読み取らせ、搭乗ゲートを通過して目的の便に搭乗する。ここで、本例の搭乗ゲート端末２０は、搭乗者情報記録媒体として種々の形式のものが存在することに対応すべく、ＩＣチップリーダ・ライタや二次元バーコードリーダといった種々の形式の情報読み取り部を有している。
【００３４】
搭乗者管理装置１９は、搭乗者受付端末２で読み取られた搭乗者情報及び搭乗ゲート端末２０で読み取られた搭乗者情報を基にして、既に搭乗を終えた顧客のリスト（以下、搭乗者リスト）と、未だ搭乗を終えていない顧客のリスト（以下、未搭乗者リスト）を管理する。具体的には、例えば、搭乗者受付端末２で搭乗者情報が読み取られる毎に、その際に発行した搭乗者管理番号を未搭乗者リストに追加していき、搭乗ゲート端末２０で搭乗者情報が読み取られる毎に、当該搭乗者情報に対応する搭乗者管理番号を未搭乗者リストから削除する一方で搭乗者リストに追加していく。この場合には、全ての搭乗者が搭乗を終えると未搭乗者リストが空になることとなる。
【００３５】
ここで、各ブロックの搭乗者管理装置１，９，１９は、各々の管理情報（又はその変更内容）を互いに通知し合うことで、管理情報を同期する仕組みとなっている。  そして、運行管理センタの搭乗者管理装置９は、或る便の出発時刻が迫ってくると、予め規定されたインターバル毎に未搭乗者リストを確認して未搭乗者の有無を調べる。その結果、未搭乗者が存在すると判定された場合には、顔特徴量検索装置１０に未搭乗者の搭乗者管理番号を与えて類似顔画像検索を指示する。
【００３６】
顔特徴量検索装置１０は、類似顔画像検索の指示を受けると、未搭乗者の搭乗者管理番号に紐付けされた顔特徴量のデータを保安検査場の顔特徴量抽出／登録装置４から読み出し、この未搭乗者の顔特徴量を検索キーに用いて搭乗ロビーの顔特徴量抽出／登録装置１６に対して類似顔画像検索を行い、その結果を搭乗者管理装置９に出力する。  この類似顔画像検索では、検索キーとなる顔特徴量との類似度が高い（閾値以上）の顔特徴量のデータを検索し、これに紐付された監視カメラ１４の識別情報及び撮影時刻を特定する。これにより、未搭乗者と推定される人物が、どの監視カメラ１４で、いつ撮影されたかを特定できる。
【００３７】
ここで、顔特徴量の類似度は、種々の手法により算出することができる。  例えば、ｎ個の要素から構成される２つの顔特徴量をＸ＝（ｘ１，ｘ２，・・・，ｘｎ）、Ｙ＝（ｙ１，ｙ２，・・・，ｙｎ）とし、各要素の重みを示す重み付け係数をＷ＝（ｗ１，ｗ２，・・・，ｗｎ）とすると、２つの顔特徴量の間の距離Ｚは、下記（式１）により算出することができる。ここで、ｉは、０≦ｉ≦ｎを示す変数である。    Ｚ＝Σｉ（ｗｉ｜ｘｉ−ｙｉ｜）  ・・・（式１）  この距離Ｚは、値が小さいほど２つの顔特徴量が似ていることを示す。このため、距離Ｚが所定の基準値未満である場合に、２つの顔特徴量の類似度が高いと判断することができる。
【００３８】
また、顔特徴量の比較に加え、搭乗者の特定に資する他の人物的特徴量（例えば、着衣の特徴量）の比較を行うようにしてもよく、これにより、未搭乗者と推定される人物を検索する精度を更に高めることが可能となる。  また、搭乗者受付端末２の近傍に複数の監視カメラ３を設置しておき、それぞれ異なる方向から搭乗者の顔を含む映像の撮影を行い、各方向の顔画像を検索キーに用いて類似顔画像検索を行うようにしてもよく、これにより、未搭乗者と推定される人物を検索する精度を更に高めることが可能となる。
【００３９】
搭乗者管理装置９は、未搭乗者と推定される人物が複数の監視カメラ１４で撮影された場合（未搭乗者の顔特徴量との類似性が高いと判定された顔特徴量が複数ある場合）には、各顔特徴量のデータに紐付された監視カメラ１４の識別情報及び撮影時刻に基づき、監視カメラ１４の識別情報を撮影時刻順に並べ替え（ソート）して整理することで、未搭乗者と推定される人物が最後にどの監視カメラ１４で撮影されたか、すなわち、最後にどの分割エリアにいたかを推測する。これにより、未搭乗者が最後にいたであろう搭乗ロビーのエリア内の位置を大まかに特定することが可能となる。
【００４０】
図３には、未搭乗者が最後にいたと推測される分割エリアを判別する例を示してある。  同図では、分割エリア（２）と分割エリア（３）の区切りとなるエリア区分ラインに分割エリア（２）側に向けて設置された監視カメラ１４により、未搭乗者と推定される人物が最後に撮影されたと判別されている。このことから、未搭乗者と推定される人物は、分割エリア（２）又は分割エリア（３）に留まっていると推測できる。より具体的には、未搭乗者と推定される人物は、分割エリア（２）のうち、分割エリア（２）と分割エリア（３）のエリア区分ラインに分割エリア（２）側に向けて設置された監視カメラ１４で捉えられる範囲（分割エリア（３）の近傍の領域）か、若しくは、分割エリア（３）のうち、分割エリア（３）と分割エリア（４）のエリア区分ラインに分割エリア（３）側に向けて設置された監視カメラ１４で捉えられない範囲（分割エリア（４）の近傍を除く領域）に留まっていると推測できる。
【００４１】
搭乗者管理装置９及び顔特徴量検索装置１０による処理結果の情報は、搭乗者管理装置９から映像表示装置１１、アナウンス送出装置１２、未搭乗者位置表示装置２１に与えられ、これらの装置が各種の情報を出力する際に利用される。
【００４２】
映像表示装置１１は、搭乗者管理装置９から、未搭乗者と推定される人物を撮影した監視カメラ１４の識別情報や撮影時刻などの情報を受けると、これらの情報に基づいて、該当する録画映像を搭乗ロビーの映像記録装置１７から読み出して再生する。これにより、映像表示装置１１では、未搭乗者と推定される人物を最後に撮影した映像フレームを始点として映像の再生が行われ、ユーザは映像操作により前後の状況を確認できる。  また、映像表示装置１１は、未搭乗者本人の顔を含む録画映像を映像記録装置５から読み出して表示する。これにより、ユーザは、再生された搭乗ロビーの映像に含まれている人物（未搭乗者と推定される人物）が未搭乗者本人であるかを目視により判断できるため、類似顔画像検索の精度が不十分であっても、これを補うことができる。
【００４３】
ここで、搭乗ロビーの顔特徴量抽出／登録装置１６において顔特徴量の抽出元となった顔画像の領域の座標も記録しておけば、搭乗ロビーの録画映像の再生時に、未搭乗者の顔特徴量との類似性が高いと判定された顔特徴量が抽出された領域（未搭乗者と推定される人物の顔の領域）を枠線等で囲み表示することができ、未搭乗者と推定される人物の顔がユーザの目につきやすくなる。
【００４４】
未搭乗者位置表示装置２２は、搭乗者管理装置９から、未搭乗者と推定される人物を撮影した監視カメラ１４の識別情報や撮影時刻、未搭乗者がいると推測される分割エリアなどの情報を受けると、これらの情報に基づいて、未搭乗者の捜索に資する種々の情報の表示を行う。
【００４５】
図４には、未搭乗者位置表示装置２２による表示例を示してある。  本例では、未搭乗者位置表示装置２２の画面に、搭乗ロビーのマップを表示するマップ表示領域３１と、未搭乗者の情報を表示する未搭乗者情報表示領域３２と、複数の未搭乗者がいる場合に表示対象となる未搭乗者を切り替えるユーザ操作を受け付ける操作ボタン３３を設けてある。
【００４６】
マップ表示領域３１に表示する搭乗ロビーのマップは、分割エリアに合わせて複数に区切られており、未搭乗者がいると推測される分割エリアについては強調表示するようにしてある。同図では、分割エリア（２）と分割エリア（３）が強調表示されており、これらの分割エリアに未搭乗者がいると推定されている。  また、図３を参照して説明したように、未搭乗者がいる分割エリア内の範囲まで推定できた場合には、その範囲を具体的に特定した表示を行うようにしてもよい。
【００４７】
なお、未搭乗者がいると推測される分割エリアの強調表示に代えて、未搭乗者と推定される人物を表象するアイコン等の表象画像を分割エリア内に表示するようにしてもよく、未搭乗者と推定される人物の顔画像を分割エリア内に表示するようにしてもよい。ここで、未搭乗者と推定される人物の顔画像を表示する場合には、搭乗ロビーの顔特徴量抽出／登録装置１６において顔特徴量の抽出元となった顔画像（又はその領域の座標）を記録しておけば、未搭乗者と推定される人物の顔画像の表示を容易に行える。
【００４８】
未搭乗者情報表示領域３２には、未搭乗者の情報として、行先、搭乗時刻、出発時刻リミット、搭乗者管理番号、氏名、想定エリア（及び撮影時刻）等が表示される。また、保安検査場の顔特徴量抽出／登録装置４において顔特徴量の抽出元となった顔画像も記録しておけば、図４に示すように未搭乗者本人の顔画像も容易に表示内容に加えることができ、ユーザ（地上職員）が該当の分割エリアで未搭乗者を捜索する際の手助けとなる。
【００４９】
ここで、上記の例では、未搭乗者の顔特徴量との類似性が高いと判定された顔特徴量が複数ある場合には、これらを撮影時刻順に整理し、未搭乗者と推定される人物が最後にどの分割エリアにいたかを推測して表示するが、これら複数の顔特徴量に対応する各々の分割エリアを強調表示するようにしてもよい。すなわち、未搭乗者と推定される複数の人物について、各々が撮影された分割エリアを強調表示するようにしてもよい。  この場合には、未搭乗者との類似度が高い人物が撮影された分割エリアほど強調度合いを高めた表示としたり、未搭乗者と推定され人物の撮影時刻が新しいほど分割エリアほど強調度合いを高めた表示としたり、未搭乗者との類似度及び撮影時刻の両方を考慮して分割エリアを重み付けし、重みが高い分割エリアほど強調度合いを高めた表示としたりすれば、未搭乗者の捜索を重点的に行ったほうがよい分割エリアを把握し易くなる。
【００５０】
また、未搭乗者と推定される人物が複数検出された場合に、各人物が撮影された分割エリアを強調表示するのではなく、各人物の表象画像や顔画像を該当する分割エリア内に表示するようにしてもよい。  この場合には、未搭乗者との類似度順に従って強調度合いを変えたり、撮影時刻順に従って強調度合いを変えたり、未搭乗者との類似度順及び撮影時刻順の両方を考慮して求めた重み順に強調度合いを変えたりしてもよい。なお、表象画像や顔画像の強調度合いは、画像の大きさや形状、枠線の色や太さ等の種々の要素を用いて表現できる。
【００５１】
図５には、未搭乗者と推定される人物である候補者Ａ，Ｂ，Ｃの３人の顔画像を、それぞれが撮影された分割エリア内に表示した例を示してある。同図によれば、候補者Ａ，Ｃが分割エリア（２）にいたこと、及び、候補者Ｂが分割エリア（１）にいたことを把握できる。  このように、未搭乗者と推定される各人物の顔画像を該当する分割エリア内に表示することで、未搭乗者と推定される人物が複数検索された場合であっても、ユーザは、未搭乗者と推定される複数の人物の中から未搭乗者本人を特定し、その人物がどの分割エリアにいたのかを把握することができる。
【００５２】
また、分割エリア内での顔画像の表示位置によって、未搭乗者との類似度や撮影時刻（撮影の新しさ）を表現するようにしてもよい。具体的には、例えば、マップの二次元平面における上下方向の軸を、類似度を表す尺度として用い、左右方向の軸を、撮影時刻を表す尺度として用いる。つまり、未搭乗者と推定される確度が高い人物の顔画像ほど分割エリア内の上部に表示し、また、撮影時刻が新しい人物の顔画像ほど分割エリア内の右側に表示すれば、分割エリア内の右上に近い顔画像ほど重要度が高いことになる。  なお、これらの表現手法は一例にすぎず、種々の形式の表現手法により未搭乗者との類似度や撮影時刻を表現することができる。
【００５３】
また、本例では、複数の未搭乗者がいる場合（未搭乗者リストに複数の搭乗者管理番号が残っている場合）には、ユーザが操作ボタン３３を操作することで表示対象となる未搭乗者を１名ずつ切り替えるようにしているが、複数の未搭乗者をまとめて表示対象とするようにしてもよい。  この場合には、例えば、未搭乗者情報表示領域３２に複数の未搭乗者の情報をリスト形式等で一覧表示してもよく、操作ボタン等により切り替え可能に表示してもよい。また、マップ表示領域３１に表示する搭乗ロビーのマップを未搭乗者毎に区切って使用してもよく、未搭乗者がいたと推測される分割エリア（或いは表象画像や顔画像）を未搭乗者毎に区別可能な態様（例えば、未搭乗者毎に色分けする等）で表示してもよい。
【００５４】
アナウンス送出装置１２は、搭乗者管理装置９から、未搭乗者と推定される人物を撮影した監視カメラ１４の識別情報や撮影時刻、未搭乗者がいると推測される分割エリアなどの情報を受けると、これらの情報に基づいて、未搭乗者がいると推測される分割エリアのアナウンス再生装置１５に宛てて、当該未搭乗者に搭乗を促すアナウンスの音声情報を送信する。アナウンス送出装置１２から音声情報を受信したアナウンス再生装置１５は、受信した音声情報に基づく音声出力を行う。このため、未搭乗者がいると推測される分割エリアのみで、未搭乗者に搭乗を促すアナウンスが出力されることになる。
【００５５】
図６には、未搭乗者がいると推測される分割エリアのみに選択的にアナウンスを行う例を示してある。同図の例では、未搭乗者が最後にいたと推測される分割エリア（２）のアナウンス再生装置１５から搭乗を促すアナウンスが出力されている。  これにより、未搭乗者がいないと推測される分割エリアでは、音楽や広告等の従来アナウンスを停止することなく放送し続けることが可能となる。これは、空港施設にとって呼び出しアナウンスを施設全体に出力し続けることはイメージ上好ましいことではなく、また、呼び出しをされた個人にとっても恥ずかしいことを配慮したものである。
【００５６】
以上のように、未搭乗者検索システムでは、搭乗者管理装置１及び搭乗者受付端末２が、搭乗ロビーに入場する対象者の搭乗者管理番号（識別情報）を取得し、搭乗者受付端末２近傍に設置された監視カメラ３が、搭乗ロビーに入場する対象者を撮影し、搭乗ロビー内を区分した複数の分割エリアに対応して設置された監視カメラ１４が、搭乗ロビー内の各分割エリアをそれぞれ撮影し、搭乗者管理装置１９及び搭乗ゲート端末２０が、搭乗ロビーに入場した対象者が定刻までに到達すべき搭乗ゲートにおいて、対象者の搭乗者管理番号を取得し、搭乗者管理装置９，１９が、定刻後でありながら搭乗ゲートに到達していない対象者を特定し、搭乗者管理装置９及び顔特徴量検索装置１０が、未到着の対象者と推定される人物が撮影された搭乗ロビー内の分割エリアを特定するよう構成とした。
【００５７】
このような構成により、出発時刻が迫っているにも関わらず搭乗していない未搭乗者の捜索を効率化することができ、地上職員の身体的な疲労を軽減した上で搭乗者管理を行えるようになり、航空機の出発を定刻に行う運用の実現性を高めることが可能となる。これらは、航空会社における定時運航率（定時到着率）の向上効果が期待され、航空会社としての地位向上はもとより、サラリーマン等の移動時間に正確性を期待する顧客への再利用遡及効果につながり、航空会社の利益向上の効果が期待できるものである。
【００５８】
ここで、本例では、本発明に係る第１の取得手段を搭乗者管理装置１及び搭乗者受付端末２により実現し、本発明に係る第１の撮影手段を監視カメラ３により実現し、本発明に係る第２の撮影手段を監視カメラ１４により実現し、本発明に係る第２の取得手段を搭乗者管理装置１９及び搭乗ゲート端末２０により実現し、本発明に係る未到着者特定手段を搭乗者管理装置９，１９により実現し、本発明に係る未到着者位置推測手段を搭乗者管理装置９及び顔特徴量検索装置１０により実現し、本発明に係る表示手段を未搭乗者位置表示装置２１により実現している。
【００５９】
なお、以上の説明では、空港施設において未搭乗者を捜索する場面を例に説明したが、本発明に係る映像監視システムは、これ以外の種々の場面に適用することができる。例えば、船舶等の他の交通機関の施設で目的位置に定刻までに到達していない人物を捜索する場面にも適用することができる。また、例えば、病院等の他の閉鎖的な施設内で目的位置に定刻までに到達していない人物を捜索する場面にも適用することができる。
【００６０】
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記憶する記憶媒体などとして提供することも可能である。
【産業上の利用可能性】
【００６１】
本発明に係る映像監視システムは、所定エリア内の目的位置に定刻までに到達していない人物を捜索する種々の場面に適用することができ、特に、空港施設における未搭乗者の捜索に適用すると好適である。
【符号の説明】
【００６２】
１，９，１９：搭乗者管理装置、  ２：搭乗者受付端末、  ３，１４：監視カメラ、  ４，１６，２２：顔特徴量抽出／登録装置、  ５，１７：映像記録装置、  ６，７，８，１３，１８：ネットワークスイッチ、  １０：顔特徴量検索装置、  １１：映像表示装置、  １２：アナウンス送出装置、  １５：アナウンス再生装置、  ２０：搭乗ゲート端末、  ２１：未搭乗者位置表示装置、  ２３：映像表示装置
【図１】
0005851651.tif 000002
【図２】
0005851651.tif 000003
【図３】
0005851651.tif 000004
【図４】
0005851651.tif 000005
【図５】
0005851651.tif 000006
【図６】
0005851651.tif 000007
【図７】
0005851651.tif 000008