(57)【要約】【課題】  単に人などの接近を検知して警戒を行うのではなく、警戒すべき状況を的確に判断し、必要に応じて警戒や威嚇などの処理を行うための装置を提供すること【解決手段】  撮像手段により監視範囲内を撮像し、撮像された画像から検出手段によって検出された各顔について、その大きさや蓄積情報（監視範囲に継続して滞在した時間や監視範囲に現れた回数など）に基づき、対策処理の要否や対策処理の程度について判断を行う。【選択図】  図１
2006011728.tif 000002
【特許請求の範囲】
【請求項１】
監視範囲の情景を撮像する撮像手段と、
前記撮像手段によって撮像された画像から人の顔を検出し、その顔の大きさを取得する検出手段と、
前記検出手段によって検出された人の顔の大きさに基づいて、不審者に対する対策処理の要否を判断する判断手段と、
前記判断手段による判断に従って、前記対策処理を実施する対策処理手段と
を含む不審者対策システム。
【請求項２】
監視範囲の情景を撮像する撮像手段と、
前記撮像手段によって撮像された画像から人の顔を検出する検出手段と、
前記検出手段によって検出された各顔の特徴量を記憶する特徴量記憶手段と、
前記検出手段によって検出された各顔について前記特徴量を用いて同定処理を行うことにより、各顔を個別に認識する同定手段と、
前記同定手段により同定された各顔に関する情報を蓄積して記憶する記憶手段と、
前記記憶手段に記憶されている情報に基づいて、不審者に対する対策処理の要否を判断する判断手段と、
前記判断手段による判断に従って、前記対策処理を実施する対策処理手段と
を含む不審者対策システム。
【請求項３】
前記記憶手段は、前記情報として、各顔が継続して検出された時間及び／又は各顔が前記監視範囲内に現れた回数を記憶し、
前記判断手段は、前記時間及び／又は前記回数に基づいて、前記対策処理の要否を判断する請求項２に記載の不審者対策システム。
【請求項４】
前記検出手段は、検出された人の顔について、その顔の大きさをさらに取得し、
前記判断手段は、前記顔の大きさにさらに基づいて、前記対策処理の要否を判断する
請求項２又は３に記載の不審者対策システム。
【請求項５】
前記特徴量記憶手段は、予め登録される顔の特徴量もさらに記憶するとともに、各顔の特徴量に対し、その顔の人物の属性情報を対応づけて記憶し、
前記同定手段は、前記検出手段によって検出された各顔について、前記同定処理を行うことにより、その顔の人物の属性情報を取得し、
前記判断手段は、前記属性情報にさらに基づいて、前記対策処理の要否を判断する請求項２〜４のいずれかに記載の不審者対策システム。
【請求項６】
前記判断手段は、対策処理が必要である場合に、実行されるべき対策処理の内容をさらに判断し、
前記対策処理手段は、前記判断手段によって判断された対策処理の内容に従って対策処理を実行する請求項１〜５のいずれかに記載の不審者対策システム。
【請求項７】
監視範囲の情景が撮像された画像から人の顔を検出し、その顔の大きさを取得する検出手段と、
前記検出手段によって検出された人の顔の大きさに基づいて不審者に対する対策処理の要否を判断し、前記対策処理を実行する対策処理装置に対し、前記判断の結果に応じて前記対策処理の実行を指示する指示手段と
を含む不審者検出装置。
【請求項８】
監視範囲の情景が撮像された画像から人の顔を検出する検出手段と、
前記検出手段によって検出された各顔の特徴量を記憶する特徴量記憶手段と、
前記検出手段によって検出された各顔について前記特徴量を用いて同定処理を行うことにより、各顔を個別に認識する同定手段と、
前記同定手段により同定された各顔に関する情報を蓄積して記憶する記憶手段と、
前記記憶手段に記憶されている情報に基づいて不審者に対する対策処理の要否を判断し、前記対策処理を実行する対策処理装置に対し、前記判断の結果に応じて前記対策処理の実行を指示する指示手段と、
を含む不審者検出装置。
【請求項９】
監視範囲の情景が撮像された画像から人の顔を検出し、その顔の大きさを取得するステップと、
検出された人の顔の大きさに基づいて不審者に対する対策処理の要否を判断し、前記対策処理を実行する対策処理装置に対し、前記判断の結果に応じて前記対策処理の実行を指示するステップと
を情報処理装置に実行させるためのプログラム。
【請求項１０】
監視範囲の情景が撮像された画像から人の顔を検出するステップと、
検出された各顔の特徴量を記憶するステップと、
検出された各顔について前記特徴量を用いて同定処理を行うことにより、各顔を個別に認識するステップと、
同定された各顔に関する情報を蓄積して記憶するステップと、
記憶されている情報に基づいて不審者に対する対策処理の要否を判断し、前記対策処理を実行する対策処理装置に対し、前記判断の結果に応じて前記対策処理の実行を指示するステップと
を情報処理装置に実行させるためのプログラム。
【請求項１１】
情報処理装置が、監視範囲の情景が撮像された画像から人の顔を検出し、その顔の大きさを取得するステップと、
情報処理装置が、検出された人の顔の大きさに基づいて不審者に対する対策処理の要否を判断し、前記対策処理を実行する対策処理装置に対し、前記判断の結果に応じて前記対策処理の実行を指示するステップと
を含む不審者検出方法。
【請求項１２】
情報処理装置が、監視範囲の情景が撮像された画像から人の顔を検出するステップと、
情報処理装置が、検出された各顔の特徴量を記憶するステップと、
情報処理装置が、検出された各顔について前記特徴量を用いて同定処理を行うことにより、各顔を個別に認識するステップと、
情報処理装置が、同定された各顔に関する情報を蓄積して記憶するステップと、
情報処理装置が、記憶されている情報に基づいて不審者に対する対策処理の要否を判断し、前記対策処理を実行する対策処理装置に対し、前記判断の結果に応じて前記対策処理の実行を指示するステップと
を含む不審者検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視範囲における画像を撮像しその画像を解析することにより対象物や対象領域のセキュリティを維持するシステムや方法などに適用されて有効な技術に関する。
【背景技術】
【０００２】
近年、セキュリティに対する関心が高まっており、例えば車におけるセキュリティの向上も注目されている。車におけるセキュリティという観点では、特に車上荒らし行為や車体へのいたずら行為などに対する防犯のための技術が要求されている。
【０００３】
従来、上記のような防犯の技術として、車両の外を定期的に撮像し、前後に撮像された画像の差分に基づいて、車両への移動物体の接近を判定する技術が提案されている（特許文献１参照）。また、車両周囲の物理量の変化を感知することにより人体の接近を検知し、車上盗難を防止するよう威嚇報知を実行する技術も提案されている（特許文献２参照）。さらに、第三者による車両の不正操作を検知すると、その旨を現在の車両状態を表す車両情報などと共に情報センタに送信する技術も提案されている（特許文献３参照）。
【特許文献１】特開平１１−３３４５３６号公報
【特許文献２】特開２００３−９９８６３号公報
【特許文献３】特開２００３−１５７４８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のこれらの技術では、車両へ接近している者が、警戒すべき第三者であるのか、それとも警戒する必要のない関係者（車両の持ち主やその家族・友人など）であるのかについて一切判断されていない。このため、警戒する必要のない関係者が車両に近づいた場合にも、この接近を検知し不必要に警戒や威嚇を実施してしまう恐れがある。このような場合には、関係者による正当な操作が妨害されてしまう。また、従来の技術では、単に車両の近くを横切った悪意のない第三者についてもこれを検知し不要な威嚇を実施してしまう可能性もある。このような場合には、悪意のない第三者に不快な印象を与えるのみならず、この威嚇を察知した持ち主などに無用の心労を与えてしまう可能性がある。そして、結果としてセンサそのものの信頼性の低下を招いてしまう。
【０００５】
そこで本発明はこれらの問題を解決し、単に人などの接近を検知して警戒を行うのではなく、警戒すべき状況を的確に判断し、必要に応じて警戒や威嚇などの処理を行うための装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
まず、警戒すべき状況の一つの例として、不審者対策システムに非常に接近している人物が検出された状況がある。この場合、不審者対策システムにおける撮像手段は、この人物の顔を非常に大きく撮像する可能性が高い。従って、このように人物の顔が非常に大きく撮像された場合に、警戒すべき状況として不審者への対策処理を実行することにより、上記問題を解決することができる。
【０００７】
このような視点に基づき、本発明の第一の態様は、不審者対策システムであって、撮像手段，検出手段，判断手段，及び対策処理手段を含む。撮像手段は、監視範囲の情景を撮像する。監視範囲は、不審者対策システムが設置される状況に応じて変化する。例えば、不審者対策システムが車両に設置された場合などには、監視範囲は車両の周辺などとして設定されても良い。また、例えば、不審者対策システムが家に設置された場合などには、
監視範囲はその家の周囲や庭や屋根の上などとして設定されても良い。検出手段は、撮像手段によって撮像された画像から人の顔を検出し、その顔の大きさを取得する。検出手段は、顔の大きさとして必ずしも顔の大きさそのものの値を取得する必要はなく、顔の大きさに密接に関連する他の値を顔の大きさとして取得しても良い。顔の大きさに密接に関連する他の値とは、例えば被写体の左右の目の間隔や、鼻孔の間隔や、目又は瞳の大きさ等の値である。また、検出手段が取得する顔の大きさは、実際の顔の大きさではなく、処理の対象となっている画像上の大きさである。即ち、検出手段が取得する顔の大きさは、実世界におけるその顔の位置に応じて変化する値である。判断手段は、検出手段によって検出された人の顔の大きさに基づいて、不審者に対する対策処理の要否を判断する。例えば、判断手段は、予め設定された閾値よりも人の顔の大きさが大きい場合に、不審者に対する対策処理が必要であると判断しても良い。また、対策処理とは、不審者を遠ざけるための処理や、不審者の存在を周囲の者やユーザや警備会社の者などに対して報知するための処理などである。対策処理手段は、判断手段による判断に従って、対策処理を実施する。
【０００８】
このように構成された本発明の第一の態様では、検出手段によって検出された顔の大きさに基づいて、対策処理の要否が判断される。このため、例えば単に遠くの顔が検出された場合などのように、例え顔が検出されたとしても対策処理が不要な場合に、不必要に対策処理が実行されることを防止することが可能となる。また、例えば撮像手段が窓越しに撮像を行うように構成された場合において、検出手段によって検出された顔の人物が窓の内部を覗いていると認められる程度に撮像された顔の大きさが大きい場合に、判断手段が対策処理を必要と判断するように構成されても良い。このように構成されることにより、本発明の第一の態様は、検出された顔の人物が窓の内部を覗いていると認められる場合にのみ、対策処理を実施することが可能となる。
【０００９】
本発明の第一の態様では、その時々の顔の大きさに基づいて警戒すべき状況が判断されたが、不審者対策システムの監視範囲に長時間にわたって滞在している人物が検出されたような状況や、監視範囲において何度も検出された人物がいる状況などのように、検出された各顔の人物について蓄積された情報から警戒すべき状況を判断することも可能である。
【００１０】
このような視点に基づき、本発明の第二の態様は、不審者対策システムであって、撮像手段，検出手段，特徴量記憶手段，同定手段，記憶手段，判断手段，及び対策処理手段を含む。撮像手段は、本発明の第一の態様における撮像手段と同様に、監視範囲の情景を撮像する。検出手段は、撮像手段によって撮像された画像から人の顔を検出する。特徴量記憶手段は、検出手段によって検出された各顔の特徴量を記憶する。同定手段は、検出手段によって検出された各顔について、特徴量記憶手段に記憶される特徴量を用いて同定処理を行うことにより、各顔を個別に認識する。記憶手段は、同定手段により同定された各顔に関する情報を蓄積して記憶する。判断手段は、記憶手段に記憶されている情報に基づいて、不審者に対する対策処理の要否を判断する。対策処理手段は、本発明の第一の態様における対策処理手段と同様に、判断手段による判断に従って、対策処理を実施する。
【００１１】
このように構成された本発明の第二の態様では、記憶手段に蓄積して記憶された各顔に関する情報に基づいて、対策処理の要否が判断される。このため、その時々の検出結果のみに基づいて対策処理の要否が判断される場合に比べて、より的確に対策処理の要否を判断することが可能となる。例えば、たまたま監視範囲内に踏み込んでしまった人物や通りすがりの人物などに対して、不必要に対策処理が実行されることを防止できる。
【００１２】
また、本発明の第二の態様における記憶手段は、情報として、各顔が継続して検出された時間及び／又は各顔が監視範囲内に現れた回数を記憶するように構成されても良い。この場合、判断手段は、上記時間及び／又は上記回数に基づいて、対策処理の要否を判断す
るように構成されても良い。なお、各顔が監視範囲内に現れた回数とは、検出手段によって顔が検出された回数そのものを示すのではなく、所定の時間以上監視範囲内において検出されなかった顔（初回の検出により検出された場合を除く）が監視範囲内において新たに又は改めて検出された場合を１回として数えた回数を示す。
【００１３】
このように構成された本発明の第二の態様では、各顔が継続して検出された時間や各顔が監視範囲内に現れた回数などに基づいて、対策処理の要否が判断される。このため、長時間監視範囲内に居続けている人物や、継続して監視範囲内に滞在する時間は短いものの監視範囲に何度も出入りしている人物のように、不審者と認められる人物に対してのみ対策処理を実行することが可能となる。従って、不必要に対策処理が実行されることを防止できる。
【００１４】
また、本発明の第二の態様における検出手段は、検出された人の顔について、その顔の大きさをさらに取得するように構成されても良い。検出手段は、顔の大きさとして必ずしも顔の大きさそのものの値を取得する必要はなく、顔の大きさに密接に関連する他の値を顔の大きさとして取得しても良い。また、検出手段が取得する顔の大きさは、実際の顔の大きさではなく、処理の対象となっている画像上の大きさである。即ち、検出手段が取得する顔の大きさは、実世界におけるその顔の位置に応じて変化する。この場合、判断手段は、顔の大きさにさらに基づいて、対策処理の要否を判断するように構成されても良い。言い換えれば、判断手段は、顔の大きさと、上記時間及び／又は上記回数とに基づいて、対策処理の要否を判断するように構成されても良い。
【００１５】
このように構成された本発明の第二の態様では、撮像された画像における顔の大きさも、対策処理の要否の判断基準の一つとなる。このため、より的確に対策処理の要否を判断することが可能となる。例えば、撮像装置から遠い位置に長時間滞在している人物と、撮像装置に近い位置に長時間滞在している人物とを区別して対策処理の要否を判断することが可能となる。
【００１６】
また、本発明の第二の態様における特徴量記憶手段は、予め登録される顔の特徴量もさらに記憶するとともに、各顔の特徴量に対し、その顔の人物の属性情報を対応づけて記憶するように構成されても良い。属性情報は、例えばその人物が安全な人物（警戒する必要のない無い人物など）であるか危険な人物（警戒すべき人物）であるかを示しても良い。特徴量記憶手段がこのように構成された場合、同定手段は、検出手段によって検出された各顔について同定処理を行うことにより、その顔の人物の属性情報を取得するように構成されても良い。そして、本発明の第二の態様がこのように構成された場合、判断手段は、属性情報にさらに基づいて、対策処理の要否を判断するように構成されても良い。
【００１７】
このように構成された本発明の第二の態様では、撮像された人物の属性情報も、対策処理の要否の判断基準の一つとなる。このため、より的確に対策処理の要否を判断することが可能となる。例えば、対策処理をする必要のない安全な人物などに対して、不必要に対策処理が実行されることを防止できる。
【００１８】
また、本発明の第一又は第二の態様における判断手段は、対策処理が必要である場合に、実行されるべき対策処理の内容をさらに判断するように構成されても良い。このように構成された場合、対策処理手段は、判断手段によって判断された対策処理の内容に従って対策処理を実行するように構成されても良い。このように構成されることにより、状況に応じた内容の対策処理が実行され、過度の対策処理が実行されることを防止できる。
【００１９】
本発明の第三の態様は、不審者検出装置であって、監視範囲の情景が撮像された画像から人の顔を検出し、その顔の大きさを取得する検出手段と、検出手段によって検出された
人の顔の大きさに基づいて不審者に対する対策処理の要否を判断し、対策処理を実行する対策処理装置に対し、判断の結果に応じて対策処理の実行を指示する指示手段とを含む。このように構成された本発明の第三の態様を用いて本発明の第一の態様として示された不審者対策システムを構成することにより、本発明の第一の態様と同様の効果を得ることが可能となる。
【００２０】
本発明の第四の態様は、不審者検出装置であって、監視範囲の情景が撮像された画像から人の顔を検出する検出手段と、検出手段によって検出された各顔の特徴量を記憶する特徴量記憶手段と、検出手段によって検出された各顔について特徴量を用いて同定処理を行うことにより、各顔を個別に認識する同定手段と、同定手段により同定された各顔に関する情報を蓄積して記憶する記憶手段と、記憶手段に記憶されている情報に基づいて不審者に対する対策処理の要否を判断し、対策処理を実行する対策処理装置に対し、判断の結果に応じて対策処理の実行を指示する指示手段とを含む。このように構成された本発明の第四の態様を用いて本発明の第二の態様として示された不審者対策システムを構成することにより、本発明の第二の態様と同様の効果を得ることが可能となる。
【００２１】
また、本発明の第三又は第四の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した本発明の第三又は第四の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した本発明の第三又は第四の態様の各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。
【発明の効果】
【００２２】
本発明では、検出手段によって検出された顔の大きさや、検出手段によって検出された顔の人物について蓄積された情報などに基づいて、対策処理の要否が判断され、この判断結果に従って対策処理が実行される。このため、不必要に対策処理が実行されることを防止することが可能となる。
【発明を実施するための最良の形態】
【００２３】
［システム構成］
不審者対策システム１は、その監視範囲内に侵入した不審者を探知し、不審者に関する情報から推定される危険の程度に応じて、防犯のための対策処理を実施する。不審者対策システム１は、例えば車両に備えられた場合は、この車両の周囲を監視範囲とし車両に接近する不審者を探知する。また、不審者対策システム１は、例えば家に備えられた場合は、この家の庭や屋根の上などを監視範囲とし屋根や庭などに侵入した不審者を探知する。
【００２４】
まず、不審者対策システム１のシステム構成について説明する。図１は、不審者対策システム１の機能ブロック例を示す図である。不審者対策システム１は、撮像装置２，不審者検出装置３，及び対策処理装置４を用いて構成される。以下、不審者対策システム１に含まれる各装置について説明する。
【００２５】
〔撮像装置〕
撮像装置２は、不審者対策システム１が監視を行う範囲の情景を撮像し、その画像のデータを不審者検出装置３へ入力する。撮像装置２には、撮像を行いその画像を不審者検出装置３に入力することが可能な技術であれば、既存のどのような技術が適用されても良い。例えば、撮像装置２は、ＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等が用いられたデジタルスチルカメラやデジタル
ビデオカメラ等により構成されても良い。
【００２６】
撮像装置２は、設計者やユーザによって設定されたタイミングで撮像を行うように構成されても良い。例えば、撮像装置２は、デジタルスチルカメラとして構成された場合、所定の時間間隔（毎秒，毎分など）で撮像を実施するように構成されても良い。また例えば、撮像装置２は、デジタルビデオカメラとして構成された場合、継続的に撮像を実施し、所定のタイミングにおけるフレームの画像データを不審者検出装置３に入力するように構成されても良い。また、撮像装置２は、所定の時間間隔で異なる範囲（領域）の情景を撮像するように構成されても良い。また、撮像装置２は、不審者対策システム１に１台のみ備えられても良いし、複数台備えられても良い。撮像装置２が複数台備えられる場合、各撮像装置２は、それぞれが異なるタイミングで撮像を行うことにより、不審者検出装置３へのデータ入力が重複しないように構成されても良い。
【００２７】
〔不審者検出装置〕
不審者検出装置３は、撮像装置２から入力される画像のデータ（以下、「入力画像」と呼ぶ）を用いて処理を行うことにより、不審者対策システム１の監視範囲内に存在する人物を検出する。そして、不審者検出装置３は、人物を検出した場合、その人物について危険の程度（警戒レベル）を推定し、必要に応じて対策処理装置４へ対策処理の実行を命令する。不審者検出装置３は、検出された各人物について、検出される頻度や、継続して検出された時間や、その人の個人属性などに従って、危険の程度を推定する。
【００２８】
不審者検出装置３は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含
む），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。不審者検出装置３は
、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、顔検出部５，データベース記憶部６，人物追跡部７，顔照合部８，及び警戒レベル判断部９等を含む装置として機能する。顔検出部５，人物追跡部７，顔照合部８，及び警戒レベル判断部９は、プログラムがＣＰＵによって実行されることにより実現されても良い。また、顔検出部５，人物追跡部７，顔照合部８，及び警戒レベル判断部９は専用のチップとして構成されても良い。次に、不審者検出装置３が含む各機能部について説明する。
【００２９】
〈顔検出部〉
顔検出部５は、入力画像から人の顔を検出し、検出された顔の位置や大きさや向き等を示す顔情報を特定する。顔検出部５は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部５は、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部５は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部５は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部５は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部５による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。なお、肌の色は、特定の人種の肌の色に限定される必要はなく、あらゆる人種の肌の色に対応できるように構成されても良い。例えば、不審者対策システム１が用いられる地域などに応じて設定がされても良いし、入力画像から肌の色が特定されるように構成されても良い。
【００３０】
顔検出部５は、検出された各顔に関する顔情報を、人物追跡部７へ渡す。
【００３１】
〈データベース記憶部〉
データベース記憶部６は、個人データベースと一時データベースとを記憶する。図２は、個人データベース及び一時データベースそれぞれの例を示す図である。図２（ａ）は個人データベースの例を示し、図２（ｂ）は一時データベースの例を示す。
【００３２】
個人データベースは、各個人についての情報をレコードとして持つ。具体的には、個人データベースは、項目としてＩＤ，属性，頻度，及び顔情報を持つ。ＩＤとは、各個人に割り当てられる識別子であり、個人データベースと一時データベースとを対応づけるためのデータである。属性とは、その人物が警戒すべき人物であるか否かを示すデータであり、例えば“安全”，“危険”などの値を持つ。頻度とは、所定の時間以上監視範囲内において検出されなかった顔（初回の検出により検出された場合を除く）が監視範囲内において新たに又は改めて検出された場合を１回として数えた回数を示す。例えば、所定時間継続して検出され続けた人物が一度検出されなくなった後に、再度所定時間継続して検出され続けた場合に、頻度の値が更新（例えばインクリメント）される。顔情報とは、顔照合部８が顔の同定処理に用いるデータであり、例えば顔画像から取得される顔の特徴量などでも良いし、実際の顔の画像であっても良い。なお、頻度の値は、属性が“安全”である人物については保持される必要はない。
【００３３】
一時データベースは、人物追跡部７による追跡の対象となっている各個人について作成され、検出や追跡の結果を蓄積する。各一時データベースは、対応する個人のＩＤを持つ。具体的には、一時データベースは、項目として顔画像，サイズ，時刻を持つ。顔画像は、追跡の対象となっている人物の顔画像、即ち各一時データベースに対応する個人の顔画像であり、顔検出部５によって検出された顔の画像のデータを持つ。検出された顔画像全てが蓄積されても良いが、記憶容量節約などの趣旨で、最新のものから数枚が記憶されるように構成されても良い。サイズは、各顔画像における顔のサイズを示す。顔のサイズは、顔検出部５によって取得される顔情報に含まれる値である。時刻は、各顔画像を含む入力画像が撮像された時刻や、この画像が不審者検出装置３に入力された時刻などを示す。
【００３４】
〈人物追跡部〉
人物追跡部７は、顔検出部５によって検出された各顔の人物について、照合処理（同定処理）の実行を顔照合部８に依頼する。人物追跡部７は、照合処理の結果を基に一時データベースの更新を行い、追跡対象となっている人物の一時データベースの内容を管理する。そして、人物追跡部７は、必要に応じて、警戒レベル判断部９に対し、任意の人物についての警戒レベルを取得することを依頼する。人物追跡部７が行う具体的な処理については、動作例の欄で説明する。
【００３５】
〈顔照合部〉
顔照合部８は、人物追跡部７から依頼された顔画像の人物について、同定処理を行う。顔照合部８は、同定処理を行う際に、個人データベースに含まれる顔情報を用いて、顔画像の人物が個人データベースに含まれる人物であるか否か、含まれる人物である場合はどの人物であるか、判断する。例えば、顔照合部８は、以下の文献に記載された技術を用いることにより、同定処理を行うことができる。
【００３６】
栗田  多喜夫、“顔検出・顔認識のための統計的手法”、［平成16年6月4日検索］、インターネット＜URL : http://www.neurosci.aist.go.jp/~kurita/lecture/statface.pdf
＞
福井和広（株式会社東芝）、“ユーザインターフェースにおける顔画像認識”、SSII2000  Tutorial  Lectures、Page18-32
【００３７】
〈警戒レベル判断部〉
警戒レベル判断部９は、人物追跡部７から依頼された人物について、個人データベースや一時データベースの内容に応じて、現在の警戒レベルを判断する。警戒レベルとは、不審者対策システム１が監視すべき範囲の状況において、対策処理装置４による対策処理が必要であるか否か又はどの程度の対策処理が必要であるかを示す情報である。例えば、警戒レベルにはレベルＡ（対策処理は不要），レベルＢ（簡易な対策処理が必要），レベルＣ（充分な対策処理が必要）等の数段階が設定されても良い。図３は、警戒レベル判断部９が警戒レベルを決定する際に用いる警戒レベルマップの例を示す図である。警戒レベルマップは、停滞時間と頻度とを軸として持ち、この二つの値の組に応じて一つの警戒レベルが決定されるように構成される。
【００３８】
警戒レベルマップは、例えば検出されている顔のサイズに応じて複数用意されても良い。具体的には、警戒レベル判断部９は、検出されている顔のサイズが閾値よりも大きい場合は、図３（ａ）の警戒レベルマップを使用し、閾値よりも小さい場合は、図３（ｂ）の警戒レベルマップを使用するように構成されても良い。図３（ａ）では、図３（ｂ）に比べて、より短い停滞時間やより少ない頻度で、警戒レベルがレベルＢやレベルＣとして判断される。
【００３９】
警戒レベル判断部９は、警戒レベルの決定に際して、停滞時間，頻度，及び顔のサイズの三つの値を取得する。各値の取得方法については、動作例の欄において説明する。この三つの値の取得後、警戒レベル判断部９は、顔のサイズに基づいて処理に用いる警戒レベルマップを決定する。そして、警戒レベル判断部９は、決定した警戒レベルマップにおいて停滞時間及び頻度の値に対応する点が位置する領域に基づいて、警戒レベルを決定する。
【００４０】
警戒レベル判断部９は、判断結果としての警戒レベルを、対策処理装置４へ渡す。このとき、警戒レベル判断部９は、警戒レベルがレベルＢ又はレベルＣである場合のみ、対策処理装置４へ警戒レベルを渡すように構成されても良い。
【００４１】
〔対策処理装置〕
対策処理装置４は、不審者検出装置３から出力される警戒レベルの値に応じて、対策処理を実行する。対策処理とは、不審者に対する威嚇処理や、ユーザに対する警告処理や、ネットワークを介した通報などを含む。例えば、対策処理装置４は、警戒レベルがレベルＡである場合は処理を実行せず、警戒レベルがレベルＢである場合は不審者に対する威嚇処理（例えば、音声出力や発光などにより近寄らないよう警告をする処理）を実行し、警戒レベルがＣである場合はネットワークや公衆網などを介した通報（警察への通報や、セキュリティーサービスへの通報など）や、ユーザへの警告（ユーザの携帯電話機や携帯端末へのメール等による通知や、サイレンや光等による報知など）を行うように構成されても良い。
【００４２】
［動作例］
図４〜６は、不審者対策システム１の動作例を示すフローチャートである。図４〜６を用いて、不審者対策システム１の動作例について説明する。
【００４３】
処理が開始されると、撮像装置２は監視範囲の情景を撮像し、画像を取得する（Ｓ１）。顔検出部５は、撮像装置２によって撮像された画像から人物の顔を検出する（Ｓ２）。顔検出部５は、検出結果、即ち検出された顔ごとの顔情報を人物追跡部７へ渡す。人物追跡部７は、顔の情報を顔検出部５から受け取った場合、即ち顔検出部５によって顔が検出された場合（Ｓ３−ＹＥＳ）、その顔の人物についての照合を顔照合部８へ依頼し、顔照合部８はその依頼に基づいて顔照合を行う（Ｓ４）。顔照合部８は、その照合の結果を人
物追跡部７に渡す。一方、人物追跡部７は、顔情報を顔検出部５から受け取らなかった場合、即ち顔検出部５によって顔が検出されなかった場合（Ｓ３−ＮＯ）、Ｓ１以降の処理が再び実行される。
【００４４】
人物追跡部７は、顔照合部８から受け取る照合結果に応じて、その後の処理を決定する。照合の結果、検出された顔の人物が、一時データベース（フローチャートでは「一時ＤＢ」と記載する）に既に登録されている人物である場合（Ｓ５−ＹＥＳ）、人物追跡部７は、該当する人物の一時データベースを更新する（Ｓ６）。具体的には、人物追跡部７は、該当する人物の一時データベースに新たなレコードとして、撮像された顔画像と、この顔画像における顔のサイズと、顔画像が撮像された時刻とを登録する。次に、人物追跡部７は、処理の対象となっている人物の停滞時間を算出し、その時間が閾値以上であるか否か判断する（Ｓ７）。人物追跡部７は、一時データベースの最も古いレコードにおける時刻と、最も新しいレコードにおける時刻との差分を停滞時間として取得する。停滞時間が閾値以上である場合（Ｓ７−ＹＥＳ）、人物追跡部７は、この一時データベースに対応する人物について警戒レベルを取得することを警戒レベル判断部９に依頼する。そして、警戒レベル判断部９は、依頼された人物に対応する一時データベース及び個人データベース（フローチャートでは「個人ＤＢ」と記載する）のレコードに基づき、Ｓ９以降の処理を実行する。Ｓ９以降の処理については後述する。
【００４５】
Ｓ５の処理において、処理の対象となっている顔画像の人物が一時データベースに登録されていない場合（Ｓ５−ＮＯ）、人物追跡部７は、この人物についての一時データベースを作成する（Ｓ８）。そして、０１６以降の処理が実行される。また、Ｓ７の処理において、停滞時間が閾値未満である場合（Ｓ７−ＮＯ）、Ｓ１６以降の処理が実行される。Ｓ１６以降の処理については後述する。
【００４６】
Ｓ９以降の処理について説明する。まず、警戒レベル判断部９は、処理の対象となっている人物についての停滞時間を取得する（Ｓ９）。このとき、警戒レベル判断部９は、人物追跡部７から既に算出されている停滞時間（即ち、Ｓ７の処理において算出された停滞時間）を取得しても良いし、改めて一時データベースから算出しても良い。また、警戒レベル判断部９は、処理の対象となっている人物についての頻度を取得する（Ｓ１０）。警戒レベル判断部９は、個人データベースから、処理の対象となっている人物についての頻度を取得する。また、警戒レベル判断部９は、処理の対象となっている人物についての顔サイズを取得する（Ｓ１１）。警戒レベル判断部９は、この人物についての一時データベースにおける最新のレコードから顔のサイズを取得する。そして、警戒レベル判断部９は、取得したこれら三つの値に基づいて、処理の対象となっている人物についての現在の警戒レベルを決定する（Ｓ１２）。
【００４７】
警戒レベル判断部９は、決定した警戒レベルがレベルＡではない場合（Ｓ１３−ＮＯ）、処理の対象となっている人物の属性を個人データベースから取得する。この人物の属性が危険である場合（Ｓ１４−危険）、警戒レベル判断部９は、警戒レベルを対策処理装置４に対して出力する。そして、対策処理装置４は、警戒レベル判断部９から出力された警戒レベルに応じて対策処理を実施する（Ｓ１５）。Ｓ１３の処理において警戒レベルがレベルＡであった場合（Ｓ１３−ＹＥＳ）、Ｓ１４の処理において人物の属性が安全であった場合（Ｓ１４−安全）、Ｓ１５の処理の後、Ｓ８の処理の後、又はＳ７−ＮＯの場合、Ｓ１６の処理が実行される。即ち、人物追跡部７は、顔検出部５によって検出された顔全てについてＳ４〜Ｓ１５についての処理が完了したか判断する（Ｓ１６）。まだ処理が行われていない顔がある場合（Ｓ１６−ＮＯ）、処理が行われていない顔についてＳ４以降の処理が行われる。
【００４８】
一方、検出された全ての顔について処理が完了している場合（Ｓ１６−ＹＥＳ）、人物
追跡部７は、Ｓ４〜Ｓ１５の処理において参照されていない一時データベースの有無について判断する（Ｓ１７）。このような一時データベースがある場合（Ｓ１７−ＹＥＳ）、人物追跡部７は、参照されていない各一時データベースについて、最終更新時から所定以上の時間が経過しているか否か判断する（Ｓ１８）。即ち、人物追跡部７は、このような各一時データベースにおける最新のレコードの時刻から、所定以上の時間が経過しているか否か判断する。所定以上の時間が経過している場合（Ｓ１８−ＹＥＳ）、人物追跡部７は、個人データベースのレコードのうち、この一時データベースに対応するレコードの頻度の値をインクリメントすることで、レコードの更新を行う（Ｓ１９）。人物追跡部７は、Ｓ１８，Ｓ１９の処理を、該当する全ての一時データベースについて行う。Ｓ１７において参照されていない一時データベースが無い場合（Ｓ１７−ＮＯ）、又は参照されていない一時データベースの中に最終更新時から所定の時間が経過したものが無い場合（Ｓ１８−ＮＯ）、又はＳ１９の処理の後、Ｓ１以降の処理が実行される。
【００４９】
［作用／効果］
不審者対策システム１では、監視領域を撮像した画像から人の顔を検出することにより不審者が検出される。次に、検出された顔について同定処理が実施され、安全な人物（例えば親類や友人など）の顔であるかそれとも危険な人物（例えば知らない人物や危険人物として登録されている人物など）の顔であるかが判断される。そして、危険な人物の顔であると判断された場合にのみ、対策処理装置４が対策処理を実施する。このため、監視範囲内に侵入した者全てに対して対策処理が実施されるのではなく、危険な人物として判断された者に対してのみ対策処理が実施される。従って、安全な人物に対して不必要に対策処理が実施されることを防止することができる。
【００５０】
また、不審者対策システム１では、不審者が継続的に検出されている時間（停滞時間）や不審者が検出された頻度に応じて、警戒レベルが決定される。そして、対策処理装置４は、決定された警戒レベルに応じて、実行する対策処理の程度を変化させる。このため、状況に応じて対策処理の内容が変化するため、不必要に過度の対策処理が実施されてしまうことを防止することが可能となる。
【００５１】
［変形例］
警戒レベル判断部９は、顔検出部５によって検出された人の顔のサイズが閾値以上である場合には、警戒レベルマップによらず、警戒レベルをレベルＢ又はレベルＣと判断するように構成されても良い。このように構成されることにより、不審者に対する対策処理をより柔軟に実施することが可能となる。例えば、撮像装置２の目前に突如として現れた不審者、即ち停滞時間や頻度の値が非常に小さい不審者に対しても、不審者対策システム１は、その顔のサイズに応じて対策処理を実施することが可能となる。
【００５２】
また、警戒レベルマップは、必ずしも２次元や３次元である必要はなく、１次元（例えば停滞時間又は頻度のいずれか一方のみ）で構成されても良いし、３次元以上のマップとして構成されても良い。
【００５３】
人物追跡部７は、人の顔を検出するのではなく、人に関するその他の情報に基づいて人物を追跡するように構成されても良い。例えば、衣服に関する情報に基づいて人物の追跡が実現されても良い。このような追跡は、例えば、速度場情報から３次元空間の物体移動情報を抽出し、正確に移動物体の同定を行うことを可能とする技術（“http://www.ced.co.jp/riv3.htm”等に記載された技術）に基づいて実現することができる。
【００５４】
また、図５におけるＳ１４の処理（処理の対象となっている人物の属性に応じてその後の処理を決定する判断処理）は、図４におけるＳ４の処理（顔照合処理）の直後など、他のタイミングで実施されても良い。
【図面の簡単な説明】
【００５５】
【図１】不審者対策システムの機能ブロック例を示す図である。
【図２】個人データベース及び一時データベースそれぞれの例を示す図である。
【図３】警戒レベルマップの例を示す図である。
【図４】不審者対策システムの動作例を示すフローチャートである。
【図５】不審者対策システムの動作例を示すフローチャートである。
【図６】不審者対策システムの動作例を示すフローチャートである。
【符号の説明】
【００５６】
１          不審者対策システム
２          撮像装置
３          不審者検出装置
４          対策処理装置
５          顔検出部
６          データベース記憶部
７          人物追跡部
８          顔照合部
９          警戒レベル判断部
【図１】
2006011728.tif 000003
【図２】
2006011728.tif 000004
【図３】
2006011728.tif 000005
【図４】
2006011728.tif 000006
【図５】
2006011728.tif 000007
【図６】
2006011728.tif 000008