(57)【要約】記録及び／又は自動身元確認の為の顔画像化システムであって、カメラユニット及びカメラユニットコントローラを含む。カメラユニットは、ビデオカメラ、警備区域の画像をビデオカメラに写す回転可能鏡システム、及びターゲットの存在を検出し、距離、角度、及び幅情報を含むターゲットのレンジデータをカメラユニットコントローラに提供するレンジユニットを含む。カメラユニットコントローラは、ターゲットの顔画像の検出、検出された顔の追跡、高画質の顔画像のキャプチャの為のソフトウエアを含有する。キャプチャされた顔画像を顔照合、顔認識及びデータベース検索の為に外部コントローラに送る為に、通信システムが提供されている。顔検出及び顔追跡がビデオ画像及びレンジデータの組み合わせを用いて実行され、キャプチャされた顔画像は記録され及び／又は顔認識及び検索の為に使用可能となる。【選択図】図２
2005505871.tif 000002
【特許請求の範囲】
【請求項１】
カメラユニットを含む記録及び／又は自動身元確認のための顔画像システム：
カメラユニットは以下を含む：
カメラユニットコントローラ；
警備区域を観察し、画像を前記カメラユニットコントローラに送るビデオカメラ；及び
前記警備区域内のターゲットの存在を検出し、前記ターゲットに関するレンジデータ（range data）をカメラユニットコントローラに提供するためのレンジユニット（ranging unit）；
前記カメラユニットコントローラは以下を含む：
前記ターゲットの顔画像を検出する顔検出システム；
前記顔画像を追跡する顔追跡システムと；
前記顔画像が十分な品質であると決定された際に前記顔画像をキャプチャする顔キャプチャシステム。
【請求項２】
前記カメラユニットが、前記警備区域の画像、前記ターゲットの画像及び前記顔画像を前記ビデオカメラに映す回転可能鏡システムを含む、請求項１に記載の顔画像システム。
【請求項３】
顔照合及び／又は顔認識の為に、前記キャプチャされた顔画像を外部コントローラに送る為のカメラユニット通信システムを含有する、請求項１に記載の顔画像システム。
【請求項４】
前記顔検出システムが、前記顔画像の検出を支援する為に前記レンジデータを使用する、請求項１に記載の画像システム。
【請求項５】
前記レンジデータが、前記ターゲットの距離、角度位置、及び幅を含有する、請求項４に記載の画像システム。
【請求項６】
前記顔追跡システムが、前記顔画像の追跡を支援する為に前記レンジデータを使用する、請求項１に記載の画像システム。
【請求項７】
前記レンジデータが、前記ターゲットの距離、角度位置、及び幅を含有する、請求項６に記載の画像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像の記録及び顔画像を使用した身元確認の分野に関し、特に、定められた境界内で人の動きを制限することができない警備区域において、顔が記録され、自動的に取得（すなわち、人の介入無く）された顔画像を使用して身元が確認される手段に関する。
【背景技術】
【０００２】
テロの予感が恐怖を増大させる世の中では、空港、スポーツスタジアム、政治的集会、国会、企業会議等の一定の立入制限区域に立ち入る個人を迅速に撮影及び記録し、身元を確認することが求められている。また、様々な入国港を介し国内へ立ち入る個人を撮影及び記録又は確認することも求められている。そのような個人を身元確認する一つの方法は、顔認識技術を用いた生物測定的身元確認を介するもので、人物の顔の特徴の種々の測定値を確認手段として利用する。顔認識を警備区域に立ち入ろうとする個人を迅速に撮影、身元確認の手段として使用することに関する幾つかの問題点は、画像の取得速度が遅く、得られた画像の画質が悪く、そのようなシステムは人の操作が必要であるということである。
【０００３】
このような問題点を克服するための現在までの試みとして、単体の高解像度ビデオカメラを採用し、入口に続く警備区域を監視するものがある。一般的に、カメラには固定された焦点距離レンズが採用されている。警備区域に侵入するターゲットの顔画像を検出、追跡するためのビデオ画像を分析するためにソフトウエアが使用される。それらの画像は、個人確認及び当該区域への立入権を検証するための試みにおいて、キャプチャ、記録され、顔認識・対照ソフトウエアに送信される。このようなシステムの主要な問題の一つは、ビデオ画像が低解像度であり、”ノイズ”が多すぎて一定の好結果を提供することが出来ないことである。このようなシステムは警備区域が狭く、警備区域に侵入してくるターゲットと監視カメラの距離が相対的に一定である時にのみ適当に作用する。警備区域を広げ及び／又はカメラから離れたターゲットに適応させようとした場合、正確な顔認識の為の適当な分析を行うには、ビデオ中のターゲットの解像が小さくなり過ぎるという結果を生む。したがって、このようなシステムの主要な欠点は、非常に狭角で、奥行きの深い場合にしか、うまく操作できないということである。キャプチャされた画像の品質及び画像の顔認識の成功は一貫性のあるものではない。
【０００４】
他の既存のシステムとしては、警備区域を監視し顔を検出する広角静止第１カメラ及び、顔画像をキャプチャし、顔認識及び対照の為に画像をデータベースに送信する目的でパン（pan）、チルト（tilt）、ズーム機能によって、第１カメラによって認識された顔を指し示す狭角操縦可能第２カメラの２台のカメラを使用するものがある。このシステムでは第２カメラで、正確な顔認識に必要な高解像度の画像を得ることが可能である。このようなシステムの主要な欠点は、第１カメラからの距離が離れると、顔を含むターゲットの視界での認識が困難になるという点である。第２に、第２カメラの電動化されたパン、チルト、ズーム機能の速度は相対的に遅い。結果として、このシステムは一度に１人の人物しか追跡することができない。
【０００５】
他の解決手段として、警備区域を監視するために人間の操縦者により遠隔制御される電動化されたパン、チルト、ズームカメラを使用するものがある。このようなシステムは広大な区域、大きなビルを監視するために日常的に導入されている。多数のカメラを使用することができ、通常、広角状態で操縦されている。操縦者が目的のものを何か発見したとき、電動化された制御装置を用いズームして顔認識の為に人物の顔の画像を得ることができる。このようなシステムの欠点は、顔画像を得る瞬間を検出、決定する操縦者の存在が必要である点である。このようなシステムは、遅く、一度に一人しか追跡することができない。
【０００６】
さらに他の解決手段では、警備区域に入ろうとする人物が、飛行場の金属探知機を通過するのと同じく、監視区域を一列縦隊で制限された歩速で通過することが必要とされる。単体の、焦点の固定されたカメラが、顔対照及び顔認識の為に人物の顔画像をキャプチャするよう一定距離で設置されている。このようなシステムでは、スポーツスタジアム等多くの場合、警備区域への人の流れを著しく制限し、全く役に立たないものである。さらに、カメラが人の顔に直接向いていることを確保するようさらに操縦者が必要となり、適当な姿勢の取得を確保する手段が含まれていない。
【０００７】
以上より、警備区域に侵入する人物の高品質な顔画像を迅速にキャプチャ及び記録し、付加的にそれらの画像を顔対照及び確認を可能とすることにより、先行技術の不都合な点を克服する自動顔画像システムが必要であるということは明らかである。そのようなシステムが、記録及び／又は顔対照及び顔認識の為の顔画像キャプチャを容易にする自動化された迅速で正確な顔検出及び顔追跡システムを含む場合有益である。
【発明の開示】
【０００８】
（発明の簡単な説明）
本発明の１つの目的は、顔照合、顔認識、顔対照を目的とする記録及び／又は顔認識システムでの使用の為に、警備区域内でターゲットの人物の顔画像を迅速に検出し、高品質なそれらの顔画像をキャプチャする顔画像システムを提供することにより上記の欠点を克服することである。
【０００９】
本発明の他の目的は、顔画像システムの為のカメラシステムを提供することであり、顔照合、顔認識、顔対照を目的とする記録及び／又は顔認識システムでの使用の為に、警備区域内の複数の対象の顔を追跡可能で、それらの顔の高品質な画像を提供可能とすることである。
【００１０】
本発明のさらなる目的は、十分な大きさ及び解像度の顔画像を提供可能な顔画像システムを提供することであり、既知の顔認識、顔対照システムの要求と合致し、それらのシステムを最大限に機能させ、顔認識及び対照の為の一定の確実な結果を提供する。
【００１１】
本発明のさらに他の目的は、レンジユニット（ranging unit）又は他の装置からのレンジデータ（range data）及びビデオ画像データを利用し、顔画像検出及び顔画像追跡を支援する、顔画像システムを提供することである。
【００１２】
本発明のさらに他の目的は、顔画像検出及び顔画像追跡を支援する、レンジユニット又は他の装置からのレンジデータの履歴記録（historical record）を活用する顔画像システムを提供することである。
【００１３】
ここで、本発明の一態様によると：カメラユニットコントローラと；警備区域を観察し、その画像を該カメラユニットコントローラに送信するビデオカメラと；警備区域内のターゲットの存在を検出し、カメラユニットコントローラにターゲットに関するレンジデータを提供するためのレンジユニットと：を含むカメラユニット及び、ターゲットの顔画像を検出する為の顔検出システムと；顔画像を追跡するための顔追跡システムと；顔画像が十分な品質であると認められた場合に顔画像をキャプチャする顔キャプチャシステムと：を含むカメラユニットコントローラを含む記録及び／又は自動化された身元確認の為の顔画像システムが提供されている。
【００１４】
ビデオカメラは、例えばパン、チルト及びフォーカスによりターゲットの追跡を実行するように、全体又は部分的に作動させることができる。もしくは、ビデオカメラは、迅速に視界を変換することができる鏡等の駆動する反射手段を介して状況を観察することができる。カメラのポインティングは、少なくとも最初は、存在センサにより提供されるレンジデータにより支援される。
【００１５】
画像のキャプチャの割合は、画像検出、画像追跡、最後に画像キャプチャの各特定のステップにおいて費やされた時間により決定される。画像キャプチャを実行する決定は、予め定められた品質基準に適合する画像の存在により決定される。一旦画像キャプチャが起こると、システムはサイクルを繰り返すよう開放される。本発明の目的の一つは、このサイクル時間を最小限にすることである。
【００１６】
好適な実施形態において、ここで示される顔画像システムは、高画質で操作可能なビデオカメラ及び高画質のレーザーを使用した距離測定器（rangefinder）を使用する。距離測定器は監視される警備区域を、一般的には４５度の視界で、ほぼ毎１００ミリセカンドでスキャンし、そこに位置する可能性のあるあらゆるターゲットの角度位置（angular locations）、距離及び幅を記録する。監視される警備区域の奥行きは一般的には１５メートルであるが、特定の施設に応じて変更することができる。監視される警備区域内のターゲットの角度位置、距離及び幅は、データを処理し、ビデオカメラが目的のターゲットに向くようなコマンドを送信するカメラユニットコントローラコンピュータに提供される。これらのコマンドはビデオカメラのパン、チルト及びズーム機能の為のものである。対象への距離に基づいて、ビデオカメラのズーム機能は、人物の顔の平均的な割合が画像範囲の２０％を占めるビデオ画像を得るのに必要な程度に動作する。画像分析及び人物の顔が含まれているかどうかを決定するために、可能性のあるターゲットの距離、角度位置、幅を特定するレンジデータにより支援される顔検出ソフトウエアが用いられる。顔が検出された場合、顔の主要な特徴の座標が計算され、顔の更なる拡大の為にビデオカメラに使用され、したがってその顔がビデオカメラの視界ほぼ全部を占めるようになる。レンジデータ及びビデオ画像に関するこれらの座標は、定期的に更新され、顔が動いた時にターゲットの顔の追跡を容易にする為に使用することができる。使用されている顔認識システムに基づき予め決定された基準によって顔の画像品質が十分であると決定されると、顔画像は、キャプチャ及び記録され、及び／又は生物測定学的照合及び身元確認及び外部データベースに対する対照の為の顔認識ソフトウエアで利用可能となるよう作成される。
【００１７】
本発明で使用されるビデオカメラは高速で正確なポインティング操作が可能な独特のデザインのものである。敏速にビデオカメラを向ける（point）本発明の能力は、真マルチプレックスモード（true maltiplex mode）にて、同時に警備区域内の複数の人物を追跡することを可能とする。ビデオカメラはある人物からすぐに他の人物を向き、そして戻ることが可能である。他の電動化されたパン、チルト、ズームビデオカメラと異なり、本発明のビデオカメラは、パン操作を実行するために基板上を動くことがない。代わりに、軽量の鏡がリニア（linear）、動作コイル（moving coil）、モータ上に直接備え付けられており、警備区域の区分の画像をビデオカメラへと導くために用いられる。鏡を動かすことによってビデオカメラの視界は警備区域に渡りおよそ数１０ミリセカンドという非常に短時間で敏速にパンすることが可能となり、システムを真マルチプレックスモードにて操作可能にする。チルトもさらにビデオカメラ自体を動かすことによって実行可能であるが、通常の操作距離では、ビデオカメラが顔画像を得るためにはチルトしなければならないアングルは小さく、既存のチルト機械装置によって適応可能である。ズームもまた、ビデオカメラレンズ部を動かすことにより標準的方法にて達成可能である。
【００１８】
本発明のシステムは、画像分析論理（image analysis logic）を、カメラ装置の位置に「搭載」又は遠隔地に位置させて組み込むこともできる。従って、カメラシステムは特定人物の追加画像を得るようプログラムすることができる。ビデオ画像からの顔追跡データは、顔認識論理操作（face recognition logic operation）の性能を向上させるよう使用してもよい。確実なライティング及びポーズ制御を確保するよう、画像データは存在センサからのデータと組み合わせることもできる。これは身元確認性を向上させ、及び／又はシステムは事前に設定された基準の一貫性を保持することができる。
【００１９】
ここに示された試みの有益点は数多くある。警備区域に渡り前後に敏速に動く必要がなくなるので、ビデオカメラへの損傷はない。それに伴うケーブルの問題もまたなくなる。ビデオカメラの敏速な動きをもたらすのに必要な強力なパンモータ（panning motor）又はそれに伴うギアは必要ではなく、ギア−バックラッシュ（gearing-backlash）の問題もなくなる。ターゲットレンジデータをターゲットビデオデータと共に使用することで、システムが警備区域内でより正確な顔の検出及び追跡をする事ができ、複数のターゲットの顔を追跡することができる。ビデオ及びレンジデータは補助的な形式で用いられ、単一のデータ源のみが利用できる場合の顔検出及び追跡における固有の曖昧さを取り去る。入力画像が不完全にポーズされ、不完全にライトされ（lit）、不完全にクロップ（croped）された場合、現在の顔認識ソフトウエアアルゴリズムは被害を受ける。ターゲットレンジデータをターゲットビデオデータと共に使用することで、正確なポーズを確保する適切なライトニング及び正確なタイミングの画像キャプチャにより、適切に中央に置かれた画像のより正確な選択が可能となる。向上した画質は顔認識性能を飛躍的に向上させる。
【００２０】
本発明の更なる目的及び優位点は以下の説明及び好適な実施形態が明確に説明され示された添付の図面により明らかとなる。
【００２１】
（図面の簡単な説明）
本発明は以下の図面に対する参照による説明により、より良く理解されよう。
図１は、警備区域に導入された本発明のトップ−ダウン平面図である。
図２は、警備区域内における本発明のビデオカメラ、回転可能鏡システム及びレンジユニットの実行可能な一の導入位置の側部立面図である。
図３は、図１に示された本発明のカメラユニットの構成図である。
図４は、複数のカメラユニット及び外部コントローラを含む本発明のネットワークアーキテクチャを示す構成図である。
【発明を実施するための最良の形態】
【００２２】
図１及び２を参照すると、警備区域４に進入するターゲット１を監視し、ターゲットの顔２の画像を得る為に、自動化された身元確認システム１０が示されている。また、図４のアーキテクチャ構成図に示されるように、自動化された身元確認システム１０は１以上のカメラユニット２０及び外部コントローラ５０を含む。カメラユニット２０はビデオカメラ２１、回転可能鏡システム２５、レンジユニット３０及びカメラユニットコントローラ４０を含む。
【００２３】
警備区域４は３次元空間であることは、ここに述べられていることにより理解されよう。縦方向は通常の方法により、警備区域の底部から頂上部にかけて計測され、同時にカメラユニットの視点から、横方向は側部から側部にかけて、奥行きはカメラユニット２０の外側から、これらもまた通常の方法で計測される。したがって、警備区域４内に立ってカメラユニット２０を向いている人物では、縦方向は人物の足部から頭部にかけて、横方向は人物の左側から右側にかけて、奥行きは人物の正面から背面にかけて計測される。
【００２４】
カメラユニット−ビデオカメラ
カメラユニット２０はマシンビジョンシステムでよく用いられる種類の標準的なビデオカメラ２１を含む。異なる企業で生産される数多くのカメラ形式があるが、ここに示される特定の例として適当である、ソニー（商標）製、型式番号EVI-400のカラービデオカメラが使用されている。このカメラは、自動露出制御（automatic exposure control）及び自動焦点調節などズーム機能に特徴がある。ビデオカメラ２１は、ビデオ信号をカメラユニットコントローラ４０に送るビデオ出力、及び、ズーム、フォーカス、露出といった様々なカメラ機能を制御し、監視するためのカメラユニットコントローラ４０に接続する為のシリアル入力／出力（I/O）インターフェースを含む。ビデオカメラ２１が作動する範囲（range）を広げるため、顔がビデオ画像全体を占めるような方法で、最大範囲で人物の顔２の画像をキャプチャできるように、テレコンバーターレンズ２３が追加される。本例は、最大範囲は任意に１５メートルに設定されているが、レンジユニット３０の感度を上げ、レンズ２３の焦点距離を伸ばすことによって、最大範囲は広げることが可能である。カメラユニット２０は、ビデオカメラ２１を上下にチルトさせ縦方向でスイープさせる為のチルトモータ２４及びチルトモータ駆動電気機器を含む。縦方向でビデオカメラ２１がチルトする必要がある角度は小さく、人の顔の鉛直高（vertical height）と通常は一般的な人の目の高さである一般的な基準点との差異を補正するのに必要である角度のみで足りる。
【００２５】
上記のように、カメラユニット２０はフォーカス、チルト、ズーム機能を含み、ターゲット１の高品質な顔画像を得るためのビデオカメラ２１の敏速な動きを可能にする。これらの機能は、カメラユニットコントローラ４０からのカメラコントロール信号によりシリアルインターフェースを介して制御される。レンジユニット３０に選択された特定のターゲットに焦点が自動的に合わされ、ビデオカメラ２１がターゲットを向く必要は殆どない。ズームは、最初にターゲットの距離で示される平均的な人物の顔よりもビデオカメラ２１の視界を十分に大きくすることが可能な設定に調整される。一般的には、ズームは平均的な人の顔が視界の約２０％を占めるように設定される。ズームは、レンジユニット３０及びビデオカメラ２１からのデータに基づくカメラユニットコントローラ４０からの更なる信号により絞り込まれる。本設定では、チルト機能はビデオカメラ２１に取り付けられた外部チルトモータ２４により提供されるが、他の配置としてビデオカメラ２１の一部として組み入れることもできる。ターゲット１の高品質な顔画像を得るために必要なチルトの量は、レンジユニット３０及びビデオカメラ２１からのデータに基づき、カメラユニットコントローラ４０からの信号により制御される。ターゲットの距離はチルト必要量の決定を支援するのでレンジデータは重要である。
【００２６】
ビデオカメラ２１の視界が、一辺が他よりも長い長方形である場合、ビデオカメラの方向を合わせるのが有効であり、よって視界の長い一辺が警備区域４の縦方向と平行となり、したがって警備区域４内で、人物のような縦方向のターゲットのキャプチャ領域が増すということを見出だした。縦方向のターゲットのキャプチャ領域が増すことにより、高品質なターゲットの顔画像を得るために必要であったビデオカメラチルトの量を減らすこととなる。
【００２７】
カメラユニット−回転可能鏡システム
カメラユニット２０は、図１に示すように、ビデオカメラ２１の前方に直接配置されている回転可能鏡システム２５を含む。回転可能鏡システム２５はリニアモータ２８の垂直モータシャフト２７に直接取り付けられた軽量の鏡２６を含む。リニアモータ２８はコンピュータハードドライブに使用されている種類のものであり、鏡２６を所望の地点に、敏速に正確に回転させるに十分なサーボ電気駆動部（servo electronic drivers）を含む。また、シャフト２７に直接取り付けられ、鏡２６の正確な位置を読み、サーボ駆動部に位置フィードバック信号を出力する回路を含む、標準位置フィードバックシステムを含む。位置フィードバック信号を、カメラユニットコントローラ４０から受信した鏡２６の所望の位置を示すコマンド信号と適合させることにより、モータ２８は鏡２６を直接所望の位置に向けるよう駆動することができる。
【００２８】
図１及び２の構成では、レンジユニット３０は警備区域４内のターゲット１の距離（奥行き）、角度位置及び幅を決定し、それらの座標をカメラユニットコントローラ４０に提供する。カメラユニットコントローラ４０は、鏡システム２５に鏡コマンド信号を送り、リニアモータ２８が鏡２６を適切な位置に回転させ、カメラユニット２０の水平パン機能を提供する。鏡２６に映ったターゲット１の画像は、画像キャプチャの為にビデオカメラ２１に導かれる。鏡２６を敏速に回転させることにより、ビデオカメラ２１は、警備区域４内の全ての水平範囲に渡って、同じ課題を解決するモータ動力水平パン機能を有する一般的なビデオカメラが要する時間の何分かの１で効果的にパンができる。警備区域４内の何れかのターゲットから警備区域４内の他の何れかのターゲットにパンする反応時間は、１００ミリセカンド以下で達成される。パンの正確性は１度の１０分の１以内に達する。
【００２９】
鏡システム２５は、鏡２６を所望のターゲット１を捕らえた位置に維持し、固定する鏡ブレーキ（図示なし）を含んでもよい。鏡ブレーキは鏡２６における振動を防ぎ、画像の安定性を向上させ、よって画質を向上させる。好適な実施形態においては、鏡ブレーキはシャフト２７に位置する電磁石である。
【００３０】
鏡システム２５は、外部チルトモータ２４により提供されるチルト機能に代えて、ビデオカメラ２１に水平チルト機能を提供する第２段階の回転可能自由性を含むようにすることができる。別の方法では、鏡２６の回転軸に対し９０度で位置する軸において回転可能な第２鏡を含む第２回転可能鏡システムが提供されうる。組合せでは、２つの回転可能鏡システムが、ビデオカメラ２６に縦方向チルト及び水平パン機能とを提供する。
【００３１】
カメラユニット−カメラ／鏡システムコントロール
図３に示すように、カメラ／鏡システムコントロール３９は、ビデオカメラ２１及び回転可能鏡システム２５に接続され、カメラユニットコントローラ４０からのカメラ及び鏡システムコントロールコマンドを受け、ビデオカメラ２１及び鏡システム２５の様々な機能を制御する為のハードウエア及びソフトウエア部分を含む。これらの機能は、露出、ズーム、フォーカス、チルト、パン（鏡回転）、オン／オフ、ビデオカメラフレームレート、明るさ、及びコントラストを含む。カメラ／鏡システムコントロール３９は又、様々なビデオカメラ２１及び鏡システム２５機能のステータスのリードバックを担い、カメラユニットコントローラ４０に伝達する。
【００３２】
カメラユニット−レンジユニット
図１〜４に示すように、カメラユニット２０は警備区域４内のターゲット１の所在を確認するレンジユニット３０を含む。本発明の一態様では、レンジユニット３０は、回転レンジミラーと共に操作される距離計測装置を基とするレーザダイオード及び、警備区域４を調べる為のレンジレンズ受信システム（range lens receiving system）を使用した一般的によく知られたデザインである。ターゲット１への距離を計測するために飛行時間（time of flight）の原則が用いられる。本設定では、レーザダイオードは、およそ１０ナノセカンドの周期で、レンジミラー毎１／４度の回転につき一度、パルスで修正されている。レーザビームは回転レンジミラーによって警備区域４へと反射され、ターゲット１に反射された反響パルス（return pulse）はレンジレンズ受信システムにより計測される。光速度及びレーザパルス放出と反射間の時間差の為の一定の値を認識することにより、ターゲット１の距離を計測することができる。レンジユニット３０は、警備区域４内で検出したターゲットの距離（奥行き）、角度位置、幅を記録し、この情報をカメラユニットコントローラ４０へ送る。レンジユニット３０はレンジデータを毎１／４度で記録可能であるので、レンジデータは人物のプロフィール（相対的に滑らか）に適合するか否かを決定するよう分析できるターゲットのプロフィールを提供可能である。警備区域４の完全スキャンは、毎１００ミリセカンドに起こるレンジミラーの回転中に達成され、従って、非常に敏速なターゲットの検出及び位置確認が可能となる。区域４のスキャンレートは、レンジユニットフレームレートとして参照され、導入又は操作形態の要求により変化する。
【００３３】
通常、レンジユニット３０はビデオカメラ２１の下部に平均的な人の胸の高さで設置される。通常、ビデオカメラ２１は平均的な人の目の高さで設置される。しかしながら、特殊な設置に基づき、レンジユニット３０及びビデオカメラ２１の他の配置も可能である。
【００３４】
本発明において、レンジユニット３０の他の配置が可能であることは容易に理解できよう。例えば、ソナー−ベースのレンジシステムが導入でき、高周波レーダー又は双眼／差異の視差（binocular/differential parallax）に基づくものが導入できる。
【００３５】
カメラユニット−レンジユニットコントロール
レンジユニット３０は、指定パラメータ内でのレンジミラーの回転速度の管理、警備区域内で何の動きも無い”不感”時間中レーザパルス率を減少させる”スリープ”モードを含むレーザダイオードのパワーセーブモードの管理、カメラユニットコントローラ４０からの制御機能（control function）の受け入れ、要求に応じてレンジユニット３０に関するステータス情報をカメラユニットコントローラ４０に送ることを含む、レンジユニット３０の様々な機能（function）を管理するハードウエア及びソフトウエアを含むレンジユニットコントロール４１を含有する。レンジユニットコントロール４１は、単一の関係のないスキャン位置を含む拡散したデータを除去するノイズフィルタ機能と、複数のスキャンラインでのレンジデータを均一にする動作平均化及びスキャン平均化と、検出された物体が、所定の距離で必要な幅を有する目的のターゲットを示すものであるか否かの測定のためのサンプルクラスタ（sample cluster）の計算と、角度、範囲（距離）、幅の形式での目的のターゲットからの調整された情報の摘出と、各ターゲットのレンジデータからのベクトル化されたプロフィールの構築と、を含む様々な機能を実行することにより、レンジデータを前処理する。レンジユニットコントロールハードウエア４１は、更なる処理の為に、未処理のレンジデータ又は処理済のベクトル化されたレンジデータプロフィールをカメラユニットコントローラ４０へと送る。ベクトル化されたレンジデータは n(al, rl, wl)(a2, r2, w2)...の形式で送信され、nは警備区域でスキャンされた対象の数を表し、ax は警備区域内の対象 No.x の角度位置を表し、rx は対象 x の範囲（距離）を表し、wx は対象 x の幅を表す。レンジデータはレンジユニットコントロール４１の要求に応じて、又は選択可能（プログラム可能）なリフレッシュ速度（refresh rate）で連続形式で、カメラユニットコントローラ４０へ送られる。
【００３６】
カメラユニット−カメラユニットコントローラ
カメラユニット２０はまた、図３の更に詳細な構成図に示されるカメラユニットコントローラ４０を含む。カメラユニットコントローラ４０は、ビデオカメラ２１、レンジユニット３０、回転可能鏡システム２５、及び外部コントローラ５０間のインターフェースを提供する全てのハードウエア及びソフトウエアを含有する。カメラユニットコントローラ４０の用途は、警備区域４内の目的のターゲット１の顔２の高品質のビデオ画像の検出、追跡、及びキャプチャの制御である。これは、レンジユニット３０及びビデオカメラ２１から受けた入力データを処理し、ビデオカメラ２１及び回転可能鏡システム２５に返信するための正確な位置決めコマンド信号を計算するためにこのデータを使用することにより達成される。このことは、カメラユニットコントローラ４０の様々な構成要素を説明する際に下記に詳細が述べられている。カメラユニットコントローラ４０はまた、外部制御コマンドを受信し、キャプチャしたビデオ画像を送信する外部コントローラ５０とインターフェースで連結されている。外部制御コマンドは、カメラユニット２０の構成要素を形成し、例えば警備区域内の特定の対象を追跡するようにそれらの動きを変更する為に使用される。
【００３７】
カメラユニット−カメラユニットコントローラハードウエア
カメラユニットコントローラ４０は、ビデオ入力、シリアルインターフェイス、高速I/O及びイーサネット（登録商標）インターフェースのためのインターフェース接続を有し、CPU、RAM、及び記憶装置を有するコンピュータを含むハードウエアを含有する。ビデオカメラ２１からの出力はビデオ入力で受けられる。レンジユニット３０からの出力及びレンジユニット３０への制御信号はシリアルポートの１つによって受信される。ビデオカメラ２１及び回転可能鏡システム２５の為の制御信号は他のシリアルポートで送信される。ネットワークインターフェースは、外部コントローラ５０との接続の為に使用される。カメラユニットコントローラ４０の為のハードウエア構造も可能であり、例えば、複数の低出力CPUを単体の高出力CPUの代わりに使用することができ、ビデオカメラ２１からのビデオ入力はダイレクトデジタルにすることもでき、外部コントローラ５０のインターフェースはイーサネット（登録商標）の代わりに高速シリアル又は無線ネットワークにすることもできる。
【００３８】
カメラユニット−カメラユニットコントローラソフトウエア
カメラユニットコントローラ４０は、複数の独立した相互通信ソフトウエアコンポーネントのオペレーション及びスケジューリングを制御する多重タスクオペレーティングシステム能力のある現代のネットワークを含有するカメラユニットソフトウエアを含有する。カメラユニットコントローラソフトウエアコンポーネントは：ビデオカメラデータ処理４３；レンジユニットデータ処理４４；カメラ／レンジユニットコントロール４５；顔検出４６；顔追跡４７；顔画像キャプチャ４８；カメラユニットコントローラシステムコントロール４９及びカメラユニットコントローラ通信６０を含む。
【００３９】
ビデオカメラ２１から到達したビデオフレームは、ハードウエアビデオキャプチャボードにおいて、非同期でデジタル化される。このデータは、入力データを正規化、調整、修正する基礎画像処理オペレーションを実行するソフトウエアを含むビデオカメラデータ処理４３に送られる。修正は画像の色及び外形の為に標準校正データ（standard calibration data）に基づき行われる。画質向上及びノイズフィルタが実行され、処理済ビデオ画像データは、カメラユニットコントローラシステムコントロール４９に対して有効となり、ここで、顔検出、顔追跡、又は顔画像キャプチャを含む多くの機能の実行において使用される（以下参照）。
【００４０】
レンジデータは、レンジユニット３０からカメラユニットコントローラ４０に連続的に、又はカメラユニットコントローラ４０からの要求に応じて到達する。レンジデータは、距離（奥行又は範囲）、角度及び幅の値のテーブルの形式をとる。レンジデータは、警備区域４内のターゲット１の位置及び場所を決定するソフトウエアを含むレンジユニットデータ処理４４により処理される。背景を排除し、小さなダイアミタノイズ（diameter "noise"）を取り除き、人物である目的とするターゲットに近似の大きさのより大きな物体のみを残すよう発見的方法（heuristic methods）が使用される。これらの発見的方法は、警備区域内の対象の特徴を決定するため履歴、確率、統計分析を利用するインテリジェントソフトウエアモジュールである。例えば、レンジユニット３０の一度のスキャンのみで目的が検出され、先行又はその後のスキャンで検出されない場合は、安全に、無視できる誤認があったとみなされる。同様に、警備区域内を動く対象の速度に関する制限を設定することができる。対象がスキャンの間に５メートル移動した場合は、安全に、対象は人物ではないとみなされる。加えて、警備区域４が完全に無人の場合、補助ポール等の警備区域内の固定物から可能性のある対象を分離（背景除去）する為に使用されるインストールされた校正データが使用される。
【００４１】
処理されたレンジデータは、カメラユニットコントローラシステムコントロール４９で利用可能に作成され、顔検出及び顔追跡を支援するよう使用される。レンジユニットデータ処理４４は、予め決められた時間間隔で、警備区域４内の各ターゲット１の為の前レンジデータの履歴バッファを保存する。履歴バッファは、顔検出４６及び顔追跡４７に使用され、顔検出及び顔追跡を支援する。例えば、１つの大きな物体は１人の大きな人物もしくは互いに近接する２人の人物である可能性があるといったようなことである。２人の人物の顔が互いに近接している場合、２つの関係を識別するのは困難である。しかしながら、履歴バッファデータを使用することにより、２人の小さな人物が事前に別個のターゲットとなり、一緒に動いている事を測定することが可能となる。従って、レンジユニット３０及びビデオカメラ２６より受信した不明瞭なデータが明瞭化される。
【００４２】
カメラ／レンジユニットコントロール４５は、カメラユニットコントローラシリアルI/Oポートを介しビデオカメラ２１、レンジユニット３０及び回転可能鏡システム２５に送られる全ての信号を管理するソフトウエアを含む。これらの制御コマンドはレンジユニットコントロール４１及びカメラ／鏡システムコントロール３９に送られ、カメラユニットコントローラシステムコントロール４９から受信した入力に基づき決定される。ターゲットの位置的な変化は、レンジユニット３０からのレンジデータの変化及びビデオカメラ２１からのターゲットビデオ画像の幾何学的形状の変化に基づき、カメラユニットコントローラシステムコントロール４９により測定される。ビデオカメラの入／切、ビデオカメラ焦点調節、ビデオカメラチルト、鏡の回転（パン）、ビデオカメラズーム、ビデオカメラフレームレート、ビデオカメラ光度及びコントラスト、レンジユニットの入／切、及びレンジユニットフレーム率を制御するコントロールコマンドは、カメラ／レンジユニットコントロール４５を介し、顔検出及び顔追跡を支援するために送られる。コマンド信号の目的は、ターゲットが正しく追跡され、顔認識の為に高品質なターゲットの顔のビデオ画像の取得を確保することである。加えて、カメラ／レンジユニットコントロール４５は、適正なタイミングでのコマンドの発信、信頼性のあるそれらコマンドの送信及び実行の確保、ビデオカメラ２１内で起こりうる、カメラユニットコントローラシステムコントロール４９でのそれらコマンドの問題点又は他の問題状況への警告、レンジユニット３０又は回転可能鏡システム２５を管理する。例えば、回転可能鏡システム２５がコントロールコマンドに反応しない場合、モータ２８が損傷又は鏡２６がスタックしていることが考えられ、整備が必要であると知らせるために警告が発信される。
【００４３】
顔検出４６は、ビデオカメラ２１より送られてきたビデオ画像内の顔イメージを検出するソフトウエアを含む。初期には、顔検出４６は、顔検出の為に全入力ビデオ画像を使用する。入力データを処理するために、多くの異なる既知のソフトウエアアルゴリズム的方法が使用され、顔検出処理において固有の不明瞭さを最小化する方法で、それらのデータを結合するために発見的方法が使用される。表情の変化による画像変化（軟性）及び同一人物の顔画像間の特性の違い；眼鏡や口ひげ等の表面上の特徴；及び照明等による制約を受けない環境での予測不可能な画質；などが原因で、不明瞭さという結果をうむ。顔は３次元であるので、いかなる配光の変化もが著しい影の変化という結果をうみ、変動の増加した２次元顔画像へと変換される。顔検出４６に用いられる発見的方法は、そのような状況下では、ソフトウエアアルゴリズムが最も信頼性があるかを決定するよう構成された一連の公式を含む。例えば、理想の照明条件では、大量の顔色及び形状アルゴリズムは高速で理想の精度を提供する。レンジユニット３０からのレンジデータが、検索を絞り込み、警備区域内４のターゲットの幅及び履歴的動作の特性に基づき、最もよく人物の顔を含むビデオ画像の特定区域の決定を支援するために加えられる。
【００４４】
以下は、当該技術分野において既知の、顔検出の出願人によって使用されるソフトウエアアルゴリズムである。
大量の顔色及び形状の推定値；
可能性のない特徴を除去するために幾何学的制約を用いる個人の顔の特徴検出（目、鼻、口等）；
大量の顔及び非顔データに関するアルゴリズムの調整に基づく人工神経ネットワーク解析（artificial neural network）；そして
主成分分析（principle component analysis (PCA)）又は顔画像のエイゲンフェース分解（Eigenface decomposition）を使用したヘイズの法則。
【００４５】
以下の付加的なステップは、本発明の顔検出４６によって実行され、レンジユニット３０からのレンジデータを利用し、ビデオ画像内の顔を検出する本発明の能力を高める為出願人により見出された。
人の大きさのターゲットを分離するためのレンジデータの解析。上記のように、これは、警備区域内の対象の特徴を計測し、人ではないであろう小型の素早い対象がもたらすノイズを除去する為のレンジデータの履歴、確率、統計解析を活用する知的ソフトウエアモジュールを含有する。レンジユニット３０からのレンジデータは、適切な幅（30cm〜100cm）及び形状（滑らかな表面）のターゲットを計測するよう使用される。ビデオ画像の中で人の大きさのターゲットの場所を正確に知ることは、顔検出を開始するための起点を提供する。
人の団体の存在を計測する為のレンジデータ履歴の分析。これは、レンジデータの分析に基づき上記技術を利用し各ビデオフレームの人の大きさのターゲットを分離することにより行われる。カルマンフィルタリングといった動き検出（motion estimation）ソフトウエアが、ターゲットの軌跡を予測し、カルマン軌跡予測に十分に適合しない不明瞭なターゲットを特定する為に使用される。最後に、不明瞭なターゲットは分類され、該分類は顔検出を支援するために使用される。例えば、特定の不明瞭なものが、近接して立っている２人以上の人物の結果であるか否かを測定することが可能である。
【００４６】
本発明の好適な実施形態では、顔検出４６は、色、形状及び構造に基づき顔に対応させて画像を特定する。省略領域は、セグメント化された画像の荒い解像度で適用されたアルゴリズムを増大させる領域に基づき位置される。色アルゴリズムは顔形状評価手法により強化される。画像領域は、固定された高さ対幅の縦横比（通常は1.2）に合わせ、省略形で（頭の形状に似せた）で領域境界線に一致させた後、”顔”又は”非顔”と分類される。
【００４７】
本発明のさらに好適な実施形態では、赤外線（IR）を使用する目検出方法を使用することができ、通常の人の顔の目を示し、顔検出４６を支援する。この方法では、ターゲットは、好ましくは、ビデオカメラ２１の光軸と同軸又は同軸に近似となる赤外線ストロボからの赤外線の照射によって照らされる。赤外線は人物の目の瞳孔の明るさをビデオ画像上で増加させる。明るさの増加したこのような箇所を示すことにより、顔検出４６は、ビデオ画像内の顔を素早く特定し、示すことができる。赤外線ストロボが限定された特定のビデオフレーム中でのみ照射された場合、人物の目の位置に一致するであろう明るさの増加した箇所を、より容易に特定する為のフレームサブトラクション法（frame subtraction）を使用することができる。正確には、目の位置の特定は更なる利点があり、それら情報は、顔認識ソフトウエアの精度を格段に向上させる。
【００４８】
顔検出は、本質的にコンピュータでの集中的なタスクである。現在の処理速度では、ビデオカメラ２１から届いた各ビデオ画像フレームを全顔で検出するのは不可能である。従って、顔検出処理は、必要時つまり届いた画像に顔が検出されていない場合にのみ、カメラユニットコントローラシステムコントロール４９によって有効とされる。顔が検出されると、顔検出がオフとなり顔追跡４７に引き継がれる。顔追跡４７の品質は、追跡信用変数（tracking confidence parameter）により特徴付けられる。追跡信用変数が定められた基準を下回った場合、対象の顔を見失ったと見なされ、顔検出が再開される。追跡信用変数が予め決められた画像キャプチャ基準に達すると、顔画像がイメージキャプチャモジュール４８によりとられる。十分な数の高画質の顔画像が得られると、ターゲットはドロップされ、他のターゲットに対する顔検出が再開される。
【００４９】
ビデオ画像に顔が検出されると、顔追跡ソフトウエアを含む顔追跡４７が稼動し、検出された顔の動作速度及び方向を垂直、水平、奥行方向において測定する為に、ビデオカメラデータ処理４３及びレンジユニットデータ処理４４より入力されたデータを処理する。顔追跡４７は、検出されたターゲットの顔の位置及び比率によりイニシャライズされ、検出されたターゲットの顔の周囲の有界領域（bounding box）の周囲に限定された関心領域（region-of-interest（ROI））を使用する。いかなる動きもカメラユニットコントローラシステムコントロール４９に伝えられ、回転可能鏡システム２５のパン及びビデオカメラ２１のズーム、フォーカス、チルト機能を管理するために用いられ、よってターゲットの顔を追跡し、視野内に保ち続ける。追跡信頼度が定められた限界値以下になるまで、ターゲットの顔は追跡される。この場合、ターゲットは見失ったものとみなされ、システムは検出モードに切り替えられる。カメラユニットコントローラシステムコントロール４９は、どの時点で顔画像キャプチャ４８を稼動させるかを決定する。
【００５０】
顔追跡４７は、入力ビデオ及びレンジデータを処理するよう、多くの既知のソフトウエアアルゴリズムストラテジーを使用することができ、結果を結合するために発見的方法が使用される。使用される発見的方法は、ある状況でどのソフトウエアアルゴリズムが信頼できるのかを決定するよう構築された一組の規則（rule）を含む。以下は当該分野で既知の、顔検出に使用されるソフトウエアアルゴリズムの一部である。
動作を検出するためのフレーム  トゥ  フレーム差異（frame to frame differencing）；
ビデオストリームにおける光学的フロー（optical flow）技術；
大量の顔の色及び形状の推定；
過去の動作評価から現在の動作及び予測された今後の動きをフィルタするカルマンフィルタ分析；及び
大量のビデオシーケンスにおけるアルゴリズム調整に基づく人工神経ネットワーク分析。
【００５１】
以下の付加的なステップは、レンジユニット３０からのレンジデータを利用し、本発明の顔追跡機能を増進させると見出された本発明の顔追跡４７により実行される：
レンジデータ及びレンジデータ履歴の分析。上記で詳述されたように、各ターゲットの為の旧レンジデータの履歴バッファは、１つの大きな物体が１人の大きな人物であるか、近接する２人の人物であるか、また全く人物ではない可能性があるかを決定するために使用される。
【００５２】
本発明の好適な実施形態では、楕円形の輪郭が検出された顔の輪郭に適合させられる。新しい画像が利用可能になる度に、顔追跡４７は旧画像からの輪郭を、当該方法で、新しい画像の最良近似位置に適合させる。モデル適合を反映する信頼値は元に戻る。顔位置は、決められたエラーレンジ内での顔の動作軌跡を測定するカルマンフィルタを使用し、順次に分析される。この動作軌跡は顔追跡を容易にするために使用される。
【００５３】
顔追跡アルゴリズムの多くが、色彩及び色テクスチャに部分的に依存し、顔追跡を実行している。背景及び前景の照明の変化により、画像色はしばしば不安定となり、追跡エラーや「ターゲット消失」へとつながる。照明の状態の変化を補正する為に、時間の経過に伴う全顔画像エリアの色配分が予測される統計的方法が適用される。時間の経過に伴う照明状態の平滑な変化を予測するこの方法では、カラーモデルを、追跡されたターゲットの外観の変化を反映させるよう動的に適合させることができる。ビデオカメラ２１より各画像が到達すると、新しい１組のピクセルが顔領域よりサンプリングされ、色モデルを更新するために使用される。成功した追跡の間、追跡信頼度が予め定められた追跡基準点より大きい場合にのみ、カラーモデルは動的に適合させられる。追跡が失敗した場合、動的適合は一時停止し、ターゲットが回復すると再開する。
【００５４】
顔追跡４７は、顔検出４６がビデオ画像内に顔を検出した場合にのみ、カメラユニットコントローラシステムコントロール４９によって稼動され、システム操作パラメータは追跡する顔を呼び出す。この操作パラメータは個々の導入の要求に基づき決定される。例えば、ある状況では、警備区域内に進入する各ターゲットより、数点の品質の良い画像がキャプチャされる場合がある。また、他の状況では、顔認識又は履歴保存の為により高品質の画像を入手するように、より慎重に一定のターゲットを確認し、追跡する場合がある。
【００５５】
顔画像キャプチャ４８は、どの時点で顔画像をキャプチャするかを正確に決定するよう、ビデオカメラ２１及びレンジユニット３０から受信したデータを分析するイメージキャプチャソフトウエアを含み、高品質で明るいターゲットの正面の顔画像を入手することができる。顔画像キャプチャ４８は、顔のポーズ及び最も適当な照明を決定するよう発見的方法を使用する。正確なポーズは、目、鼻、口といった重要な顔の特徴を確認し、それらが正確な位置にあることを確定することにより決定される。照明の質は顔の色の全体的な分析により決定される。
【００５６】
好適な実施形態では、ビデオカメラ２１には、ビデオ画像でサイズ及び位置調節可能である、プログラム可能なスポット測光システム（spot metering exposure system）が提供される。顔画像が確認されると、スポット測光システムは顔画像の大きさに応じて調整され、顔画像に集中させられる。結果として、正確に露光され、画像分析、顔認識及び比較により適切な顔画像がキャプチャされる。
【００５７】
顔画像キャプチャ４８は、顔が顔検出４６により検出された際に、カメラユニットコントローラシステムコントロール４９により稼動され、システム操作パラメータはキャプチャされる顔画像を呼び出す。画像キャプチャに影響するパラメータは：要求される画像の数、それら画像の要求される品質基準、イメージ間の要求される時間的間隔、を含有する。画質はポーズ及び照明に基づき、現在の基準と比較される。時間的間隔は、画像キャプチャの速度を示している。短時間で複数の画像をキャプチャすることが、同時間で１つの画像をキャプチャするものより、より良い情報を提供することであるとは言えない。良いポーズの入手を確定する為に十分な量の異なる画像がキャプチャされることを確保する為には、最小限の時間的間隔が必要である。高品質の顔画像が入手されると、外部コントローラ５０へと送られる。
【００５８】
確定したキャプチャされた画像の特徴は、大部分は使用される個々の顔認識ソフトウエアアルゴリズムによって決定される。本発明の主な利点の一つは、正確で一貫した顔認識を達成するために、高品質で、一定の顔画像を提供するようシステム操作パラメータを調整することができる点である。例えば、ある顔認識ソフトウエアでは、前面ポーズ、目の間の最小限のピクセルソリューション、特定の品質の照明が必要であることが知られている。本発明では、この基準に適合する画像のみをキャプチャし、そのような画像が得られるまで顔を追跡するようプログラムすることが可能であり、よって一貫した高品質な顔認識システムの能力を確保する。
【００５９】
カメラユニットコントローラ４０は、カメラユニットコントローラ４０を外部コントローラ５０に接続するネットワーク接続を介して相互作用し、外部コントローラ５０の要求により、設定及び操作命令を受け、また、ビデオ画像又はデータを送る為のカメラユニットコンローラ通信システム６０を含有する。
【００６０】
以下の形式の構成及び操作命令は、カメラユニットコントローラ通信システム６０に対応する：
ターゲットを追跡する時間、キャプチャする画像の数、必要とされる画像の品質及び解像度、画像の時間的間隔、追跡するターゲットの数といった、顔検出、顔追跡及び顔画像キャプチャの為のパラメータの設定；
警備区域内の照明の状態の為に、必要な画像修正を決定するキャリブレーション命令；
レンジユニット３０の為のキャリブレーションデータをキャプチャする命令、
カメラ２１及びレンジユニット３０の空間的位置決めを与える構成命令；
入／切を行い、「スリープ」モードを開始し、また、様々な操作追跡モードを開始する操作モード命令。様々な構成部品の「スリープ」モードは、構成部品の寿命を延ばし、電力を節約するのに有益である。例えば、レンジユニット３０は、警備区域内の活動が一定期間停止すると、１秒につき１エリアのスキャンへとレーザパルス率を低減させる命令を行う。ターゲットが検出されると直ぐに、レンジユニット３０は「目覚め」、通常のスキャンを開始する。これにより、レーザダイオードの寿命は飛躍的に延びる。
【００６１】
様々なカメラユニットコントローラ通信システム６０の構成が可能である。カメラユニット２０は、自身で相互通信することが可能であり；カメラユニット２０は、外部コントローラ５０以外で、コンピュータよりコマンドを受信し、コンピュータにデータを送信することができる。加えて、ポイント・ツー・ポイントネットワーク、高速シリアル入出力（high speed serial I/O）、トークンリングネットワーキング、無線ネットワーキング、又はその他適当な通信システムといった、異なる通信インフラを使用することができる。
【００６２】
カメラユニットコントローラシステムコントロール４９は、カメラユニットコントローラ４０の全ての機能を監視するソフトウエアを含有する。ビデオカメラデータ処理４３、レンジユニットデータ処理４４及びカメラユニットコントローラ通信システム６０によって取得された全てのデータは、顔検出４６、顔追跡４７、又は顔画像キャプチャ４８のソフトウエアモジュールの何れを稼動させるかを決定するカメラユニットコントローラシステムコントロール４９で使用可能とされる。この決定は、例えば必要とされる画像の数、画質基準及び画像の時間的間隔といった特定のシステムの要求に基づきなされる。また、特定の操作モードが考慮に入れられる。例えば、ある操作モードでは、最も近接するターゲットのみが追跡される。他の操作モードでは、近接する３つのターゲットを、３秒ごとに順に追跡することができる。操作モードは完全にプログラム可能であり、特定のアプリケーションに基づき決定される。
【００６３】
カメラユニットコントローラシステムコントロール４９は、様々な機能を制御する為に、どのコマンドをビデオカメラ２１、回転可能鏡システム２５及びレンジユニット３０に送るかを決定する。加えて、システムエラーへの対応といったような、例外的な態様の操作はカメラユニットコントローラシステムコントロール４９によって調整される。
【００６４】
カメラユニットコントローラシステムコントロール４９は、顔検出４６からの情報（画像エリアが顔である可能性を示唆する）と、顔追跡４７からの追跡情報（画像エリアは人の様に動くターゲットに帰属することを示唆する）、レンジユニットデータ処理４４からのレンジデータ（画像エリアは単独の人物であることを示唆する）を結合し、ビデオ画像のどのピクセルに顔がある確率が高いかを選択する。このために、レンジデータはビデオデータに時間的に、空間的に密接に表されていなければならない。顔追跡の精度は、時間をかけて、顔検出情報、顔追跡情報及びレンジデータの複数の測定を結合する確率的解析を用いることにより増加する。
【００６５】
カメラユニットコントローラシステムコントロール４９は、警備区域４内の個々のターゲットの軌跡を記憶する動作履歴ファイルを構築するために、レンジ及び画像データの複合体を使用する。これにより、個々の顔ターゲットの追跡及び所定の数の各人の顔画像のキャプチャが可能となる。
【００６６】
外部コントローラ
図４は、本発明のネットワークアーキテクチャを示す構成図である。複数のカメラユニット２０が外部コントローラ５０に接続されているのが示されている。また、データベース／検索アプリケーション７０及び外部アプリケーション８０がネットワークインターフェースを介し接続されているのが示されている。図４は、本発明の様々な構成要素間の通信及びデータの流れを示している。全ての構成要素間は１つのネットワーク接続である必要のないことは明らかである。実際は、多くの警備アプリケーションは、各アプリケーションの為の独立したネットワークを使用することを必要とする。複数のカメラユニット２０の使用は、ある警備区域から他の警備区域へのターゲットの追跡又は多数の潜在的なターゲットが存在する広大な警備区域を包囲するといったタスクを達成するカメラユニット間の連携を可能とする。
【００６７】
外部コントローラ５０は、蓄積された顔画像の検索及びシステムへの付加的なデータ入力源を提供する、カメラユニット２０、データベース／検索アプリケーション７０、外部アプリケーション８０を有し、インターフェースにネットワーク接続性のあるコンピュータを含む。例えば、外部パスポート審査アプリケーション（external passport control application）が、パスポートの顔画像がパスポートを呈示する人物の顔画像と一致するかを照合する自動顔認識を実行する為に、カメラユニット２０よりキャプチャされた画像と結合及び対照されるデータページ写真（data page photograph）の画像を外部コントローラ５０に提供することができる。
【００６８】
外部コントローラ５０は、カメラユニットインターフェース５１；外部システムコントロール５２；検索インターフェース５３；カメラ構成（configuration）アプリケーションインターフェース５４；及び外部アプリケーションインターフェース５５：を含有する複数の独立した相互通信ソフトウエア構成要素の操作を制御可能なマルチタスク操作システムが可能である現代ネットワークを含むソフトウエアを含有する。全てのネットワーク通信は、安全で信頼性のある構成要素間の相互通信を提供する為、発達した現代ネットワーク暗号化、認証技術の使用により保護されている。
【００６９】
カメラユニットインターフェース５１は、カメラユニットコントローラ４０との通信を制御するソフトウエアを含有する。命令は、外部システムコントロール５２より受け、カメラユニット２０へと送られる。カメラユニットインターフェース５１は、そのような全コミュニケーションの信頼性のある配信及び適時性を確保する。カメラユニット２０より達した顔画像は、更に外部コントローラ５０内の他のソフトウエアモジュールにより処理されるように蓄積、整理される。
【００７０】
外部システムコントロール５２は、外部コントローラ５０の全ての機能を監視するソフトウエアを含有する。カメラユニットインターフェース５１、検索インターフェース５３、カメラ構成アプリケーションインターフェース５４、及び外部アプリケーションインターフェース５５により得られた全てのデータは、外部システムコントロール５２で利用可能とされる。カメラユニット２０の協調を必要とするいかなる作業も、外部システムコントロール５２により制御される。加えて、システムエラーへの対応といったような、いかなる例外的な形態の操作も外部システムコントロール５２により調整される。
【００７１】
検索インターフェース５３は、以下に述べられるように、外部コントローラ５０及びデータベース／検索アプリケーション７０間の全コミュニケーションの信頼性のある配信及び適時性を確保するインターフェースを提供するソフトウエアを含む。
【００７２】
カメラ構成アプリケーションインターフェース５４は、カメラ構成アプリケーションからデータ入力を受けるソフトウエアを含む。カメラ構成アプリケーションは、ネットワークを介し、外部コントローラ５０又は外部に位置する他のコンピュータに設置することができる。カメラ構成データは、キャリブレーションデータの入手又は操作モードへの転換及び特定のターゲットの追跡を開始するようカメラユニット２０に指示を与える為の、露出、カラーモード、ビデオシステム他といったような様々な操作、構成機能を制御する命令をカメラユニット２０に送る為にに使用される。
【００７３】
外部アプリケーションインターフェース５５は、以下に述べられるように、外部コントローラ５０及び外部アプリケーション８０間でのコミュニケーションの信頼性のある配信及び適時性を確保するインターフェースを提供するソフトウエアを含む。
【００７４】
データベース／検索アプリケーション
データベース／検索アプリケーション７０は、本発明と相互運用する様々な検索機能の全てを表すために使用される一般的な用語である。これらのアプリケーションは、検索を実行する為、外部コントローラ５０、あるいはパスポート審査アプリケーションといった他のデータソースよりデータを受け、入力データに一致する可能性のある候補のリストを返信する。
【００７５】
データベース／検索アプリケーションの例としては以下を含むが、これに何ら限定されることはない：
顔照合：カメラユニット２０より受信したキャプチャされた顔画像は、パスポート又は他の写真付き身元確認資料といった呈示された身元確認資料にある顔画像と対照される。顔認識及び対照ソフトウエアが、一致するものがあるか否かを決定するために組み合わされ、レポートの為に結果が返信される。
顔確認：カメラユニット２０より受信した顔画像は、警告又は好ましくない者を含む”危険（look  out）”リストに対照される。ゼロの候補リスト又はさらに一致する可能性のあるものが、レポートの為に返信される。
データベース検索：氏名、識別番号、性別、年齢、国籍といった身元確認資料からの身元確認データは、警告リストに対照される。ゼロの候補リスト又は警告リストに更に一致する可能性のあるものは、レポートの為に返信される。
【００７６】
外部アプリケーション
外部アプリケーション８０は、ここに示される本発明のように同ターゲットを又は警備区域を監視する他の可能な警備身元確認システムを表すために使用される一般的な用語である。外部アプリケーション８０からのデータは、機能性を向上させるために本発明に入力される。本発明と外部アプリケーション８０間の相互作用の詳細は、外部アプリケーションの特性によって決定されることは明らかである。
【００７７】
外部アプリケーションの例の一つとしては、パスポート審査システムがある。旅行者は、身元確認データ及び顔画像を含む身元確認資料をパスポート審査官に呈示する。身元確認資料からの身元確認データ及び顔画像は、特にデータベース／検索アプリケーションにおいて向上した機能性を提供するために、外部コントローラ５０を介し入力される。例えば、身元確認資料から得られた旅行者の画像は、一致（照合）を確実にする為に、カメラユニット２０によりキャプチャされた旅行者の画像と対照させることができる。他の例としては、性別、年齢、国籍といった身元確認資料からの身元確認データは、カメラユニット２０からキャプチャされた顔画像の顔認識検索によって返信された顔画像の候補リストを警告データベースに対しフィルタする為に使用される。
【００７８】
加えて、外部コントローラ５０は、カメラユニット２０により集められた情報を、アプリケーション内で実行される機能性の向上を可能とするよう、外部アプリケーション８０に送ることができる。例えば、カメラユニット２０からキャプチャされた顔画像は、パスポート審査官が旅行者の身元確認資料の顔写真と並べて対照を可能とするよう、パスポート審査アプリケーションに送ることができる。他の例としては、カメラユニット２０からの顔画像は、パスポート審査官に身元確認資料を呈示する前に、データベース検索アプリケーションが処理を開始可能とする為に使用することができる。
【００７９】
配置及び調整
図２を参照すると、一般的な装置では、レンジユニット３０は、平均的な人物のおよそ胸の高さに、警備区域４を水平にスキャンするよう配置される。ビデオカメラ２１及び回転可能鏡システム２５は、平均的な人物のおよそ目の高さに位置され、よって、ビデオカメラ２１の視野は警備区域４をカバーする。レンジユニット３０、ビデオカメラ２１及び回転可能鏡システム２５の正確な位置は、的確に計測され、警備区域４内でのそれらの位置は、調整データとしてカメラユニットコントローラ４０に入力される。図４に示すように、広大な警備区域をカバーするよう又は複数の関連する区域を監視するよう、任意に、多数のカメラユニット２０を使用することができる。装置の性質及びアプリケーションの要求により、操作形態及び様々なシステム構成要素の相互通信プロトコルの調節が必要となることもある。
【００８０】
レンジユニット３０は、一時的なターゲットを含まない警備区域４からのレンジデータを入手、蓄積することにより調整される。その後、操作中に得られたレンジデータは、静的な対象と一過的な当該ターゲットとを区別するよう、調整データと対照される。ビデオカメラ２１は、既存の操作照明状態で既知のターゲットサンプル画像を提供する。これらの画像は、顔検出４６及び顔追跡４７の調整を可能とする。
【００８１】
操作
操作において、レンジユニット３０は、ターゲットの存在を検出する為に継続的に監視された警備区域４をスキャンする。可能性のあるいかなるターゲットの角度位置、距離及び幅を含むレンジデータは、カメラユニットコントローラ４０に送信される。カメラユニットコントローラ４０は、ターゲットの位置（最も近い）、サイズ（人物の大きさ）、動作履歴に基づき、レンジデータ及び人物である可能性が高いと認識されたターゲットを処理する。ターゲットが詳細な検査の為に検出されると、カメラコントローラユニット４０によりコマンドが、ビデオカメラ２１及び鏡システム２５に送られ、ターゲットのさらなる詳細図を得る為に、それらがパン及びズーム機能を実行する。これらのコマンドは、鏡２６を回転させ、よってターゲットがビデオカメラ２１の視野に入り、計測された距離に従ってビデオカメラ２１のズームが稼動し、平均的な人物の顔が視界の２０％を占めることとなる。ビデオカメラ２１からの画像が人物の顔を含むか否かを決定する顔検出アルゴリズムを実行する為に、顔検出４６は連動され、レンジデータと結合されたビデオ画像から得られたデータを使用する。人物の顔が検出された場合、顔の特徴が抽出され顔中央の空間的座標が計測される。この位置情報は、カメラユニットコントローラシステムコントロールに送り返され、絞り込まれたパン（鏡回転）、チルト及びズームコマンドをビデオカメラ２１及び鏡システム２５に送り、検出された顔がビデオ画像全体を占めるようになる。
【００８２】
一般的に、この時点で、ビデオカメラ２１が、正確にターゲットの顔を指し、所望の顔画像サイズを維持するよう出される適切なパン、ズーム及びチルトコマンドを計測する為のレンジ及びビデオデータを使用し、目的とする人物を追跡する為、カメラユニットコントローラ４０が顔追跡モードを開始する。ターゲットを追跡する間、発見的方法が使用され、ターゲットの顔の高品質で前面の画像をキャプチャする適切な瞬間を決定する。また、現画質の基準、要求される画像の数、画像間の時間的間隔が検討される。得られると、画像は、ネットワーク接続を介し外部コントローラ５０に送られる。この時点で、カメラユニットコントローラ４０は、アプリケーション特定ワークフローロジック（application specific work flow logic）により決定されるところにより、ターゲットの追跡を継続するか、又は、警備区域４に入るであろう他のターゲットを追跡することに注意を移す。
【００８３】
外部コントローラ５０は、各カメラユニット２０からキャプチャされたビデオ顔画像及びターゲット動作情報を受ける。また、同じターゲット人物を監視することができるパスポート審査ソフトウエアといった、外部アプリケーション８０からの情報も受ける。上記に簡単に説明したように、外部情報の例の１つとしては、ターゲットの人物から呈示された身元確認資料からキャプチャされた写真画像がある。外部コントローラ５０は顔認識及びターゲットの人物の照合及び身元確認を実行する他のデータベース検索ソフトウエアと相互作用する。
【００８４】
加えて、外部コントローラ５０は、複数のカメラユニット２０間の操作を調整し、以下の機能を可能とする。
１）１人の目的とする人物が、ある監視区域から他の監視区域に移動した際の追跡。
２）１つの部屋を監視する複数のカメラユニット２０の調整。この状況で、対象ターゲットは確認され、様々なカメラユニット２０の顔追跡及び顔画像チャプチャを可能とする。
【００８５】
他のアプリケーション
上記アプリケーションに加えて、本発明の他のアプリケーションは以下を含むが、何らこれらに限定されることはない：
【００８６】
１．パスポート又はビザといった、身元確認資料を受け取った人物の顔画像をキャプチャし、身元確認資料を呈示した人物の身元を照合する為に機械支援型身元確認が要求される場合のように、今後使用する為にその画像をデータベースにおいて蓄積する。
【００８７】
２．人物の顔画像をキャプチャし、顔認証、身元確認及び好ましくない者のデータベースとの対照の為に、その画像をデータベース検索アプリケーションへ送信することにより公的身元確認資料を申請した人物に”警戒チェック（lookout check）”を実行する。
【００８８】
３．身元確認資料を受け取りに来た人物の顔画像をキャプチャし、身元確認資料の人物の顔画像と対照し、資料が本人に発行されていることを照合する。、
【００８９】
４．ある国に旅行又は入国するための許可を受けた場合、人物の顔画像をキャプチャし、データベースにおいて蓄積する。そのような顔画像のキャプチャはリスクプロフィール（risk profile）に基づくものでもよいし、基づかないものでもよい。次に、そのデータベースは、記録された顔画像と拘束された非協力的な人物又はある警備区域に無許可で立ち入る人物とを対照するために使用され、以前に目撃された人物であるか否か、そうであった場合は、その時にどのような身元確認資料が呈示されたのかを決定する。
【００９０】
５．高度顧客情報（advance passenger information:API）データベースを作る為に、航空機で旅行をする為にチェックインした人物の顔画像をキャプチャし、データベースに蓄積する。到着時に詳細検査の対象とすべき人物を特定するため、APIレコードは、到着地にある当局に送られ、航空機の到着前に高度な警戒チェックを実行するために使用される。
【００９１】
６．到着地での乗客の自動検査を支援するため、上記の例で収集されたAPIデータを使用する。到着客が航空機の乗客と同一であることを確認する為に、到着客の顔画像がキャプチャされ、APIデータと対照される。これにより、乗客は警備区域を通り抜けすることができ、迅速に飛行機から降りることが可能となり、また詳細検査の対象とすべき人物を簡単に特定、選定することができる。
【００９２】
７．好ましくない者が公共の交通機関を使用し、警備区域に立ち入るのを防ぐため、飛行機、鉄道、バスといった公共交通機関に乗車する人物、入国港又は運動競技場などの警備区域に立ち入ろうとする人物の顔画像をキャプチャし、好ましくない者のデータベースに対し顔の認識、特定及び対照する為にそれらの画像をデータベース検索アプリケーションに送る。
【００９３】
８．身元確認資料が当該人を間違いなく示しているかを照合する為に、公共交通機関にチェックインする人物の顔画像をキャプチャし、それらの画像をチェックイン時に呈示した身元確認資料にある顔写真と対照する。
【００９４】
９．顔確認及び好ましくない者のデータベースに対して対照する為に、入国審査区域の港に来る人物の顔画像をキャプチャし、それらの画像をデータベース検索アプリケーションに送り、その近づいてくる人物が入場を許可すべき者か否かを決定する際に検査当局を支援する。
【００９５】
１０．入国港への到着時にセルフサービス検査機器で処理される人物の顔画像をキャプチャし、好ましくない者の入国を防ぐ為、好ましくない者のデータベースに対して顔認識及び対照するよう、それらの画像をデータベース検索アプリケーションに送る。
【００９６】
１１．全ての到着ゲートの全ての到着客の顔画像をキャプチャし、それらの画像を到着した飛行詳細と共に到着データベースに蓄積する。正式な身元証明を持たずに検査カウンターに来た人物及び飛行到着の詳細を提供するのを拒む人物の顔写真を対照する為に、到着データベースを使用する。これにより、国境検査当局は、航空機及び人物の出身を確認することができ、よって航空会社に罰金を科し、強制的に拘束された人物を出身地に送り返させることができる。
【００９７】
１２．人物の顔画像をキャプチャし、顔の認識及好ましくない者のデータベースに対照し、警備に警告を出すために、それらの画像をデータベース検索アプリケーションに送ることにより、警備区域内に立ち入る人物の「危険チェック」を実行する。
【００９８】
１３．乗客が様々な警備区域に近づいた際に顔画像をキャプチャし、それらの画像を予約者として記入された乗客の顔画像と対照することにより、空会社のチェックイン手続を向上させる。例えば、旅行者の顔画像は、仮予約時又はチェックイン時に撮られ、空港内の他の警備区域に立ち入る際、ひいては、飛行機に搭乗する際の身元確認照合に使用される。これは、チェックイン及び搭乗を迅速化させる。
【００９９】
１４．飛行機に搭乗する人物の顔画像は、チェックイン時の人物の顔画像と対照され、チェックインした人物が飛行機に搭乗した人物と同一か、飛行機に荷物をのせた人物と一致するかを照合する。
【０１００】
１５．空港のような任意の場所中の多くの警備区域に設置された複数のカメラユニット２０によって連続的に撮られた顔画像は、任意の時間に人物の所在確認に使用することができる。この方法では、フライトに現れない乗客の所在確認をする事ができ、適切な搭乗口に誘導することができる。気まぐれな乗客の所在確認の為に余儀なくさられるフライトの遅れを減少させることができる。このような監視システムはまた、刑務所の環境でも在監者の所在確認において有用である。
【０１０１】
１６．現金自動預け払い機（ATM）のような金融取引を伴う状況において、キャプチャされた顔画像は、ATMカードからのデータに対し対照され、正しい人物がカードを使用しているか照合する。
【０１０２】
１７．データベース／検索アプリケーションに対照される警備区域に立ち入る全ての人物の顔画像をキャプチャし、立ち入りを認められた人物の事前認証リストに載っている人物であるかの確認を行う。
【０１０３】
上記は、本発明の特に好適な実施形態を詳細に説明したものである。当業者であれば、本開示を踏まえて、本発明の精神及び範囲を離れずに、ここに開示される実施形態の明らかな変更が可能であることは明らかである。ここに開示される全ての実施形態及び請求項は、本発明を踏まえて必要以上の試験なしに作成及び実行可能である。本発明の全範囲は、請求項及びその均等物に示されている。従って、請求項及び明細書は、本発明に与えられた保護の全範囲を不当に狭めるものと解釈されるべきものではない。
【図面の簡単な説明】
【０１０４】
【図１】警備区域に導入された本発明のトップダウン平面図である。
【図２】警備区域内における本発明のビデオカメラ、回転可能鏡システム及びレンジユニット（ranging  unit）の実行可能な一の導入位置の側部立面図である。
【図３】図１に示された本発明のカメラユニットの構成図である。
【図４】複数のカメラユニット及び外部コントローラを含む本発明のネットワークアーキテクチャを示す構成図である。
【符号の説明】
【０１０５】
１  ターゲット
２  顔
４  警備区域
１０  身元確認システム
２０  カメラユニット
２１  ビデオカメラ
２３  テレコンバーターレンズ
２４  外部チルトモータ
２５  回転可能鏡システム
２６  鏡
２７  シャフト
２８  モータ
３０  レンジユニット
３９  カメラ／鏡システムコントロール
４０  カメラユニットコントローラ
４１  レンジユニットコントロール
４３  ビデオカメラデータ処理
４４  レンジユニットデータ処理
４５  カメラ／レンジユニットコントロール
４６  顔検出
４７  顔追跡
４８  顔画像キャプチャ
４９  カメラユニットコントローラシステムコントロール
５０  外部コントローラ
５１  カメラユニットインターフェース
５２  外部システムコントロール
５３  検索インターフェース
５４  カメラ構成アプリケーションインターフェース
５５  外部アプリケーションインターフェース
６０  カメラユニットコントローラ通信
７０  データベース／検索アプリケーション
８０  外部アプリケーション
【図１】
2005505871.tif 000003
【図２】
2005505871.tif 000004
【図３】
2005505871.tif 000005
【図４】
2005505871.tif 000006
【国際公開パンフレット】
2005505871.tif 000007
2005505871.tif 000008
2005505871.tif 000009
2005505871.tif 000010
2005505871.tif 000011
2005505871.tif 000012
2005505871.tif 000013
2005505871.tif 000014
2005505871.tif 000015
2005505871.tif 000016
2005505871.tif 000017
2005505871.tif 000018
2005505871.tif 000019
2005505871.tif 000020
2005505871.tif 000021
2005505871.tif 000022
2005505871.tif 000023
2005505871.tif 000024
2005505871.tif 000025
2005505871.tif 000026
2005505871.tif 000027
2005505871.tif 000028
2005505871.tif 000029
2005505871.tif 000030
2005505871.tif 000031
2005505871.tif 000032
2005505871.tif 000033
2005505871.tif 000034
2005505871.tif 000035
2005505871.tif 000036
2005505871.tif 000037
2005505871.tif 000038
2005505871.tif 000039
2005505871.tif 000040
2005505871.tif 000041
2005505871.tif 000042
2005505871.tif 000043
2005505871.tif 000044
【国際調査報告】
2005505871.tif 000045
2005505871.tif 000046