(57)【要約】      （修正有）【課題】車両乗員及び内容物の高速で最小限に侵襲的な顔検出及び識別を可能にし、変動するライティング、気象条件、ウィンドウ色合い及び光反射に関連する課題を克服するソリューションを提供する。【解決手段】進入制御デバイス１５において、1以上のレンズ１５９とフィルタアタッチメント１５８とを有する1つまたは複数の高解像度カメラ１５２が、1以上の補助照明デバイス１５３及びコンピュータシステムとともに動作する。補助照明デバイスは、1以上のカメラに同期され、正確で使用可能な画像のキャプチャを可能にするために補助照明を供給する。フィルタ及び高度画像処理は、顔検出及び車両内の個人を識別し、光グレアとウィンドウ表面からの不要な反射とを除去し、色合い付きウィンドウを通して画像をキャプチャすることを支援する。さらに、車両乗員の身元を確認するために、キャプチャされた画像をデータベースからの認証された画像と比較する。【選択図】図２
2019023860.tif 000002
【特許請求の範囲】
【請求項１】
車両乗員を検出するための方法であって、
カメラと照明デバイスとを含む装置を与えるステップであって、前記カメラが、カメラレンズに隣接して固設された直線偏光フィルタを含む、与えるステップと、
接近する車両の存在を検出するステップであって、前記車両が、外部環境から車両内部エンクロージャを分離する少なくとも1つのウィンドウを含む、検出するステップと、
前記直線偏光フィルタを通しておよび前記少なくとも1つのウィンドウを通して、前記カメラを介して、前記車両内部エンクロージャ内に存在する少なくとも1人の車両乗員の複数の現在の顔画像をキャプチャするステップであって、前記複数の現在の顔画像の各々が、前記接近する車両までの異なる距離からキャプチャされる、キャプチャするステップと、
処理ユニットによって、少なくとも1人の個人の少なくとも1つのアーカイブされた画像を入手するステップと、
前記処理ユニットによって、前記現在の顔画像のうちの少なくとも1つを前記少なくとも1つのアーカイブされた画像と比較するステップと
を含む、方法。
【請求項２】
前記現在の顔画像のうちの少なくとも1つを前記少なくとも1つのアーカイブされた画像と比較する前記ステップが、顔認識プログラミングを使用して前記処理ユニットによって実施される、請求項1に記載の方法。
【請求項３】
前記現在の顔画像のうちの少なくとも1つを前記少なくとも1つのアーカイブされた画像と比較する前記ステップは、前記処理ユニットによって、前記現在の顔画像のうちの前記少なくとも1つ中の前記少なくとも1人の車両乗員が、前記少なくとも1つのアーカイブされた画像からの前記少なくとも1人の個人と同じ個人であるかどうかを決定することを含む、請求項1に記載の方法。
【請求項４】
前記複数の現在の顔画像の各々をキャプチャするときに前記照明デバイスをアクティブ化するステップをさらに含み、前記アクティブ化するステップと前記キャプチャするステップとの相対的タイミングを指定する画像処理プロトコルに従って、前記アクティブ化するステップと前記キャプチャするステップとを順序付ける、請求項1に記載の方法。
【請求項５】
前記カメラレンズが視野を有し、前記少なくとも1つのウィンドウがフレームを有し、前記複数の現在の顔画像をキャプチャする前記ステップは、前記フレームが前記視野中にあることに基づいて自動的にトリガされる、請求項1に記載の方法。
【請求項６】
前記カメラレンズが視野を有し、前記複数の現在の顔画像をキャプチャする前記ステップは、前記少なくとも1人の車両乗員の少なくとも一部分が前記視野中にあることに基づいて自動的にトリガされる、請求項1に記載の方法。
【請求項７】
前記カメラが光学バンドパスフィルタをさらに含み、前記複数の現在の顔画像をキャプチャする前記ステップが、前記光学バンドパスフィルタを通して前記カメラによって実施される、請求項1に記載の方法。
【請求項８】
前記光学バンドパスフィルタと前記直線偏光フィルタとの間で前記カメラに固設された対物レンズをさらに含む、請求項7に記載の方法。
【請求項９】
前記カメラおよび前記照明デバイスが前記外部環境中に位置する、請求項1に記載の方法。
【請求項１０】
前記カメラレンズが視野を有し、前記少なくとも1つのウィンドウがフレームを有し、前記複数の現在の顔画像をキャプチャする前記ステップは、前記少なくとも1つのウィンドウの前記フレームが前記視野内にある間に実施される、請求項1に記載の方法。
【請求項１１】
比較する前記ステップに基づいて、ならびに検出されたライセンスプレート番号、車両下部画像、および前記車両上の可読タグのうちの1つまたは複数にさらに基づいて、アクセス制御されたアセットへのアクセスのために前記少なくとも1人の車両乗員を認証するステップを含む、請求項1に記載の方法。
【請求項１２】
視野のほうを向くレンズと、前記レンズに隣接して固設された直線偏光フィルタと、前記レンズに隣接して固設された光学バンドパスフィルタとを有するカメラを与えるステップと、
前記視野を照明するための照明デバイスを与えるステップと、
前記照明デバイスのアクティブ化を前記カメラのアクティブ化と同期させるための画像処理構成要素を与えるステップと、
接近する車両の存在を検出するステップであって、前記車両が、外部環境から車両内部エンクロージャを分離する少なくとも1つのウィンドウを含む、検出するステップと、
前記接近する車両が前記視野に進入すると、前記照明デバイスをアクティブ化するステップと、一方、前記直線偏光フィルタ、前記光学バンドパスフィルタおよび前記少なくとも1つのウィンドウを通して、前記カメラを介して、前記車両内部エンクロージャ内に存在する少なくとも1人の車両乗員の複数の現在の顔画像をキャプチャするステップであって、前記複数の現在の顔画像の各々が、前記接近する車両までの異なる距離からキャプチャされる、キャプチャするステップと、
処理ユニットによって、検出された車両識別子に前に関連付けられた少なくとも1人の個人の少なくとも1つのアーカイブされた画像を入手するステップと、
前記処理ユニットによって、少なくとも1つの現在画像を前記少なくとも1つのアーカイブされた画像と比較するステップと
を含む、方法。
【請求項１３】
前記カメラおよび前記照明デバイスが前記外部環境中に位置する、請求項12に記載の方法。
【請求項１４】
前記処理ユニットによって、前記キャプチャされた複数の現在の顔画像に基づいて前記車両内部エンクロージャ中の車両乗員の数を決定するステップを含む、請求項12に記載の方法。
【請求項１５】
比較する前記ステップに基づいて、ならびに検出されたライセンスプレート番号、車両下部画像、および前記車両上の可読タグのうちの1つまたは複数にさらに基づいて、アクセス制御されたアセットへのアクセスのために前記少なくとも1人の車両乗員を認証するステップを含む、請求項12に記載の方法。
【請求項１６】
前記少なくとも1つのウィンドウがフレームを有し、前記複数の現在の顔画像をキャプチャする前記ステップは、前記少なくとも1つのウィンドウの前記フレームが前記視野内にある間に実施される、請求項12に記載の方法。
【請求項１７】
車両乗員を検出するためのシステムであって、
カメラレンズに隣接して固設された直線偏光フィルタを含むカメラと、
少なくとも1つの照明デバイスと、
少なくとも1つのプロセッサと、
複数の命令を記憶する少なくとも1つのメモリデバイスとを含み、前記複数の命令は、前記少なくとも1つのプロセッサによって実行されたとき、前記少なくとも1つのプロセッサに、
少なくとも1人の個々の人の1つまたは複数の画像を記憶することと、
前記少なくとも1つの照明デバイスのアクティブ化を前記カメラと同期させることと、
前記カメラによってキャプチャされた、車両の車両内部エンクロージャ内に存在する少なくとも1人の車両乗員の少なくとも1つの画像を、前記少なくとも1人の個々の人の前記1つまたは複数の記憶された画像と比較することであって、前記少なくとも1つの画像が、前記直線偏光フィルタと車両のウィンドウとを通して前記カメラによってキャプチャされる、比較することと、
前記少なくとも1人の車両乗員と前記少なくとも1人の個々の人とが同じであるかどうかを決定することと
を行わせる、システム。
【請求項１８】
前記カメラによってキャプチャされた前記少なくとも1つの画像が、前記少なくとも1人の車両乗員の複数の現在の顔画像から取られ、前記複数の現在の顔画像の各々が、前記車両までの異なる距離からキャプチャされる、請求項17に記載のシステム。
【請求項１９】
前記複数の命令が、前記少なくとも1つのプロセッサによって実行されたとき、前記少なくとも1つのプロセッサに、前記キャプチャされた複数の現在の顔画像に基づいて前記車両内部エンクロージャ中の車両乗員の数を決定することをさらに行わせる、請求項18に記載のシステム。
【請求項２０】
前記カメラは、前記レンズが光学バンドパスフィルタと前記直線偏光フィルタとの間に固設されるように固設された前記光学バンドパスフィルタをさらに含む、請求項17に記載のシステム。
【請求項２１】
前記複数の命令が、前記少なくとも1つのプロセッサによって実行されたとき、前記少なくとも1つのプロセッサに、比較する前記ステップに基づいて、ならびに検出されたライセンスプレート番号、車両下部画像、および前記車両上の可読タグのうちの1つまたは複数にさらに基づいて、アクセス制御されたアセットへのアクセスのために前記少なくとも1人の車両乗員を認証することをさらに行わせる、請求項17に記載のシステム。
【請求項２２】
前記カメラおよび前記照明デバイスが前記車両の外部に位置する、請求項17に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、視覚的検査システムに関し、より詳細には、車両内部検査における改善された顔検出および認識のための向上されたデバイス、システムおよび方法に関する。
【背景技術】
【０００２】
政府、企業、および個人でさえ、特にセキュア設備のための、物理的ロケーションへの車両進入ポイントにおけるトラフィック制御を改善することおよびセキュリティを増加させることを行うためのより効果的で効率的な方法を求めている。様々な技術ソリューションは、進入ポイントにおいて所与の車両を識別することができ、潜在的脅威を識別するために、外部的にと内部的にの両方で探索が着手され得る。限られた程度まで、いくつかの技術ソリューションは、進入ポイントにおいて車両中の運転者および同乗者を識別することができるが、そのようなソリューションは、運転者および/または同乗者など、乗員が、停止し、ウィンドウを開き、たとえば、写真識別カードまたはRFIDプロキシミティカードなど、何らかの形態の識別ドキュメント、あるいは、たとえば、顔カメラまたは網膜カメラによってスキャンされ得る何らかの形態の生体情報を提示することを必要とする。この車両乗員識別プロセスは、時間がかかり、高いトラフィック量を扱うためにしばしば実際的ではない。さらに、余分の識別時間はまた、ルーチンセキュリティプロシージャを受けることを快く思わない特別特権乗員を運ぶ車両には適さないことがある。
【０００３】
さらに、ウィンドウなどのバリアを通して、または車両が移動している間に、車両内部を検査するための作業は、制約に直面する。たとえば、周辺および車両キャビンライティング条件、気象条件、ウィンドウ反射率、ならびにウィンドウ色合いには、著しい変動性が存在する。これらの変動は、従来の像ベース識別システムに対する多数の課題を引き起こす。たとえば、ウィンドウ表面からの光反射は画像をほぼ無用にすることがあり、濃厚なガラス色合い付けは、車両内の個人を識別することをほとんど不可能にすることがある。ガラスおよび他のバリアを通した車両内部における顔検出に関する別の課題は、車両中の人間の乗員が遮断され得ることである。たとえば、顔遮断問題は、車両の不透明部分が乗員の顔をブロックすること、乗員の動き、および顔の上に手を偶発的に置くことによって引き起こされ得る。さらに、顔検出アルゴリズムは、顔プロファイル画像に対して十分に機能しない。顔検出アルゴリズムは、正面顔プロファイルのために設計されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第7,349,007号
【特許文献２】米国特許第8,305,442号
【特許文献３】米国特許第8,358,343号
【特許文献４】米国特許第8,817,098号
【特許文献５】WO/2016183408A1
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両乗員および内容物の高速で最小限に侵襲的な顔検出および識別を可能にするソリューションが必要とされる。さらに、変動するライティング、気象条件、ウィンドウ色合い、および光反射に関連する課題を克服するソリューションが必要とされる。車両のライセンスプレート、車両下部スキャン像、無線周波数識別タグなど、他の形態の識別情報と組み合わせられたとき、顔検出は、車両とそれらの乗員の両方を識別する能力をもつ向上されたセキュリティを与えることができる、認証の追加のレベルを与える。さらに、多因子認証プロセスの一部として所与の車両中の乗員を明確に識別することによって、スループット、または車両がセキュリティチェックポイントを通過することができるレートが、著しく向上され得る。
【課題を解決するための手段】
【０００６】
本開示は、車両の検査を向上させるための、デバイス、システム、および方法に関し、特に、車両内の乗員の顔検出に関する。実施形態は、1つまたは複数の高解像度カメラと、1つまたは複数の補助照明デバイスと、1つまたは複数の光学フィルタと、1つまたは複数の処理ユニットとを含むことができる。様々な実施形態によれば、補助照明デバイスは、1つまたは複数のカメラに同期され、補助照明を供給するように構成され得る。たとえば、補助照明は、画像キャプチャとほぼ同じ方向において、画像キャプチャとほぼ同じ瞬間に、および/または画像キャプチャとほぼ同様の光周波数において供給され得る。
【０００７】
実施形態は、高度画像処理機能と、ルーチンと、アルゴリズムと、プロセスとを動作させるように構成された1つまたは複数の埋込み型処理ユニットをもつコンピュータシステムまたはカメラをさらに含むことができる。本開示による高度画像処理デバイスおよび方法は、特に、顔を検出することおよび車両内の個人を識別することと、個人の現在キャプチャされた画像を個人の記憶された画像と比較することと、光グレアとウィンドウ表面からの不要な反射とを除去することと、色合い付きウィンドウを通して画像をキャプチャすることとを行うためのプロセスを含むことができる。たとえば、アルゴリズムは、同じターゲット車両/乗員の異なる画像を比較し、画像間の差を使用して、画像を向上させ、および/あるいは不要な視覚的アーティファクトを低減するかまたはなくすことができる。さらに、アルゴリズムは、たとえば、車両乗員の身元を確認するために、キャプチャされた画像をデータベースからの認証された画像と比較することができる。実施形態は、ロケーションの中でも、設備出入りロケーション、トラフィック制御環境、車両乗員識別のための法執行使用、大規模な政府、商業または工業複合施設および設備内、国境検問所、ならびにセキュアパーキング設備においてなど、様々な固定および移動シナリオにおいて展開され得る。本明細書で説明される構成要素の形態およびサイズは適用例ごとに変動し得る。
【０００８】
本開示による顔検出は、本システムが、たとえば、車両の乗員の数を識別し、入手された顔画像を、クロップされたデジタル画像フォーマットにおいて顔認識アルゴリズムに提示することを可能にする。追加の特徴として、顔検出アルゴリズムは、車両中の乗員の位置情報を与えることができる。たとえば、本システムは、運転者と、前部座席乗員と、後部座席乗員とを識別することができる。様々な実施形態では、顔および/または顔画像を検出した後に、本システムは、その顔を認識するように、すなわち、その顔を特定の個人に帰属させるように動作することができる。
【０００９】
本開示のシステムおよびデバイスは、汎用性があり、変化するライティング環境を含む様々なライティング環境において一貫して正確な顔検出を行うことの技術的問題を克服する。概して、顔検出アルゴリズムは、複数の照明光源を考慮に入れるように設計されていない。顔検出アルゴリズムはまた、顔の撮像が、様々なレベルの色合い付けのウインドシールドを含むウインドシールドの後ろで行われなければならないことがあることを考慮に入れていない。ウインドシールドを通した撮像、および太陽光などの制御不能なライティング条件は、獲得されたデジタル画像上に極めて強力なグレアを発生させることがある。デジタルピクチャ中のこのグレアは、概して、コントラスト向上またはヒストグラム等化のような画像処理技法を使用して除去することが可能でない。したがって、本開示は、このグレアを除去するための他の手法を企図する。
【００１０】
本開示の様々な実施形態によれば、複数の制御不能な光源によって作り出された芳しくない撮像アーティファクトおよび反射を緩和するために、光学偏光フィルタおよびスペクトルフィルタが使用され、したがって、顔検出および認識のための画像品質が改善される。偏光フィルタは、色飽和度を増加させ、反射を減少させることができ、デジタル画像処理技法を使用して複製されないことがある。様々な実施形態では、偏光フィルタは、反射を管理するか、またはグレアを抑制するために、写真撮影においてカメラレンズの前に配置される。天空光は、ウインドシールドから反射すると、部分的に直線偏光された状態になることがある。直線偏光子は、乗員の顔から反射された、偏光されていない光がカメラセンサーに渡ることを可能にしながら、ウインドシールドから反射する光の量を著しく低減するために使用され、天空反射によって前に不明瞭にされた車両内の顔の画像を明確にキャプチャする能力を可能にし得る。
【００１１】
また、スペクトルバンドパスフィルタは、制御不能な光源によって作り出された信号の大部分をブロックアウトしながら、撮像センサーへの照明光源のスペクトル波長の送信を可能にするために使用され得る。様々な実施形態では、照明は、カメラの露出/積分時間の持続時間中に生じるようにタイミングをとられた、短い持続時間の間、照明するためにパルス化される。短い積分時間をもつ照明のこの短いパルスは、撮像システムが、昼夜を問わず他の光源によって作り出された光を除外しながら、照明器によって作り出された光子によって支配されるシーンから光子を獲得することを可能にする。技法のこの組合せは、照明の制御された撮像性能と、制御不能な光源によって作り出された干渉を低減するスペクトルフィルタ処理とによって主に支配される撮像環境を作り出す。
【００１２】
様々な実施形態では、本開示の顔検出アルゴリズムは、同乗者のロケーションを識別し、顔がデジタル画像内に位置することを正確に識別するために、その同乗者の顔の著しいコントラストを必要とする。多くの場合、画像向上を受けた画像は、より高いコントラストの画像を生成し、顔検出アルゴリズムがデジタル画像中の顔を正常に識別するより高い確率を作り出すことになる。したがって、画像向上は、本開示の様々な実施形態による顔検出アルゴリズムによって画像が処理される前に導入され得る。
【００１３】
乗員遮断の問題および他の問題を減少させるために、異なる距離における複数の写真ショットが、本明細書で開示されるように本システム中に設計され得る。画像のこの追加のセットは、顔検出アルゴリズムにおいて考慮に入れられなければならない。複数画像収集から、正常な顔検出の最も大きい確率をもつヒューリスティックの形態が、全体的画像を選択するために適用され得る。さらに、ウインドシールドがその中で中心となるように写真ショットをフレーム化することが、本明細書で開示されるように、上記の課題を克服することに寄与することができる。
【図面の簡単な説明】
【００１４】
【図１】本開示の一実施形態による、進入制御システムを示す概略図である。
【図２】本開示の別の実施形態による、進入制御システムを示す概略図である。
【図３】本開示の態様に従って採用されるハール特徴(Haar-feature)に関連する画像を示す図である。
【図４】本開示の態様に従って顔検出とともに採用されるハール特徴に関連する画像を示す図である。
【図５】本開示に関連する顔検出によるカスケードの概略説明を示す図である。
【図６】本開示による、ブルースター角(Brewster's Angle)における反射光の得られた直線偏光の図である。
【図７】本開示の実施形態に関連する例示的な画像である。
【図８】本開示の実施形態に関連する例示的な画像である。
【図９】本開示の実施形態に関連する例示的な画像である。
【図１０】本開示の実施形態に関連する例示的な画像である。
【図１１】本開示の実施形態に関連する例示的な画像である。
【図１２】本開示の一態様による、進入制御システムの例示的な概略レイアウトである。
【発明を実施するための形態】
【００１５】
以下の説明は、本開示の方法、システムおよび装置の例示的な実施形態を行う現在企図される最良の様式のものである。説明は、限定的な意味にとられるべきではなく、本発明の一般原理を示す目的で行われるにすぎない。
【００１６】
本開示の態様は、たとえば、任意の車両トラフィック制御適用例、または車両内の乗員を決定することを必要とする任意の適用例において、セキュリティチェックポイントエリアにおいて運転される車両の、または車両がセキュリティチェックポイントエリアに近づいたときにその車両の、1人または複数の人間の乗員を記録することおよび識別することに関する。
【００１７】
図1および図2に示されているように、本発明は、(15において概略的に示されている)1つまたは複数の進入制御デバイスと、ネットワーク25を介してアクセス可能なコントローラを含むリモート中央システム28とを含む、進入制御システム10の一部として実装され得、システム28はデータベース40にアクセスすることができる。様々な実施形態では、単一のデバイス15またはデバイス15のグループは、ローカルデータベース37にアクセスすることができるコントローラを含む、ローカルコンピューティングシステム20の一部として統合中央コントローラを含むことができる。データベース37および/または40は、人々およびすべてのタイプの車両のための参照画像およびデータを記憶および更新するために使用され得る。人々の場合、参照画像は、たとえば、本開示のシステム、デバイスおよび方法を使用して前に入手されたか、あるいは、オンライン探索、ソーシャルエンジニアリング探索を通して、または他のソースから入手された画像であり得る。オンラインおよびソーシャルエンジニアリング探索の事例では、画像は、ウェブサイトおよびオンラインサービスなど、外部システム23を介して入手され得る。車両の場合、参照画像は、たとえば、車両製造業者、ディーラーまたはサービスプロバイダによって利用可能にされた、車台画像を含む、様々なパースペクティブからの車両の「ストック」画像であり得る。車両車台検査システムは、たとえば、米国バージニア州スターリングのGatekeeper, Inc.を通して入手され得、そのような技術は、たとえば、それらの開示全体が参照により本明細書に組み込まれる、米国特許第7,349,007号、米国特許第8,305,442号、米国特許第8,358,343号、および米国特許第8,817,098号において説明されている。代替的に、参照画像は、本開示のシステム、デバイスおよび方法を使用して作り出された画像であり得る。本発明の実施形態の効果は、本開示を使用して利用可能な、増加された精度、明瞭性および包括的な詳細により、本開示を使用して作り出された参照画像を使用するときに増加され得ることが諒解されよう。
【００１８】
本明細書で開示される様々な実施形態では、撮像システムは、車両乗員を記録および識別するために、少なくとも1つのカメラデバイスと、少なくとも1つの照明デバイス(LED、レーザーなど)と、少なくとも1つのフィルタと、画像処理を実行するための少なくとも1つのマイクロコントローラ処理ユニットとを与える。例示的な装置図が図2に示されている。
【００１９】
図2に示されているように、デバイス15は、ポール151と、レンズをもつカメラ152と、照明デバイス153と、ローカルコンピューティングデバイス154と、ベース155とを含むことができ、ベース155は、可搬性を可能にするローラー、ホイールまたは同様のデバイス157上に取り付けられ得る。様々な実施形態では、カメラ152、照明デバイス153、およびコンピューティングデバイス154は、本明細書で説明される機能を行うために、照明デバイス153がカメラレンズのための視野を適切に照明するための、およびカメラ152が視野中の画像を適切にキャプチャするための、適切な高さおよびアクセシビリティにおいて好適に取り付けられる。代替的に、デバイス15は、スパインおよびベースなしに与えられ得、デバイスおよびそれの構成要素のうちの1つまたは複数は、デバイスのための展開エリアにあるまたはその近くの固定または移動構造に取り付けられる。ローカルコンピューティングデバイス154は、本開示の様々な実施形態によれば、図1のローカルシステム20とデータベース37とを含むことができる。
【００２０】
カメラデバイス152は、昼/夜動作のために最適化された、および照明光源と同期されたときに有用な像を作り出すように最適化された、高解像度エリアスキャンカメラであり得ることが諒解されよう。照明デバイス153は、濃厚に色合いを付けられたウィンドウを通してさえ、車両の内側を照明するために、カメラの露光時間およびカメラの撮像センサーのスペクトル感度と時間的に同期される強力なLEDアレイを含むことができる。様々な実施形態では、照明デバイス153は、カメラデバイスの上側に、下側におよび側部に構成された照明デバイスのグリッドであり得る。本システムおよび装置は、反射、または望ましくない制御不能なライティング条件(昼夜で変動する光源レベル)による、一貫性のない撮像性能を生じ得る光のすべての他の波長をブロックしながら、カメラ/撮像センサー152への、照明器によって放出された光の送信を可能にするための、光学バンドパスフィルタ158をさらに含むことができる。本システムおよび装置は、対物レンズ159と直線偏光フィルタ160とをさらに含むことができ、直線偏光フィルタは、撮像システムが乗員の顔の画像をそれを通して獲得しているガラス上の反射をフィルタで除去することができる。様々な実施形態では、図2に示されているように、たとえば、直線偏光フィルタ160は、カメラデバイス152の反対端部において取り付けられ、バンドパスフィルタ158および対物レンズ159はそれらの間に固設される。本システムおよび装置はまた、本明細書の他の場所で説明されるように、車両乗員の顔を正常に検出することおよび認識することの確率を改善する画像向上アルゴリズムを採用することができる。
【００２１】
ローカルシステム20を採用するのかリモート中央システム28を採用するのかにかかわらず、システム20または28の様々な副構成要素がデバイス15の動作を行う。たとえば、図1中のカメラ/レンズコントローラ30は、カメラ(たとえば、152)と、所与の展開において使用されている設定とを制御するように動作可能である。設定は、たとえば、対物レンズに関するズーム、フォーカスおよびアイリスを含むことができ、フレーム内の中心にあるウインドシールドをキャプチャする設定を確立することは、本明細書の他の場所で説明されるように、正確で明確な画像キャプチャを可能にする。ライティングコントローラ32は、たとえば、昼間ライティング条件、夜間ライティング条件、気象関係条件、ならびに予期される車両タイプおよび/または色合いタイプ条件のために適応することなどを含めて、照明デバイス(たとえば、153)を制御するように動作する。画像処理構成要素34は、本明細書で開示されるように、車両の運転者、乗員および/または内容物の画像を処理するように動作する。管理/通信構成要素36は、管理ユーザが、許可されたユーザを追加、変更および削除することと、展開されたおよび/または展開可能な機器を追加、変更および削除することと、通信プロトコルを確立することと、デバイス15上のまたはそれの近くのスピーカーと通信しているマイクロフォンまたはハンズフリー通信デバイスを介して車両乗員と通信することと、ローカルシステム20および/または154におけるローカル処理機能を使用可能にすることと、さらに、デバイス15と、たとえば、カメラ152、ライティングデバイス153および画像処理デバイス154を含む、それの構成要素とのための設定および/または設定パラメータを作成および調整することとを可能にする。構成要素36はまた、直接、(ネットワーク25およびローカルシステム20などを通して)間接的に、デバイス15との通信を可能にし、および外部コンピューティングシステム23との通信を可能にする。たとえば、システム10は、特定の知られている犯罪者に関する情報を、法執行または軍事人員など、外部システム23に報告する必要があり得る。代替的に、システム10は、本明細書で説明される原理および目的に従って動作するために、車両または個人の追加の画像など、追加の詳細を集めるために外部システム23を採用することができる。図1は、構成要素30、32、34および36をリモートシステム28の一部として示しているが、ローカルシステム20または154も、それぞれのカメラコントローラ構成要素、ライティングコントローラ構成要素、画像処理構成要素および管理/通信構成要素を含むことができることが諒解されよう。たとえば、デバイス15は、1つまたは複数のコンピュータ処理構成要素を含むことができ、コンピュータ処理構成要素は、カメラ152中に埋め込まれるか、またはローカルデバイス154の一部として与えられ得、たとえば、ローカルコンピュータディスプレイ、あるいはリモートパーソナルコンピュータ、ラップトップ、タブレットまたはパーソナル通信デバイスに関連するディスプレイなど、ディスプレイデバイスにパブリックまたはプライベートネットワークによって送信され得るデジタル画像を生成する。そのようなとき、画像は、本明細書で説明されるように、手動で閲覧されるか、また��さらに処理され得る。そのようなさらなる処理は、たとえば、顔画像処理適用例を含むことができる。
【００２２】
本発明の様々な実施形態では、ローカルシステム20は、ディスプレイインターフェースとともに、少なくとも1つのプロセッサとメモリとプログラミングとを有するローカルコンピューティングデバイス154を含むことができる。様々な実施形態では、ローカルコンピューティングデバイスは、たとえば、タッチスクリーンインターフェースを露出するための前面にある開口部と、たとえば、ネットワークケーブリング、電源、サーバ接続、および補助デバイス接続のための小型プラグを露出するための背面にある開口部とをもつアルミニウムケーシングを含むことができる。スクリーン構成は、本発明の動作に関連するいくつかの問題に対処する。たとえば、タッチスクリーンインターフェースは直観的であり(すなわち、それを見ること、それにタッチすることができ)、それは昼光の中で可読であり、それは、オペレータが、熱いおよび寒い条件下で手袋を着用することを可能にする。
【００２３】
ディスプレイインターフェースは、(たとえば、デバイス154の一部として)デバイス15にローカルで与えられ得、また、たとえば、管理/通信構成要素36を介して画像にアクセスするコンピューティングデバイスを含む外部システム23の一部として、リモートで与えられ得ることが諒解されよう。そのようなコンピューティングデバイスは、デスクトップコンピュータ、ラップトップ、iPad(登録商標)デバイス、スマートフォンデバイス、および他のサイズのデバイスを含む、様々なフォームファクタのものであり得る。インターフェースは、その開示の全体が参照により本明細書に組み込まれる、BarcusらのWO/2016183408A1に示されているように、様々な画像を示し、タッチスクリーンインターフェースを含む入力デバイスを介したユーザ対話を可能にすることができる。
【００２４】
したがって、実施形態は、顔を検出し、車両内の個人を識別するために、少なくとも1つのカメラデバイスと、少なくとも1つの照明デバイスと、画像処理を実行するように動作可能な少なくとも1つのコントローラとを含む進入制御システムを提供する。本システムは、たとえば、データベース37および/または40など、データベースにアクセスすることができ、データベースは、たとえば、車両メーカー、型式、年式、ライセンスプレート、ライセンス番号、車両識別番号(VIN)、RFIDタグ、光学的にスキャン可能なバーコードラベル、および/または、乗員がその中で識別された車両に関連する車両所有者情報など、少なくとも1つの識別子によってカテゴリー分類され得る、画像を含む、車両および個人の詳細を保持する。コンピュータは、入手されたフィールド画像データをデータベース中の画像と比較するためのプログラミングをさらに含むことができる。
【００２５】
本発明は、さらに、ローカルデータベースまたは中央データベースのいずれか上に参照画像とアーカイブされた画像の両方を保有し、ネットワーク構成を通してそれらの画像にアクセスすることができる。ネットワーク内の任意のポイントにおいて本システム上に戻った車両は、(たとえば、ライセンスプレート番号またはRFIDタグなど、車両識別子を通して車両を識別することによって)それらの前の画像と、あるいは参照データベースを通して同じまたは同様の車両メーカーおよび型式の画像と自動的に比較され得る。様々な実施形態では、参照データベースは、一部、車両メーカーおよび型式を含む。様々な実施形態では、また、「履歴」ボタンを起動することによって車両画像履歴が表示され得、そのときに、カレンダーが表示され、オペレータは、日付およびタイムスタンプによって登録された画像を検討するために日付を選ぶように促されることになる。さらに、インターフェーススクリーンを通して探索特徴がアクティブ化され得、それによって、特定の車両ナンバープレートが入力され得、関連する車両の履歴がユーザインターフェース上に表示され、その特定のスキャナまたは進入制御ポイントへのその車両によるすべての訪問の日付および時刻と、履歴的に収集された車両乗員の画像とがリストされ得る。ネットワーク化された環境では、本システムは、車両が制御ポイントネットワーク内の他の制御ポイントに進入した日付および時刻をも示すことができる。
【００２６】
従来の写真システムを通して実現可能ではない多数の利益が享受される。たとえば、実施形態は、いかなるライティングにおいても、およびいかなる気象条件下でも高品質画像を与え得る。実施形態は、運転者の視覚への最小干渉とともに画像キャプチャを実施し得る。様々な実施形態では、本システムは、車両乗員の数を識別するように構成され得る。個人識別実施能力は、キャプチャされた画像を確認することと、キャプチャされた画像を前に入手された真正の画像と比較することと、たとえば、1つまたは複数の画像処理アルゴリズムまたはプロトコルを介した、自動化されたキャプチャされた画像確認とを含むことができる。
【００２７】
本システムの実施形態は、1つまたは複数の乗員カメラと1つまたは複数の補助照明デバイスとを含むことができる。いくつかの実施形態では、補助照明デバイスは単一の乗員カメラに関連付けられ得る。たとえば、乗員カメラの動作は補助照明デバイスの動作と同期され得る。同期された乗員カメラおよび補助照明デバイスは、本発明の様々な実施形態において、所定のタイミングアルゴリズムに従って、ターゲットを照明し、画像をキャプチャするように構成され得る。いくつかの実施形態では、2つ以上の乗員カメラが1つの補助照明デバイスと同期され得る。たとえば、他の構造および物体、ならびに運転者カメラおよび補助照明デバイスの取付ロケーションに対する、画像キャプチャポイントに近づく車両の相対的レイアウト、ならびに実施されている特定の識別プロトコルは、2つ以上のカメラ視点を必要とし得る。いくつかの実施形態では、1つの乗員カメラが2つ以上の補助照明デバイスと同期され得る。たとえば、他の構造および物体、ならびに乗員カメラおよび補助照明デバイスの取付ロケーションに対する、画像キャプチャポイントに近づく車両の相対的レイアウト、ならびに実施されている特定の識別プロトコルは、2つ以上の補助照明角度を必要とし得る。
【００２８】
例証的な実施形態では、たとえば、LEDストロボなど、補助照明デバイスと同期されたカメラは、単一のフレームとして画像をキャプチャするためにカメラ構成要素30を使用して構成され得る。カメラの露光時間は、構成要素30を介して、数百マイクロ秒、およびたとえば、約325マイクロ秒など、短い持続時間に設定され得る。より短い持続時間は、画像キャプチャ上の、グレアなど、周辺光の悪影響を低減する。様々な実施形態では、同期されたLEDストロボは、カメラが画像をキャプチャするための信号に応じてトリガするように構成され得、ライティング構成要素32を使用して、数百マイクロ秒、およびたとえば、約300マイクロ秒の間、補助照明を放出し得る。いくつかの実施形態では、カメラ露光時間は、補助照明の持続時間よりも、約数マイクロ秒など、わずかに長いことがある。画像をキャプチャするための信号は、ローカル20、154またはリモート28コントローラのオペレータなどによって手動で、あるいはローカル20、154および/またはリモート28コントローラと通信している進入制御ポイントにおいて展開されたセンサーなどによって自動的に与えられ得る。そのようなセンサーは、たとえば、デバイス15からの接近する車両の距離を決定することが可能な近接度センサー、または特定のポイントを過ぎた接近する車両の動きを検出することが可能な動きセンサーであり得る。最適またはほぼ最適な画像キャプチャを保証するためにセンサーが正確におよび適時に動作することを保証するために、適切なセットアップおよび較正プロトコルが採用され得る。さらに、本システムはまた、カメラレンズの視野中の像の解析を介してトリガされ得る。トリガリングは、当該の物体のサイズまたはロケーションに基づき得る。たとえば、一定の画像解析を通して、車両、人間の顔、および/またはライセンスプレートなどのサイズおよびロケーションは、当該の特徴が、画像中の理想的なロケーションを占有するか、またはさらなる画像解析のために画像中の理想的な視野を占有するまで、測定され得る。その単一の画像または複数の画像は、次いで、ライセンスプレート検出、顔検出/識別、および他の処理のために解析アルゴリズムにフォワーディングされ得る。いくつかの実施形態では、カメラを介した画像のキャプチャは、車両ウインドシールドがカメラの視野内にあると、または車両乗員の少なくとも一部分がカメラの視野内にあると、トリガされる。
【００２９】
例証的な実施形態では、LEDストロボなど、補助照明デバイスと同期されたカメラは、たとえば、キャプチャされた光の波長を低減するための光フィルタを含むことができる。たとえば、カメラは、バンドパスフィルタ158、または、赤色範囲内の、約625nmなど、可視スペクトルの狭い部分中の光がフィルタを通過することを可能にする他のフィルタを含むことができる。補助照明デバイスはまた、同じまたは同様の波長における光を放出するように構成され得る。この様式における光周波数整合は、画像キャプチャに対する周辺光の悪影響を低減する。
【００３０】
LEDストロボ153など、補助照明デバイスは、たとえば、実質的な強度の光を放出するように構成され得る。実質的な強度の光は、たいていのウィンドウ色合いを透過するのに十分であり、色合い付きウィンドウを有する車両の内部中の物体を明確に識別するために、画像キャプチャのための十分な光を与え得る。
【００３１】
様々な実施形態では、ローカルシステム20、154またはリモート中央システム28は、本明細書の他の場所で説明されるように、1つまたは複数の構成要素および特徴を動作させるために使用され得る。たとえば、カメラコントローラ構成要素30は、画像キャプチャをトリガすること、および場合によっては乗員カメラ(たとえば、152)を動作させることを行うために採用され得、ライティングコントローラ構成要素32は、補助照明デバイス(たとえば、153)を制御するために採用され得る。さらに、画像処理構成要素34は、キャプチャされた画像を認証されたおよび/または前に記憶された画像と比較するために採用され得る。システム20、154またはリモート中央システム28など、コンピュータシステムは、システムの1つまたは複数の態様を動作させるために1つまたは複数のユーザインターフェースを動作させるように構成され得ることを諒解されたい。さらに、コントローラは、たとえば、画像キャプチャおよび比較アルゴリズムに加えて、システムの1つまたは複数の態様を動作させるための多数のアルゴリズムを実施するように構成され得る。いくつかの実施形態では、コンピュータシステムは、カメラおよび/または補助照明デバイスと統合され得る。
【００３２】
図1に示されているように、実施形態はコンピュータネットワーク25と統合され得る。たとえば、いくつかの実施形態は、ネットワーク25に接続され、他のシステムと情報を交換することができる。情報は、たとえば、キャプチャされた画像、データベースからの認証された画像、および身元を確認するための追加情報を含むことができる。実施形態は様々な電力供給源を備えることができる。いくつかの実施形態では、構成要素は、1つまたは複数の専用電力供給源を備えることができる。たとえば、カメラはオンボードバッテリーを有することができ、補助照明デバイスはキャパシタバンクから電力を引き出し得る。デバイス15および/またはシステム20のいくつかの実施形態は、たとえば、分散型低電圧電力ケーブルなど、ローカル電源および/またはネットワークから電力を受信することができる。いくつかの実施形態は、パワーオーバーイーサネット(登録商標)(Power over Ethernet)のために構成され、イーサネット(登録商標)ケーブリングを通して電力を受信することができる。
【００３３】
向上された視覚的検査のためのシステムのいくつかの実施形態では、1つまたは複数の物理的構成要素は、IP65以上の機器定格のために構成され得る。当技術分野で知られているように、65のIP(入口保護)定格は、概して、構成要素が埃から完全に保護されること、および構成要素が風雨または水しぶきからの水の浸入に対して保護されることを意味する。いくつかの実施形態は、2つ以上のカメラを含むことができ、他の実施形態は、2つ以上のカメラ取付位置および構成を与えるように構成され得る。
【００３４】
実施形態は、自己取付け、構造取付け、フェンス取付けなどを含む、1つまたは複数の取付オプションのために構成され得る。たとえば、いくつかの実施形態は、起立ポール、フェンス、設備壁など、既存の構造上への取付けのために構成され得る。いくつかの実施形態は、屋上適用例など、既存の構造上へのオーバーヘッド取付けのために構成され得る。いくつかの実施形態では、構成要素は、パンニング、チルティングおよびズーミングなどを通して、移動するように構成され得る。たとえば、カメラおよびLED光アレイは、1つまたは複数の自由度とともに取り付けられ得る。いくつかの実施形態は、1つまたは複数の構成要素の手動移動を可能にすることができ、いくつかの実施形態では、移動は電気機械要素を通して行われ得る。構成要素の移動は、いくつかの実施形態では制御ステーションから制御され、および/あるいは、たとえば、管理構成要素36またはカメラ構成要素30を介して制御され得る。多数の取付オプションおよび移動オプションが、本明細書で開示される原理から逸脱することなく与えられ得ることを諒解されたい。
【００３５】
例示的な一実施形態は、高解像度ギガビットイーサネット(登録商標)(GigE)エリアスキャンカメラ(たとえば、152)と、バンドパスフィルタ158と、対物レンズ159と、直線偏光フィルタ160と、高出力LEDストロボ光(たとえば、153)と、構成要素34などの構成要素を介した高度画像処理のために構成されたコンピュータシステム(たとえば、154)とを含む。エリアスキャンカメラは、約1,000Mb/sまでのレートにおいてデータを転送することができ、昼間および夜間動作のために構成され得る。LEDストロボ光は、補助照明を与えるためにエリアスキャンカメラと同期され得る。たとえば、補助照明は、カメラ画像キャプチャと概して同じ方向において、画像キャプチャと概して同じ瞬間に、および/または同様の光周波数において与えられ得る。コンピュータシステムおよび/またはカメラの埋込み型コンピューティングユニットは、車両内の個人を検出し、ハイライトすること、および/あるいは周辺光グレアの影響を低減または除去することを行うために、1つまたは複数のアルゴリズムを動作させるように構成され得る。
【００３６】
いくつかの実施形態では、デバイス15は、図2に示されているように、共通ハウジング中にカメラと補助照明デバイスとを含む。それらの構成要素は、ケーブリングまたはワイヤレス接続を通してコンピュータシステム(たとえば、20、154または28)に接続され得る。電力は外部電力供給源から受信され得、いくつかの実施形態は、1つまたは複数のオンボード電源を含み得る。
【００３７】
いくつかの実施形態では、システムは、共通エリア中に、1つまたは複数のカメラと、1つまたは複数の補助照明デバイスとを含むことができる。カメラおよび補助照明デバイスは、1つまたは複数の視点(たとえば、方向、高さ、角度など)から、近づく車両を閲覧するために構成され得る。たとえば、設備ゲートウェイ92は、図12に示されているように、ゲートウェイ92の両側に分散された複数のデバイス15を含むことができる。この例では、近づく車両90の複数の画像が解析のためにキャプチャされ得る。キャプチャされた画像は、1つまたは複数の識別プロトコルを動作させるように構成された1つまたは複数のコンピュータシステム20に送信され得、コンピュータシステム20は、たとえば、データベース37にアクセスすることができる。一実施形態では、カメラからの通信は、たとえば、CAT5E/CAT6(イーサネット(登録商標))ケーブリングによって、または高耐久性の光ファイバーケーブル(マルチモードまたはシングルモード)によってのいずれかで、システム20に通信され得る。いくつかの実施形態は、上記で参照されたように、車両下部検査システムをさらに含むことができる。たとえば、車両の下面の画像および他のスキャンが解析のためにキャプチャされ得る。解析は視覚的検査中に行われ得る。いくつかの実施形態は、たとえば、ローカルまたはリモートデータベースサーバ、単一のまたは冗長サーバおよび/あるいはPSIM統合など、複数のデータストレージオプションを含むことができる。
【００３８】
いくつかの実施形態では、車両を視覚的に検査するための方法は、車両乗員の1つまたは複数の高解像度画像をキャプチャすることを含む。補助照明デバイスは、キャプチャされた画像の明瞭性を改善するために、同期された光を与える。キャプチャされた画像は、カメラと通信しているオペレータ端末などにおいて、アクセス制御人員に表示され得る。アクセス制御人員は、たとえば、乗員の数を確認すること、および1人または複数の乗員を識別することを行うために、たとえば、車両内を参照するために、表示された画像を閲覧することができる。このようにして、アクセス制御人員は、ライティングおよび閲覧条件の範囲内で車両の内部を視覚的に検査することができる。
【００３９】
様々な実施形態では、コンピュータシステムおよび/またはカメラの埋込み型コンピューティングユニットが含まれ、高度画像処理を実施するように構成され得る。高度画像処理は、画像明瞭性を改善するための、様々な色およびコントラスト調整を含むことができる。適切な色およびコントラスト調整は、周辺光に依存することがあり、したがって、昼間および夜間の画像キャプチャ中に、ならびに様々な気象条件中に変動することがある。様々な色およびコントラスト調整は、たとえば、画像処理構成要素34を使用して実施され得る。たとえば、モニタまたはディスプレイ上に再生される画像の輝度を向上させるために、ガンマ補正が使用され得る。別の例として、画像中の色変動の強度を改善するためにコントラストストレッチングが使用され得、それによって、キャプチャされた画像中の細かい詳細が向上される。たとえば、画像ぼけおよびゴーストを低減するための技法、ならびに画像シャープ化のための技法など、他の知られている技法が、画像を向上させるために使用され得る。
【００４０】
実施形態は、たとえば、出入りレーン、複合施設および大規模設備内、国境検問所、セキュアパーキング設備など、多数の設定において展開され得る。一実施形態のための例証的なパラメータは以下の通りである。
カメラタイプ:        GigEマシンビジョンカメラ  -  モノクローム
センサー:            CMOS画像センサー  -  照明光源に最適化される
解像度:              1600×1200(2MP)
フレームレート:      60fps
レンズ:              25mm、2MP、低ひずみ、照明光源に最適化される
フィルタ:            整合照明波長バンドパス
プロトコル:          TCP/IP
照明デバイス:        LEDストロボアレイ  -  フィールドビュー  -  プログラマブル
電源:                24VDC LEDアレイ
寸法:                サンシールドを含めて、400mm×150mm×265mm
重量:                カメラ:1.2kg
適合性:              CE、FCC、RoHS
エンクロージャ:      定格IP65
環境:                -35℃〜+60℃
ウィンドウ色合い:    >35% VLT
直線偏光フィルタ:    消光比9000:1、波長範囲400〜700nm
【００４１】
顔検出
制約のない画像中の人間の顔を検出することは難しいプロセスである。画像中の顔の位置を正確に特定することは極めて困難である。たとえば、眼鏡の着用、異なる肌の色、性別、顔の毛、および顔の表情を含む、検出性能に影響を及ぼすいくつかの変数がある。さらに、人間の顔は、3次元(3D)物体であり、ひずんだパースペクティブの下で、複数の照明とともに、または部分的に遮断された様式においてキャプチャされることがある。その結果、真の顔が検出されないことがある。
【００４２】
様々な実施形態では、たとえば、OpenCV(オープンソースコンピュータビジョン)など、コンピュータビジョンおよび機械学習ソフトウェアライブラリが、本開示による好適な顔検出アルゴリズムを動作させるために使用される。OpenCVは、リアルタイムコンピュータビジョンを主に目的とするプログラミング関数のライブラリであり、OpenCVは、機械学習技法に基づくリアルタイム物体検出のための知られている方法であるビオラおよびジョーンズ顔検出器(Viola and Jones Face detector)を含む、様々なアルゴリズムを実装することができる。顔検出に関して、画像の2つのクラス、すなわち、顔および非顔が定義される。アダブースト(AdaBoost)などの機械学習アルゴリズムは、良好な分類器を生じるハールライク特徴(Haar-like feature)のセットを算出するために使用され得る。最終的に、得られた分類器はカスケードにおいて適切にマージされる。
【００４３】
単純な矩形ハールライク特徴は、元の画像内の任意の位置およびスケールにあり得る、矩形内のエリアのピクセルの和の差として定義され得る。値は、画像の特定のエリアのいくつかの特性を示す。各特徴タイプは、エッジまたはテクスチャの変化など、画像中のいくつかの特性の存在(または不在)を示すことができる。図3は、本開示の様々な実施形態に従って採用されるビオラ-ジョーンズOpenCVアルゴリズムにおいて実装されるハール特徴を示す図180である。これらのエッジ182、ライン184、および中心周囲186特徴は、画像のより暗い領域とより明るい領域との間の境界を検出し、示す。
【００４４】
図4は、顔画像196の上にオーバーレイされたハール特徴を示す図190である。エッジ192およびライン194特徴が示されている。エッジ特徴192は、眼の領域と上頬の領域との間の強度の差を測定する。ライン特徴194は、眼領域と頬とについて同じことを行う。これらの分類器は、次いで、図5の図200中に示されるカスケードにおいて組み合わせられる。除外カスケードがビオラ-ジョーンズ分類器によって使用され、各ノードは、非顔を除外しながら真の顔を逃さないようにチューニングされた、ブーストされた分類器を表す。たとえば、図5の図200に示されているように、本システムは、ステップ201の時点ですべての画像を重複サブウィンドウとして受信することを含む、識別された機能を実施するための好適なプログラミングを動作させる。本システムは、次いで、ステップ203の時点で、顔および非顔サブウィンドウを検出するために分類器レベルにおいて画像を評価し、ステップ205において非顔物体をなくす。本システムは、次いで、ステップ207において評価が完了したかどうかを査定する。さらなる評価が必要とされる場合、本システムは、ステップ203における次の分類器レベル評価に戻り、そうではなく、画像が非顔物体を除去するために処理された場合、本システムは、本明細書で説明されるように、さらなる処理のために真の顔サブウィンドウをフォワーディングする。
【００４５】
様々な実施形態では、評価ステップ203は、ビオラ-ジョーンズアルゴリズム分類を実装するために以下のC++アプリケーションプログラミングインターフェース(API)を使用するOpenCV(商標)実装形態を採用する。
C++: void CascadeClassifier::detectMultiScale(const Mat& image, vector<Rect>& objects, double scaleFactor=1.1, int minNeighbors=3, int flags=0, Size minSize=Size(), Size maxSize=Size())
【００４６】
このAPIは、入力画像中の異なるサイズの物体を検出する。検出された物体は、矩形のリストとして戻される。第1の入力、imageは、グレースケール画像である。scaleFactorパラメータは、各スケールにおいてスケール間にどのくらいの大きさのジャンプがあるかを決定する。scaleFactorを高に設定することは、1つの特定のスケールにおいて顔を場合によっては逃すことに対する高速算出のトレードオフである。minNeighborsパラメータは誤検出を制御する。概して、顔は、複数の重複サブウィンドウ中で生じる。このパラメータがあまりに低い場合、アルゴリズムは複数のフォールスポジティブを生じることがある。このパラメータがあまりに高い場合、重複ウィンドウの数はあまりに限定的になり得る。2つの他の主要なパラメータは、minSizeおよびmaxSizeである。それらは、顔をその中で探索すべき最小領域および最大領域である。
【００４７】
前に説明されたように、時々、車両中の顔はいくつかの異なる理由で遮断され得る。この影響を最小限に抑えるために、時間的に異なる位置において車両を画像獲得することが有益である。様々な実施形態では、これは、(異なる距離においてキャプチャされた)異なる画像とともにdetectMultiScale()関数の複数の呼出しを伴う。
【００４８】
さらに、この実施形態では、正常な車両乗員識別の確率は、キャプチャされた画像フレームのフルビューにおいて車両のウインドシールドが主な物体として中心にある、車両画像がキャプチャされるとき、最大化される。これは、カメラのオプティクスの視野(FoV)を満たすためにウインドシールドの台形フレームを最大化することと呼ばれることもある。この最大化は、誘導性接地ループセンサーなどの機械的トリガリング、光学切断信号トリガリングを含む、様々なトリガリング方法を介して、あるいは物体トラッキングまたは光学フローアルゴリズム画像解析方法を通してのいずれかで、カメラの画像獲得をトリガすることによって達成され得る。この点について、視野中のウインドシールドおよび他のウィンドウはウィンドウフレームを有することが諒解されよう。たとえば、車両のルーフ、フードおよびサイドフレームは、車両の前面ウインドシールドのための「フレーム」を形成する。このウィンドウフレームが本システムのカメラによって完全にキャプチャされるとき、正常な顔検出の見込みが最大化される。
【００４９】
たとえば、2つのショットが同じ車両の同じカメラからキャプチャされた場合、detectMultiScale()関数は2回呼び出される。たとえば、最も近い距離のためのdetectMultiScale_1()が顔を検出しない場合、本システムは、第2の画像中の車両乗員に関するより良い情報を与えようとして、最も遠い距離のためのdetectMultiScale_2()を実行する。detectMultiScale_1()およびdetectMultiScale_2()のためのパラメータリスト、特にminSizeおよびmaxSizeは、必ず異なることになることが諒解されよう。
【００５０】
複数のショットのためのminSizeおよびmaxSizeを調整するために、本システムは、それらの関係を単純な逆数として考慮に入れることができ、すなわち、画像中の物体サイズ=物体サイズ*焦点距離/カメラからの物体距離である。同じ物体および同じ焦点距離が保たれる場合、サイズ=1/距離である。したがって、遠いショットの場合、本開示の実施形態は、1/距離ルールに従ってminSizeおよびmaxSizeをスケールダウンするように動作する。
【００５１】
偏光フィルタ、スペクトルフィルタ処理、およびパルス照明
ガラス製のウインドシールドなど、透明媒体を通した撮像は、多くの課題を有する。1つの大きな課題は、ガラスが、そのガラスの後ろの物体を不明瞭にする著しい反射をしばしば生成することがあることである。それにもかかわらず、ブルースター角と呼ばれる極めて特殊な角度において、反射光は完全に直線偏光された状態になる。反射光はまた、ブルースター角の近くの角度において部分的に直線偏光される。図6中のグラフ88に示されているように、ブルースター角における反射光の得られた直線偏光が示される。光線89は、偏光されていない入射光線を表し、光線90は、偏光された反射光線を表し、光線91は、わずかに偏光された屈折光線を表す。
【００５２】
本開示の様々な実施形態によれば、直線偏光フィルタは、撮像セットアップにおいてカメラデバイス152に固設され、ガラスからの反射による偏光をもつ光を除外し、他の偏光の光を送信するように配向される。結果は、カメラ/撮像システムを通したガラス反射光の送信の著しい低減であり、フォアグラウンド反射によって前に不明瞭にされたウインドシールドガラスの後ろの物体の獲得が可能になる。たとえば、図7中の画像701は、フィルタを用いずにキャプチャされた画像を示し、図7中の画像702は、直線偏光フィルタを用いてキャプチャされた画像を示し、車両乗員の顔画像703、704は、はるかに容易に観測可能である。これらの実施形態によれば、ウインドシールドからの雲の鏡面反射は、右側の画像では直線偏光フィルタを介して直線偏光され、フィルタで除去された状態になり、乗員の正常な撮像が可能になる。したがって、本システムは、視野中の主な物体としてウインドシールドをもつ画像を入手することによって動作することができるが、直線偏光フィルタは、ウインドシールドからカメラデバイスへの反射光の送信を緩和することを支援し、より良い画像キャプチャを可能にする。
【００５３】
様々な実施形態では、スペクトルフィルタ処理も、像上の制御不能な光源(周辺光)の影響を低減するために使用され得る。たとえば、カメラセンサーの近くに実装された光学バンドパスフィルタは、すべての他の波長を除外しながら、照明器によって放出された光の波長が通ることを可能にするように設計される。これは、本システムによって生成された像に対して照明器が有する影響を著しく増加させ、照明器から放出された光子が、たいていの条件下ですべての他の照明光源を支配することを可能にする。結果は、繰返し可能な、昼夜を問わず一貫した像である。様々な実施形態では、開示されるシステムは、635nmを中心とする70nm FWHMのバンドパスフィルタと、70nmよりも小さいバンド幅をもつ635nmにおいて放出するLED照明器とを実装する。他の実装形態は、たとえば、波長が300nmから3000nmまでにわたる、フィルタ/照明器/センサー組合せを含み得る。
【００５４】
本開示のシステムおよび装置の様々な実施形態では、周辺光の影響をさらに低減するためにパルス照明が使用される。高強度LEDパルスは、カメラのアクティブ露光時間に基づいてトリガされる。LEDパルスの持続時間は、周辺光子の影響を低減しながら像に対するLED光子の影響を最大化するために、露光時間の持続時間と整合される。たとえば、パルス幅および露光時間は150マイクロ秒に設定され得る。他のパルス幅および露光時間が、同様の効果のために使用され得る。スペクトルフィルタ処理の技法とパルス照明の技法とを組み合わせた結果は、図8中のキャプチャされた例示的な画像801によって示される。諒解されるように、画像801は、乗員の顔のほうへ放出されたLED照明によって支配され、周辺太陽放射はLED照明よりも影響力が著しく小さい。
【００５５】
画像向上
画像向上は、本開示による顔検出アルゴリズムの性能を改善する。本システムによって入手された像は、上述のように、LED照明によって支配されるので、像の輝度は、撮像されている物体または乗員までの距離の増加とともに減少する。極めて暗い像が生成され、顔検出アルゴリズムの効果を低減することがある。たとえば、図9中の画像901は、本開示による顔検出アルゴリズムを介した正常な顔検出のための十分な信号を作り出すにはあまりに遠い範囲において撮影される。コントラストストレッチング、ヒストグラム等化、またはローカルエリア処理などの技法が顔検出アルゴリズムの性能を改善することができる。図10は、図9中の画像901に対応する画像1001を示し、画像は、コントラストストレッチング向上アルゴリズムを使用して向上される。結果は、本開示による顔検出アルゴリズムによって生成された、クロップされた画像として図11中の1011および1013において示される、車両乗員のはるかに明確なピクチャならびに各乗員についての正常な顔検出である。
【００５６】
動作
本発明の設置において、説明される照明デバイスと組み合わせてカメラを較正するために較正プログラミングが与えられ得る。カメラを照明デバイスと較正することによって、キャプチャされた画像の信頼性および詳細が著しく改善される。カメラ152は、さらに、図2に示されているように、光学バンドパスフィルタ158、対物レンズ169および直線偏光フィルタ160とセットアップされ得る。本システムが正常にセットアップされると、本システムは、画像を記録する準備ができている。
【００５７】
図12に示されているように、ゲートウェイ92への接近する車両90は、たとえば、車両90が、たとえば、動きセンサーを横断するか、または近接度センサーを介して検出されたとき、発見され得る。バリア壁91のセットは、本発明の進入制御ポイントシステムおよびそれの構成要素にならびに/またはそれ上に車両トラフィックを向けるために配置され得る。そのようなとき、車両に関連する車両識別子が、たとえば、ライセンスプレートの画像をキャプチャすること、RFIDタグ、光学的にスキャンされたバーコードラベルまたは他の電子的に検出可能なタグを検出することなどによって、発見され得る。1つまたは複数の停止信号灯95が、接近する車両の速度を管理するために与えられ得、車両がバリア(たとえば、一方向スパイク97)を過ぎて進むことを可能にすべきかどうかのための決定プロセスは、本明細書の他の場所で説明されるように進むことができる。たとえば、車両を検出すると、本システムは、デバイス15のカメラ152が照明デバイス153と同期して画像をキャプチャするように動作することができ、したがって、キャプチャされた画像は車両内の個人を十分明瞭に示す。照明デバイスは、カメラを介した効果的な画像キャプチャをサポートするために大いに効果的なライティングを与えるために、ライティング効果が色合い付きウィンドウを通って進行した後でも、車両内部を効果的に照らす。カメラ、照明デバイスおよび画像処理の採用は、すべてのライティングおよび気象条件下で高品質画像を生成する。さらに、画像キャプチャは、車両を安全に動作させる運転者の能力に干渉せず、またはさもなければそれを損なわない。本システムは乗員の数を識別することができ、個々の乗員は手動でまたは自動的に識別され得る。
【００５８】
本システムは、次いで、現在キャプチャされた画像が、アーカイブ画像に示された個人と同じ個人を示すかどうかを決定するために、車両識別子に基づいて車両に関連付けられた個人の利用可能なアーカイブされた画像を検索することができる。たとえば、個人が、図12に示されているように、ポイントAまたはポイントBにおいて進入の拒否を必要とするとして識別された場合、車両90は、設備への進入を得ることなしに、Cの時点で進入制御ポイントを出るように指示され得る。様々な実施形態では、信号灯95は、ユーザがユーザインターフェースを動作させることによって制御され得る。1人または複数の車両乗員が、進入ポイントを通った、設備または他のアクセス制御されたアセットへのアクセスにふさわしいと見なされる場合、車両は、ポイントDおよびEを通って移動することを承認され得る。
【００５９】
本システムの実施形態はまた、所与の車両および乗員のための参照画像の収集と、データベースへのその参照画像の記憶とを開始するために使用され得る。様々なそのような実施形態では、本システムは、車両のメーカー、型式、年式およびトランスミッションタイプ(たとえば、標準(すなわち、マニュアル)またはオートマチック)に関する情報と、1つまたは複数の車両識別子と、カメラによって撮影された1つまたは複数の乗員写真とを記憶する。本発明のカメラおよび照明デバイスは、本発明のシステムが、車両乗員の高解像度画像を収集し、記憶することを可能にすることが諒解されよう。収集された参照画像の記憶より前に、本発明のシステムは、データ収集を監視するユーザが、画像を適切にトリミング、クロップ、または他の方法で編集および操作することを可能にする、画像処理構成要素34など、プログラミングを含んでいる。
【００６０】
本開示の態様は、セキュア設備に進入するかまたはセキュア境界を横断する車両および乗員を検出、識別、検証、探索ならびに認証するために、グループとして動作する複数のセキュリティ技術を起動することが諒解されよう。様々な実施形態では、車両が検出されたとき、車両の車台画像が、上記で参照された車両検査システムに従ってキャプチャされ得る。現在キャプチャされた車台画像は、システム20、154または28によって、データベース37または40に記憶された1つまたは複数のアーカイブされた画像と比較され得、画像間の差が気づかれ得、管理/通信構成要素36を介してアクションのために適切な人員に通告が発行され得る。たとえば、通告は、進入制御ポイント(たとえば、図12中のポイントA)において、または図1中の外部デバイス23を介して別個のロケーションにおいて起動され得る、視覚および/または可聴アラームであり得る。現在キャプチャされた車台画像はまた、データベース中にアーカイブされ得る。車両乗員のキャプチャされた画像に関して、そのような画像は、構成要素36を使用して1つまたは複数のアーカイブされた画像と比較され得、適切な人員は、比較された画像が同じ人をどの程度良く表すかについて手動解析を通して査定することができる。手動査定と協調する様々な実施形態では、本システムは、現在画像とアーカイブされた画像との自動比較の結果を解析し、表示するために、顔認識ソフトウェアを採用することができる。さらに、適切な人員は、現在画像とアーカイブされた画像とが比較されると、顔認識ソフトウェアまたは構成要素36によって発生された信頼性計算を構成要素36を介して通知され得る。次いで、上述の適切な通知および/またはアラームが、結果および結果の解釈に応じて発行され得る。
【００６１】
本発明のデータベースは、最大可能な動作をサポートするために大きいサイズのものになり得ることが諒解されよう。また、プロファイル情報と、画像情報と、トラフィック履歴とを含む、所与の車両の履歴が、要求に応じて検索のために利用可能であり得る。本発明の一実施形態では、オペレータは、車両または個人が検出されたとき、警報がシグナリングされ、適切に通信されるように、その車両または個人をウォッチリストに載せることができる。
【００６２】
上記で説明されたインターフェースを使用するオペレータは、したがって、たとえば、乗員および彼らの車両が設備に進入することを許可されるかどうかを検証し、車両の内側をはるかに詳細に検査し、車両のメーカーおよび型式を許可された車両説明に対して検証し、ハンズフリー通信デバイスを介して運転者/同乗者と通信し、自動スパイク97、交通信号灯95など、様々な他のデバイスと、他のソース23への通信とを制御することができる。さらに、オペレータは、すべての車両および運転者/同乗者アクティビティを自動的に記録し、車両、運転者および同乗者をウォッチリストに載せ、監視報告および警報をセットアップすることができる。このようにして、本発明の実施形態は、特に、車両アクセス制御、車両移動監視、国境検問所およびセキュアパーキング設備とともに採用され得る。すべてのデータ/画像はデータベースに入力され、データベースは、セキュリティ人員の配属のために、入来者、さらにはトラフィック負荷の履歴パターンを研究するために、すべてのタイプのデータベース解析技法が採用されることを可能にする。
【００６３】
様々な実施形態では、個々の乗員の識別、および/または新たにキャプチャされた画像と前にキャプチャされた画像との比較を可能にするために、画像処理構成要素34の一部として顔認識プログラミングが与えられる。様々な実施形態では、顔認識プログラミングは、OpenCV(商標)など、顔検出のためのオープンソースソフトウェアと、リトアニア、ビリニュスのNeurotechnology製のVeriLook(商標)、ドイツ、ドレスデンのCognitec製のFaceVACS(商標)、およびオーストラリア、ビクトリア州ドックランズのNEC Australia Pty Ltd.製のNeoFace(商標)など、顔認識のための商業ソフトウェア製品とを含むことができる。
【００６４】
本明細書で使用される用語は、特定の実施形態について説明するためのものにすぎず、手法を限定するものではない。本明細書で使用される単数形「a」、「an」、および「the」は、文脈が別段に明確に示さない限り、複数形も含むものとする。さらに、本明細書で使用されるとき、「含む(comprises)」および/または「含む(comprising)」という用語は、述べられた特徴、整数、ステップ、動作、要素、および/または構成要素の存在を明示するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を排除しないことが理解されよう。
【００６５】
別段に明記されていない限り、互いと通信している本発明のデバイスまたは構成要素は、互いと連続的に通信している必要はない。さらに、他のデバイスまたは構成要素と通信しているデバイスまたは構成要素は、直接、あるいは1つまたは複数の中間デバイス、構成要素または他の媒介物を通して間接的に通信することができる。さらに、いくつかのデバイスおよび/または構成要素が互いと通信しているものとして説明される、本明細書における本発明の実施形態の説明は、すべてのそのような構成要素が必要とされること、または開示される構成要素の各々があらゆる他の構成要素と通信しなければならないことを暗示しない。さらに、アルゴリズム、プロセスステップおよび/または方法ステップは、順次に説明され得るが、そのような手法は、異なる順序で動作するように構成され得る。言い換えれば、本明細書で説明されるステップのいかなる順序付けも、ステップがその順序で実施されることを単独では規定しない。本明細書で説明される方法および/またはプロセスに関連するステップは、実際的な任意の順序で実施され得る。さらに、いくつかのステップは、同時に行われないものとして説明または暗示されていても、同時にまたは実質的に同時に実施され得る。
【００６６】
本明細書で説明されるアルゴリズム、方法ステップおよびプロセスステップは、たとえば、適切にプログラムされた汎用コンピュータおよびコンピューティングデバイスによって実装され得ることが諒解されよう。この点について、プロセッサ(たとえば、マイクロプロセッサまたはコントローラデバイス)は、命令を含んでいるおよび/または記憶する、メモリまたは同様のストレージデバイスから命令を受信し、プロセッサはそれらの命令を実行し、それによって、それらの命令によって定義されるプロセスを実施する。さらに、そのような方法およびアルゴリズムを実装するプログラムは、様々な知られている媒体を使用して記憶および送信され得る。
【００６７】
本発明の実施において使用され得る一般的な形態のコンピュータ可読媒体は、限定はしないが、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD-ROM、DVD、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンをもつ他の任意の物理媒体、RAM、PROM、EPROM、FLASH-EEPROM、任意の他のメモリチップまたはカートリッジ、あるいはコンピュータがそこから読み取ることができる任意の他の媒体を含む。本開示で使用されるとき、「コンピュータ可読媒体」という用語は、コンピュータ、プロセッサまたは同様のデバイスによって読み取られ得るデータ(たとえば、命令)を与えることに関与する任意の媒体を指すことができる。そのような媒体は、たとえば、不揮発性媒体、揮発性媒体、および伝送媒体を含む、多くの形態で存在することができる。不揮発性媒体は、たとえば、光学または磁気ディスクおよび他の永続的メモリを含む。揮発性媒体は、一般にメインメモリを構成する、ダイナミックランダムアクセスメモリ(DRAM)を含むことができる。伝送媒体は、プロセッサに結合されたシステムバスを含むワイヤまたは他の経路を含む、同軸ケーブル、銅線および光ファイバーを含み得る。伝送媒体は、無線周波数(RF)および赤外線(IR)データ通信中に発生されるものなど、音響波、光波および電磁放射を含むかまたは伝達し得る。
【００６８】
様々な形態のコンピュータ可読媒体が、命令のシーケンスをプロセッサに搬送することに関与し得る。たとえば、命令のシーケンスは、RAMからプロセッサに配信され、ワイヤレス伝送媒体上で搬送され、ならびに/あるいは、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、Wi-Fi、Bluetooth(登録商標)、GSM(登録商標)、CDMA、EDGEおよびEVDOなど、多数のフォーマット、規格またはプロトコルに従ってフォーマットされ得る。
【００６９】
本開示においてデータベースが説明される場合、説明されるデータベース構造に対する代替データベース構造、ならびにデータベース以外の他のメモリ構造が容易に採用され得ることを諒解されたい。本明細書で提示される例示的なデータベースの図面表現および添付の説明は、例示的であり、データの記憶された表現のための限定的な構成ではない。さらに、テーブルおよびパラメータデータの例示的なエントリは例示的な情報を表すにすぎず、テーブルとしてのデータベースのいかなる記述にもかかわらず、(リレーショナルデータベース、オブジェクトベースモデルおよび/または分散データベースを含む)他のフォーマットが、本明細書で説明されるデータタイプを記憶、処理、および他の方法で操作するために使用され得る。電子ストレージは、当業者に理解されるように、ローカルまたはリモートストレージであり得る。
【００７０】
開示される方法に従って動作するための好適なプログラミング手段を含むいかなるコンピュータシステムもまた本開示の範囲内に十分入ることが、当業者には明らかであろう。好適なプログラミング手段は、コンピュータシステムに本発明のシステムおよび方法のステップを実行するように指示するための任意の手段を含み、たとえば、コンピュータメモリに結合された処理ユニットと算術論理回路とから構成されるシステムを含み、そのシステムは、コンピュータメモリに記憶する能力を有し、そのコンピュータメモリは、データとプログラム命令とを記憶するように構成された電子回路を含み、本発明の方法のプログラムされたステップは、処理ユニットが実行するためのものである。本発明の態様は、任意の好適なデータ処理システムとともに使用するための、ディスケットまたは他の記録媒体など、コンピュータプログラム製品で実施され得る。本発明は、さらに、たとえば、Microsoft Windows(商標)、Linux(登録商標)、MacOS(商標)、iOS(商標)、Android(商標)、Sun Solaris(商標)、HP/UX(商標)、IBM AIX(商標)およびJava(登録商標)対応プラットフォームを含む、様々なプラットフォーム上で動作することができる。本発明の異なる要素および構成要素間でコンピュータ命令を行うための適切なハードウェア、ソフトウェアおよびプログラミングが与えられる。
【００７１】
本開示は本手法の実施形態について説明し、これらの実施形態は説明の目的で提示されるにすぎない。これらの実施形態は、当業者が本手法を実施することができるように十分詳細に説明されるが、他の実施形態が採用され得、構造、論理、ソフトウェア、電気的および他の変更が、本発明の範囲または趣旨から逸脱することなく行われ得ることが諒解されよう。したがって、当業者は、本手法が様々な変形および改変とともに実施され得ることを認識されよう。本手法の特定の特徴は、本開示の一部を形成する1つまたは複数の特定の実施形態に関して説明され得、そこにおいて、本手法の特定の実施形態が例として示されるが、そのような特徴は、そのような特徴がそれに関して説明される1つまたは複数の特定の実施形態または図における使用に限定されないことが諒解されよう。したがって、本開示は、すべての実施形態の逐語的説明でも、すべての実施形態に存在しなければならない特徴の列挙でもない。
【００７２】
本手法は、それの趣旨または本質的特性から逸脱することなく、他の特定の形態で実施され得る。したがって、本実施形態は、あらゆる点で限定的ではなく例示的と見なされるべきであり、本発明の範囲は、上記の説明によってではなく本出願の特許請求の範囲によって示され、したがって、特許請求の範囲の等価の意味および範囲内に入るすべての変更は特許請求の範囲に包含されるものとする。
【符号の説明】
【００７３】
10  進入制御システム
15  進入制御デバイス
20  ローカルコンピューティングシステム
20  ローカルシステム
20  ローカルコントローラ
20  コンピュータシステム
23  外部システム
23  外部コンピューティングシステム
23  ソース
25  ネットワーク
25  コンピュータネットワーク
28  リモート中央システム
28  リモートシステム
28  リモートコントローラ
30  カメラ/レンズコントローラ
30  カメラ構成要素
30  カメラコントローラ構成要素
32  ライティングコントローラ
32  ライティング構成要素
32  ライティングコントローラ構成要素
34  画像処理構成要素
36  管理/通信構成要素
36  管理構成要素
37  ローカルデータベース
37  データベース
40  データベース
151  ポール
152  カメラ
152  カメラデバイス
152  カメラ/撮像センサー
153  照明デバイス
153  ライティングデバイス
153  LEDストロボ
154  ローカルコンピューティングデバイス
154  コンピューティングデバイス
154  ローカルシステム
154  画像処理デバイス
154  ローカルデバイス
154  ローカルコントローラ
155  ベース
157  ローラー、ホイールまたは同様のデバイス
158  光学バンドパスフィルタ
158  バンドパスフィルタ
159  対物レンズ
160  直線偏光フィルタ
【図１】
2019023860.tif 000003
【図２】
2019023860.tif 000004
【図３】
2019023860.tif 000005
【図４】
2019023860.tif 000006
【図５】
2019023860.tif 000007
【図６】
2019023860.tif 000008
【図７】
2019023860.tif 000009
【図８】
2019023860.tif 000010
【図９】
2019023860.tif 000011
【図１０】
2019023860.tif 000012
【図１１】
2019023860.tif 000013
【図１２】
2019023860.tif 000014
【手続補正書】
【提出日】平成30年10月31日(2018.10.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両乗員を検出するための方法であって、
カメラと照明デバイスとを含む装置を与えるステップであって、前記カメラが、カメラレンズに隣接して固設された直線偏光フィルタを含み、前記カメラレンズは、固定された視野を有する、与えるステップと、
接近する車両の存在を検出するステップであって、前記車両が、外部環境から車両内部エンクロージャを分離する少なくとも1つの車両ウィンドウを含み、前記少なくとも1つの車両ウィンドウは、前記少なくとも1つの車両ウィンドウの周囲のフレームを有する、検出するステップと、
前記少なくとも1つの車両ウィンドウのフレームが、固定された視野内で最大化される時、前記車両内部エンクロージャ内に存在する少なくとも1人の車両乗員の複数の現在の顔画像の自動キャプチャをトリガするステップであって、前記複数の現在の顔画像の各々が、前記直線偏光フィルタを通して、前記カメラを介して、自動的にキャプチャされ、かつ前記複数の現在の顔画像の各々は、さらに、前記接近する車両までの異なる距離からキャプチャされる、自動キャプチャをトリガするステップと、
処理ユニットによって、少なくとも1人の個人の少なくとも1つのアーカイブされた画像を入手するステップと、
前記処理ユニットによって、前記現在の顔画像のうちの少なくとも1つを前記少なくとも1つのアーカイブされた画像と比較するステップと、
前記少なくとも1人の車両乗員と前記少なくとも1人の個人とが同じであるかどうかを決定するステップと
を含む、方法。
【請求項２】
前記現在の顔画像のうちの少なくとも1つを前記少なくとも1つのアーカイブされた画像と比較する前記ステップが、顔認識プログラミングを使用して前記処理ユニットによって実施される、請求項1に記載の方法。
【請求項３】
前記現在の顔画像のうちの少なくとも1つを前記少なくとも1つのアーカイブされた画像と比較する前記ステップは、前記処理ユニットによって、前記現在の顔画像のうちの前記少なくとも1つ中の前記少なくとも1人の車両乗員が、前記少なくとも1つのアーカイブされた画像からの前記少なくとも1人の個人と同じ個人であるかどうかを決定することを含む、請求項1に記載の方法。
【請求項４】
前記複数の現在の顔画像の各々をキャプチャするときに前記照明デバイスをアクティブ化するステップをさらに含み、前記アクティブ化するステップと前記キャプチャするステップとの相対的タイミングを指定する画像処理プロトコルに従って、前記アクティブ化するステップと前記キャプチャするステップとを順序付ける、請求項1に記載の方法。
【請求項５】
前記カメラレンズが視野を有し、前記少なくとも1つのウィンドウのフレームは、前記接近する車両の前面ウインドシールドの台形フレームである、請求項1に記載の方法。
【請求項６】
前記自動キャプチャをトリガするステップは、前記少なくとも1人の車両乗員の少なくとも一部分が視野内にある時に、さらに実施される、請求項1に記載の方法。
【請求項７】
前記カメラが光学バンドパスフィルタをさらに含み、前記複数の現在の顔画像をキャプチャする前記ステップが、前記光学バンドパスフィルタを通して前記カメラによって実施される、請求項1に記載の方法。
【請求項８】
前記光学バンドパスフィルタと前記直線偏光フィルタとの間で前記カメラに固設された対物レンズをさらに含む、請求項7に記載の方法。
【請求項９】
前記カメラおよび前記照明デバイスが前記外部環境中に位置する、請求項1に記載の方法。
【請求項１０】
前記自動キャプチャをトリガするステップは、光学フローアルゴリズム画像解析を通して実施される、請求項1に記載の方法。
【請求項１１】
比較する前記ステップに基づいて、ならびに検出されたライセンスプレート番号、車両下部画像、および前記車両上の可読タグのうちの1つまたは複数にさらに基づいて、アクセス制御されたアセットへのアクセスのために前記少なくとも1人の車両乗員を認証するステップを含む、請求項1に記載の方法。
【請求項１２】
固定された視野のほうを向くレンズと、前記レンズに隣接して固設された直線偏光フィルタと、前記レンズに隣接して固設された光学バンドパスフィルタとを有するカメラを与えるステップと、
前記視野を照明するための照明デバイスを与えるステップと、
前記照明デバイスのアクティブ化を前記カメラのアクティブ化と同期させるための画像処理構成要素を与えるステップと、
接近する車両の存在を検出するステップであって、前記車両が、外部環境から車両内部エンクロージャを分離する少なくとも1つの前面ウインドシールドを含み、前記少なくとも1つの前面ウインドシールドは、前記少なくとも1つの前面ウインドシールドの周囲のフレームを有する、検出するステップと、
前記接近する車両が前記視野に進入し、かつ前記少なくとも1つの前面ウインドシールドが、固定された視野内で最大化されると、前記照明デバイスをアクティブ化するステップと、一方、前記直線偏光フィルタ、前記光学バンドパスフィルタおよび前記少なくとも1つのウィンドウを通して、前記カメラを介して、前記車両内部エンクロージャ内に存在する少なくとも1人の車両乗員の複数の現在の顔画像をキャプチャするステップであって、前記複数の現在の顔画像の各々が、前記接近する車両までの異なる距離からキャプチャされる、キャプチャするステップと、
処理ユニットによって、検出された車両識別子に前に関連付けられた少なくとも1人の個人の少なくとも1つのアーカイブされた画像を入手するステップと、
前記処理ユニットによって、少なくとも1つの現在画像を前記少なくとも1つのアーカイブされた画像と比較するステップと、
前記少なくとも1人の車両乗員と前記少なくとも1人の個人とが同じであるかどうかを決定するステップと
を含む、方法。
【請求項１３】
前記カメラおよび前記照明デバイスが前記外部環境中に位置する、請求項12に記載の方法。
【請求項１４】
前記処理ユニットによって、前記キャプチャされた複数の現在の顔画像に基づいて前記車両内部エンクロージャ中の車両乗員の数を決定するステップを含む、請求項12に記載の方法。
【請求項１５】
比較する前記ステップに基づいて、ならびに検出されたライセンスプレート番号、車両下部画像、および前記車両上の可読タグのうちの1つまたは複数にさらに基づいて、アクセス制御されたアセットへのアクセスのために前記少なくとも1人の車両乗員を認証するステップを含む、請求項12に記載の方法。
【請求項１６】
前記少なくとも1つのウィンドウがフレームを有し、前記複数の現在の顔画像をキャプチャする前記ステップは、前記少なくとも1つのウィンドウの前記フレームが前記視野内にある間に実施される、請求項12に記載の方法。
【請求項１７】
車両乗員を検出するためのシステムであって、
カメラレンズに隣接して固設された直線偏光フィルタと、固定された視野のほうを向くレンズとを含むカメラと、
少なくとも1つの照明デバイスと、
少なくとも1つのプロセッサと、
複数の命令を記憶する少なくとも1つのメモリデバイスとを含み、前記複数の命令は、前記少なくとも1つのプロセッサによって実行されたとき、前記少なくとも1つのプロセッサに、
少なくとも1人の個々の人の1つまたは複数の画像を記憶することと、
前記少なくとも1つの照明デバイスのアクティブ化を前記カメラと同期させることと、
動いている車両の前面ウインドシールドの台形フレームが、固定された視野内で最大化される時、前記カメラのアクティブ化を自動的にトリガすることと、
前記カメラによってキャプチャされた、車両の車両内部エンクロージャ内に存在する少なくとも1人の車両乗員の少なくとも1つの画像を、前記少なくとも1人の個々の人の前記1つまたは複数の記憶された画像と比較することであって、前記少なくとも1つの画像が、前記直線偏光フィルタと車両のウィンドウとを通して前記カメラによってキャプチャされる、比較することと、
前記少なくとも1人の車両乗員と前記少なくとも1人の個々の人とが同じであるかどうかを決定することと
を行わせる、システム。
【請求項１８】
前記カメラによってキャプチャされた前記少なくとも1つの画像が、前記少なくとも1人の車両乗員の複数の現在の顔画像から取られ、前記複数の現在の顔画像の各々が、前記車両までの異なる距離からキャプチャされる、請求項17に記載のシステム。
【請求項１９】
前記複数の命令が、前記少なくとも1つのプロセッサによって実行されたとき、前記少なくとも1つのプロセッサに、前記キャプチャされた複数の現在の顔画像に基づいて前記車両内部エンクロージャ中の車両乗員の数を決定することをさらに行わせる、請求項18に記載のシステム。
【請求項２０】
前記カメラは、前記レンズが光学バンドパスフィルタと前記直線偏光フィルタとの間に固設されるように固設された前記光学バンドパスフィルタをさらに含む、請求項17に記載のシステム。
【請求項２１】
前記複数の命令が、前記少なくとも1つのプロセッサによって実行されたとき、前記少なくとも1つのプロセッサに、比較する前記ステップに基づいて、ならびに検出されたライセンスプレート番号、車両下部画像、および前記車両上の可読タグのうちの1つまたは複数にさらに基づいて、アクセス制御されたアセットへのアクセスのために前記少なくとも1人の車両乗員を認証することをさらに行わせる、請求項17に記載のシステム。
【請求項２２】
前記カメラおよび前記照明デバイスが前記車両の外部に位置する、請求項17に記載のシステム。
【外国語明細書】
2019023860000001.pdf