(57)【特許請求の範囲】
【請求項１】
這っている人間および歩いている人間の監視領域内への侵入に対する保護の方法であって、
床面上の定義された高さで始まる第１の監視領域、および前記第１の監視領域の下側にあり、人間が歩くか、もしくは這うことができる床面もしくは他の表面に向けて下向きに延在する第２の監視領域の立体画像を取得するステップと、
距離画素を取得するために前記立体画像を処理するステップと、
歩いているか、もしくは走っている人間の検知に対して調整される第１の物体検知パラメータを使用して、前記第１の監視領域に対応する距離画素を処理することによって、前記第１の監視領域内の物体侵入を検知するステップと、
這っているか、もしくは伏せている人間の前記検知に対して調整される第２の物体検知パラメータを使用して、前記第２の監視領域に対応する距離画素を処理することによって前記第２の監視領域の物体侵入を検知するステップとを備える、方法。
【請求項２】
前記第１の物体検知パラメータは、前記第１の監視領域内の検知可能な物体に対する最小サイズを定義する第１の最小物体サイズ閾値を備え、さらに、前記第１の監視領域内の検知可能な物体に対する最大速度を定義する第１の最大物体速度を備え、前記第２の物体検知パラメータは、前記第１の最小物体サイズ閾値より大きな第２の最小物体サイズ閾値を備え、さらに、前記第１の最大物体速度より遅い第２の最大物体速度を備える、請求項１に記載の方法。
【請求項３】
前記第１の監視領域は、前記床面もしくは他の表面上約４２０ｍｍで始まり、前記第２の監視領域は、前記床面もしくは他の表面上３００ｍｍから、前記第１の監視領域の開始地点まで、または規定された保護領域の開始地点まで延在する、請求項２に記載の方法。
【請求項４】
前記第１の最小物体サイズ閾値は、断面で２００ｍｍもしくは約２００ｍｍであり、前記第２の最小物体サイズ閾値は、断面で２００ｍｍ超であり、前記第１の最大物体速度は、約１．６ｍ／ｓであり、前記第２の最大物体速度は、約０．８ｍ／ｓである、請求項２または３に記載の方法。
【請求項５】
這っている人間および歩いている人間の監視領域内への侵入に対する保護のシステムであって、
床面上の定義された高さで始まる第１の監視領域、および前記第１の監視領域の下側にあり、人間が歩くか、もしくは這うことができる床面もしくは他の表面に向けて下向きに延在する第２の監視領域の立体画像を取得するための手段と、
距離画素を取得するために前記立体画像を処理するための手段と、
歩いているか、もしくは走っている人間の検知に対して調整される第１の物体検知パラメータを使用して、前記第１の監視領域に対応する距離画素を処理することによって、前記第１の監視領域内の物体侵入を検知するための手段と、
這っているか、もしくは伏せている人間の前記検知に対して調整される第２の物体検知パラメータを使用して、前記第２の監視領域に対応する距離画素を処理することによって前記第２の監視領域の物体侵入を検知するための手段とを備える、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本出願は、米国特許法第１１９（ｅ）条に基づいて、２０１１年１０月１４日に出願され特許出願第６１／５４７，２５１号を割り当てられた米国仮特許出願、および米国特許法第１２０条に基づいて、一部継承として２０１２年７月３日に出願され特許出願第１３／５４１，３９９号を割り当てられた米国実用特許出願による優先権を主張するものであり、これらの出願はいずれも参照により本明細書に組み込まれる。
【０００２】
［技術分野］
本発明は、一般に、マシンビジョンに関し、特に、機械防護または他の物体侵入検知状況で使用されるような射影空間監視に関する。
【背景技術】
【０００３】
マシンビジョンシステムは、さまざまな用途で活用されており、エリア監視が適例である。物体が規定領域に侵入したことを監視することは、危険機械防護などの「エリア防護」用途の重要項目である。機械防護に関連して、物理的障壁、インターロックシステム、安全マット、ライトカーテン、および飛行時間レーザスキャナ監視の使用などのさまざまな手法が知られている。
【０００４】
マシンビジョンシステムは、機械防護のための上記手法の１つまたは複数を補完するものとして、または連携して使用され得、エリア防護のための、ほぼ間違いなく、より良く、より柔軟な解決策でもある。それらいくつかの利点において、マシンビジョンシステムは、複雑な空間移動を用いて機械の周りの３次元境界を監視することができ、平面ライトカーテン境界は、非実用的、もしくは安全に構成するために非常に複雑である可能性があり、または、そのような防護設備は、機械動作を妨げる可能性がある。
【０００５】
他方で、マシンビジョンシステムを確実に適切に動作させることは、特に、最小検知機能および最大（物体）検知応答時間の動的で継続的な検証に関して、安全性が重要となる用途において困難である。これらの種類の検証は、確実なフェールセーフ障害検知に加えて、危険機械防護および他の安全性が重要となる用途のためにマシンビジョンシステムを使用する場合、重要な課題となる。
【発明の概要】
【課題を解決するための手段】
【０００６】
本明細書で提示する教示の一態様によれば、射影空間監視装置は、監視領域内に侵入する物体を検知するよう構成される。射影空間監視装置は、極座標における立体相関処理から取得された距離画素を示す有利な処理技術に基づいて、保護境界に対して最小物体サイズの物体の侵入を検出するよう構成され、それらの距離画素を、相関処理で使用される立体画像の取り込みに関連した射影座標空間上に規定された２次元ヒストグラムにマッピングする。ヒストグラムは、射影座標空間の水平および垂直立体角範囲を、セルのグリッド内に量子化する。本装置は、保護境界内にある距離画素にフラグを立て、その距離画素をこのヒストグラムの対応するセルに蓄積し、次いで、ヒストグラムセルでクラスタリングを行い、物体侵入を検知する。
【０００７】
より詳細には、射影監視装置は、例えば、連続する画像フレームにわたって、立体画像を取り込むよう構成された画像センサを備え、さらに、画像センサと関連して動作可能な画像処理回路を備える。画像処理回路は、立体画像の相関処理に基づいて、極座標におい
て距離画素のデプスマップを生成し、立体画像を互いに関連づけ、３次元直交座標において表される「距離」画素を備えるデプスマップを取得し、その距離画素を、極座標に変換するよう構成される。したがって、各距離画素は、それぞれの画素線に沿ったラジアル距離、および立体画像の取得に関連した水平ならびに垂直視野域内の立体角値の対応するペアとして表される。
【０００８】
さらに、画像処理回路は、監視領域に対して規定された保護境界内にある距離画素をフラグ立てすることによって、フラグ立てされた画素のセットを取得し、水平および垂直の視野域の立体角範囲を量子化する２次元ヒストグラムの対応するセル内に、フラグ立てされた画素を蓄積するよう構成される。さらに、画像処理回路は、ヒストグラム内のセルをクラスタリングし、最小物体サイズ閾値を満たす、保護境界内の物体の侵入を検知するよう構成される。
【０００９】
さらに、少なくとも１つの実施形態において、画像処理回路は、任意の対象クラスタが規定の時間枠に対して残存するかどうかを判断し、そうであれば、物体の侵入が発生したと判断するよう構成される。例えば、画像処理回路は、同じ対象クラスタ、すなわち、同等の対象クラスタが、いくつかの連続する画像フレームにわたって残存するかを判断するよう構成される。
【００１０】
同じか、または他の実施形態において、画像処理回路は、立体画像から１つまたは複数の緩和画素のセットを生成するよう構成され、緩和画素は、障害であるか、不信頼としてフラグを立てられた立体画像における画素を表す。それに対応して、画像処理回路は、緩和画素の１つまたは複数のセットを、クラスタリングで使用するフラグ立てされた画素のセットに統合するよう構成される。したがって、クラスタリング中に検知された任意の所与の対象クラスタは、距離検知処理に基づいてフラグ立てされた距離画素、もしくは障害検知処理に基づいてフラグ立てされた緩和画素、または両方の組み合わせを備える。有利には、そのような手法により、物体侵入を検知するために、フラグ立てされた距離画素などの緩和画素を扱うことによって、安全性が重要となる障害検知に対するニーズに対処する。
【００１１】
当然、本発明は、上記の特徴および利点に限定されない。実際に、当業者は、以下の詳細な説明を読み、さらに添付図面を見ることで、さらなる特徴および利点を認識するであろう。
【図面の簡単な説明】
【００１２】
【図１】制御ユニットおよび１つまたは複数のセンサユニットを備える射影空間監視装置の一実施形態のブロック図である。
【図２】センサユニットの一実施形態のブロック図である。
【図３Ａ】センサユニットにおける一組の４つの画像センサ間での、一次および二次ベースラインペアを確立するための例示的な幾何学的配置のブロック図である。
【図３Ｂ】センサユニットにおける一組の４つの画像センサ間での、一次および二次ベースラインペアを確立するための例示的な幾何学的配置のブロック図である。
【図３Ｃ】センサユニットにおける一組の４つの画像センサ間での、一次および二次ベースラインペアを確立するための例示的な幾何学的配置のブロック図である。
【図４】例示的なセンサユニットにおける画像処理回路の一実施形態のブロック図である。
【図５】例えば、図４の画像処理回路において実現される機能処理ブロックの一実施形態のブロック図である。
【図６】例示的センサユニットのセンサ視野域によって規定されるさまざまな領域の図である。
【図７Ａ】射影空間監視装置のために指定された最小検知距離の内側である限定距離機能領域（ＺＬＤＣ）を示す図であり、さらに、一次監視領域のいずれかの側での側面遮蔽領域（Ｚｏｎｅ  ｏｆ  Ｓｉｄｅ  Ｓｈａｄｏｗｉｎｇ）（ＺＳＳ）を示す図である。
【図７Ｂ】射影空間監視装置のために指定された最小検知距離の内側である限定距離機能領域（ＺＬＤＣ）を示す図であり、さらに、一次監視領域のいずれかの側での側面遮蔽領域（ＺＳＳ）を示す図である。
【図８】センサユニットのための例示的な構成の図であり、画像センサおよびそれらの各視野域を含む。
【図９】一次監視領域を、一次保護領域（ＰＰＺ）、一次許容域（ＰＴＺ）、二次保護領域（ＳＰＺ）、および二次許容域（ＳＴＺ）に再分割する一例を示すブロック図である。
【図１０Ａ】射影空間監視装置における画像処理回路の一実施形態による、物体検知処理の詳細例を示す論理フローダイアグラムである。
【図１０Ｂ】射影空間監視装置における画像処理回路の一実施形態による、物体検知処理の詳細例を示す論理フローダイアグラムである。
【図１１】クラスタリングのためにフラグ立てされた画素のセットを形成するための例示的手法を示す図であり、緩和画素は、クラスタリング時に検討するため、距離画素と組み合わされる。
【図１２Ａ】画像フレーム間のクラスタの分割またはマージを評価することに基づいて、画像フレーム間のクラスタ対応関係を評価する一実施形態を示す図である。
【図１２Ｂ】画像フレーム間のクラスタの分割またはマージを評価することに基づいて、画像フレーム間のクラスタ対応関係を評価する一実施形態を示す図である。
【図１３】立体画像の正規化相互相関に基づく、差異検知の例を示すプロットである。
【図１４】本明細書で意図するような、画像処理および対応する物体侵入検知の一実施形態の論理フローダイアグラムである。
【図１５】画像処理および対応する物体侵入検知の他の実施形態の論理フローダイアグラムであり、図１４の論理フローの有効な一般化として理解することが可能である。
【発明を実施するための形態】
【００１３】
図１は、射影空間監視装置１０の例示的な実施形態を示し、射影空間監視装置１０は、例えば、１つまたは複数個の危険機械装置（図示せず）を含有する３次元空間領域を備える一次監視領域１２の画像ベース監視を提供する。射影空間監視装置１０（以後、「装置１０」と称する）は、画像ベース監視システムを作動させ、人間または他の物体が一次監視領域１２内に侵入することを防ぐ。
【００１４】
領域１２の限界範囲は、以下でより詳細に説明するが、関連したセンサ視野域１４との共通の重複部分によって規定されることに留意されたい。概して、装置１０は、画像処理および立体視技術を使用して、人または物体が防護対象の３次元（３Ｄ）領域内に侵入したことを検知するよう構成される。なお、防護対象の３次元（３Ｄ）領域は、防護対象の「エリア」と称する場合もある。典型的な用途は、これらに限定されるものではないが、エリア監視、および周辺防護である。エリア監視の例では、頻繁にアクセスされるエリアは、ライトカーテンもしくは他の機構によって防護されるエントリーポイント有する堅固な防護物によって部分的に囲まれ、装置１０は、２次防護システムの役割を果たす。同様に、周辺防護の例では、装置１０は、頻繁にアクセスされない非防護対象のエリアを監視する。
【００１５】
当然、装置１０は、両方の役割を同時に満たすか、または状況の変化に応じてモードを切り替えることが可能である。また、装置１０は、関連した機械装置もしくはそれらの電源システムへのシグナリング接続を備え得、および／または工場制御ネットワークなどに
接続し得ることが理解されるであろう。
【００１６】
意図した用途を広範囲に補完するために、装置１０は、図示の例示的な実施形態において、１つまたは複数のセンサユニット１６を備える。各センサユニット１６はまた、「センサヘッド」と称され、複数の画像センサ１８を備える。画像センサ１８は、センサユニット１６の本体またはハウジング内に固定され、それにより、視野域（ＦＯＶ）１４全体が、通常、一次監視領域１２を３Ｄ区域として規定するよう重複する。当然、以下で説明するように、１つまたは複数の実施形態における装置１０により、利用者は、一次監視領域１２内に複数の監視領域もしくは３Ｄ境界範囲を設定することができ、例えば、一次監視領域１２内の３Ｄ範囲に基づいて安全重視領域ならびに／もしくは警告領域を設定することができる。
【００１７】
センサユニット１６のそれぞれは、制御ユニット２０に、ケーブルまたは他のリンク２２を介して接続される。一実施形態において、リンク２２は、「ＰｏＥ」（Ｐｏｗｅｒ−ｏｖｅｒ−Ｅｔｈｅｒｎｅｔ（登録商標））リンクであり、電力をセンサユニット１６に供給し、センサユニット１６と制御ユニット２０との間の通信または他のシグナリングをもたらす。センサユニット１６および制御ユニット２０は協働し、領域１２内の（または、領域１２のいくつかの構築された小領域内の）物体を検知する。少なくとも１つの実施形態において、各センサユニット１６は、他のセンサユニット１６から独立して監視機能を実行し、安全なＥｔｈｅｒｎｅｔ（登録商標）接続、もしくは他のリンク２２上で、監視状態を制御ユニット２０に通信する。次に、制御ユニット２０は、各接続されたセンサユニット１６からの監視状態を処理し、この情報を使用して、構成可能で安全な入力および出力に従って、機械装置を制御する。
【００１８】
例えば、図示の実施形態では、制御ユニット２０は、例えば、１つまたは複数のマイクロプロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、もしくは他のデジタル処理回路である制御回路２４を備える。少なくとも１つの実施形態において、制御回路２４は、制御回路２４内のデジタルプロセッサによって実行されるコンピュータプログラムを格納するメモリまたは別のコンピュータ可読媒体を備え、少なくとも部分的に、本明細書の教示に従って、制御ユニット２０を構成する。
【００１９】
さらに、制御ユニット２０は、何らかの入力／出力（Ｉ／Ｏ）回路を備え、入力／出力（Ｉ／Ｏ）回路は、モジュール方式で、例えば、モジュール式Ｉ／Ｏユニット２６で配置してもよい。Ｉ／Ｏユニット２６は、回路状に備えてもよく、または、所与のＩ／Ｏユニット２６は、所与の種類のインターフェース信号を対象とし、例えば、ネットワーク通信用、ある種の制御シグナリング用などとしてもよい。機械防護用途のため、少なくとも１つのＩ／Ｏユニット２６は、機械安全制御のために構成され、Ｉ／Ｏ回路２８を備え、Ｉ／Ｏ回路２８は、安全リレー出力（ＯＳＳＤ  Ａ、ＯＳＳＤ  Ｂ）を提供して、センサユニット１６によって検知された物体侵入に応答して危険機械を無効にするか、そうでなければ停止する。同じ回路はまた、モード制御信号および起動信号（ＳＴＡＲＴ、ＡＵＸなど）を提供可能である。さらに、制御ユニット自体は、通信、状態シグナリングなどに対して、「グローバル」Ｉ／Ｏの範囲を提供可能である。
【００２０】
物体検知機能の点から、装置１０は、主として、立体技術により、その（共通の）視野域に存在する物体の３Ｄ位置を発見する。この目的を達成するために、図２は、４つの画像センサ１８を備える例示的なセンサユニット１６を示し、本明細書では、明瞭にするために、画像センサ１８−１、１８−２、１８−３、１８−４と個々に番号を付ける。
センサユニット１６内の個々の画像センサ１８の視野域１４は、すべて部分的に重複しており、すべての視野域１４によって共通に重複される領域は、先に生じた一次監視領域１２を規定する。
【００２１】
本体もしくはハウジング３０は、複数の「ベースライン」を規定する相隔たる配置で個々の画像センサ１８を固定する。ここで、「ベースライン」という用語は、画像ペアを取得するために使用される画像センサ１８のペアリング間の間隔を定義する。図示の構成において、２つの「長い」ベースラインと２つの「短い」ベースラインとが見られるが、本明細書では、「長い」および「短い」という用語は、相対的な意味で使用される。長いベースラインは、画像センサ１８の第１のペアの間の間隔によって規定される第１の一次ベースライン３２−１を備え、ここで、第１のペアは、画像センサ１８−１、１８−２を備え、長いベースラインは、さらに、画像センサ１８の第２のペアの間の間隔によって規定される第２の一次ベースライン３２−２を備え、ここで、第２のペアは、画像センサ１８−３、１８−４を備える。
【００２２】
同様に、短いベースラインは、画像センサ１８の第３のペアの間の間隔によって規定される第１の二次ベースライン３４−１を備え、ここで、第３のペアは、画像センサ１８−１、１８−３を備え、短いベースラインは、さらに、画像センサ１８の第４のペアの間の間隔によって規定される第２の二次ベースライン３４−２を備え、ここで、第４のペアは、画像センサ１８−２、１８−４を備える。この点に関して、同じ組の４つの画像センサ１８の組み合わせを変えることで、異なるペアリングの画像センサ１８として動作し、それらのペアリングを、関連するベースラインおよび／またはそれらの使用方法によって変えてもよいことが理解されるであろう。
【００２３】
第１および第２の一次ベースライン３２−１、３２−２は、同等でも、または、異なる長さでもよい。同様に、第１および第２の二次ベースライン３４−１、３４−２は、同等でも、または、異なる長さでもよい。限定するものではないが、例示では、最も短い一次ベースライン３２は、最も長い二次ベースライン３４の２倍以上の長さである。汎用性に関する他の点として、他の幾何学的配置を使用して、一次および二次ベースラインペアとして動作させるために、４つの画像センサ１８の分布を得ることができる。図３Ａから図３Ｃを参照して、所与のセンサユニット１６における画像センサ１８の例示的な幾何学的配置を示す。
【００２４】
一次および二次ベースラインペアを確立するために必要とされる物理的構成とは別に、センサユニット１６は、ベースラインペアリング定義に従い画像センサ１８を論理的に動作させるようそれ自身が構成され、その結果、それら定義に従い画像ペアを処理することを理解すべきである。この点に関して、再び図２に示す例を参照すると、センサユニット１６は、１つまたは複数の画像処理回路３６を備え、画像処理回路３６は、画像センサ１８のそれぞれから画像データを取得し、その画像データを処理し、そのような処理、例えば、物体の侵入を検知したことを制御ユニット２０に知らせることなどの結果に応答するよう構成される。
【００２５】
さらに、センサユニット１６は、制御ユニットインターフェース回路３８、電力供給／制御回路４０、および、任意選択的に、テクスチャ付き光源４２を備える。ここで、テクスチャ付き光源４２は、パターン化された光を一次監視領域１２に射影する、またはより一般的には、搭載した画像センサ１８の視野域１４に射影する、センサユニット１６に対する機構を提供する。
【００２６】
「テクスチャ」という用語は、本明細書では、任意の所与の画像センサ１８の視野域内における画像コントラストの局所変化を意味する。テクスチャ付き光源４２は、各センサユニット１６と一体化してもよく、またはセンサユニット１６と別々に電力供給され、センサユニット１６と近接して設置してもよい。いずれの場合でも、人工的なテクスチャのソースを装置１０に組み込むことは、合成テクスチャを、任意の所与の画像センサ１８の
視野域１４内の低テクスチャ領域に加えるという利点をもたらす。すなわち、３Ｄ測距をサポートするための十分な自然テクスチャの無い領域を、テクスチャ光源４２によってもたらされる合成追加されたシーンテクスチャで照らし、センサ視野域１４内を正確および完全に３Ｄ測距することができる。
【００２７】
画像処理回路３６は、例えば、１つまたは複数のマイクロプロセッサ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、または他のデジタル処理回路を備える。少なくとも１つの実施形態において、画像処理回路３６は、コンピュータプログラム命令を格納するメモリもしくは他のコンピュータ可読媒体を備え、それらのコンピュータプログラム命令を実行することで、センサユニット１６を、画像処理および本明細書で開示した他の動作を実行するよう少なくとも部分的に設定する。当然、他の構成も考慮され、例えば、画像処理および３Ｄ解析のある部分はハードウェア（例えば、ＦＰＧＡ）で実行され、ある他の部分は、１つまたは複数のマイクロプロセッサで実行される。
【００２８】
上記のベースライン構成を考慮に入れ、装置１０は、一次監視領域１２といずれも重複する各センサ視野域１４を有し、第１および第２の画像センサ１８−１、１８−２が、第１の一次ベースライン３２−１を規定する間隔を有する第１の一次ベースラインペアを形成し、第３および第４の画像センサ１８−３、１８−４が、第２の一次ベースライン３２−２を規定する間隔を有する第２の一次ベースラインペアを形成するよう配置された、（少なくとも）４つの画像センサ１８を備える少なくとも１つのセンサユニット１６を備えることを理解されよう。
【００２９】
図示のように、さらに、画像センサ１８は、第１および第３の画像センサ１８−１、１８−３が、第１の二次ベースライン３４−１を規定する間隔を有する第１の二次ベースラインペアを形成し、第２および第４の画像センサ１８−２、１８−４が、第２の二次ベースライン３４−２を規定する間隔を有する第２の二次ベースラインペアを形成するよう配置される。一次ベースライン３２は、二次ベースライン３４よりも長い。
【００３０】
さらに、センサユニット１６は、一次ベースラインペアから取得した画像データを使用して一次監視領域１２内で物体を重複して検知するよう構成され、二次ベースラインペアから取得された画像データを使用して遮蔽物体を検知するようさらに構成された画像処理回路３６を備える。すなわち、センサユニット１６の画像処理回路３６は、第１の一次ベースラインペアによって取得された画像データの立体画像処理を介して導出された距離データ内に、または、第２の一次ベースラインペアによって取得された画像データの立体画像処理を介して導出された距離データ内に、そのような物体が存在することを検知することによって、一次監視領域１２内の物体を重複して検知するよう構成される。
【００３１】
したがって、物体は、画像センサ１８−１、１８−２から取得した立体視処理画像ペアから取得した（３Ｄ）距離データを識別すること、および／または画像センサ１８−３、１８−４から取得した立体処理画像ペアから取得した（３Ｄ）距離データを識別することで検知される。その際、第１および第２の画像センサ１８−１、１８−２は、第１の「立体視ペア」と見なされ、第１および第２の画像センサ１８−１、１８−２から取得した画像ペアに適用される画像補正および立体視処理は、第１の立体「チャネル」とみなされ得る。
【００３２】
同様に、第３および第４の画像センサ１８−３、１８−４は、第２の立体視ペアと見なされ、第３および第４の画像センサ１８−３、１８−４から取得した画像ペアに適用される画像処理および立体視処理は、第１の立体視チャネルから独立した第２の立体視チャネルとみなされ得る。したがって、２つの立体視チャネルは、一次監視領域１２内で、物体を重複して検知する。
【００３３】
ここで、一次監視領域１２は、センサユニット１６が一次ベースラインペアを使用して物体を検知するセンサユニット１６からの最小距離を意味する最小検知距離で境界付けられることに留意されたい。さらなる利点として、一次ベースラインペアを使用して重複して物体を検知することの信頼性および安全性に加え、二次ベースラインペアを使用して遮蔽物体を検知する。すなわち、第１の二次ベースラインペアとしての画像センサ１８−１、１８−３からの画像データの論理的ペアリングならびに処理、および第２の二次ベースラインペアとしての画像センサ１８−２、１８−４からの画像データの論理的ペアリングならびに処理を使用して、最小検知距離内に有る、および／または４つすべてのセンサ視野域１４内に無い物体を検知する。
【００３４】
概して、「遮蔽物体」は、一次監視領域１２内に、１つまたは複数のセンサ視野域１４を遮断する。少なくとも１つの実施形態において、センサユニット１６の画像処理回路３６は、各二次ベースラインペアに対して、二次ベースラインペアにおける画像センサ１８によって取得された画像データ間の輝度を検知することによって、または、二次ベースラインペアにおける画像センサ１８によって取得された画像データの立体画像処理から生成した距離データを評価することによって、遮蔽物体を検知するよう構成される。
【００３５】
遮蔽物体の検知は、多くの潜在的に危険な状況に対応し、それらの状況には以下のものが含まれる。すなわち、ＺＬＤＣもしくはＺＳＳ内の小物体が立体視によって検知されず、一次監視領域１２内に物体を遮蔽する可能性のある手動干渉と、光学面の汚損が立体視によって検知されず、一次監視領域１２内で物体を遮蔽する可能性のあるスポット汚損と、強力な指向性ライトにより画像センサ１８上に複数の内部反射をもたらす可能性があり、コントラストを低下させ、検知能力の低下をもたらす可能性のある焼き付きと、画像センサ１８の光学面にわずかな異物が混入し、指向性ライトがグレアをもたらす可能性があり、コントラストを低下させ、検知能力の低下をもたらす可能性のあるグレアと、画像センサ１８内の個々の画素の感度が変化することにより、検知能力の低下がもたらされる可能性のある感度変化がある。
【００３６】
一時的に図８を参照すると、一次ベースラインペア内の左側および右側の画像センサ１８の間で接角が存在することで、図示のような最終構成を設ける。これらの接角は、遮蔽物体検知の基礎を提供し、例示的構成では、所与の二次ベースラインペアにおける１つの画像センサ１８から取得した画像間での輝度の著しい差を探すことに基づき、その同じ二次ベースラインペアにおける他の画像センサ１８から取得した対応する画像と比較することで、画像処理回路３６はＺＬＤＣ内で遮蔽物体検知を実行する。著しい輝度差により、近接する物体の存在を報知する。というのも、そのような小さなベースラインの場合、より遠隔の物体は、非常に小さな差異の原因となるためである。
【００３７】
基本的な画像輝度差は、画像の関連ペアにおける一方の画像（画像１）の各画素を解析し、何らかの閾値（ｔｈ）内で、他方の画像（画像２）の輝度整合に対し所与の検索枠全体を検索することによって算出される。整合しない場合、その差異が検索枠のサイズより大きく、画素が「異なるもの」としてフラグ付けされるため、画素は一定の距離よりも近いものに属することを意味する。したがって、画像差は、２進数である。
【００３８】
遮蔽物体による画像差は、二次ベースライン３４−１または３４−２の一方を使用して取得した画像ペア内で生じた差異に基づくため、物体がベースラインと整列し、保護領域を全貫通する場合、結果として差異は発見されない。準水平線検知に基づくさらなる全貫通物体検知アルゴリズムを使用して、基本的な画像差アルゴリズムによって確実には検知されない角度、例えば、＋／−１５度内の物体を検知する。
【００３９】
さらに、遮蔽物体が大きい、および／または非常に近接している場合（例えば、画像センサ１８の視野域１４を完全に覆っている場合）、検知可能な水平線をもたらさない可能性さえある。しかしながら、この状態は、基準マーカーベースの緩和策を使用して検知される。というのも、１つまたは複数の実施形態における装置構成要件は、少なくとも１つの基準マーカが、セットアップ／検証段階中、一次監視領域１２内で視認可能でなければならないことを必要とするためである。
【００４０】
ＺＬＤＣを越えているが、一次監視領域１２の外側にある物体の検知に関し、画像センサ１８の接角は、一次監視領域１２のいずれかの側のＺＳＳを実質的に削除するように設定可能である。さらに、またはあるいは、画像処理回路３６は、物体検知のための短距離立体視手法を使用し、二次ベースラインペアを使用して、視野域の非常に限定された部分にわたって、適切な画像境界でのみ物体を検知する。
【００４１】
また、上記のように、いくつかの実施形態において、各センサユニット１６内の画像センサ１８は、高露光画像フレームおよび低露光画像フレームを含む画像フレームを取得するよう構成される。例えば、画像処理回路３６は、個々の画像センサ１８の露光時間を動的に制御するよう構成され、その結果、画像取得は、より長い露光時間およびより短い露光時間の使用の間で変化する。さらに、画像処理回路３６は、少なくとも一次ベースラインペアによって取得される画像フレームに対して、対応する高露光画像フレームおよび低露光画像フレームを融合して、高ダイナミックレンジ（ＨＤＲ）画像を取得し、各一次ベースラインペアから前記ＨＤＲ画像のストリームを立体的に処理するよう構成され、一次監視領域１２内の物体を重複検知する。
【００４２】
例えば、画像センサ１８−１は、低露光画像フレームおよび後続の高露光画像フレームを生成するよう制御され、これら２つのフレームは、第１のＨＤＲ画像を取得するために組み合わされる。通常は、２つ以上の異なる露光フレームを、ＨＤＲ画像を生成するために組み合わせることができる。この処理は、連続する取得間隔にわたって繰り返され、その結果、第１のＨＤＲ画像のストリームをもたらす。同じ取得間隔の間、画像センサ１８−２は、第２のＨＤＲ画像のストリームを生成するために組み合わされる低露光画像フレームおよび高露光画像フレームを生成するよう制御される。任意の所与の取得間隔からの第１および第２のＨＤＲ画像は、（場合によっては、立体視処理の前にさらなる前処理をした後）立体的に処理される、対応するＨＤＲ画像ペアを形成する。他の立体視チャネルにおけるＨＤＲ画像ペアの同様のストリームは、第２の一次ベースラインペア（すなわち、画像センサ１８−３、１８−４）を介して取得される。
【００４３】
追加の画像前処理も行ってもよい。例えば、いくつかの実施形態において、各立体視チャネルからのＨＤＲ画像ペアは平行化されており、その結果、一次ベースラインペアに含まれる画像センサにおける対応する光軸が平行であり、エピポーラ線が、平行化画像における対応する画像行であるエピポーラ幾何に対応する。
【００４４】
両立体視チャネルからのＨＤＲ画像ペアは、平行化され、次いで、画像処理回路３６に含まれる立体視プロセッサ回路によって処理される。立体視プロセッサ回路は、立体対応アルゴリズムを実行して、各立体視チャネルにおける画像センサ１８によって取得された平行化画像内の対応するシーンポイント間の差異を算出し、前記差異に基づき、画像センサ１８の位置に対するシーンポイントの３Ｄ位置を算出するよう構成される。
【００４５】
より詳細には、例示的なセンサユニット１６は、２つの立体視チャネルにまとめられた４つの画像センサ１８を備え、画像センサ１８−１、１８−２を備える第１の一次ベースラインペアによって示される一方のチャネルでは、第１の一次ベースライン３２−１と称される第１の距離によって隔てられ、画像センサ１８−３、１８−４を備える第２の一次
ベースラインペアによって示される他方のチャネルでは、第２の一次ベースライン３２−２と称される第２の距離によって隔てられる。
【００４６】
各画像センサ１８からの複数の未処理画像は、画像センサ１８の視野域１４によって取り込まれるシーンの高ダイナミックレンジ画像を生成するよう共に構成される。立体視チャネルごとの高ダイナミックレンジ画像は、対応する光軸が並列であり、エピポーラ線が対応する画像行であるエピポーラ幾何に対応するように平行化される。平行化画像は、立体対応アルゴリズムを実行して、対応するシーンポイント間の差異を算出し、それにより、センサユニット１６の所与の位置に対するこれらのポイントの３Ｄ位置を算出する上述の立体視プロセッサ回路によって処理される。
【００４７】
その際、一次監視領域１２は、画像センサ１８の共通の視野域（ＦＯＶ）によって限定される３Ｄ射影空間である。差異検索枠の最大サイズは、立体セットアップによって計測可能な最短距離を限定し、したがって、一次監視領域１２の最短許容距離を限定する。この距離はまた、「限定検知機能領域（Ｚｏｎｅ  ｏｆ  Ｌｉｍｉｔｅｄ  Ｄｅｔｅｃｔｉｏｎ  Ｃａｐａｂｉｌｉｔｙ）」（ＺＬＤＣ）と称される。同様に、一次監視領域１２内に含まれる最大距離は、装置１０に対するエラー耐性によって限定される。
【００４８】
一次ベースラインペアからの画像は、一次監視領域１２内の物体の表面上の３Ｄポイントに対応する、一次監視領域１２に対する３Ｄポイントのクラウドを生成するよう処理される。さらに、この３Ｄポイントクラウドは、データ圧縮、クラスタリングおよびセグメンテーションアルゴリズムにより解析され、定義された最小サイズの物体が、一次監視領域１２に入ったかどうかを判断する。当然、一次監視領域１２は、装置１０の処理論理の構成により、異なるレベルの警告、および、安全性が重要ではない警告領域ならびに安全性が重要な保護領域を含む異なる数ならびに種類の監視領域を備えてもよい。
【００４９】
図１に示す例示的な分散アーキテクチャにおいて、制御ユニット２０は、１つまたは複数のセンサユニット１６からの命令信号を処理し、それに対応して、１つまたは複数の機械、例えば、一次監視領域１２における危険機械を制御するか、またはセンサユニット１６によって検知された侵入に関する他のシグナリングもしくは状態情報をもたらす。制御ユニット２０もまた、センサユニット１６に、制御ユニット２０とセンサユニット１６との間の通信リンク２２を介して電力を供給するが、センサユニット１６もまた、例えば、利用者がＰｏＥ接続を使用することを望まない場合に、別個の電力入力を有してもよい。さらに、図示しないが、「エンドスパン」ユニットを、制御ユニット２０とセンサユニット１６の所与の１つとの間に中継ぎとして接続し、センサユニット１６、Ｉ／Ｏ拡張などの局所的電力供給のために提供することが可能である。
【００５０】
エンドスパンユニットが装置に組み込まれようとそうでなかろうと、制御ユニット２０のいくつかの実施形態は、「領域選択」をサポートするよう構成され、制御ユニット２０の“ＺＯＮＥ  ＳＥＬＥＣＴ”入力のセットに適用されるデータまたは信号パターンは、装置１０の実行時間中に、センサユニット１６によって監視される３Ｄ境界を動的に制御する。監視領域は、装置１０に対する構成処理の間にセットアップされる。特定のセンサユニット１６によって監視するよう構成されたすべての領域は、同時に監視され、制御ユニット２０は、侵入状態を、センサユニット１６から、制御ユニット２０内の選択されたＩ／Ｏユニット２６に関連づける。センサユニット１６ならびにそれらの領域および制御ユニット２０内の特定のＩ／Ｏユニット２６との間のマッピングは、構成処理中に規定される。さらに、制御ユニット２０は、制御ユニットを故障状態から回復するための完全システムリセットを可能にするグローバルＲＥＳＥＴ信号入力をもたらし得る。
【００５１】
安全性を重視する監視用途でそれらを使用するために、１つまたは複数の実施形態にお
けるセンサユニット１６は、ある種の設計安全性を組み込む。例えば、ＩＥＣ６１４９６−３によるＴｙｐｅ３安全デバイスに対する基本要件は、以下の項目を含む。（１）単一の故障により、その製品が安全ではない方法で故障する可能性はない。なお、そのような欠陥は、システムの特定の検知応答時間内に防がれる、もしくは検知される、かつ対応されなければならない。（２）故障が蓄積されることにより、その製品が安全ではない方法で故障する可能性はない。なお、安全性を重視する欠陥につながる故障の蓄積を防ぐために、バックグラウンド試験が必要である。
【００５２】
一次監視領域１２内の物体を検知するために使用される二重立体視チャネルは、一致について２つのチャネルからの処理結果の比較に基づき、単一故障要件に対処する。２つのチャネルの間の差異は、一方または両方のチャネルにおける異常を示す。２つのチャネルの間の差異は、一方または両方のチャネルにおける異常を示す。装置１０の検知応答時間内でのそのような差異をチェックすることによって、装置１０は、すぐに、安全エラー状態に移行することができる。あるいは、物体検知のためのより保守的な手法をとることもでき、いずれかの一次ベースラインペアからの検知結果が機械の停止を引き起こし、一次監視領域１２を安全に保つことができる。２つの一次ベースラインペアの間の差異が、より長い期間（例えば、数秒から数分）にわたって残る場合、異常を検知することができ、装置１０は、安全エラー（故障）状態に移行することができる。
【００５３】
追加の動的な偽検知および自己診断機能を装置１０に組み込んでもよい。例えば、いくつかの実施形態において、センサユニット１６の画像処理回路３６は、両方の立体視チャネルから取得した画像ペア、すなわち、画像センサ１８−１、１８−２の第１の一次ベースラインペアから取得した画像ペア、および画像センサ１８−３、１８−４の第２の一次ベースラインペアから取得した画像ペアの立体視処理を実行するよう構成された単一の立体視処理回路を備える。立体視処理回路、すなわち「ＳＶＰ」は、例えば、ＡＳＩＣ、または高速で立体視画像処理タスクを実行する他のデジタル信号プロセッサである。
【００５４】
ＳＶＰにおける故障状態は、応答時間サイクルごとに一度、ＳＶＰに投入される、特別なテストフレームを使用して検知される。テスト入力に対応するＳＶＰ出力は、予期した結果と比較される。テストフレームは、ＳＶＰのすべての安全性を重視する内部機能をテストするために特別に構成される。
【００５５】
ＳＶＰおよび／または画像処理回路３６は、他の緩和策も組み込んでもよい。例えば、画像処理回路３６は、未処理画像および平行化画像の両方を使用して、画像センサ１８内の「不良」画素を識別する。画像処理回路３６は、画像センサ１８から取得したような未処理画像を使用して、雑音画素、スタック欠陥画素、もしくは低感度画素を識別し、バックグラウンドで関連した不良画素テストを実行する。テスト画像フレームは、不良画素検知に使用してもよく、３種類のテスト画像フレーム、すなわち、（ａ）センサユニット１６が典型的な照明状態で動作する場合、暗雑音レベルに非常に近くなる平均画素輝度を生成する非常に低い露光時間に対応する画像取り込みである、低露光テストフレーム（ＬＩＴＦ）、（Ｂ）少なくとも３つの異なる露光間隔の１つに対応する画像取り込みである、高露光テストフレーム（ＨＩＴＦ）、（ｃ）画像フレームを画像センサ１８から取得するために使用される回路にテストパターンを投入する、デジタルテストパターンフレーム（ＤＴＰＦ）が考えられる。各種類における１つのテスト画像は、応答時間サイクルごとに取り込んでもよい。このようにして、各種類における多くのテスト画像を、指定されたバックグラウンドテストサイクル（数分から数時間）にわたって収集および解析してもよい。
【００５６】
さらなる緩和策には、（ａ）多くのＬＩＴＦのセットを使用する画素データの時系列変動を、最大閾値と比較する、雑音画素検知、（ｂ）多くのＬＩＴＦおよびＨＩＴＦのセッ
トを使用する画素データの同じ時系列変動を、最小閾値と比較する、スタック欠陥画素検知（高または低）、（ｃ）画素輝度の応答を測定し、いくつかの露光レベルでＨＩＴＦに対する予期した応答と比較する、低感度画素検知、（ｄ）既知のデジタルテストパターンの画像処理を、予期した結果と比較し、画像処理回路の適切な動作をチェックする、不良画素対処検知、（ｅ）白飛び、黒つぶれ、および遮蔽画素、つまり、正確な相関のために不適切と見なされる画素がこの範疇に入り、そのようなテストは、ランタイム画像データを使用して、フレームごとに実行することができる、平行化画像から識別された不良画素、（ｆ）画素を、画像センサ１８の適切なダイナミックレンジに対応する高閾値および低閾値と比較する、ダイナミックレンジテスト、がある。
【００５７】
上記の機能は、例えば、図４に示すように、センサユニット１６の画像処理回路３６の一実施形態に対して、ハードウェアとソフトウェアとをベースとした回路構成を組み合わせたものを使用して実現される。上述のＳＶＰは、複数の交差接続されたプロセッサ回路、例えば、画像プロセッサ回路４０２−１、４０２−２（画像プロセッサ）および制御プロセッサ回路４０４−１、４０４−２（制御プロセッサ）と共に、ここでは、ＳＶＰ４００とする。非限定の例において、画像プロセッサ４０２−１、４０２−２はＦＰＧＡであり、制御プロセッサ４０４−１、４０４−２は、マイクロプロセッサ／マイクロコントローラデバイス、例えば、ＴＥＸＡＳ  ＩＮＳＴＲＵＭＥＮＴＳ  ＡＭ３８９２マイクロプロセッサである。
【００５８】
画像プロセッサ４０２−１、４０２−２は、メモリ、例えば、ＳＤＲＡＭデバイス４０６を備えるか、または関連づけられ、メモリは、画像センサ１８からの画像フレームを処理するための作業メモリとして働く。これらは、各制御プロセッサ４０４−１、４０４−２によって起動もしくはリセットされるよう構成可能であり、各制御プロセッサ４０４−１、４０４−２は、作業メモリ（例えば、ＳＤＲＡＭデバイス４０８）を備えるか、もしくは関連づけられ、フラッシュデバイス４１０内に起動／構成データを備える。
【００５９】
各画像プロセッサ４０２間および各制御プロセッサ４０４間に見られる交差接続は、画像センサ１８の第１および第２の一次ベースラインペアを使用して、一次監視領域１２の二重チャネル重複監視をもたらす。この点に関して、「左側」の画像センサ１８−１、１８−３が、画像プロセッサ４０２−１および画像プロセッサ４０２−２に結合されていることが分かる。同様に、「右側」の画像センサ１８−２、１８−４は、画像プロセッサ４０２の両方に結合される。
【００６０】
さらに、機能タスクの分割の例において、画像プロセッサ４０２−１および制御プロセッサ４０４−１は、システムタイミングを確立し、Ｅｔｈｅｒｎｅｔ（登録商標）インターフェースであってもよい、制御ユニット２０への物理（ＰＨＹ）インターフェース３８をサポートする。制御プロセッサ４０４−１はまた、ＳＶＰ４００を構成する役割を果たし、画像プロセッサ４０２−１は、ＳＶＰのホストインターフェースへのゲートウェイの役割を果たす。制御プロセッサ４０４−１はまた、画像センサ１８を構成するバスインターフェースを制御する。さらに、画像プロセッサ４０２−１はまた、同じバスへの接続を含み、露光制御動作を実行する場合に、より高い精度を提供する。
【００６１】
また、制御プロセッサ４０４−２および画像プロセッサ４０２−２は、上記の動作に対し、重複処理チャネルを形成する。この役割では、画像プロセッサ４０２−２は、画像プロセッサ４０２−１のクロック生成および画像データインターリーブを監視する。この理由により、両方の画像プロセッサ４０２は、すべての画像センサ１８の画像データを出力するが、画像プロセッサ４０２−１だけは、画像センサクロックおよび同期信号を生成する。
【００６２】
画像プロセッサ４０２−２は、スタック欠陥画素検知アルゴリズムおよび雑音画素検知アルゴリズムを重複して実行し、ＳＶＰホストインターフェースから取り込んだデプスデータを使用して保護領域違反を重複してクラスタ化する。最終的に、画像プロセッサ４０２−２および制御プロセッサ４０４−２からのエラー検知アルゴリズム、クラスタリング、および物体追跡結果は、画像プロセッサ４０２−１および制御プロセッサ４０４−１からのそれらを正確に反映しなければならず、または、画像処理回路３６は、欠陥を宣言し、装置１０全体を作動して、動作の欠陥状態を入力させる。
【００６３】
各画像プロセッサ４０２は、ＳＤＲＡＭデバイス４０６と共に動作し、高ダイナミックレンジ融合、雑音画素統計情報、ＳＶＰテストフレーム、保護領域、および診断のために取り込んだビデオフレームなどの全画像フレームに対して緩衝されたデータをサポートする。これらの外部メモリはまた、実装された場合、画像プロセッサ４０２に、画像平行化または多解像度解析を実行させる。
【００６４】
各制御プロセッサ４０４とそのそれぞれの画像プロセッサ４０２との間のインターフェースは、ＰＣＩ−ｅｘｐｒｅｓｓまたはＳＡＴＡ型シリアルインターフェースなどの高速シリアルインターフェースである。あるいは、それらの間には、マルチビットパラレルインターフェースを使用することができる。どちらの手法でも、画像処理回路３６は、ＳＶＰ４００の制御のため、および出力デプスならびに平行化画像データへのアクセスのために、ＳＶＰ４００の「ホストインターフェース」を使用する。ＳＶＰ４００のホストインターフェースは、画像取り込み速度に対応した速度ですべての所望の出力を転送するのに十分速く動作するよう設計される。
【００６５】
さらに、プロセッサ間連絡チャネルにより、２つの重複制御プロセッサ４０４は、互いの動作を同期し続ける。制御プロセッサ４０４−１は、ＰＨＹインターフェース３８を制御するが、装置１０の実行／停止状態の最終決定をすることはできない（例えば、一次監視領域１２内の危険機械の実行／停止状態を制御する）。代わりに、制御プロセッサ４０４−２はまた、制御プロセッサ４０４−１が、ＰＨＹインターフェース３８を介して制御ユニット２０に転送する特定の機械実行アンロックコード（または、同様の値）を生成する必要がある。次いで、制御ユニット２０は、センサユニット１６の２つの重複チャネルが正しい機械状態に一致するかどうかの最終判断を行う。したがって、例えば、制御ユニット２０は、センサユニット１６の二重の重複チャネルからの状態指示に従い、適切な実行／停止状態へのＯＳＳＤ出力の実行／停止状態を設定する。あるいは、センサユニット１６は、他の例示的な実施形態において、センサユニット１６の２つの重複チャネルが正しい機械状態に一致するかどうかの最終判断を自身で行うことができる。
【００６６】
制御プロセッサ４０４−１、４０４−２の間のプロセッサ間インターフェースはまた、センサユニット構成および制御プロセッサ４０４−２に対するプログラムイメージを更新するための方法を提供する。代替の手法には、２つの制御プロセッサ４０４の間で単一のフラッシュデバイスを共有することがあるが、その構成は、２つのプロセッサ４０４の起動手順を適切にサポートするための追加回路が必要となる可能性がある。
【００６７】
一般命題として、画素レベルの処理動作は、画像プロセッサ４０２に対してバイアスされ、画像プロセッサ４０２を実装するための高速でＦＰＧＡベースのハードウェアを使用することが、この構成を補完する。しかしながら、いくつかの実施形態において、制御プロセッサ４０４に、ある画素レベル処理動作を実行するよう要求する、何らかのエラー検知アルゴリズムが用いられる。
【００６８】
しかしながら、ここでも、画像プロセッサ４０２は、単数または複数の所与の画像フレーム内の注目「枠」を示すことができ、注目枠に対応する画素データのみを制御プロセッ
サ４０４に送り、処理することができる。そのような手法もまた、画像プロセッサ４０２および制御プロセッサ４０４の間のインターフェース間のデータレートを減らす助けとなり、制御プロセッサ４０４に対する必要なアクセスおよびメモリ帯域幅要件を減らす。
【００６９】
画像プロセッサ４０２−１がＳＶＰ４００に対するインターリーブされた画像データを生成するので、テスト画像フレームをＳＶＰ４００に投入し、適切に動作させるためにＳＶＰ４００をテストするよう構成することも可能である。その場合、画像プロセッサ４０２−２は、テストフレームおよびＳＶＰ４００からの結果の出力を監視する。画像プロセッサの設計を簡単にするために、画像プロセッサ４０２−２は、ＳＶＰ４００に投入されるテストフレームの独自の重複コピーを保持するのではなく、投入されたテストフレームのＣＲＣをチェックするだけのために構成することが可能である。
【００７０】
いくつかの実施形態において、画像処理回路３６は、可能な限り、画像プロセッサ４０２が必要な画素ごとの演算を実行するよう構成され、一方、制御プロセッサ４０４は、高レベルな浮動小数点演算を扱う。処理機能の割り当てに関してさらに詳細には、以下の機能分割を使用する。
【００７１】
画像センサのタイミング発生のために、１つの画像プロセッサ４０２がすべてのタイミングを発生し、他の画像プロセッサ４０２が、そのタイミングを検証する。制御プロセッサ４０４の１つが、タイミングパラメータを、タイミング発生画像プロセッサ４０２に送り、他の画像プロセッサ４０２のタイミング検証を実行する画像プロセッサ４０２によって生成されたタイミング測定値を検証する。
【００７２】
ＨＤＲ画像融合のために、画像プロセッサ４０２は、ＨＤＲ融合機能を使用して、低および高センサ露光を使用して取得された画像ペアをバッファリングおよび組み合わせる。制御プロセッサ４０４は、画像プロセッサ４０２に、ＨＤＲ融合機能のために必要なセットアップ／構成データ（例えば、トーンマッピングおよび重み付けアレイ）を提供する。あるいは、制御プロセッサ４０２は、画像フレームレジスタ構成を交互に入れ替え、短／長露光パターンを実現する。
【００７３】
画像平行化機能のため、画像プロセッサ４０２は、画像センサ１８から取得した未処理の画像データから生じたような、平行化された歪みの無い画像データを補完する。それに対応して、制御プロセッサ４０４は、平行化された歪みの無い画像データを取得するために使用される較正および平行化パラメータを生成する。
【００７４】
画像プロセッサ４０２の１つは、ＳＶＰ４００に対して設定インターフェースを提供する。さらに、画像プロセッサ４０２は、平行化画像をＳＶＰ４００に送り、対応するデプスマップ（画像画素に対する３Ｄ距離データ）をＳＶＰ４００から取り込む。代替の対応アルゴリズム、例えば、正規化相互相関（ＮＣＣ）を使用して、画像プロセッサ４０２は、さらに、必要に応じて、副画素補完の精度を平行化することが可能である。制御プロセッサ４０４は、画像プロセッサ４０２の１つによって提供されるゲートウェイを使用して、ＳＶＰ４００を設定する。
【００７５】
クラスタリングに対し、画像プロセッサ４０２は、前景画素および「緩和」画素をクラスタリングし、そのような各クラスタに対する統計情報を生成する。それに対応して、制御プロセッサ４０４は、検知された物体が、侵入警告、安全重視シャットダウンなどを作動させるかどうかを評価するために使用される実際の３Ｄ距離を規定する、例えば、警告境界、安全重視境界などの、一次監視領域１２に対する保護境界を生成する。
【００７６】
物体の残存に対し、制御プロセッサ４０４は、時間的フィルタリング、動き追跡、およ
び物体分割−マージ機能を実行する。
【００７７】
不良画素検知演算に対し、画像プロセッサ４０２は、不良画素に対する画素ごとの統計情報および補完データを維持する。制御プロセッサ４０４は、任意選択的に、工場出荷時の欠陥リストを画像プロセッサ４０２にロードする。工場出荷時の欠陥リストは、例えば、画像センサ１８を製造中にテストすることを可能にし、その結果、不良画素を、マップもしくは他のデータ構造内で検知かつ記録することができ、その結果、画像プロセッサ４０２に、既知の不良画素について知らせることができる。
【００７８】
露光制御演算に対し、画像センサ４０２は、グローバル輝度統計情報を収集し、露光タイミングを調整する。それに対応して、制御プロセッサ４０４は、露光制御パラメータを提供するか、または、任意選択的に、フレームごとの比例・積分・微分（ＰＩＤ）もしくは露光のための同様のフィードバック制御を実現する。
【００７９】
ダイナミックレンジ演算に対し、画像プロセッサ４０２は、ダイナミックレンジ緩和ビットを生成する。それに対応して、制御プロセッサ４０４は、ダイナミックレンジ限界を、画像プロセッサ４０２にもたらす。
【００８０】
遮蔽物体検知演算に対し、必要であれば、画像プロセッサ４０２は、追加の変換画像を作り出し、例えば、各二次ベースラインペアにおける２つの画像センサ１８によって取得された画像データ間の画像差を検知するための画素マッチング検索を実施する。例えば、画素マッチング検索を使用して、画像センサ１８−１によって取得された画像データと、画像センサ１８−３によって取得された画像データとを比較する。ここで、それら２つのセンサ１８−１、１８−３は、第１の二次ベースラインペアを備える。同様の比較は、画像センサ１８−２、１８−４を備える、第２の二次ベースラインペアによって取得された画像データ間でも行われる。遮蔽物体検知演算のサポートのために、制御プロセッサ４０４は、限界および／または他のパラメータを、画像プロセッサ４０２に提供する。
【００８１】
基準マーカ検知アルゴリズムに対し、画像プロセッサ４０２は、歪みのない画像を作り出し、画像データ内の基準マーカ全体にＮＣＣ検索を実施し、ベストマッチを見出す。制御プロセッサ４０４は、ＮＣＣの結果を使用して、平行化画像に対する較正および焦点距離補正を算出する。制御プロセッサ４０４はまた、枠化画素エリアに（集中して）帯域幅チェックを実行してもよい。基準マーカ緩和アルゴリズムのいくつかの他の態様はまた、平行化画像を必要とする可能性がある。
【００８２】
いくつかの実施形態において、ＳＶＰ４００は、画像平行化を実行してもよいが、画像処理回路４０２で画像平行化を実行することの利点もあるであろう。例えば、そのような処理は、画像プロセッサ４０２によって実行される他の演算を補完するので、画像プロセッサ４０２内に存在する方がより自然であるかもしれない。例えば、画像センサの不良画素マップ（スタック欠陥または雑音）は、画像データと同じ方法で平行化されなければならない。画像プロセッサ４０２が、すでに画像データに対する平行化を実施する必要がある場合、画像プロセッサ４０２が、不良画素マップを平行化し、画像および不良画素間での平行化に一貫性を保証することが意味をなす場合がある。
【００８３】
さらに、基準マーカ追跡は、少なくともある例において、平行化されていない歪みのない画像で最も有効に機能する。歪みを除去するための補完理論は、平行化と同様であり、そのため、画像プロセッサ４０２が歪みのない画像を作り出す場合、平行化を実行するために同様に設定された追加リソースを備えることが可能である。
【００８４】
さらに、遮蔽物体検知は、二次ベースライン３４−１、３４−２のそれぞれに対して少
なくとも１つの追加画像変換を必要とする。ＳＶＰ４００は、これらの追加の平行化を行うためのスループットを有さない可能性があるが、画像プロセッサ４０２は、追加の処理に快適に対応することができる可能性がある。
【００８５】
画像プロセッサ４０２における最も画素ベースの処理の統合に有利な他の態様は、ＺＬＤＣに関する。ＺＬＤＣを縮小するための１つの可能な方法は、画像データの多解像度解析を使用することである。例えば、長さ寸法の２分の１に縮小された画像を、対応する「通常の」画像が入力された後に、ＳＶＰ４００に入力する。この構成は、ＳＶＰ４００によって実現される最大差異を３倍にする。
【００８６】
ＳＶＰ４００によって実行される立体相関処理（「立体視処理」と称する）の別の態様において、ＳＶＰ４００への入力は、未処理または平行化された画像ペアである。入力画像ペアに対するＳＶＰ４００の出力は各画素に対するデプス（または、差異）値、相関スコアならびに／もしくはインタレスト演算子ビット、および平行化された画像データである。相関スコアは、相関の質に対応する数値であり、したがって、出力の信頼性に関する測定値を提供する。インタレスト演算子ビットは、問題の画素が、その相関スコアの特定の態様とともに満たされる必要のある所定の基準を満たしているかどうかの指示を提供する。
【００８７】
しかしながら、クラスタリング演算は、容易にパイプライン方式で実行され、したがって、画像プロセッサ４０２のＦＧＰＡベースの実施形態での実施に有利である。記載したように、クラスタリング処理は、前景画素を「クラスタ」に接続し、画像処理回路３６によって実施されるより高いレベルの全体的な物体検知アルゴリズムは、クラスタの画素の数、サイズ、および画素密度によって価値のある追跡になるかどうかを判断する。
【００８８】
画素グループがクラスタリングされると、データレートは、実質的に、全デプス画像のストリームより低くなる。この事実のため、および追跡物体の複雑さのため、物体の識別および追跡は、有利には、少なくとも、マイクロプロセッサまたはＤＳＰを使用して、制御プロセッサ４０４を実現する実施形態において、制御プロセッサ４０４で実行される。
【００８９】
不良画素検知の場合、画像処理回路３６は、高および低露光テストフレームのシーケンスを使用して、スタック欠陥（高／低）画素および雑音画素をチェックする。スタック欠陥画素検知機能からの不良画素は、装置１０の検知応答時間内で更新され、一方、アルゴリズムは、雑音画素を検知するために複数のテストフレームを必要とする。これらのアルゴリズムは、画像センサ１８からの未処理の画像データを処理する。
【００９０】
スタック欠陥画素テストは、画像プロセッサ４０２において容易にサポートされる単純な検知アルゴリズムに基づくが、雑音画素テストは、アルゴリズムは単純であるが、画像フレーム全体に対する画素統計情報のバッファリングを必要とする。したがって、画像プロセッサ４０２がそのような処理を行う程度まで、画像プロセッサ４０２には、そのようなバッファリングのために適切なメモリが備わる。
【００９１】
さらに広範には、例示的なアーキテクチャにおいて、画像センサ１８からの未処理の画像データのみが、画像センサ１８から画像プロセッサ４０２に流れる。未処理の画像データは、画像プロセッサ４０２から制御プロセッサ４０４に流れる必要はない。しかしながら、記載したように、不良画像センサ画素は、画像画素として同じ平行化変換を受けなければならず、その結果、クラスタリングアルゴリズムにより、正しく平行化された画像の座標にそれらを適用することができる。この点に関して、画像プロセッサ４０２は、不良画素に対して、ＳＶＰ４００によって実行された同じ平行化マッピングを反映することができなければならない。
【００９２】
不良画素が識別された場合、それらの値は、隣接する「良」画素から補完された値と置き換えられる。この処理は、複数のスキャンラインの履歴を必要とするため、その処理は、パイプライン方式で実行することができ、画像プロセッサ４０２の任意のＦＰＧＡベースバージョンで実装するのに適切である。
【００９３】
不良画素検知のある態様は、アルゴリズム的に単純であるが、遮蔽物体検知は、多数の関連機能を備える。そのような機能には、（ａ）各二次ベースラインペアにおける画像センサ１８間の輝度比較、（ｂ）誤検知を抑制するための画像形態などの後処理演算、（ｃ）保護領域を超えて延在して上記の（ａ）を満たすまで続く均一な遮蔽物体を表すことができる水平線の検知がある。
【００９４】
基準マーカーベースのエラー検知アルゴリズムは、フォーカスの損失、コントラストの損失、画像センサアライメントの損失、世界（３Ｄ座標）登録の損失、および１つまたは複数の他の画像センサエラーを含む多数の状況を検知するよう設計される。
【００９５】
図５は、上記の画像処理機能に関する「機能」回路または処理ブロックを示し、設定された境界に関連する情報などを任意選択的に有する、画像センサ１８の視野域１４に対応する出力映像を提供するための、映像出力回路４１２も任意選択的に含む。図５の例で提供される図示の処理ブロックは、画像プロセッサ４０２および制御プロセッサ４０４の間で分配されることが理解されるだろう。
【００９６】
そのことを念頭において、機能ブロックは、以下の要素を備えることが分かる。つまり、露光制御機能５００、不良画素検知機能５０２、不良画素平行化機能５０４、ＨＤＲ融合機能５０６、不良画素補完機能５０８、画像歪み補正および平行化機能５１０、立体相関およびＮＣＣ副画素補完機能５１２、ダイナミックレンジチェック機能５１４、遮蔽物体検知機能５１６、コントラストパターンチェック機能５１８、基準マーカ緩和機能５２０、領域ごとのクラスタリング機能５２２、物体残存および動きアルゴリズム機能５２４、ならびに欠陥／診断機能５２６を備える。これらの機能の１つまたは複数は、一次監視領域１２の二重チャネル監視に基づく重複物体検知に合わせて、重複して実行してもよいことに留意されたい。
【００９７】
画像取り込みは、「フレーム」と称する一連の連続的なタイムスライスで行われる。一例として、画像処理回路３６は、６０ｆｐｓのフレームレートで動作する。各ベースライン３２または３４は、画像センサ１８の１ペア、例えば、画像センサ１８−１、１８−２を備える第１のペア、画像センサ１８−３、１８−４を備える第２のペア、画像センサ１８−１、１８−３を備える第３のペア、および画像センサ１８−２、１８−４を備える第４のペアに対応する。
【００９８】
各ベースラインに対する未処理画像データは、同時に取り込まれる。雑音画素、スタック欠陥画素、または低感度画素は、未処理画像で検知され、不良画素マップを生成するために使用される。検知した欠陥画素信号は、通常の隣接画素を使用する補完方法を使用して補正される。この補正工程は、処理パイプラインのさらなる段階での欠陥画素への影響を最小にする。
【００９９】
高および低露光画像は、各ベースラインペアに対するシーケンスで取得される。したがって、画像フレームの各シーケンスは、高および低露光画像を交互に含む。画像ストリーム間の応答時間サイクルごとの１つまたは２つのフレームは、テスト目的のために用いられるものであり、「画像ストリーム」は、画像センサ１８の各ペアからの画像ごとのフレーム単位で流れる画像データに関する。
【０１００】
各画像センサ１８からの高および低露光フレームは、本明細書に記載されるＨＤＲ融合処理に従い、新しい画像に組み合わされる。結果としてのＨＤＲ画像は、拡張ダイナミックレンジを有し、高ダイナミックレンジ（ＨＤＲ）フレームと呼ばれる。ここで、ＨＤＲフレームレートは、６０Ｈｚで、対応するＨＤＲ画像を作り出すために異なる露光で取得した２つの未処理画像を必要とするため、３０Ｈｚであることに留意されたい。イメージャごとに１つの３０ＨｚＨＤＲ画像ストリームがあるか、またはベースラインごとに３０ＨｚＨＤＲ画像ペアがある。
【０１０１】
さらに、画像は、光学的な歪みを補正するために前処理され、それらはまた、コンピュータビジョンにおいて「平行化」と称される変換を受ける。結果としての画像は、「平行化画像」または「平行化画像データ」と称される。参考として、機能ブロック５１０からのそのようなデータ出力が見られる。不良画素マップはまた、後に使用するために、平行化ブロック５０４で見られるように、同じ平行化変換を受ける。結果としての不良画素データは、クラスタリング処理の間に使用され得る画素重みを含む。
【０１０２】
機能ブロック５１０からの平行化された画像データを使用して、多数のチェックを実行する。そのようなチェックには、画素を飽和閾値および不飽和閾値と比較し、それらの閾値から外れる場合に不良であるとフラグを立てる、ダイナミックレンジチェック、ならびに、物体がＺＬＤＣ内にあるかどうか、もしくは「側面遮蔽領域」（ＺＳＳ）内にあるかどうかを判断するために画像を解析する、遮蔽物体チェックがある。そのような物体は、もし存在する場合、１つまたは複数のセンサ視野域１４内に影を落とす可能性があり、事実上、センサユニット１６からその影の中にある可能性のある物体を見えなくする。遮蔽領域に対応する画素のグループは、「不良」としてフラグを立てられ、潜在的に危険な状態にあると識別される。
【０１０３】
そのような動作は、遮蔽物体検知機能５１６において実行される。さらなるチェックには、不良コントラストパターンチェックがあり、ここで、画像は、距離測定の結果を信頼性のないものとする可能性のあるコントラストパターンに対して解析される。テスト基準に満たない画素は、「不良」としてフラグを立てられる。同時に、平行化画像は、図５においてブロック５１２によって部分的に示された、ＳＶＰ４００に入力される。設計が単一のＳＶＰ４００に基づく場合、各一次ベースライン３２−１、３２−２に対するＨＤＲ画像フレームは、総計入力レート６０ＨｚでＳＶＰ４００に交互に入力される。そのため、一方のベースライン３２−１または３２−２に対するＨＤＲフレームは、他方のベースライン３２−１または３２−２に対して対応するＨＤＲフレームがＳＶＰ４００によって処理される間に緩衝される。距離データは、後処理され、低品質レンジポイントを発見かつ除去し、精度を徐々に改善し、次いで、規定した検知境界と比較される。
【０１０４】
３Ｄ距離データにより検知境界内に置かれる画素は、クラスタに分類される。不良画素も、直接識別されるか、もしくは画素重みの評価を通じて識別され、クラスタリング処理に含まれる。クラスタリング処理は、複数の検知境界に対して並行して実行することができる。検知されたクラスタのサイズは、最小物体サイズと比較され、最小物体サイズに合うもしくはそれを越えるクラスタは、多数のフレームにわたって追跡され、誤った偽検知を抑制する。最小サイズの物体と合致する検知されたクラスタが、最小期間（すなわち、規定された数の連続フレーム）にわたって残る場合、その状況は、侵入として分類される。侵入情報は、他のテストから監視されたように、欠陥状態と一緒に、例えば、安全なＥｔｈｅｒｎｅｔ（登録商標）プロトコルを使用して、制御ユニット２０に送られる。
【０１０５】
基準マーカ監視は、ブロック５２０で実行されるように、および光学欠陥に対する自己テストとして必要とされるように、物体検知処理と並行して、平行化された画像データを
使用して実行される。基準マーカ監視タスクは、光学欠陥に対する診断機能を提供するだけでなく、熱ドリフトによる感度の小さな変動に対応して画像平行化に使用されるパラメータを調整するための機構も提供する。
【０１０６】
さらに、バックグラウンドテストおよび実行時間テストのセットは、センサユニット１６の状態を制御ユニット２０に通信するためにも使用される出力を提供する。さらなる処理には、ブロック５００に見られる、上記処理機能から独立して実行される露光制御アルゴリズムがある。露光制御アルゴリズムは、感度を調整することでライティング状況がゆっくりと変化することを補償することができ、さらに、テストフレーム期間の間、特定の座標に対するテストを可能にする。
【０１０７】
上記の例示的なアルゴリズムが、堅実で安全なマシンビジョンシステムを生成するために有利に組み合わされるが、それらは、変更される可能性のある非限定的な例であると理解されるべきである。概して、一次監視領域１２に対する物体検知処理は、立体画像処理技術を使用して、３Ｄユークリッド距離を計測する。
【０１０８】
したがって、二重ベースライン、遮蔽検知、および高ダイナミックレンジ作像の特徴は、すべて、基礎をなす立体画像処理技術をさらに向上させる。一次監視領域１２に対する二重ベースライン３２−１、３２−２は、第１および第２の立体視チャネルからの重複物体検知情報を提供する。第１の立体視チャネルは、第１のベースライン物体検知情報を取得し、第２の立体視チャネルは、第２のベースライン物体検知情報を取得する。第１のベースラインからの物体検知情報は、第２のベースラインからの物体検知情報と比較される。比較における不一致は、異常、もしくは故障状態を示す。
【０１０９】
一次ベースライン３２が、一次監視領域１２における一次物体検知に使用される間、二次ベースライン３４は、センサユニット１６に近接する第１の物体が、センサユニット１６からより離れた第２の物体を視覚的に遮らないもしくは遮蔽しないことを確実にするよう実行される、遮蔽物体検知に使用される。これには、１つの画像センサ１８によって検知され、他の画像センサ１８によって検知されない物体を検知するために必要とされる処理能力を含む。
【０１１０】
図６、図７Ａ、図７Ｂは、遮蔽物体検知、ならびにＺＬＤＣおよびＺＳＳ区域に関する有用な図を提供する。１つまたは複数の実施形態において、特に図６を参照すると、画像センサ１８−１、１８−２は、第１の立体視チャネルとして処理するための立体画像のペアをもたらす第１の立体視ペアとして動作し、画像センサ１８−３、１８−４は、第２の立体視チャネルとして処理するための立体画像のペアをもたらす第２の立体視ペアとして動作し、画像センサ１８−１、１８−３は、第３の立体視チャネルとして処理するための立体画像のペアをもたらす第３の立体視ペアとして動作し、画像センサ１８−２、１８−４は、第４の立体視チャネルとして処理するための立体画像のペアをもたらす第４の立体視ペアとして動作する。第１および第２のペアは、それぞれ、一次ベースライン３２−１、３２−２によって隔てられ、一方、第３および第４のペアは、それぞれ、二次ベースライン３４−１、３４−２によって隔てられる。
【０１１１】
本明細書で上記したように、センサユニット１６の画像処理回路３６によって使用される一次物体測距技術は、合致する画素に対するエピポーラ線を介して検索し、画素差異に基づいて距離を算出する、２つの異なる位置に設置された２つの画像センサ１８の間の立体相関である。
【０１１２】
この一次物体測距技術は、少なくとも一次監視領域１２に適用され、図６は、第１および第２の立体視チャネルを使用して、一次監視領域１２内の物体を検知することを示す。
すなわち、一次監視領域１２内の物体は、第１の画像センサ１８−１によって取り込まれた画像と第２の画像センサ１８−２によって取り込まれた画像とを関連づけることによって検知され（第１の立体視チャネル）、さらに、第３の画像センサ１８−３によって取り込まれた画像と第４の画像センサ１８−４によって取り込まれた画像とを関連づけることによって検知される（第２の立体視チャネル）。したがって、第１および第２の立体視チャネルは、一次監視領域１２内の物体に対して、重複した検知能力を提供する。
【０１１３】
第３および第４の立体視チャネルを使用して、（１）ＺＬＤＣの内側である、および／または、（２）一方のＺＳＳ内である、センサ視野域１４を包囲する、二次監視領域を作像する。この点に関して、ＺＬＤＣ内にある所与の最小サイズの物体は、二次ベースラインペアのそれぞれによって取得される画像ペアで動作する差異ベースの検知アルゴリズムを使用して検知されるのに十分近いことを理解すべきである。しかしながら、これらの差異ベースアルゴリズムは、（物体が、すべてのセンサ視野域１４内に現れない）ＺＬＤＣ限界を超えるが一方のＺＳＳ内にある物体を検知することができない場合がある。というのも、観測された画像の差異が、物体距離が増すにつれて減少するためである。２つのリスク緩和策の一方または両方を使用して、ＺＳＳ内の遮蔽物体検知を扱うことが可能である。
【０１１４】
まず、図８に示すように、センサユニット１６は、画像センサ１８の接角が、ＺＳＳを最小にするように構成してもよい。次に、ＺＳＳ内の物体は、第１および第２の二次ベースラインペアによって取得された画像に対する立体相関処理を使用して検知することができる。すなわち、画像処理回路３６は、第１の画像センサ１８−１によって取り込まれた画像と第３の画像センサ１８−３によって取り込まれた画像とを関連づけるよう構成してもよく（第３の立体視チャネル）、さらに、第２の画像センサ１８−２によって取り込まれた画像と第４の画像センサ１８−４によって取り込まれた画像とを関連づけるよう構成してもよい（第４の立体視チャネル）。したがって、画像処理回路３６は、一次監視領域１２における物体検知のために、第１および第２の立体視チャネル（画像センサ１８の第１および第２の一次ベースラインペア）から取得した画像データに対して立体相関処理を使用し、ＺＬＤＣおよびＺＳＳにおける物体検知のために、第３および第４の立体視チャネル（画像センサ１８の第１および第２の二次ベースラインペア）から取得した画像データに対して輝度差ならびに立体相関処理のいずれかもしくは両方を使用する。
【０１１５】
図７Ａ、図７Ｂの例で示すように、第３および第４の立体視チャネルを使用して、一次監視領域１２内で物体を遮蔽する可能性のある、二次監視領域内の物体を検知する。センサユニット１６の直前にあり、さらに一次監視領域１２のいずれかの側面にある区域は、一次ベースライン立体視チャネル、すなわち、一次ベースライン３２−１、３２−２に対応する第１および第２の立体視チャネルを使用する物体検知に使用することができない。
【０１１６】
例えば、図７Ｂは、一次監視領域１２とセンサユニット１６との間にあり、すなわち、ＺＬＤＣ内にあり、場合によっては、一次監視領域１２内の物体を遮蔽する遮蔽物体“１”を示す。図では、一次監視領域１２内にあるが、１つまたは複数の画像センサ１８に対する遮蔽物体“１”によって遮蔽される一次監視領域１２の区域内にあるために検知されない可能性がある物体“Ａ”および“Ｂ”が見られる。
【０１１７】
さらに、図７Ｂは、他の遮蔽例を示し、ここでは、物体“２”が、最小検知距離を超えている（ＺＬＤＣ境界を超えている）が、一次監視エリア１２の一方の側面に位置する。言い換えると、物体“２”は、一方のＺＳＳ内にあり、したがって、同じ側の１つまたは複数の画像センサ１８に対する一次監視領域１２に影を落とす。したがって、一次監視領域１２内にあるが、物体“２”から射影された影の中にある物体“Ｃ”は、確実には検知されない可能性がある。
【０１１８】
したがって、遮蔽物体が一次監視領域１２における物体検知をもたらすのと同じ距離の分解能では必ずしも検知されない可能性があるが、センサユニット１６が遮蔽物体を検知することは重要である。したがって、画像処理回路３６は、一次監視領域１２内の物体のフル分解能、重複検知のための一次物体検知機構と、ＺＬＤＣ内部の物体の存在を検知するための二次物体検知機構と、ＺＳＳ区域内の物体の存在を検知するための三次物体検知機構とを有するとみなされ得る。図８の例のように、左側と右側との間の接角の存在により、最終の画像センサ／ＦＯＶ構成を設ける。接角は、一次監視領域１２のいずれかの側面でのＺＳＳを除去するか、または大幅に減らすように設定してよく、その結果、側面遮蔽の危険性を減らすか、もしくは除去する。
【０１１９】
ＺＬＤＣ区域に対する物体検知は、センサユニット１６の各側面に設置された隣接する画像センサ１８の間に何らかの大きな差があるかどうかを検知することに基づく。例えば、そのような処理には、画像センサ１８−１からの画像データと、画像センサ１８−３の画像データとの比較が含まれる。（同様の処理において、画像センサ１８−２と１８−４との間の画像データを比較する）。センサユニット１６の近くにあり、これらの近接配置された画像センサペアの１つから見えるところに物体がある場合、近傍内のそれぞれの画素輝度の単純な比較により、大きな差が明らかになる。そのような差は、他方の画像内の同じ位置に対応する所与の検索枠内部で輝度が一致しない一方の画像におけるそれらの点にフラグを立てることによって発見される。「一致」と判断する基準は、比較が各イメージャ内の平均利得および／または雑音レベルに影響されないようにするように設計される。
【０１２０】
他の例として、二次（短）および一次（長）ベースライン長の間の関係は、それぞれをｔおよびＴとして、ｔ／Ｔ＝Ｄ／ｄと表すことができる。ここで、Ｄは、一次ベースラインの最大差異検索距離であり、ｄは、画像差アルゴリズムの検索枠サイズである。
【０１２１】
この方法は、ＺＬＤＣ区域の内側にある、および、そこに近接する物体を検知するために設計される。ＺＬＤＣ区域から離れた物体は、画像データ内の非常に小さな差異に対応し、したがって、近接配置されたセンサペアからの画像が比較された場合、そのような大きな差は生成されないだろう。ＺＬＤＣ境界を越えるが一次監視領域１２の１つの側面にある物体を可能な限り検知するために、近接配置されたセンサペアは、立体視ペアとして動作し、これらの対応する立体画像ペアは、対応するＺＳＳ区域内の物体のみを検索する方法で処理される。
【０１２２】
当然、上記の物体検知処理のすべてまたはいくつかにおいて、ＨＤＲ画像の使用により、センサユニット１６は、より幅広い周辺光状態で機能することが可能となる。ＨＤＲ画像融合のための一実施形態の一例において、画像処理回路３６は、多数の演算を実行する。例えば、較正処理は、特徴づけ工程として使用され、インバース画像センサ応答関数（ＣＲＦ）を回復させ、ｇ：Ｚ→Ｒが製造段階で要求される。ｇの範囲は、（Ｚで表される）０から１０２３の範囲の１０ビット（イメージャデータ分解能）整数である。範囲は、実数の集合Ｒである。
【０１２３】
実行時間では、ＣＲＦを使用して、異なる（既知の）露光で取得された画像を組み合わせて、放射照度画像（ｉｒｒａｄｉａｎｃｅ  ｉｍａｇｅ）Ｅを作り出す。ここから、回復した放射照度画像は、対数演算子を使用してトーンマッピングされ、次いで、ＳＶＰ４００によって処理するのに適切な、１２ビット輝度画像に再マッピングされる。
【０１２４】
ＣＲＦを回復するために、さまざまな異なる較正／特徴づけアルゴリズムが考えられる。例えば、Ｐ．ＤｅｂｅｖｅｃとＪ．Ｍａｌｉｋによる「Ｒｅｃｏｖｅｒｉｎｇ  Ｈｉｇ
ｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｒａｄｉａｎｃｅ  Ｍａｐｓ  ｆｒｏｍ  Ｐｈｏｔｏｇｒａｐｈｓ」ＳＩＧＧＲＡＰＨ１９９８およびＴ．ＭｉｔｓｕｎａｇａとＳ．Ｎａｙａｒによる「Ｒａｄｉｏｍｅｔｒｉｃ  Ｓｅｌｆ  Ｃａｌｉｂｒａｔｉｏｎ」ＣＶＰＲ１９９９を参照されたい。
【０１２５】
いかなる場合でも、以下の擬似コードは、実行時間で実行されるような、例示的なＨＤＲ融合アルゴリズムの概要を示す。アルゴリズム入力は、ＣＲＦ  ｇ、低露光フレームＩＬ、低露光時間ｔＬ、高露光フレームＩＨ、および高露光時間ｔＨを含む。対応するアルゴリズム出力は、１２ビット放射照度画像Ｅである。
【０１２６】
各画素ｐに対し、
【０１２７】
【数１】
0006264477.tif 000002
【０１２８】
であり、ここで、ｗ：Ｚ→Ｒは、重み付け関数（例えば、Ｇｕａｓｓｉａｎ、ｈａｔなど）である。本アルゴリズムは、ｌｎＥ（ｐ）→［０，４０９６］でマッピングを継続し、１２ビット放射照度画像Ｅを取得する。ここで、オフセット演算およびスケーリング演算を含むことが理解されよう。
【０１２９】
実行時間ＨＤＲ融合アルゴリズムは、画素ごとに独立して動作し、提案するＨＤＲスキームは、並列処理をサポートする本質的にはどんなプラットフォームへの実施にも適する。この理由により、画像プロセッサ４０２のＦＰＧＡベースの実施は、とりわけ有利となる。
【０１３０】
当然、これらおよび他の実施詳細は、少なくともある程度は、性能要件および用途詳細により変えることができる。一例において、装置１０は、複数の領域または区域を含む一次監視領域１２を用いる。図９は、一次監視領域１２が、一次保護領域（ＰＰＺ）、一次許容域（ＰＴＺ）、二次保護領域（ＳＰＺ）、および二次許容域（ＳＴＺ）を含む一例を示す。
【０１３１】
少なくともいくつかの実施形態において、装置１０は、全身検知システムとして構成されるので、異なる方法で危険ポイントにアプローチしようとする人間に対して、さまざまな可能性が考えられる。人間が、危険ポイントに向かって床面を這う可能性があり、または、人間が、危険ポイントに向かって歩く／走る可能性がある。人間の動く速度および最小射影サイズ（または、画像）は、アプローチ方法論の関数である。伏せている、または這っている人間は、典型的に、歩いている人間よりも遅い速度で動き、さらに、画像面上でより大きな表面領域を射影する。侵入者のアプローチ方向により、２つの異なる検知要件が含まれる。これらの制約は、人体の検知を損なうことなく、誤検知を抑制する助けとなる。
【０１３２】
図９に関連して有用な構成の例では、ＰＰＺは、センサヘッド（ＳＨ）１６から、床面上４２０ｍｍまで延在する。規定したＰＴＺは、直径２００ｍｍの最悪ケースの試験体が最大速度１．６ｍ／ｓで動く場合に、検知を保証するよう規定される。ＰＰＺは、歩いている／走っている人間を確実に検知する。
【０１３３】
他方で、這っている人間は、最大速度がより遅く（例えば、０．８ｍ／ｓ）、ＰＰＺに部分的にのみ侵入しながら動くであろう。這っている人間の検知を保証するために、装置
１０は、（最大スタンドオフ距離要件を満たすため）ＳＨ１６から、床面から３００ｍｍまでＳＰＺを延長するよう構成される。また、この領域に対する最悪ケースの試験体のサイズは、直径２００ｍｍの球体より大きく、それは、伏せている人間の最悪ケースの射影が、より大きいからである。ＰＴＺと同様に、ＳＴＺは、必要な検知確率を維持するよう規定される。さらに、ＰＴＺは、ＳＰＺと重複する。異なる使用方法または用途に対して、これらの領域の定義は、例えば、異なる高さおよび／または最悪ケース物体検知サイズを使用して、さまざまに構成することができることに留意されたい。
【０１３４】
これら２つの領域を使用する物体検知に関し、装置１０は、各ケースに対して別々の保護境界およびフィルタリング戦略を想定することによって、（走っている人間および這っている人間に対して）２つの検知基準を独立して実施する。ＰＰＺおよびＰＴＺに対応する第１の保護領域境界は、最大速度１．６ｍ／ｓを有する可能性のある、２００ｍｍより大きい物体を検知する。ｎフレーム中の少なくともｍフレームに対して、クラスタの残存を確認する時間的フィルタリング条件をさらに使用することができる。例えば、６０Ｈｚの画像フレームレートに対して２００ｍｓの応答時間を維持するために、４／６フレームフィルタリング戦略を、この検知アルゴリズムに対して使用することができる。
【０１３５】
同様に、ＳＰＺおよびＳＴＺに対応する第２の保護領域境界は、０．８ｍ／ｓの要件によって制限される、より遅い最大速度で動く、斜位像から人体の胴の射影に対応する最小サイズの物体を検知するよう構成される。より遅く動く物体、例えば、這っている人間は、同じ距離（歩いている／走っている人間の動く速度により算出される安全距離）をカバーするのに、より長い時間がかかるだろう。このため、ＳＰＺ内の物体を検知するために、より長い応答時間（２００ｍｓ×１．６ｍ／ｓ÷０．８ｍ／ｓ＝４００ｍｓ）が必要となる。同様に、許容応答時間をより長くすることで、より堅実な８／１２フィルタリング戦略の使用が可能となり、ＳＰＺ内の物体検知のために、背景構造物（例えば、床面）から発生する可能性のある誤検知を効果的に抑制することが可能となる。
【０１３６】
したがって、本明細書で意図する方法は、這っている人間および歩いている人間が監視領域に侵入することに対し、以下に基づいて保護することを備える。すなわち、床面上部の規定した高さで始まる第１の監視領域、および第１の監視領域より下側であり、床面か、もしくは人間が歩いたり這ったりすることが可能な他の表面方向に下方に延在する第２の監視領域の立体画像を取得することと、立体画像を処理して距離画素を取得することと、歩いているか、もしくは走っている人間を検知するために調整された第１の物体検知パラメータを使用して、第１の監視領域に対応する距離画素を処理することによって、第１の監視領域内への物体の侵入を検知することと、這っているか、もしくは伏せている人間を検知するために調整された第２の物体検知パラメータを使用して、第２の監視領域に対応する距離画素を処理することによって、第２の監視領域内への物体の侵入を検知することとを備える。
【０１３７】
意図した方法によれば、第１の物体検知パラメータは、第１の監視領域内で検知可能な物体に対する最小サイズを規定する第１の最小物体サイズ閾値を含み、さらに、第１の監視領域内で検知可能な物体に対する最大速度を規定する第１の最大物体速度を含む。第２の物体検知パラメータは、第１の最小物体サイズ閾値より大きな第２の最小物体サイズ閾値を含み、さらに、第１の最大物体速度より遅い第２の最大物体速度を含む。
【０１３８】
例示的実装態様において、第１の監視領域は、床面もしくは他の表面上部約４２０ｍｍで始まり、ＳＨ１６に射影的に延在し、第２の監視領域は、床面もしくは他の表面上部３００ｍｍから、第１の監視領域の開始地点もしくはＳＨ１６まで延在する。さらに、第１の最小物体サイズ閾値は、第１の監視領域に対応し、断面で２００ｍｍもしくは約２００ｍｍであり、第２の最小物体サイズ閾値は、第２の監視領域に対応し、断面で２００ｍｍ
超であり、第１の最大物体速度は、約１．６ｍ／ｓであり、第２の最大物体速度は、約０．８ｍ／ｓである。当然、歩く／這うの検知もしくは他の理由のために、監視領域１２を複数の監視領域もしくは区域に分割することは、本明細書で意図する装置１０の構成の一例を意味する。
【０１３９】
さらに、装置１０の１つまたは複数の実施形態で使用するような物体検知中の時間的フィルタリングの使用にかかわらず、シーン内にある何らかの永続的構造が、物体侵入として誤って検知される可能性がある。距離検証ならびにクラスタベースの処理（例えば、クラスタ後処理）のある要素が、以下の２つの既知の場合による誤検知を抑制するのに必要となる。すなわち、（ａ）２つの「テクスチャの無い」区域の接合部で形成される、高コントラストエッジ、（ｂ）エピポーラエラーの状況下でのセンサベースラインに対して、小さな方位角を有する（すなわち、画像行が、エピポーラ線に、正確に対応しない）エッジである。
【０１４０】
上記の場合によるエラー（ａ）を抑制するために、少なくとも１つの実施形態における装置１０は、輝度特性を用いて独立した立体検証を、および同様の尺度として正規化相互相関（ＮＣＣ）を実行することによって、保護領域境界を貫通するピクセルの距離を検証するよう構成される。平行化された距離値は、連続するクラスタリングおよびフィルタリングの段階で使用される。
【０１４１】
上記のケース（ｂ）に属するエラーは、系統誤差であり、検知ベースラインと整列した（または、ベースラインに対して小さな角度を有する）エッジ構造によるものである。このエラーの大きさは、ベースラインに対するエピポーラシフト（Δｙ）およびエッジ方向（θ）の関数であり、（差異エラーの点から）以下により得られる。
【０１４２】
Δｄｅｐｉｐｏｌａｒ＝Δｙ／ｔａｎ（θ）
したがって、本システムは、小さい配向角θを有するエッジに対応する距離ポイントを抑制するよう構成することができる。
【０１４３】
さらに詳細な例において、図１０Ａおよび図１０Ｂは、１つまたは複数の実施形態における装置１０により実行される、物体検知処理の方法１０００を示す。本明細書で詳細に上記したように、画像センサ１８のペアからの複数の未処理画像が、立体画像として取り込まれ（ブロック１００２）、関係する画像センサ１８の各視野域１４内で画像化されたシーンの高ダイナミックレンジ画像を生成するよう共に構成される（ブロック１００４）。
【０１４４】
立体視チャネルからの結果としてのＨＤＲ画像は、対応する光軸が並列であり、エピポーラ線が対応する画像行であるエピポーラ幾何に対応するように平行化される（ブロック１００６）。さらに、本明細書の上部で説明したように、緩和処理が実行され（ブロック１００８）、（例えば、視野から遮蔽される可能性のある区域に対応する）不良（すなわち、障害）もしくは信頼性のない立体画像における画素を適切に処理しないために発生する物体検知異常もしくは検知の非信頼性を緩和する。平行化されたＨＤＲ画像の処理はまた、画像処理回路３６に含まれる立体視プロセッサ４００による立体相関処理を含む（ブロック１０１０）。立体視プロセッサは、立体対応関係アルゴリズムを実行して、（３Ｄ）デプスマップを算出し、後にデプスマップ処理の対象とする（ブロック１０１２）。
【０１４５】
図１０Ｂは、デプスマップ処理の例示的詳細を提供する。ここでは、立体視プロセッサ４００によって生成されたデプスマップ内の各距離画素に対して決められた距離値が、その画素位置での保護境界の距離値と比較される（ブロック１０１２Ａ）。この比較は、直交座標（直線位置および距離）からのデプスマップを極座標（立体角値およびラジアル距
離）に基づくデプスマップに変換することに基づき、極座標で、すなわち、ラジアル距離値を使用して行うことができることに留意されたい。したがって、デプスマップは、直交座標または極座標とすることができるが、画像センサの視野域の射影空間を表す極座標表現にデプスマップを変換することに対して、何らかの利点が本明細書では認識される。
【０１４６】
あらゆる場合において、処理された距離画素が、その画素位置で保護境界を越える距離を有する場合、これ以上の考慮対象から外れる（ＮＯ、つまり、ブロック１０１２Ａからブロック１０１２Ｂに進む）。他方で、その距離が保護境界内にある場合、処理は継続し、ＮＣＣ処理を使用してデプス（距離）情報を再算出し（ブロック１０１２Ｃ）、距離比較が再び実行される（ブロック１０１２Ｄ）。再算出された距離が保護境界内である場合（ブロック１０１２ＤからＹＥＳに進む）、画素はフラグ立てされ、クラスタ処理の対象であるフラグ立てされた画素のセットに含まれる。再算出された距離が保護境界範囲外である場合（ブロック１０１２ＤからＮＯに進む）、その画素は破棄される（ブロック１０１２Ｅ）。
【０１４７】
上記した処理は、「リファインメント」ステップの一例であり、画像処理回路３６は、例えば、初期の立体相関処理から取得されるような、粗い距離情報に基づいてデプス画素を最初にフラグ立てし、次いで、より精密な距離決定判断を、それらの初期にフラグ立てされた距離画素に適用するよう構成される。したがって、この手法は、より精密だが遅い距離算出アルゴリズムを、全画素ではなく最初にフラグ立てされた距離画素に適用することによって、全体的な算出時間および複雑度を低減するよう改善し、それらの初期にフラグ立てされた距離画素に対して再算出された（より精密な）デプス情報をもたらす。より精密な、再算出された距離情報を使用して、保護範囲距離に対し、フラグ立てされた距離画素を検証する。
【０１４８】
再び図１０を参照すると、フラグ立てされた画素のセットでクラスタ処理を実行するよう処理が継続される（ブロック１０１４）。そのような処理は、エピポーラ後処理および／または（時間的）フィルタリングを含むか、または伴うことができ、雑音と、現実の物体に対応する永続的検知イベントに対する他の一時的検知イベントとを区別するために使用される。
【０１４９】
上記を踏まえ、１つまたは複数の実施形態における装置１０の画像処理回路３６は、３Ｄデプスマップを直交座標から極座標に変換することによって、デプスマップを取得するよう構成される。次いで、デプスマップを使用して、一次監視領域１２内の物体を検知する。デプスマップ内の各有効距離画素は、（格納された）検知境界と比較され、画素侵入の可能性を判断する。この試験を通過した画素は、以下で説明する、ＮＣＣベースの立体相関関係ステップを使用する距離検証（および、距離更新）を受ける。更新された距離画素は、保護領域境界試験を再び受け、その試験を通過した画素には、クラスタ処理が検討される。非限定的な例として、保護境界は、上記で識別したＰＰＺとＰＴＺ、またはＳＰＺとＳＴＺとすることができ、どの領域をクラスタリングするかにより、それぞれが、対応する物体検知プロセッサによって扱われる。次いで、検知されたクラスタは、以下で説明する、エピポーラエラー抑制後処理ステップを受ける。最後に、残ったクラスタが、時間的フィルタリングおよび誤検知抑制試験の対象となり、最終的な侵入状態を判断する。
【０１５０】
より詳細には、画像処理回路３６は、射影空間座標システムを使用して、距離データを効率的に解析する。この手法は、以下の理由により、特に有効である。すなわち、（ａ）画像センサ１８が、射影センサであり、したがって、本来の極座標システムが好ましい、および（ｂ）遮蔽物体などの問題を、射影幾何学を使用して容易に扱えるためである。
【０１５１】
具体例では、射影空間において、
−  デプスマップ内の各画素（ｕ，ｖ，Ｚ）が、左カメラの中心を通る線と考えることができる。線（ｕ，ｖ）に沿った第１の視認可能物体の（カメラＺ軸に沿った）距離は、Ｚによって表されて、立体対応関係を用いて算出される。
【０１５２】
−  遮蔽している物体および遮蔽された物体の両方が、同じ立体角を形成する。
−  ３Ｄ空間の角度量子化を生成することで、遮蔽している物体および遮蔽された物体の両方に、同じ検知原理を適用可能にする。
【０１５３】
−  ３Ｄ直交座標（Ｘ，Ｙ，Ｚ）を３Ｄ極座標（ｒ，θ，φ）に変換する。
−  保護境界は、各画素線に沿ったラジアル距離の関数として既知であると仮定する。
【０１５４】
−  したがって、本装置は、各距離画素のラジアル距離を境界マップと比較し、保護境界外にあるポイントを除外することができる。
【０１５５】
−  保持するポイントは、２Ｄ（θ，φ）ヒストグラムの区間に入り、ここで（θ，φ）は、量子化（すなわち、立体角の量子化）してもよい。
【０１５６】
−  ２Ｄ（θ，φ）ヒストグラムは、２Ｄ画像として解釈され、クラスタリング／検知アルゴリズムに渡される。
【０１５７】
−  上記のアルゴリズムを使用して、本システムは、遮蔽物体を明示的な意味で扱う必要はない。
【０１５８】
−  この機能は、物体検知を、（以下の例で記載する）他の緩和結果と統合することができる、統一的フレームワークを容易にする。
【０１５９】
上記の処理に関して、緩和結果を物体検知と統合するさまざまな実施形態が、本明細書で意図される。射影空間座標系（極座標系）では、画像処理回路３６は、画素ごとの緩和結果の出力を、物体検知アルゴリズムに直接統合するため、統一的処理フレームワークを実現する。
【０１６０】
図１１は、装置１０の１つの意図する統一的処理構成のための画像処理を示す。図１１によれば、画像処理回路３６は、以下の場合、潜在的侵入物として画素をフラグ立てするよう構成される。すなわち、有効距離を有し、規定した保護領域内にある、利用可能なダイナミックレンジ外にある輝度画素を検知する画素ダイナミックレンジ緩和結果によってフラグ立てされる、遮蔽物体検知緩和結果によってフラグ立てされる、または何らかのイメージャ緩和結果によって検出された欠陥画素に対応する重み付けマスクにおいてフラグ立てされる場合である。本処理は、射影座標系上に定義されたヒストグラムへのフラグ立てされた画素の蓄積を続ける。次いで、デプスマップによって表された射影空間は、クラスタリングされ、最小サイズの物体より大きい物体を検知する。
【０１６１】
多くのイメージャ緩和結果は、画像センサ１８から、未処理画像における欠陥画素を検知およびフラグ立てする。物体検知処理を用いる適切な露光のため、平行化画像に欠陥画素情報を適切に伝搬することは、さらなる処理を必要とする。例示的構成において、画像処理回路３６は、以下を実行するよう構成される。すなわち、未処理画像内の各欠陥画素に対して、画像平行化パラメータに基づき、重み付け画素マスクを算出する。重み付けマスクは、対応する平行化画素で、欠陥未処理画素が有する影響の度合いを表す。重み付け画素マスクでは、２進画素マスクを取得するための閾値が決定され、欠陥未処理画素によって重く影響を受ける平行化画素をフラグ立てする。フラグ立てされた平行化画素は、最終的に、図１１に示したように、上記した物体検知と統合される。さらに、欠陥画素値は
また、ローカル画像補完に基づいて、未処理画像内で（分離されている限り）補正され、平行化画像での影響を最小化する。
【０１６２】
画像処理回路３６によるクラスタベース処理の例示的詳細において、そのような回路は、物体クラスタリングのため、２パス連結コンポーネントアルゴリズムを使用するよう構成される。本実装態様は、ＦＰＧＡ処理のために最適化するよう変更することができ、例えば、画像処理回路４０２が、プログラム化ＦＰＧＡを備えるよう変更することができる。クラスタ統計情報のみが必要とされ、クラスタへの画素連結（すなわち、ラベル付けされた画像）が要求されない場合、アルゴリズムの１つのパスのみを使用してもよく、クラスタ統計情報は、同等のラベルが検知された場合は必ず、同じパス内で更新することができる。本アルゴリズムを実行するために必要とされる処理は、ＦＰＧＡデバイス内で、効率的にパイプライン化することができる。
【０１６３】
８連結度関係を、以下の擬似コードにおいて仮定する。画素連結度は、２つまたはそれ以上の画素間の関係を取り込む。２Ｄ画像格子では、以下の２画素近傍を定義することができる。４連結度では、画素（ｘ，ｙ）が、画素（ｘ−１，ｙ）、（ｘ＋１，ｙ）、（ｘ，ｙ−１）、（ｘ，ｙ＋１）と直接連結されるよう仮定されるのみであり、８連結度では、画素（ｘ，ｙ）が、８つの近傍画素、すなわち（ｘ−１，ｙ）、（ｘ−１，ｙ−１）、（ｘ，ｙ−１）、（ｘ＋１，ｙ−１）、（ｘ＋１，ｙ）、（ｘ＋１，ｙ＋１）、（ｘ，ｙ＋１）、（ｘ−１，ｙ＋１）と直接連結される。以下の擬似コードの概要では、連結されたコンポーネントアルゴリズムの第１のパスの間、８連結度画素近傍のすべてが、所与の位置に対して評価される。
【０１６４】
アルゴリズム例示アルゴリズムは、次の通りである。
Ｉｎｐｕｔ：未処理／平行化画像フレームを供給した画像センサ１８と関連づけられた視野域１４に対する射影空間ヒストグラム−射影空間ヒストグラムは、規定された保護領域内と見なされる各セルに対する画素カウントを備える。
【０１６５】
Ｏｕｔｐｕｔ：検知されたクラスタおよび関連する統計情報。
ＦＯＲ  列内の各要素
ＦＯＲ  行内の各要素
ＩＦ  現在要素データ＞閾値  ＴＨＥＮ
現在要素の近傍要素を取得
ＩＦ  近傍要素を発見できない  ＴＨＥＮ
新しい数値ラベルを現在要素に割り当て
新しいラベルの統計カウンタを更新
ＣＯＮＴＩＮＵＥ
ＥＬＳＥ
近傍要素中の最小ラベルを発見
最小ラベルを現在要素に割り当て
すべての近傍ラベルを同等としてマーク
近傍ラベルの全統計カウンタを最小ラベルにマージ
ＥＮＤＩＦ
ＥＮＤＦＯＲ
ＥＮＤＦＯＲ
ＦＯＲ  列内の各要素
ＦＯＲ  行内の各要素
ＩＦ  現在要素データ＞閾値  ＴＨＥＮ
要素を最小等価ラベルと再ラベルづけ
ＥＮＤＩＦ
ＥＮＤＦＯＲ
ＥＮＤＦＯＲ
初期クラスタが取得されると、クラスタ解析処理を続ける。いくつかの実施形態において、画像処理回路３６は、空間クラスタ分割／マージ処理を実行するよう構成される。典型的な状況において、最悪ケースの試験体は、単一クラスタによって表される。しかしながら、試験体の射影サイズが増加するにつれ（例えば、カメラからの距離が短い、または試験体が大型であるため）、（例えば、対称的な左／右エッジ間のエイリアシングにより、水平勾配、および混乱が大きくなるため）単一クラスタを、複数片に分割することができる。最小クラスタ片が、最悪ケース条件下での単一クラスタより依然として大きい場合、それらの断片を別々に扱う必要はない。しかしながら、断片サイズがより小さい場合、（画素レベルではなくクラスタレベルで）さらなるレベルのクラスタリングを実行し、同じ物理的表面からの潜在的断片を関連づける必要がある。
【０１６６】
言い換えると、単一のより大きなクラスタを、最小物体サイズを越える物体と関連づけるのではなく、物体が、複数のより小さなクラスタとして表されるという状態となる。これらのより小さなクラスタが最小物体サイズ未満の物体サイズに対応する程度まで、画像処理回路３６は、１つまたは複数の実施形態において、高機能な「クラスタのクラスタリング」を実行するよう構成される。実施例において、ａは、最悪ケースで検知可能なクラスタ（分割前）のサイズを意味し、ｂは、最悪ケースで検知可能なクラスタ（分割後）のサイズを意味し、ａ＞ｂである。
【０１６７】
これらの状況下で、クラスタリングアルゴリズムは、最小クラスタサイズｂを検知しなければならない。分割クラスタを結合する後処理ステップにおいて、画像処理回路３６によって以下の判断がなされる。
【０１６８】
Ｉｎｐｕｔ：現在デプスマップ内のクラスタのリスト
Ｏｕｔｐｕｔ：（断片化クラスタの連結後の）更新されたクラスタリスト
Ｆｏｒ  各クラスタ
ＩＦ
検知されたクラスタサイズがａより大きい場合、クラスタを受け入れる
ＥＬＳＥ
／／ａ＞Ｃｌｕｓｔｅｒ．Ｓｉｚｅ＞ｂ
このクラスタを、近傍（例えば、ユークリッド距離＜４００ｍｍ）の他のクラスタと結合し、単一クラスタを形成する
必要な統計情報を更新
最終サイズ＞ａの場合、このクラスタを保持、そうでなければ破棄
ＥＮＤＩＦ
ＥＮＤＦＯＲ
さらに、クラスタ処理は時間的フィルタリングを組み込むか、時間的フィルタリングによって補うことができ、時間的フィルタリングは、物体検知イベントの何らかの最小残存または時間的条件を保証するための機構として動作する。そのような時間的整合性を求めることによって、保護領域内への潜在的侵入物を、雑音／一時的観測から区別することができる。すなわち、最小物体サイズを満たす検知クラスタ（マージされていてもいなくても）は、ある時間にわたってその残存を確認することによって検証することができる。ＩＥＣ６１４９４−３規格（および、規格原案ＩＥＣ−６１４９６−４−３）は、人間が保護領域に（歩いて／走って）アプローチすることが可能な最大速度は、１．６ｍ／ｓに制限されると明記している。しかしながら、人間が床面を這う最大速度は、本明細書で上記したように、ほんの０．８ｍ／ｓである。
【０１６９】
本開示の状況において、これらのガイドラインを使用して、現在フレームＦｔで発見さ
れたクラスタと、直前フレームＦｔ−１との間の対応関係を確立する。時間的関連性に対する閾値ｄｔｈは、センサヘッド構成の関数である（例えば、光学、イメージャ解像度、フレームレートなど）。時間的検証のためのアルゴリズムを以下に要約する。
【０１７０】
Ｉｎｐｕｔ：フレームＦｔ．．．Ｆｔ−ｎにおけるクラスタのリスト。ここで、ｎは、事前に構成されたか、または動的に選択されたフィルタリング周期であり、ｍはフィルタリングパラメータであり、ｎのうちｍをフィルタリングする（添え字は、フレームのタイムスタンプを意味する）。
【０１７１】
Ｏｕｔｐｕｔ：ブール侵入状態−検知された場合
Ｆｔは、時間ｔでのフレームを意味する。
【０１７２】
フレームＦｔにおける任意のクラスタｃに対し
１．現在クラスタｋ＝ｃを設定
２．ｎｓｋｉｐ＝ｎ−ｍ、ｌａｓｔＭａｔｃｈ＝１を設定
３．Ｆｔ−１からＦｔ−ｎにおけるＦｐに対し
ａ．フレームＦｐにおいて、現在クラスタｋに最も近いクラスタｊを発見
ｂ．クラスタｊおよびｋの間の距離Ｄ（ｊ，ｋ）＜ｌａｓｔＭａｔｃｈ＊ｄｔｈの場合、ｋ＝ｊおよびｌａｓｔＭａｔｃｈ＝１に設定
ｃ．そうでなければ、ｎｓｋｉｐ＝ｎｓｋｉｐ−１、ｌａｓｔＭａｔｃｈ＝ｌａｓｔＭａｔｃｈ＋１に設定
４．ｎｓｋｉｐ＞０の場合、ｔｕｒｅを返す
５．そうでなければ、ｆａｌｓｅを返す
雑音距離データへの連結コンポーネントアルゴリズムの適用は、あるフレームから次のフレームへの大型物体の均一なクラスタリングをもたらすことができる。場合によっては、大型クラスタは、複数の小型クラスタに分割することができ、逆も成り立つ。時間的整合性要件は、分割およびマージが、あるフレームから次のフレームへクラスタ重心位置を変更する場合、侵害される可能性がある。したがって、本明細書で意図する検証アルゴリズムの一実施形態は、さらに、クラスタを解析し、それらクラスタが、複数のクラスタをマージした結果であるか、大型クラスタを直前フレームにおいて分割したのかを確認する。分割／マージ状況が検知されると、クラスタは、時間的整合性チェックの結果にかかわらず有効と見なされる。
【０１７３】
図１２Ａは、時間ｔ−１でのクラスタを、時間ｔで、２つ（またはそれ以上）のクラスタに分割することができる、典型的な状況を示す。同様に、図１２Ｂに示すように、時間ｔ−１での２つまたは複数のクラスタを結合／マージして、時間ｔでの単一クラスタを形成することができる。クラスタ分割／マージ試験により、以下の２つの状況をチェックする。
【０１７４】
ａ．クラスタ分割：時間ｔでの所与の（新しい）クラスタが、（移動物体に対する許容差を考慮して）時間ｔ−１でのより大きなクラスタ内に完全に包含されるか？
ｂ．クラスタマージ：時間ｔでの所与の（新しい）クラスタが、（移動物体に対する許容差を考慮して）時間ｔ−１でのクラスタの１つまたは複数を完全に包含するか？
クラスタを有効にするために、上記条件が真であるか、またはクラスタが時間的整合性試験を通過する必要がある。これらの試験は、画像処理回路３６によって実行され、直前ｎフレーム中の少なくともｍフレームで対応関係を確立する。
【０１７５】
同じまたは他の実施形態において、さらなる処理により、誤検知の追加抑制をもたらす。そのような追加の処理の例では、画像処理回路３６は、保護領域境界内にあると検知された距離画素をＮＣＣベース検証ステップにかけるよう構成され、図１３に示した差異ベ
ースの条件をもたらす。
【０１７６】
ＮＣＣベースの検証に関連して、以下の記号を使用する可能性がある。
Ｌ（ｘ，ｙ）は、ｘ列およびｙ行での左画像画素の輝度値を意味する。
【０１７７】
Ｒ（ｘ，ｙ）は、ｘ列およびｙ行での右画像画素の輝度値を意味する。
Ｌ’は、左画像からの指定されたＮＣＣ枠の平均輝度である。
【０１７８】
Ｒ’は、右画像からの指定されたＮＣＣ枠の平均輝度である。
さらに、ＮＣＣベース「スコアリング」は、以下のように、数学的に表すことができる。
【０１７９】
【数２】
0006264477.tif 000003
【０１８０】
ここでは、ＮＣＣ距離検証のための例示的擬似コードは、以下のようになる。
Ｉｎｐｕｔ：左平行化画像、Ｌ（ｘ，ｙ）、右平行化画像、Ｒ（ｘ，ｙ）、およびデプスマップＺ（ｘ，ｙ）
Ｏｕｔｐｕｔ：更新済デプスマップ、Ｚ（ｘ，ｙ）
ＦＯＲ  各画素が保護領域内にある
ｘ，ｙで、デプスマップから差異（ｄｓｐｔｙ）を算出
ｄｓｐｔｙを最も近い整数に丸める
Ｎｃｃスコア（Ｌ（ｘ，ｙ），Ｒ（ｘ−ｄｓｐｔｙ−１，ｙ））に対してＮＣＣスコア（ｎｓｃ１）を算出
Ｎｃｃスコア（Ｌ（ｘ，ｙ），Ｒ（ｘ−ｄｓｐｔｙ，ｙ））に対してＮＣＣスコア（ｎｓｃ２）を算出
Ｎｃｃスコア（Ｌ（ｘ，ｙ），Ｒ（ｘ−ｄｓｐｔｙ＋１，ｙ））に対してＮＣＣスコア（ｎｓｃ３）を算出
Ｎｃｃスコア（Ｌ（ｘ，ｙ），Ｒ（ｘ−ｄｓｐｔｙ＋２，ｙ））に対してＮＣＣスコア（ｎｓｃ４）を算出
ｍａｘ＿ｎｓｃにｎｓｃ１、ｎｓｃ２、ｎｓｃ３、ｎｓｃ４の最大値を格納する
ｍａｘ＿ｄｓｐｔｙにおけるｍａｘ＿ｎｓｃに対応する右画像の差異を格納するＩＦ
ｍａｘ＿ｎｓｃがｎｓｃｌに等しい  ＯＲ  ｍａｘ＿ｎｓｃがｎｓｃ４に等しい  ＴＨＥＮ
ｘ，ｙでのデプスマップをゼロに設定する
ＣＯＮＴＩＮＵＥ
ＥＮＤＩＦ
パラボラフィッティングを使用して、ＮＣＣ副画素の差異をｍａｘ＿ｎｓｃおよびｍａｘ＿ｄｓｐｔｙ＋／−１に対応する２つのＮＣＣスコアで補完するｘ，ｙでのデプスマップにおけるＮＣＣ副画素の差異を格納する
ＥＮＤＦＯＲ
さらなる態様において、１つまたは複数の実施形態における画像処理回路３６は、エピポーラエラー抑制を実行するよう構成される。エピポーラエラー抑制の例示的実装態様は、４つの主要なステップを含む。（１）エッジ検知、（２）エッジの大きさおよび方向の推定、（３）エッジの大きさおよび方向の値から統計値を算出し、低信頼画素にフラグを立てる、および（４）クラスタ抑制
エッジ検知のため、さまざまな手法が可能である。一例において、画像処理回路３６は、以下の数式によって表される処理を実行するよう構成される。
【０１８１】
【数３】
0006264477.tif 000004
【０１８２】
であり、さらに、
Ｉは、処理される立体画像ペアの左平行化画像である。
【０１８３】
同様に、さまざまなアプローチが、エッジ方向の推定のために利用可能である。例示的構成において、画像処理回路３６は、以下の数式に基づいて、エッジの方向を推定する。
【０１８４】
【数４】
0006264477.tif 000005
【０１８５】
上記は、画素制御のための、平均および標準偏差振幅−角度積のサポート算出を推定する。例示的実施形態において、画像処理回路３６で実施されるそのような処理に対するアルゴリズムは、以下のようになる。
【０１８６】
Ｉｎｐｕｔ：エッジ方向マップ、θ、エッジ大きさマップ、Ｍ
Ｏｕｔｐｕｔ：射影空間セルごとの非抑制画素の数
ＦＯＲ  各画素が保護領域内にある
（ＮＣＣ＿ＷＩＮＳＩＺＥ  ×  ＮＣＣ＿ＷＩＮＳＩＺＥ）近傍画素に対するΜ＊θの平均を算出する
（ＮＣＣ＿ＷＩＮＳＩＺＥ  ×  ＮＣＣ＿ＷＩＮＳＩＺＥ）近傍画素に対するΜ＊θの標準偏差、ＳＴＤ、を算出する
ＩＦ  平均が平均閾値より大きい  ＯＲ  ＳＴＤがＳＴＤ閾値より大きい
ＴＨＥＮ
ｃｅｌｌ＿ｉｄにこの画素のセルインデックスを格納する
ｉｎｓｉｄｅ＿ｐｉｘｅｌ＿ｃｏｕｎｔ［ｃｅｌｌ＿ｉｄ］＋＋
ＥＮＤＩＦ
ＥＮＤＦＯＲ
この時点で、画像処理回路３６は、クラスタ抑制を実行するための基礎を有する。クラスタ画像処理のための例示的アルゴリズムは、以下の通りである。
【０１８７】
Ｉｎｐｕｔ：射影空間セルごとの非抑制画素の数
Ｏｕｔｐｕｔ：抑制後の最終クラスタリスト
ＦＯＲ  各クラスタ
ＦＯＲ  このクラスタ内の各セル
３×３近傍枠内のｉｎｓｉｄｅ＿ｐｉｘｅｌ＿ｃｏｕｎｔの合計を算出する
ｍａｘ＿ｓｕｍに最大合計値を保持する
ＥＮＤＦＯＲ
ＩＦ  ｍａｘ＿ｓｕｍがｉｎｓｉｄｅ＿ｐｉｘｅｌ＿ｃｏｕｎｔ閾値の合計より小さい  ＴＨＥＮ
このクラスタを削除する
ＥＮＤＩＦ
ＥＮＤＦＯＲ
画像処理回路３６の１つまたは複数の実施形態において実施される、上記で詳細に記したクラスタベース処理は、最小検知可能試験物体のサイズに直接関係し、選択された閾値は、装置の所望の検知能力に対応していることを実証する。画像処理回路４０２によって生成された、または、画像処理回路３６内のデプスマップと関連したさまざまな物体検知パラメータの視点から、そのような処理を見ることはまた、有用である。物体検知閾値は、以下のように分類することができる。
−  量子化閾値：
−  Δθ：ＨＦＯＶ（水平視野域）に対する角度量子化
−  Δφ：ＶＦＯＶ（垂直視野域）に対する角度量子化
−  例えば、６４°×４４°のＦＯＶおよび（０．５°×０．５°）の角度量子化に対し、量子化球状ヒストグラム内に合計１２８×８８セルが存在する。
−  クラスタリング閾値
−  Ｔｐｉｘ：画素／線の最小数セルは、（ＦＯＶ、イメージャ解像度、最小サイズ物体などにより）クラスタリング対象にならなければならない
−  Ｔｃｅｌｌｓ：セルの最小数クラスタは、（ＦＯＶ、イメージャ解像度、最小サイズ物体などにより）フィルタリング対象にならなければならない
−  Ｎｏｔｅ：この閾値は、クラスタごとの画素の総数に左右される可能性がある（例えば、Ｔｐｉｘの合計が、セル内でより大きい場合、Ｔｃｅｌｌはより小さくなる−この依存度は、指向性照明の場合に有用となる可能性がある）
−  時間的フィルタリング閾値
−  Ｎｆｉｌｔ：検知結果をフィルタリングすべき画像フレームの数
図１４は、例示的処理ステップ１４０２から１４１６を使用して、例示的フローダイアグラムで上記の処理を示す。図示するステップは、高ならびに低露光を交互に使用して、画像センサ１８の立体視ペアから、未処理左ならびに右画像を取り込むステップ、および各そのようなセンサ１８から高ならびに低露光画像の対応する画像を融合して、ＨＤＲ立体画像を取得し、その後、平行化して、平行化されたＨＤＲ立体画像を取得するステップを含む。
【０１８８】
さらに、示した処理は、ＨＤＲ立体画像で立体相関処理を実行し、直交座標で距離画素のデプスマップを取得するステップを備える。新しいデプスマップは、各（ＨＤＲ）画像フレームで、すなわち、各新しい平行化ＨＤＲ立体画像の取り込み／生成時に生成することができることが理解されるだろう。そのようなデプスマップは、センサ視野域１４の射影空間を表す極座標にそれらを変換することによって処理される。（境界、表面、または他の輪郭を規定する射影空間内の立体角値または部分距離に対するラジアル距離のセット
として定義することができる）規定された保護境界内の距離画素は、フラグを立てられる。
【０１８９】
フラグ立てされた画素について、処理を続ける。フラグ立てされた画素は、不信頼もしくは不良であるとしてフラグ立てされた緩和画素を含んでもよい。そのような処理は、例えば、ＮＣＣ補正、ヒストグラミング（センサ視野域１４がまたがる水平ならびに立体角範囲を量子化する各セルに、フラグ立てされた画素を廃棄）、エピポーラエラー抑制、および雑音フィルタリングなどを含む。
【０１９０】
上記処理で使用される閾値の一例として、そのような閾値は、以下に想定する状況で導出または確立される。
【０１９１】
−  光学系およびイメージャ
−  ＦＯＶ：６４°Ｈ×４４°Ｖ、ここで”Ｈ”および”Ｖ”は、水平および垂直を意味する（しかし、教示および処理は、本明細書では、他の参照フレームに等しく適用される）
−  イメージャ解像度：７４０×４６８
−  焦点距離（ｆ）：６０９．３８４画素
−  最小物体サイズ：直径２００ｍｍ
デプスマップから２Ｄヒストグラムデータを展開する射影ヒストグラム閾値は、以下のように設定される：
−  立体角範囲量子化：（Δθ，Δφ）＝（０．５，０．５）、これらの角度量子化に対応する規定されたヒストグラムセルとして理解可能である
−  セル寸法＝１２８×８８
−  セルごとの最大画素／線
−  （７４０／１２８）×（４６８／８８）〜＝５×５画素
上記量子化パラメータを用いて、最大距離で、最悪ケース物体によって射影ヒストグラム内に占めるセルの数を、以下により算出することができる。
【０１９２】
８ｍで２００ｍｍ試験物体の射影は、
−  ２００／（８０００／ｆ）＝２００／（８０００／６０９．３８４）〜＝１５×１５画素〜＝３×３セルとなる。
【０１９３】
最後に、クラスタリング閾値が選択され、部分的に遮蔽された最悪ケース物体でさえ、検知可能となる。本明細書で教示する検知手法の少なくとも１つの実施形態において、不信頼欠陥画素、遮蔽物体射影などはまた、射影ヒストグラムに寄与する（すなわち、そのようなエラーに対してさらなる余地を持たせる必要はない）。言い換えると、ここでの保守的許容差は、単なる追加の安全性対策である。
【０１９４】
クラスタリング閾値の一例において、画像処理回路３６は、以下のように構成することができる。
【０１９５】
−  クラスタリングの対象とするために、各セルの少なくとも２５％占有度を必要とする（物体をグリッドにより完璧に整列させることができず、最悪のケースでは、４×４グリッドを占める可能性があり、境界セルに対してほんの小さな占有度である）。
【０１９６】
−  したがって、Ｔｐｉｘ＝６である。
−  物体サイズの半分までの遮蔽を可能にするために、総占有度（３×３セル）の５０％の最小クラスタ数を必要とし、ここで、この要件は、すでにフラグ立てられた遮蔽物体画素の上部になるにつれ、保守的になることに留意されたい。
【０１９７】
−  したがって、Ｔｃｅｌｌｓ＝４である
上記の閾値は、クラスタリング閾値コンセプトの用途を示す例として機能すると理解すべきである。これらの閾値の値は、装置１０の検知能力および感知解像度に関する。したがって、パラメータは、さまざまな光学構成に対して異なっていてもよく、または、異なる実装態様を選択した場合に、パラメータのわずかに異なるセットを使用してもよい。
【０１９８】
上記を念頭に、方法１５００は、図１５に図示され、これは、本明細書で意図する画像処理および対応する物体侵入検知の一般的方法の一例である。方法１５００は、図１４に示した処理をカバーすることができること、およびあらゆる場合において、画像処理回路３６の特定の構成、例えば、プログラム上の構成を示すことが理解されるだろう。
【０１９９】
方法１５００は、画像センサ１８のペアから立体画像を取り込むステップを備える（ブロック１５０２）。ここで、立体画像は、未処理画像とすることができ、各画像は、（画像センサの視野域１４がまたがる立体角によって規定される）対応する水平および垂直視野域にまたがる画素のセットを備える。しかしながら、立体画像は平行化された高ダイナミックレンジ立体画像であることが好ましく、例えば、事前に相関処理により処理される。１つまたは複数の実施形態において、新しい立体画像が、多数の画像フレームのそれぞれに取り込まれ、図１５における処理の少なくともいくつかで、連続する立体画像に適用することができることもまた理解されるであろう。
【０２００】
あらゆる場合において、方法１５００における処理は、（取り込まれた）立体画像を互いに関連づけ、３次元直交座標で表された距離画素を備えるデプスマップを取得するステップ（ブロック１５０４）、およびその距離画素を極座標に変換するステップ（ブロック１５０６）に続く。この変換の結果として、各距離画素は、極座標で、例えば、それぞれの画素線に沿ったラジアル距離、および立体画像の取得に関連した水平ならびに垂直視野域内の立体角値の対応するペアとして表される。
【０２０１】
本明細書で上記したように、立体画像を取り込むために使われる画像センサ１８に適用可能な同じ射影空間座標系を使用して、距離画素を表すことには利点がある。極座標で表された距離画素を用いて、処理は、監視領域１２に対して規定された保護領域内にある距離画素をフラグ立てすることによって、フラグ立てされた画素のセットを取得するステップ（ブロック１５０８）に続く。言い換えると、既知であり、規定された保護境界は、さまざまな画素位置に対応するラジアル距離の点から表され、各画素位置での距離画素に対して決定したラジアル距離は、その画素位置での保護境界のラジアル距離と比較される。保護境界内の距離画素は、フラグを立てられる。
【０２０２】
次いで、処理は、水平および垂直視野域の立体角範囲を量子化する２次元ヒストグラムの対応するセル内に、フラグ立てされた画素を蓄積するステップに続く（ブロック１５１０）。例示的なケースでは、センサ視野域１４が水平にまたがる立体角は、等しく細分され、センサ視野域１４が垂直にまたがる立体角に対しても細分され、それにより、セルのグリッドを形成し、各セルは、セルがまたがる立体角の範囲がまたがる射影空間内の領域を表す。したがって、画像処理回路３６は、フラグ立てされた距離画素の所与の１つが、ヒストグラム内の所与のセル内にあるかどうかを、フラグ立てされた距離画素の立体角値と、そのセルの立体角範囲とを比較することによって判断する。
【０２０３】
当然、緩和画素はまた、１つまたは複数の実施形態において、フラグ立てされた画素のセット内に含まれるとすると、緩和画素は、同様に、ヒストグラムのセル内に蓄積されることが理解されるだろう。したがって、ヒストグラム内の所与のセルに対する画素数は、そのセル内にある距離画素、そのセル内にある緩和画素、またはそのセル内にある距離画
素と緩和画素との両方の合計を表す。
【０２０４】
蓄積後、処理は、ヒストグラム内のセルをクラスタリングし、最小物体サイズ閾値を満たす保護境界内の物体の侵入を検知するステップ（ブロック１５１２）に続く。この点に関して、画像処理回路３６は、（立体角範囲における）セルサイズと最小物体サイズ閾値との間の既知の関係を使用して、最小物体サイズ閾値を満たす、感知の対象となるセルのクラスタを識別することが理解されるだろう。当然、対象クラスタに、雑音を引き起こすクラスタと、実際の物体侵入とを区別するための時間的フィルタリングなどの、追加処理を適用してもよい。
【０２０５】
いくつかの実施形態において、方法１５００は、少なくとも最小数のフラグ立てされた画素を蓄積したセルとして対象セルを識別すること、および最小物体サイズ閾値に対応する最小クラスタサイズを満たす対象セルのクラスタとして対象クラスタを識別することによって、ヒストグラム内のセルをクラスタリングする。言い換えると、セルは、何らかの最小数のフラグ立てされた画素を蓄積するまで、クラスタリングの候補として考慮されず、対象セルのクラスタは、最小物体サイズ閾値を満たす多数のセルを有するまで、対象クラスタであると見なされない。
【０２０６】
少なくとも一例において、ヒストグラム内のセルをクラスタリングすることは、任意の対象クラスタが、定義された時間枠に残存するかどうかを判断し、そうであれば、物体侵入が発生したと判断することをさらに備える。この処理は、クラスタ処理の一部と考えられる、または多数の画像フレームのそれぞれにおいて検知された対象クラスタに適用された後処理動作と考えられる時間的フィルタリングの一例である。
【０２０７】
例えば、一実装態様において、対象クラスタは、立体画像の１つが取り込まれた各画像フレームに取り込まれた立体画像に対して識別され、方法１５００は、同じ対象クラスタが、定義された数の画像フレームにわたって残像するかどうかを判断し、そうであれば、物体侵入が発生したと判断することによって、ある時間にわたって、対象クラスタをフィルタリングすることを含む。そのような処理は、１つまたは複数の先行するもしくは連続する画像フレームに取り込まれた立体画像内で検知された対象クラスタを有する１つの画像フレーム内に取り込まれたとして立体画像内で検知された対象クラスタ間の対応関係を評価するものとして理解することができる。同じ対象クラスタが、−任意選択的に、許容差が適用され、セルメンバーシップの点から、「同じ」が必ずしも「同一」を意味しない−いくつかの画像フレームにわたって検知された場合、永続的であり、雑音ではなく、実際の物体侵入に対応する。
【０２０８】
フィルタリングのさらなる態様において、方法１５００は、同等の対象クラスタが、定義した数の画像フレームにわたって残存するかどうかを判断し、そうであれば、物体侵入が発生したと判断することを含む。ここで、「同等の」対象クラスタは、定義された数の画像フレームにわたって、ヒストグラムの同じ領域（セルの同じグループ全体）内で分割またはマージする対象クラスタである。したがって、１フレームの立体画像内で検知された２つの対象クラスタは、そのようなクラスタが、ヒストグラム内で同じセルを含む場合、先行する、または連続するフレーム内で検知された単一対象クラスタと同等と考えることができる。この場合も、許容差を適用することができ、その結果、「同じ」は、分割またはマージされたクラスタに対するセルについて必ずしも同一であることを意味しない。
【０２０９】
方法１５００の別の態様において、および設計安全要件または他の欠陥安全要件を満たす点から有意性を生じる態様において、方法１５００は、緩和画素の１つまたは複数のセットを立体画像から生成することを含み、その緩和画素は、障害もしくは不信頼であるとしてフラグ立てされた立体画像内の画素を意味する。方法１５００は、緩和画素の１つま
たは複数のセットを、クラスタリングで使用するためにフラグ立てされた画素のセットに統合することをさらに含み、その結果、クラスタリング中に検知された任意の所与の対象クラスタは、距離検知処理に基づいてフラグ立てされた距離画素、もしくは障害検知処理に基づいてフラグ立てされた緩和画素、または両方の組み合わせを備える。
【０２１０】
緩和画素の１つまたは複数のセットを生成することは、スタックされた立体画像内の画素、雑音である立体画像内の画素、および監視領域１２の遮蔽領域に対応すると識別された立体画像内の画素の少なくとも１つを検知することを備える。そのような処理は、名前が意味するように、不信頼（例えば、遮蔽のため）画素または不良画素が無視されるか、もしくは保証無く使用された場合に生じる、安全重視検知問題を効果的に緩和する。代わりに、意図した緩和策を用いることで、不良もしくは不信頼画素は、クラスタ処理において使用されるフラグ立てされた画素のセット内に単純に入れられ、それらが、規定された保護領域内にあるとしてフラグ立てされた距離画素と同じに扱われることを意味する。
【０２１１】
精度および信頼性を向上する意図した画像処理の他の有利な態様が存在する。例示的ケースにおいて、立体画像は、エピポーラ幾何に対応するよう平行化される。そのような処理は、立体相関処理の前に行われ、それによって、相関処理を実行する前に、エピポーラエラーを補正する。
【０２１２】
そのような向上のためのさらなる拡張において、立体画像は、対応する高露光および低露光立体画像として取り込まれ、高ダイナミックレンジ立体画像が、対応する高および低露光立体画像から形成される。ここで、「高」および「低」露光は、相対的な意味で定義され、高露光画像は、低露光画像より露光時間が長いことを意味する。次いで、高ダイナミックレンジ立体画像について平行化を実行し、その結果、平行化された高ダイナミックレンジ立体画像について相関処理を実行する。
【０２１３】
この点に関して、緩和画素と距離画素との間の幾何学的対応関係における整合性は、有利には、デプスマップ生成に対して使用したのと同じ平行化高ダイナミックレンジ立体画像での緩和処理（立体相関処理）を実行することによって保護されると、本明細書では認識される。このように、方法１５００の１つまたは複数の実施形態は、平行化高ダイナミックレンジ立体画像内の不良もしくは不信頼画素を緩和画素としてフラグ立てすることを含み、さらに、緩和画素を、フラグ立てされた画素のセットに加えることを備え、クラスタリングは、距離画素と緩和画素との両方を想定する。
【０２１４】
さらなる関連した実施形態において、方法１５００は、高ダイナミックレンジ立体画像に対する、または平行化高ダイナミックレンジ立体画像に対する輝度統計を評価することを含む。それに対応して、方法１５００は、輝度統計に応じて、低および高露光立体画像を取り込むために使用される露光タイミングを制御することを含む。
【０２１５】
さらに、少なくとも１つの実施形態において、方法１５００は、第１のベースラインを用いて動作する画像センサ１８の第１のペアを使用して、第１の立体画像として、立体画像を取り込むことを含み、さらに、第２のベースラインを用いて動作する画像センサ１８の第２のペアを使用して、重複した第２の立体画像を取り込むことを備える。それに対応して、相関ステップ１５０４（ブロック１５０４）、変換ステップ（ブロック１５０６）、取得ステップ（ブロック１５０８）、蓄積ステップ（ブロック１５１０）、およびクラスタリングステップ（ブロック１５１２）の方法ステップが、第１および第２の立体画像に対して独立して実行され、第１および第２の立体画像のそれぞれの両方に対するクラスタリングが、同じ物体侵入を検知した場合のみ、物体侵入が発生したと判断する。
【０２１６】
さらに注目すべきは、図２を再び参照すると、装置１０は、第１の一次ベースライン３
２−１で動作する画像センサ１８−１および１８−２の第１のペア、および第２の一次ベースライン３２−２で動作する画像センサ１８−３および１８−４の第２のペアに対して上記処理を実施するよう構成することができる。少なくともいくつかの実施形態において、画像センサ１８のこれらの第１および第２のペアは、同じシーンを見ており、立体画像の重複ペアを取り込む。
【０２１７】
そのような実施形態において、画像処理回路３６は、第１のベースライン３２−１で動作する画像センサ１８−１および１８−２の第１のペアを使用して、１つまたは複数の画像フレーム内の第１の立体画像を取り込むよう構成され、さらに、第２のベースライン３２−２で動作する画像センサ１８−３および１８−４の第２のペアを使用して、１つまたは複数の画像フレーム内の重複する第２の立体画像を取り込むよう構成される。画像処理回路３６は、上記した、立体画像を関連づけてデプスマップを取得するステップ、デプスマップを極座標に変換するステップ、フラグ立てされた画素のセットを取得するステップ、（２Ｄ）ヒストグラム内にフラグ立てされた画素を蓄積するステップ、および物体検知のためにヒストグラムセルをクラスタリングするステップを、第１および第２の立体画像に対して独立して実行するようさらに構成される。
【０２１８】
そのような手法は、第１の立体画像に対するクラスタベース物体検知結果および第２の立体画像に対するクラスタベース物体検知結果を生じる。したがって、実際の物体侵入が発生したと判断する論理的動作は、第１の立体画像に対して取得された物体検知結果と、第２の立体画像に対して取得された物体検知結果との間の対応関係を評価することによって、より精巧なものにすることができる。例示的構成において、画像処理回路３６は、第１の立体画像に対して検知された物体侵入と、第２の立体画像に対して検知された物体侵入との間の対応関係の閾値レベルが存在する場合、物体侵入が発生したと判断する。
【０２１９】
概して、画像処理回路３６は、投票ベース手法（ｖｏｔｉｎｇ−ｂａｓｅｄ  ａｐｐｒｏａｃｈ）を使用するよう構成することができ、その場合、第１および第２のベースライン３２−１および３２−２に対して取得された物体検知結果は、正確に一致する必要はないが、最小レベルで一致する必要がある。例えば、画像処理回路３６は、侵入が、例えば、８／１２検知サイクル（各ベースライン３２−１および３２−２に対して６検知サイクル）で検知された場合、実際の物体侵入が発生したと判断することができる。
【０２２０】
とりわけ、開示した発明の変形例および他の実施形態は、前述の説明および関連した図面で提示した教示の利点を有する当業者には明らかである。したがって、本発明は、開示した特定の実施形態に限定されず、変形例および他の実施形態が、本開示の範囲に含まれることが意図されることが理解されよう。特定の用語を本明細書で使用したが、それらは、一般的で説明的な意味のみで使用され、限定する目的ではない。
【図１】
0006264477.tif 000006
【図２】
0006264477.tif 000007
【図３Ａ】
0006264477.tif 000008
【図３Ｂ】
0006264477.tif 000009
【図３Ｃ】
0006264477.tif 000010
【図４】
0006264477.tif 000011
【図５】
0006264477.tif 000012
【図６】
0006264477.tif 000013
【図７Ａ】
0006264477.tif 000014
【図７Ｂ】
0006264477.tif 000015
【図８】
0006264477.tif 000016
【図９】
0006264477.tif 000017
【図１０Ａ】
0006264477.tif 000018
【図１０Ｂ】
0006264477.tif 000019
【図１１】
0006264477.tif 000020
【図１２Ａ】
0006264477.tif 000021
【図１２Ｂ】
0006264477.tif 000022
【図１３】
0006264477.tif 000023
【図１４】
0006264477.tif 000024
【図１５】
0006264477.tif 000025