(57)【特許請求の範囲】
【請求項１】
乗客を抑制するために車両内の乗客側エアバックを展開させるためのシステムであって、前記エアバックは乗客シートの前の車両計器パネルに取り付けられており、
乗客シートに向けられた赤外線ビームを発生させる赤外線源と、
乗客シートの対象から反射された赤外線放射に反応し、前記反射された赤外線放射に基づいて乗客シートの対象のイメージを示す信号を発生する赤外線検出器と、
前記検出器からのイメージに反応し、乗客の顔面の特徴を識別し、捕捉し、追跡する顔面識別ソフトウエアを含み、前記識別され、捕捉され、追跡されて前記ソフトウェアで認識された前記イメージ上の、二つの前記乗客の顔面上の特徴の間の離間距離、及び既に分かっている実際の顔面上の特徴の間の離間距離と、前記乗客シートの特定の位置で前記システムに含まれる前記ソフトウェアがパラメータによって較正される間に決定される、エアバッグ・ドアの中心および法線に対する、赤外線検出器のカメラの傾きおよび位置に関するパラメータを含む他のパラメータとを使用して三角測量により、計器パネルと乗客の間の距離を決定し、前記乗客が前記乗客シートにおいて検出され、前記計器パネルから少なくとも所定の距離離れていると決定された場合に、クラッシュイベントにおいて前記エアバックを展開させるプロセッサと、
を含むことを特徴とするシステム。
【請求項２】
前記赤外線源は赤外線発光ダイオードのクラスタであることを特徴とする、請求項１に記載のシステム。
【請求項３】
前記赤外線検出器は電子ビデオカメラであることを特徴とする、請求項２に記載のシステム。
【請求項４】
前記発光ダイオードのクラスタおよび前記電子ビデオカメラは、前記乗客シートの前の前記計器パネルに取り付けられた単一のユニットととして提供されることを特徴とする請求項３に記載のシステム。
【請求項５】
前記プロセッサにより識別され、捕捉され、追跡された顔面の特徴は、乗客の目を含むことを特徴とする、請求項１に記載のシステム。
【請求項６】
前記検出器の前に置かれた赤外線フィルタをさらに含むことを特徴とする、請求項１に記載のシステム。
【請求項７】
前記赤外線検出器がフォトダイオードのアレイを含むことを特徴とする請求項１に記載のシステム。
【請求項８】
前記赤外線源が、所定の間隔で所定の期間、赤外線ビームを発生するようにオンにされることを特徴とする、請求項１に記載のシステム。
【請求項９】
前記赤外線源がオンにされた場合に前記検出器により検出された第1のイメージと、前記赤外線源がオフにされた場合に前記検出器により検出された第２のイメージの間の差が周辺光が除去されたイメージを表すように、前記赤外線源および前記検出器は同期されることを特徴とする、請求項８に記載のシステム。
【請求項１０】
前記赤外線源がオンにされた場合に前記検出器により検出された第1のイメージと、前記赤外線源がオフにされた場合に前記検出器により検出された第２のイメージの間の差は、可視光が除去されたイメージを獲得するために第２のイメージを第1のイメージから減算することによって決定されることを特徴とする、請求項９に記載のシステム。
【請求項１１】
前記プロセッサは、特定の個人についての情報を記憶するデータベースを含み、前記乗客を識別するために前記データベースを使うことを特徴とする、請求項１に記載のシステム。
【請求項１２】
乗客を抑制するために車両内で乗客側エアバックを展開させるシステムであって、前記エアバックは乗客シートの前の前記車両の計器パネルに取り付けられており、
前記乗客シートに向けられた赤外線ビームを発生させる赤外線源と、
前記乗客シートの対象から反射された赤外線放射に応答し、反射された赤外線放射に基づいて乗客シートの対象のイメージを示す信号を発生させる赤外線検出器と、
前記検出器からの前記イメージに反応し、前記乗客の顔面の特徴を識別、捕捉および追跡する顔面認識ソフトウエアを含み、前記乗客が前記乗客シートに検出され且つ前記計器パネルから所定の距離離れている時に、クラッシュイベントにおいて前記エアバックを展開させるプロセッサと、
を含み、
前記赤外線源および検出器は前記計器パネルに取り付けられた単一のユニットの部分であり、
前記プロセッサは前記乗客の目を追跡し、当該追跡により前記ソフトウェアで認識された前記イメージ上の、前記乗客の目の離間距離、及び既に分かっている実際の顔面上の特徴の間の離間距離
と、前記乗客シートの特定の位置で前記システムに含まれた前記ソフトウェアがパラメータによって較正される間に決定される、エアバック・ドアの中心および法線に対する、赤外線検出器のカメラの傾きおよび位置に関するパラメータを含む他のパラメータとを使用して三角測量により、前記計器パネルからの前記乗客の距離を決定することを特徴とする、システム。
【請求項１３】
前記検出器の前に位置された赤外線フィルタをさらに含むことを特徴とする、請求項１２に記載のシステム。
【請求項１４】
前記赤外線源が、所定の間隔で所定の期間、赤外線ビームを発生するようにオンにされることを特徴とする、請求項１２に記載のシステム。
【請求項１５】
前記赤外線源がオンにされた場合に検出器により検出された第１のイメージと前記赤外線源がオフにされた場合に検出器により検出された第２のイメージの間の差は周辺光が除去されたイメージを表すように、前記赤外線源および前記検出器は同期化されることを特徴とする請求項１４に記載のシステム。
【請求項１６】
赤外線源がオンにされた場合に前記検出器により検出された第１のイメージと赤外線源がオフにされた場合に前記検出器により検出された第２のイメージの間の差は、可視光が除去されたイメージを獲得するために第２のイメージを第１のイメージから減算することによって決定されることを特徴とする、請求項１５に記載のシステム。
【請求項１７】
前記検出器はフォトダイオードのアレイを含むことを特徴とする、請求項１２に記載のシステム。
【請求項１８】
車両内の乗客側のエアバックを展開するかを決定する方法であって、前記方法は、
エアバック・ドアの中心および法線に対する、赤外線検出器のカメラの傾きおよび位置に関するパラメータを含む他のパラメータを決定するために前記乗客の特定の位置で前記システムに包含されたソフトウェアがパラメータによって較正されるステップと、
前記車両の乗客シートに向けられた赤外線放射のビームを直進させるステップと、
前記乗客シートにある対象からの反射赤外線放射を検出するステップと、
人が乗客シートにいるかを決定するために顔面認識処理を使用するステップと、
顔面認識処理が顔面の特徴を識別した場合に人が乗客シートにいることを決定するステップと、
前記乗客の顔面上の、前記認識された前記イメージ上の、二つの顔面の特徴の間の距離、及び既に分かっている実際の顔面上の特徴の間の距離と、前記決定された他のパラメータとを使用して三角測量により人とエアバックの間の距離を決定するステップと、
人とエアバックの間の決定された距離が少なくとも所定の距離である場合にクラッシュ・イベントに応じてエアバックを展開するステップと、
を含むことを特徴とする方法。
【請求項１９】
前記乗客と前記エアバックとの間の距離を決定するステップは、前記乗客の目の間の距離を決定するステップを含むことを特徴とする、請求項１８に記載の方法。
【請求項２０】
人とエアバックの間の決定された距離が少なくとも所定の距離である場合にクラッシュ・イベントに応じてエアバックを展開するステップは、人のエアバックからの距離に基づいてエアバックの展開の割合を制御するステップを含むことを特徴とする、請求項１８に記載の方法。
【請求項２１】
放射の前記ビームを直進させるステップは、放射の前記ビームを、所定の間隔で所定の期間オンにするステップを含むことを特徴とする、請求項１８に記載の方法。
【請求項２２】
ビームの放射がオンである場合に、第１のイメージを検出するステップと、
ビームの放射がオフである場合に、第２のイメージを検出するステップと、
可視光が除去されたイメージを獲得するために第２のイメージを第１のイメージから減算するステップと、
をさらに含むことを特徴とする、請求項２１に記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般的にエアバックを展開するためのセンシング・システムに関し、より詳細には、適切なエアーバックの展開のために、エアバックに対する人の位置を決定して人間の顔面の特徴を検出するために反射された、目に見えない、近赤外線放射を使用するセンシング・システムに関する。
【０００２】
【従来の技術】
国家道路交通安全局は１９８８年以降に製造されたすべての乗用車に、乗客サイド・エアバックを要求する。エアバックは何千もの命を救って来たが、より安全なエアバック展開システムはさらにより多くの命を救うことが可能である。より安全でより効率的な、高度なエアバックを要求する提案が、国家道路交通安全局により提示されている。このように当該技術分野において、車両の乗客シートにいる人の検出、識別、追跡によって、エアバックの展開を決定する高度なエアバック展開システムに対する必要性がある。
【０００３】
将来のエアバック展開システムは車両の乗客シートにいる人を識別し追跡することが出来るであろう。システムは、クラッシュ・イベントの間にこの情報に基づいて、エアバックを発射するか、低速度でエアバックを発射するか、標準的な高速でエアバックを発射させるかを、人が乗客シートに座っているか否か、人の大きさ、エアバック展開ドアに対する相対的な人の位置に従って提供する。一つの例において、人が乗客シートに検出され、エアバック・ドアからかなり近くにいる（例えば、３インチ以内）場合には、エアバックはクラッシュ・イベントの間に発射されない。乗客シートに人が検出され、エアバック・ドアに近い場合（例えば、３インチから８インチまでの間）、エアバックはクラッシュ・イベントの間、低速度で発射される。人が乗客シートに検出され、エアバック・ドアから充分離れている場合（例えば、８インチ以上）、エアバックはクラッシュ・イベントの間、標準的な高速度で発射される。
【０００４】
現在の乗客センシング・システムは、エアバック展開のために、乗客を検出するために典型的には、超音波センサ、重量センサ、赤外線センサおよび/または電磁気センサを含む。超音波センシング・システムは、乗客シートの領域内の対象の動きを感知し、対象がセンサの位置に近づいてくるのか、離れていくかを決定する。しかし、超音波センサは、対象の性質を識別しないので、それが人であるか、または雑貨類のバックなどの他のなんらかの対象であるかを教えることが出来ない。超音波センサと同様に、アクティブなドップラー・レーダ・システムで利用されるマイクロ波センサは、対象を追跡することが出来るが、人間の存在を識別することは出来ない。重量センサは乗客シートにある対象を、適用された圧力に基づいて識別するが、エアバックに関する乗客の相対的な位置は考慮しない。受動ＩＲセンサは乗客シートの熱的イメージを取得するが、これらのシステムは非常に高価である。現在の能動ＩＲセンサは、エアバックに関係する相対的な乗客の位置を検知するが、人間の存在を識別することは出来ない。電磁気システムは、存在を検出し対象を識別するために人体容量が使用されるＬＣ共振回路を含むが、これらのシステムは対象を追跡することが出来ない。
【０００５】
１９９８年１１月１０日にＢｒｅｅｄその他へ発行された米国特許Ｎｏ．５，８３５，６１３は、車両の客室にいる人を識別し、位置を突き止め、監視することを請求する車両内部監視システムを開示する。モニタリング・システムは、車両内部を照明する赤外線放射装置および放射を検出する電荷結合素子（ＣＣＤ）アレイを利用する。ＣＣＤアレイからの出力は、乗客シートにある内容または対象を分類し、識別しまたは位置を突き止めるために、パターン認識アルゴリズムを利用する計算装置によって分析される。‘６１３特許に開示されている車両の占有者を決定するためのパターン認識システムは、様々な条件下のすべての照明状況における、個人の形を学習しなくてはならない複雑なソフトウエアを利用する。さらに、パターン認識をこのような方法で利用することは、彼または彼女が乗客シートにおいて動き回る場合に、個人を追跡する能力の点で制限される。さらに、一般的なパターン認識により人間を識別し、追跡する能力は疑わしく信頼がない。パターン認識は、その人が誰であるかを識別することが出来ず、対象の形状のみを検出することが出来る。
【０００６】
【発明が解決しようとする課題】
必要とされるものは、車両の乗客シートにいる人を効率的に識別および追跡することが出来る、改善されたエアバック展開センサーおよびシステムである。従って本発明の目的は、車両の乗客エアバック展開のために、そのようなセンシング・システムを提供することである。
【０００７】
【課題を解決するための手段】
本発明の教示に従って、車両の乗客シートにある対象の存在を検出し、それが人であるかを確かめ、人の位置を追跡し、人の位置および/または人の大きさに従って、クラッシュ・イベントの間に、発射なし、ソフトな発射、ハードな発射のための信号を提供する、車両占有者エアバック展開システムが開示される。エアバック展開システムは、車両の乗客シートに向かって赤外線の信号を放出するための短波長赤外線放出装置と、シートにある対象からの反射赤外線照明を受信する、ビデオ信号アレイとして使用されるＣＭＯＳセンサなどの赤外線検出器を使用する。フェース認識ソフトウエアを含んでいる処理回路は、人間のフェースを検出して、必要な信頼できる、人の検出識別および追跡を提供するために使用される。このような方法で、システムは、乗客シートが人に占有されていない場合にエアバックが発射されるのを防止し、人が検出されたが、エアバックにあまりに近い場合にはエアバックが発射されるのを防止し、人が検出されるが、エアバックのソフトな発射範囲にある場合にはソフトな発射を提供する。さらに、システムは人が子供または小さい女の子である時は、エアバックの発射を防止することが出来る。
【０００８】
本発明の更なる目的、利点および特徴は、添付された図面に関連して考慮される、以下の記述、添付された特許請求の範囲から明らかになるであろう。
【０００９】
【発明の実施の形態】
人間の顔面特徴認識を利用したエアバック展開システムに向けられた、好適な実施形態の以下の議論は、事実上単なる例示であり、本発明またはその応用または使用を制限することを決して意図していない。
【００１０】
本発明のひとつの実施形態に従うと、車両の乗客シートにいる人を検出し、識別し、追跡するための技術が開示されている。上述したように、クラッシュ・イベントの間に、人が車両の乗客シートを占有しているのか否か、エアバックに対する人の近接度、人の大きさに依存して、低速度で車両内の乗客サイドエアバックを展開するか、またはエアバックを展開しないことが時として望ましい。本発明に従うと、人の識別および追跡は、顔面認識ソフトウエア、特に人の目および他の顔面特徴を認識し追跡するソフトウエアによって決定される。追跡は、多くの、頭部角度および姿勢で行われる。ソフトウエア・アルゴリズムは、レンジを推定するために、較正された顔面と特徴の分離を使用するであろう。人間の顔面の局所化された領域の追跡は、人のより頻繁な追跡を許容しつつ、より多くのイメージ・フレームが秒ごとに捕捉されることを許容する。顔面特徴のより頻繁な追跡は、イメージがより頻繁に更新されるため、ぼんやりしたイメージが捕捉されるのを防止するであろう。
【００１１】
分析されている対象から受信されたビデオデータ・パターンからのデータを処理し、対象が顔面を有しているかを決定する様々なソフトウエアは当業者に知られている。例えば、そのようなソフトウエアには当業者によく知られているビジオニクス・フェース・イト（Ｖｉｓｉｏｎｉｃｓ  Ｆａｃｅ−Ｉｔ）ソフトウエアが含まれる。本発明は、特別な顔面特徴マッピング機能に全く制限されるわけでなく、それが二次元的であろうと三次元的であろうと顔面の特徴を認識するため、ここで述べられる目的に適した任意の既知のアルゴリズムを同じように含むことができ、レンジング機能のためにさらに使用されうる、ことが強調される。
【００１２】
以下で詳細に記述するであろうように、本発明は電子ビデオ・カメラによって受信される、車両の乗客室の乗客側にある対象から反射される赤外線放射を利用する。ビデオカメラは、存在を識別し、人の追跡を決定するための顔面認識ソフトウエアによって使用される電気信号およびイメージを発生させる。
【００１３】
図１は、車両１２の乗客側室１０の切断した側平面図である。この描写においては、人１６が乗客シート１８にいる様子が示されており、ここで人１６はクラッシュ・イベントの間、前方に動いている。エアバック枕２０がクラッシュ・イベントの間、計器パネル２２の中に収容されたエアバック２４を通って展開される動作が示されている。
【００１４】
ビデオカメラとＩＲ  ＬＥＤ照明ユニット２６は、ここで述べる目的に適した位置で計器パネル２２の上に乗せられている。図２は、車両１２から取り外されたユニット２６の透視図である。ユニット２６はＩＲ  ＬＥＤ３０のクラスタ２８である。複数のＬＥＤ３０は、日中（デーライト）の動作のために必要とされる強度を発生するために提供される。クラスタ２８は、そこから反射されユニット２６に向けられた人１６へのＩＲ放射のビームを放射する。ビデオカメラ３４は、人１６からの反射放射を受信するためにユニット２６の中に提供される。ビデオ・カメラ３４は、ここで述べられた目的に適する赤外線放射を検出する任意の検出器が使用可能であるという点で、非制限例として使用される。
【００１５】
フィルタ３６は、所望された赤外線レンジにない放射をフィルタするために、カメラ３４の上に提供される。フィルタ３６は、ＴｉＯ２フィルタまたは偏光フィルタのような、ここで述べられた目的に適した任意のフィルタであり得る。ＩＲイメージを検出器へ伝送し、可視のイメージを検出器からの反射されるように、フィルタの層および厚さが選択され得る。偏光フィルタは、ＩＲ波長を通過し、非ＩＲ波長を強く減衰する電気光学偏光を使用して、検出器への可視光を減少するために使用されることが出来る。図３は太陽光線の輝度カーブを示し、ここでフィルタ３６は４０ｎｍバンドパス・ウインドウの中に赤外線放射を通過させる。フィルタ３６はエアバック展開システムの動作および人１６の顔面の認識に影響を与えうる太陽光線に対する相当な保護を提供する。
【００１６】
本発明のこの実施形態において、単一のカメラが人１６のレンジを捕捉し監視するために使用される。この機能を実行するために利用されるソフトウエアは、レンジングを提供するために、占有者の顔面上の二つの離れたの位置を利用する。好適な実施形態においては、レンジング目的のための三角測量を提供するために検出されるのは人の目である。しかし、当業者によって理解されるであろうように、人１６の他の顔面特徴、例えば人の耳など、はさらに同様に使用され得る。ソフトウエアのアルゴリズムは人の頭の大きさが、人が捕捉された後にその人を追跡するために、双方の目が見る必要がないように、決定されることを許容する。さらに、ソフトウエアは顔面特徴または頭の大きさの検出と組合わさって、人の胴体のように人の身体の他の部分を見るために使用され得る。
【００１７】
人間の顔面特徴はユニークであるので、ソフトウエアが特に人を識別し得るように、その人についての目と目の間隙のような特定の情報を保存するためにデータベースは使用され得る。これは重要であり、従って一つの例として、システムは子供および５％の女性を識別し、政府の命令規制で要求されるように、これらの人々のために、エアバック発射を抑える。システムは人の目の間隙または明確な他の顔面特徴を知っているため、人を明確に識別することが出来ることは、システムのレンジングの正確度を改善する。
【００１８】
捕捉および追跡するソフトウエアは、特定のシート位置、エアバック位置、車両構造などのために較正される必要がある。図４はエアバック・ドア２４の中心および法線に対する、カメラの傾きおよび位置のパラメータを示している。カメラおよびビジオニクス・フェース・イト・ソフトウエアが較正された後に、本発明に従ってレンジングするために車両内で推定されなくてはならない三つのパラメータは、二つの位置オフセットと一つの角度オフセットを含む。二つの位置オフセットは、エアバック・ドア２４の中心からの法線ベクトルに対して横向きおよび垂直に測定される、エアバックの中心に対するカメラ３４の横オフセット（ΔＹ）および、エアバック・ドア２４の中心からの法線に対して平行な軸に沿って測定される、エアバック・ドア２４の中心に対するカメラ３４のフロントまたはバック・オフセット（ΔＸ）である。角度パラメータは、カメラ３４の光軸とエアバック２０の中心から出る法線ベクトルとの間の方位角オフセット（ΔΦ）である。これらのパラメータうちの二つ、ΔＸおよびΔΦのみが修正された単眼の距離方程式において使用される。
【００１９】
ΔＸ、ΔＹ、ΔΦを決定するために以下で述べるような較正処理が使用されうる。多くの較正点の測定することとそれらの間で線形補間をすること、または少数の較正点を測定することとそれらの間で非線形補間をすることとの間には、トレード・オフがある。理論的に、多くの点で較正することは、ここで述べられている推定のためのモデルを必要としないであろう。力ずくの較正のために必要とされる多くの測定にかかる費用、カメラ３４のレンジ外操作またはソフトウエアが力ずくの較正で気づかれずに起きうる可能性が、この方法を使用する前に考慮されなくてはならない。ここで使用されるこの方法は、補間のためのモデルを形成するために、少数の較正テストを使用する。
【００２０】
図４から、以下の方程式はエアバック・ドア座標系（ｘｙｚ）でなされた測定をカメラ・レンズ座標系
【数１０】
0004246410.tif 000002
でなされた測定に関係させるために記述され得る。以下の方程式では、顔面の位置がエアバック・ドアの前（ｘ＞０）にある場合のみが考慮されている。カメラの球面座標系において規定されたρ（ピッチ）、θ（仰角）およびφ（偏揺れ角すなわち方位角）にとって、エアバック座標系における変位ｘおよびｙのための方程式は、
【００２１】
【数１】
0004246410.tif 000003
【００２２】
【数２】
0004246410.tif 000004
である。これは、較正の間θ+Δθが固定されていることを仮定している。再整理された方程式（１）および（２）は、
【００２３】
【数３】
0004246410.tif 000005
【００２４】
を生ずる。
固定されたｘ+ΔＸにおいて目の座標読出し測定をし、ｙの量の変化に関してタンジェントの傾きを取ると、
【００２５】
【数４】
0004246410.tif 000006
【００２６】
を生ずる。
ｘおよび方程式（４）の右辺の結果が分かると、ΔＸが決定される。ΔＸが分かると、方程式（３）および測定されたデータがΔＹを決定するために使用され得る。次にΔＸとΔＹおよび方程式（３）を使用することで、ΔΦが決定され得る。方程式（３）および
【００２７】
【数５】
目の離間距離＝ｙrt eye-ｙleft eye       （５）
であるという事実を使用して、修正された単眼方程式は、対象のパラメータｘ、つまりエアバックに対する目の距離を規定するための方程式（６）となる。
【００２８】
【数６】
0004246410.tif 000007
【００２９】
較正テーブルは、カメラ座標系で見た場合に、ピクセル値が関連した放射線の傾き（ｒａｙ  ｓｌｏｐｅ）にリンクされるようにＳＤＫ決定される目の座標のルックアップ・テーブルを備える。方程式（６）は、放射線（特異角のタンジェント）の関して単純化されうるので、較正テーブルは単眼操作から直接に、目のエアバックに対する距離を決定するために使用されうる。以下の方程式（７）のタンジェント三角法恒等式
【００３０】
【数７】
0004246410.tif 000008
【００３１】
を用い、この恒等式を方程式（６）に適用すると、修正された単眼方程式は較正ルックアップ・テーブルから、タンジェント/傾きの直接探索することにより使用されうる形に残される。
【００３２】
この方程式は以下の方程式（８）で与えられる。
【００３３】
【数８】
0004246410.tif 000009
【００３４】
図５は、デジタル信号処理装置（ＤＳＰ）５２を含む、本発明のイメージング・システム５０のブロック図である。ＤＳＰ５２は、顔面認識ソフトウエアおよび、カメラ３４によって発生されたイメージに分析を実行するレンジング機能を含む。クロック発生器６０はシステム５０の様々なデジタル装置のためにタイミングを提供し、電力管理システム６２は電力を提供する。ＤＳＰ５２は、ＣＭＯＳチップ７０に結合され、ＣＭＯＳチップ７０は該カメラ３４のようなＩＲ検出器を意味するピクセル・アレイ７２を含む。この例では、ピクセル・アレイ７２は、所望レベルの解像度を提供するために２５６×２５６ピクセルを含む。ＣＭＯＳチップ７０はさらにタイミングおよび制御目的のために、状態マッチング・ロジック７４，クロック/タイミング回路７６、アナログ状態回路７８、レジスタ/バッファ８０、オンチップ・プログラマブル・ロジック回路８２などを含む、様々な要素を含む。さらに、アナログ/デジタル変換器８４は、ピクセル・アレイ７２からのアナログ信号を代表的なデジタル信号へ変換するために提供される。記憶目的のために、オンチップＳＲＡＭメモリ８６が示されているが、同じようなオフ・チップであることが可能である。ここで述べられた、システム内のこれらの装置の動作は当業者に明らかであろう。
【００３５】
一つの実施形態においては、赤外線ＬＥＤ３０はカメラ３４によって受信された反射放射を提供するために連続的にオンである。しかし、フィルタ３６を通り抜ける直接太陽光線を原因とした問題を修正するために、何らかの種類の典型的なフィルタリングまたは信号処理がカメラ３４の上でなされなくてはならない。特に、システム５０は太陽光線を原因とした影と、占有者１６の特徴の実際のエッジとを区別し得るために必要である。本発明によると、所定数のビデオデータ・フレームの間の所定時間期間の間、ＬＥＤ３０をオンへ、それから同じ数のビデオデータ・フレームの間の所定の時間期間の間オフへ同期式にパルス化するフレーム差分技術を使用し得る。それから、データ・フレームはお互いから減算され、従ってＩＲ照明なしのフレームはＩＲ照明ありのフレームから減算され、および背景が除去され得る。検出器は露光制御を提供するためのパルスと同期式に電気的にシャッターされる。ここで述べられるフレーム差分技術は、所望された結果を達成するために赤外線のパルス化とともに使用されている。換言すると、フレーム差分は赤外線パルスに同期されている。
【００３６】
フレーム差分の概念は、自然照明のみを使用しおよび附加された赤外線照明と共に自然照明を使用するイメージの時間アパーチャ、ピクセルレベルの蓄積である。フレーム差分は、強い可視照明の効果を緩和するため、これらのイメージが減算されることを許容する。セットアップは、ＩＲ照明をセットする濃度フィルタおよびアナログ/デジタル変換器の入力を最大にするためのワーストケース背景を含む。顔面認識は、差分されたイメージに対するワーストケース・アナログ/デジタル範囲が５から６ビットであることを要求する。可視光は、アナログ/デジタル変換器によって許容される残留範囲内に適合するであろう。イメージ差分は、二つのピクセル・レベル・コンデンサが各照射レベル当たり一つ充電されるアナログ領域で実行されるか、またはデジタル化されたピクセル出力のＲＡＭメモリが各照明において取り出されるデジタル領域のいずれかで実行される。フレーム差分は可視照明の照明効果を減算し、イメージ・コントラストを改善するように実行する。フレーム差分機能は、捕捉/高帯域幅発生モードまたは、パルス化されたＬＥＤ照明を使用する狭帯域トラックモードで実行され得る。パルス化されたＩＲ光源からの電子の数は、周辺照明のフォトン・ノイズよりも１０倍より多くなくてはならない。ここで、二つのイメージ・フレームは受信された1ＩＲイメージ毎に対して捕捉されているので、周辺照明のノイズは、太陽光線強度内の電子数の二倍の平方根である。
【００３７】
図６は、カメラ３４においてフレーム差分が、本発明の一つの実施形態に従って、どのように実行されるかを示している。図７は本発明のフレーム差分技術の動作を示す、信号タイミング・ラインである。カメラ３４におけるピクセル・アレイ９０は、ＬＥＤ３０からＩＲのパルス中の所定時間期間（１０ｕｓ）の間にシーンから放射を受信する。このとき、ピクセル・アレイ９０は周辺光および赤外光を受信する。アレイ９０において各ピクセルまたはフォトダイオードによって保存された電荷は、複数のコンデンサ（各ピクセル９２対し一つのコンデンサ９６である）からなる電荷蓄積サイト９４へ転送される。約１０ｕｓの後、クラスタ２８からのパルスのエンドで、ピクセル・アレイ９０は同じ時間期間の間、周辺光だけを検出する。この時間期間にピクセル・アレイ９０によって受信された電荷は、コンデンサ１００を有する電荷蓄積サイト９８に保存される。電子シャッターはここでのべられた動作のために、ＩＲ放射のパルスと同期して適切な時間に開閉するために検出器において使用される。
【００３８】
二つの蓄積サイト９４および９８は、加算増幅器１０２で加算される。次に、二つの蓄積サイト９４および９８の間の差が、アナログ/デジタル変換器１０４によってデジタル化され、周辺光が除去されているデータフレームを表す。データの読出しは約１０ｍｓかかり、それから次の時間期間で、クラスタ２８からの次のパルスが発生する。完全なフレーム差分プロセスは、ピクセル・アレイ９０および蓄積サイト９４および９８が一緒にあるＣＭＯＳ内の単一のチップで実行され得る。フレーム差分は、代替的な実施形態においては、蓄積サイト９４および９８がＲＡＭであるオフチップ・サイトにおいて、異なる時間期間で実行される。
【００３９】
本発明のフレーム差分技術は以下の方法で記述され得る。変数は周辺照射Ｉ（ｘ、ｙ）、直接周辺照射Ｔ（ｘ、ｙ）、シーン反射率Ｒ（ｘ、ｙ）と定義され、変調ソースはオン時にＬ、オフ時に０と定義される。カメラ３４の応答は、反射率と照明の積に比例する。
【００４０】
【数９】
0004246410.tif 000010
【００４１】
この差シーンは単純なイメージＳ（ｘ、ｙ、ＯＦＦ）より非常に小さいダイナミックレンジを有する。同じ利点はＬＥＤとともにフレームを読み出し、ＬＥＤなしにフレームを読み、カメラ３４の外部へフレームを減算することによって得られる。損失は、飽和を避けるために要求されるダイナミックレンジが増加することである。
【００４２】
ＬはＩ上のフォトンノイズよりさらに大きくなくてはならない。従って、Ｉは周波数がＬに調整された狭帯域フィルタを使用することで、出来るだけ小さくされる。二つのフレームは、顔面認識ソフトウエアを供給するための一つのフレームを得るために区別されるので、生のサンプリング速度は、対象追跡により設定された要件の二倍でなくてはならない。ＬＥＤ３０はより高速でなくてはならない。ＩＲ放射線源は、すべての放出が、全検出器がアクティブの間になされるように変調されなくてはならない。検出器における全ピクセルの集積時間が調整されない場合には、ＯＮとなるべきソースのための使用可能時間はワーストケースの調整不良によって減少される。
【００４３】
以上の議論は本発明の単なる例示的な実施形態を開示し、記述する。例えば、パルス・レーザー・ダイオードがＬＥＤの代わりに使用され得るでろう。当業者は、以上の議論および添付された図面および特許請求の範囲から、特許請求の範囲に規定された発明の趣旨および範囲から離れずに、さまざまな変化、変更および変形がなされうるということを容易に理解するであろう。
【図面の簡単な説明】
【図１】本発明の実施形態に従った、エアバック展開のためのイメージ・センシング・システムに関連する車両の乗客シートにいる人の切断側平面図である。
【図２】本発明のエアバック展開システムにおいて使用される、ビデオカメラとＬＥＤ照明装置の透視図である。
【図３】横軸を波長、縦軸を照明エネルギーとして、太陽光線の輝度カーブを示したグラフである。
【図４】エアバック・ドアの中心および法線に対するカメラの傾きおよび位置のパラメータを表す。
【図５】本発明のエアバック展開システムのブロック図である
【図６】本発明のエアバック展開システムにおいて使用されるフレーム差分技術を描いた概略図である。
【図７】本発明のフレーム差動技術のための、タイミング図である。
【符号の説明】
２０      エアバック枕
２２      計器パネル
２４      エアバック
２８      クラスタ
３０      赤外線ＬＥＤ
３４      ビデオカメラ
３６      フィルタ
５２      ＤＳＰ／マイクロプロセッサ
６０      クロック発生器
６２      電力管理
７２      ピクセルアレイ
７４      状態マッチング・ロジック
７６      クロック／タイミング回路
７８      アナログ状態回路
８０      レジスター／バッファ
８２      オンチップ・プログラマブル・ロジック回路
８４      アナログ／デジタル変換器
８６      オンチップＳＲＡＭメモリ
９０      ピクセル・アレイ
９８      コンデンサ蓄積サイト
１００      コンデンサ
１０２      加算増幅器
１０４      アナログ/デジタル変換器
【図１】
0004246410.tif 000011
【図２】
0004246410.tif 000012
【図３】
0004246410.tif 000013
【図４】
0004246410.tif 000014
【図５】
0004246410.tif 000015
【図６】
0004246410.tif 000016
【図７】
0004246410.tif 000017