(57)【要約】  車両内部の乗員（３０５，３１０，３１５）の寸法及び姿勢を特定する方法及びシステムが提供される。１つの実施形態では、本方法は、カメラ（１１４）から車両内部の１つ又は複数の画像（図３）を受信することを含む。本方法は、前記１つ又は複数の画像内の前記車両内部（１００）の室内領域（１３０，１３２，１３４，１３６，１３８）を分類することも含む。本方法は、前記車両内部（１００）の前記室内領域（１３０，１３２，１３４，１３６，１３８）の前記分類に基づいて前記１つ又は複数の画像内の乗員（３０５，３１０，３１５）を識別することも含む。本方法は、前記車両内部（１００）の前記室内領域の前記分類（４０４）に基づいて前記乗員（３０５，３１０，３１５）の寸法範囲を特定することも含む。本方法は、前記車両内部（１００）の前記室内領域の前記分類（４０４）に基づいて前記乗員（３０５，３１０，３１５）の姿勢を特定することも含む。本方法は、前記乗員（３０５，３１０，３１５）の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システム（１２２，１２４，１２６，１２８）を制御することも含む。
2018512334.tif 000002
【特許請求の範囲】
【請求項１】
車両内部の乗員の寸法及び姿勢を特定する方法において、
電子制御ユニットによって、カメラから車両内部の１つ又は複数の画像を受信することと、
前記電子制御ユニットによって、前記１つ又は複数の画像内の前記車両内部の室内領域を分類することと、
前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の乗員を識別することと、
前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記乗員の寸法範囲を特定することと、
前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記乗員の姿勢を特定することと、
前記乗員の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システムを制御することと、
を含む、方法。
【請求項２】
前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の前記乗員を識別することは、前記電子制御ユニットによって、前記乗員が前記車両内部の運転席にいるかどうかを特定することを含む、
請求項１に記載の方法。
【請求項３】
前記乗員の前記寸法及び前記姿勢に基づいて前記１つ又は複数の車両システムを制御することは、
前記電子制御ユニットによって、前記乗員の前記寸法及び前記姿勢をエアバッグ制御ユニットに送信することと、
前記エアバッグ制御ユニットによって、前記乗員の前記寸法及び前記姿勢に少なくとも部分的に基づいて１つ又は複数のエアバッグを展開させるように作動させることと、
を含む、
請求項１に記載の方法。
【請求項４】
前記エアバッグ制御ユニットによって、前記乗員の前記寸法及び前記姿勢に基づいて前記１つ又は複数のエアバッグの１つ又は複数の展開特性を決定することをさらに含む、
請求項３に記載の方法。
【請求項５】
前記１つ又は複数のエアバッグの前記１つ又は複数の展開特性は、展開強度又は展開角度のうちの少なくとも一方を含む、
請求項４に記載の方法。
【請求項６】
前記乗員の前記寸法及び前記姿勢に基づいて前記１つ又は複数の車両システムを制御することは、
前記電子制御ユニットによって、前記乗員の前記寸法及び前記姿勢をシートベルトシステムに送信することと、
前記シートベルトシステムによって、前記乗員の前記寸法及び前記姿勢に少なくとも部分的に基づいて前記乗員がシートベルトを適当に装着しているかどうかを特定することと、
を含む、請求項１に記載の方法。
【請求項７】
前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の第２の乗員を識別することと、
前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記第２の乗員の寸法範囲を特定することと、
前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記第２の乗員の姿勢を特定することと、
前記第２の乗員の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システムを制御することと、
をさらに含む、
請求項１に記載の方法。
【請求項８】
車両内部の乗員の寸法及び姿勢を特定するためのシステムにおいて、前記システムは、
車両内部の１つ又は複数の画像を捕捉するように構成されたカメラと、
メモリと、前記メモリに電気的に接続された電子プロセッサとを有する電子制御ユニットと、
を含み、前記電子制御ユニットは、
前記カメラから１つ又は複数の画像を受信し、
前記１つ又は複数の画像内の前記車両内部の室内領域を分類し、
前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の乗員を識別し、
前記車両内部の前記室内領域の前記分類に基づいて前記乗員の寸法範囲を特定し、
前記車両内部の前記室内領域の前記分類に基づいて前記乗員の姿勢を特定し、
前記乗員の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システムを制御する、
ように構成されている、システム。
【請求項９】
前記１つ又は複数の画像内の乗員を識別するために、前記電子プロセッサは、前記乗員が前記車両内部の運転席にいるかどうかを特定するようにさらに構成されている、
請求項８に記載のシステム。
【請求項１０】
前記システムは、エアバッグ制御ユニットをさらに含み、
前記乗員の前記寸法及び前記姿勢に基づいて前記１つ又は複数の車両システムを制御するために、前記電子プロセッサは、前記乗員の前記寸法及び前記姿勢を前記エアバッグ制御ユニットに送信するようにさらに構成されており、
前記エアバッグ制御ユニットは、前記乗員の前記寸法及び前記姿勢に少なくとも部分的に基づいて１つ又は複数のエアバッグを展開させるように作動させるように構成されている、
請求項８に記載のシステム。
【請求項１１】
前記エアバッグ制御ユニットは、前記乗員の前記寸法及び前記姿勢に基づいて前記１つ又は複数のエアバッグの１つ又は複数の展開特性を決定するようにさらに構成されている、
請求項１０に記載のシステム。
【請求項１２】
前記１つ又は複数のエアバッグの前記１つ又は複数の展開特性は、展開強度又は展開角度のうちの少なくとも一方を含む、
請求項１１に記載のシステム。
【請求項１３】
前記システムは、シートベルトシステムをさらに含み、
前記乗員の前記寸法及び前記姿勢に基づいて前記１つ又は複数の車両システムを制御するために、前記電子プロセッサは、前記乗員の前記寸法及び前記姿勢を前記シートベルトシステムに送信するようにさらに構成されており、
前記シートベルトシステムは、前記乗員の前記寸法及び前記姿勢に少なくとも部分的に基づいて、前記乗員がシートベルトを適当に装着しているかどうかを特定するように構成されている、
請求項８に記載のシステム。
【請求項１４】
前記電子プロセッサは、
前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の第２の乗員を識別し、
前記車両内部の前記室内領域の前記分類に基づいて前記第２の乗員の寸法範囲を特定し、
前記車両内部の前記室内領域の前記分類に基づいて前記第２の乗員の姿勢を特定し、
前記第２の乗員の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システムを制御する、
ようにさらに構成されている、請求項８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１５年４月１０日に出願された米国仮特許出願第６２／１４５９３１号明細書（U.S.Provisional Patent Application No.62/145,931）の利益を主張し、その全内容は参照により本明細書に組み込まれる。
【背景技術】
【０００２】
背景
現在の乗員検出システムは、座席にいる乗員又は他の物体の重量を検出する座席ベースのセンサを使用して、車両内の乗員の位置を検出する。他の乗員検出システムは、カメラを使用して乗員の位置を検出する。位置情報は、例えば、その座席のエアバッグを有効又は無効にするために使用することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
概要
現在の乗員検出システムは、一般的な乗員位置情報を提供することが可能である。場合によっては、より特定の乗員位置情報や、乗員に関する追加的な情報が望ましいことがある。例えば、１つ又は複数のエアバッグに関して、車両内の乗員の寸法及び姿勢に関する追加的な情報を用いれば、エアバッグをより良好に制御することが可能になるであろう。同様に、他の車両安全システムに関して、車両内の乗員の寸法及び姿勢に関する追加的な情報を用いれば、これらの他の車両安全システムを、より良好に制御することができる。従って、車両の乗員の寸法及び姿勢を特定するためのシステム及び方法が必要とされている。
【課題を解決するための手段】
【０００４】
本明細書に開示される特定の実施形態の概要が、以下に記載されている。これらの態様が、単にこれらの特定の実施形態の簡単な概要を読者に提供するために提示されたものであって、本開示の範囲を限定することを意図したものではないことを理解すべきである。それどころか、本開示は、以下に記載されていない可能性もある種々の態様を包含することができる。
【０００５】
１つの実施形態では、車両内部の乗員の寸法及び姿勢を特定する方法が提供される。本方法は、電子制御ユニットによって、カメラから車両内部の１つ又は複数の画像を受信することを含む。本方法は、前記電子制御ユニットによって、前記１つ又は複数の画像内の前記車両内部の室内領域を分類することも含む。本方法は、前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の乗員を識別することも含む。本方法は、前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記乗員の寸法範囲を特定することも含む。本方法は、前記電子制御ユニットによって、前記車両内部の前記室内領域の前記分類に基づいて前記乗員の姿勢を特定することも含む。本方法は、前記乗員の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システムを制御することも含む。
【０００６】
別の実施形態では、車両内部の乗員の寸法及び姿勢を特定するためのシステムが提供される。本システムは、カメラと、電子制御ユニットとを含む。前記カメラは、車両内部の１つ又は複数の画像を捕捉するように構成されている。前記電子制御ユニットは、メモリと、前記メモリに電気的に接続された電子プロセッサとを有する。前記電子制御ユニットは、前記カメラから１つ又は複数の画像を受信し、前記１つ又は複数の画像内の前記車両内部の室内領域を分類し、前記車両内部の前記室内領域の前記分類に基づいて前記１つ又は複数の画像内の乗員を識別し、前記車両内部の前記室内領域の前記分類に基づいて前記乗員の寸法範囲を特定し、前記車両内部の前記室内領域の前記分類に基づいて前記乗員の姿勢を特定し、前記乗員の前記寸法及び前記姿勢に基づいて１つ又は複数の車両システムを制御するように構成されている。
【０００７】
本発明の他の態様は、詳細な説明及び添付の図面を考慮することによって明らかになるであろう。
【図面の簡単な説明】
【０００８】
【図１】乗員の寸法及び姿勢を検出するシステムが装備された車両内部のブロック図である。
【図２】図１の乗員の寸法及び姿勢を検出するシステムの電子制御ユニットのブロック図である。
【図３】車両内部１００の大部分を網羅する広角レンズを有するカメラからの画像である。
【図４】図１の乗員の寸法及び姿勢を検出するシステムを使用して乗員の寸法及び姿勢を特定する方法のフローチャートである。
【発明を実施するための形態】
【０００９】
詳細な説明
本発明の任意の実施形態が詳細に説明される前に、本発明がその適用において、以下の説明に記載される又は以下の図面に図示される構成の細部及び構成要素の配置に限定されないことを理解すべきである。本発明は、他の実施形態が可能であり、種々の方法で実施又は実行されることが可能である。
【００１０】
本発明を実施するために、複数のハードウェアベース及びソフトウェアベースのデバイス、並びに、構造の異なる複数のコンポーネントが使用され得ることに留意すべきである。さらには、本発明の実施形態が、ハードウェア、ソフトウェア、及び、電子コンポーネント又は電子モジュールを含むことができ、これらが考察目的のために、コンポーネントの大部分がハードウェアでのみ実装されているかのように図示及び説明され得ることを理解すべきである。しかしながら、当業者であれば、本詳細な説明の読解に基づいて、少なくとも１つの実施形態における本発明の電子ベースの態様が１つ又は複数のプロセッサを用いてソフトウェア（例えば、非一時的コンピュータ可読媒体に記憶されたソフトウェア）で実行され得ることを理解するであろう。従って、本発明を実施するために、複数のハードウェアベース及びソフトウェアベースのデバイス、並びに、構造の異なる複数のコンポーネントが利用され得ることに留意すべきである。例えば、本明細書に記載されている「制御ユニット」及び「制御装置」は、１つ又は複数のプロセッサ、非一時的コンピュータ可読媒体を含む１つ又は複数のメモリモジュール、１つ又は複数の入力／出力インタフェース、及び、これらのコンポーネントを接続する種々の接続部（例えば、システムバス）を含むことができる。
【００１１】
図１は、１つの実施形態による乗員の寸法及び姿勢を検出するシステム１０２が装備された車両内部１００を示すブロック図である。乗員の寸法及び姿勢を検出するシステム１０２は、画像処理電子制御ユニット（ＥＣＵ）１１０、カメラ１１２（例えば、魚眼レンズカメラ）、任意選択のカメラ１１４、通信インタフェース１１５Ａ乃至１１５Ｄ（まとめて「通信インタフェース１１５」）、エアバッグ制御ユニット（ＡＣＵ）１２０、電気リンク１２１Ａ乃至１２１Ｄ（まとめて「電気リンク１２１」）（例えば、ワイヤ）、エアバッグ１２２乃至１２８、運転席１３０、助手席１３２、左後部座席１３４、中央後部座席１３６、右後部座席１３８、及び、車両センサ１４０を含む。
【００１２】
カメラ１１２は、通信インタフェース１１５Ａを介して画像処理ＥＣＵ１１０に通信可能に接続されている。さらに、いくつかの実施形態では、任意選択のカメラ１１４が、通信インタフェース１１５Ｂを介して画像処理ＥＣＵ１１０に通信可能に接続されている。画像処理ＥＣＵ１１０は、カメラ１１２によって捕捉された複数の画像（例えば、全方位画像）にアクセスする。画像処理ＥＣＵ１１０は、複数の画像を所定の時間間隔で処理し、複数の画像及び関連データを記録する。例えば、画像処理ＥＣＵ１１０は、車両内部１００が移動した距離に少なくとも部分的に基づいて複数の画像を処理することができる。通信インタフェース１１５はまた、画像処理ＥＣＵ１１０を、他の車両システム（例えば、後述する車両センサ１４０及び車両制御装置１４５）と共にＡＣＵに通信可能に接続する。
【００１３】
寸法及び姿勢を検出するシステム１０２のいくつかの実施形態は、車両内部１００の位置及び移動を示す１つ又は複数の車両センサ１４０も含む。例えば、車両センサ１４０は、操舵角センサ、車輪位置又は車輪速度センサ、及び、全地球測位システム（ＧＰＳ）を含むことができる。車両センサ１４０によってＡＣＵ１２０は、車両センサ１４０によって提供される移動情報に基づいて車両内部１００の位置、方向、及び、動きを検出することが可能となる。ＡＣＵ１２０はさらに、移動情報に基づいて位置と、時間の経過に伴う位置の変化とを計算するように構成されている。ＡＣＵ１２０をさらに、１つ又は複数の車両制御装置（例えば、ステアリングホイール、スロットル、又は、ブレーキシステム）に通信可能に接続させることができる。ＡＣＵ１２０は、１つ又は複数の車両センサ１４０及び／又は車両制御装置によって提供された情報を使用して、車両内部１００の位置と、寸法及び姿勢を検出するシステム１０２によって分析された車両内部１００内の乗員の寸法及び姿勢とに基づいて、エアバッグ動作を実施することができる。
【００１４】
図２は、図１における、乗員の寸法及び姿勢を検出するシステム１０２の、画像処理ＥＣＵ１１０のブロック図である。画像処理ＥＣＵ１１０は、画像処理ＥＣＵ１１０内及び／又はカメラ１１２内のコンポーネント及びモジュールに電力、動作制御、及び、保護を提供する複数の電気的及び電子的なコンポーネントを含む。例えば、画像処理ＥＣＵ１１０は、特に、制御装置２０５（プログラマブル電子マイクロプロセッサ、マイクロコントローラ、又は、他の適当な処理装置など）、電源２１０、及び、入力／出力モジュール２１５を含む。
【００１５】
制御装置２０５は、特に、電子プロセッサ２２０及びメモリ２２５を含む。電子プロセッサ２２０は、メモリ２２５に通信可能に接続されており、メモリ２２５に記憶可能な命令を実行する。制御装置２０５は、特に、本明細書に記載された制御プロセス及び方法に関連する命令を、メモリ２２５から検索して実行するように構成されている。他の実施形態では、画像処理ＥＣＵ１１０は、追加的なコンポーネント、又は、より少ないコンポーネント、又は、別のコンポーネントを含む。画像処理ＥＣＵ１１０が、本明細書に列挙された特定の機能を実行するようにそれぞれ構成された、いくつかの独立した電子制御ユニットにおいて実装され得ることに留意すべきである。画像処理ＥＣＵ１１０は、さらに、特定の種類のセンサデータを入力して、関連する処理を実行するサブモジュールを含むことができる。例えば、画像処理ＥＣＵ１１０のビデオ分析モジュールは、カメラ１１２からビデオストリーム又は１つ若しくは複数の画像を受信し、前記ビデオ又は１つ若しくは複数の画像を適当なフォーマットに変換して、前記１つ又は複数の画像内の物体及び特徴（例えば、車両内の乗員、乗員の姿勢、及び、乗員の寸法範囲）を認識し、前記１つ又は複数の画像内の前記物体及び前記特徴を追跡して、他のＥＣＵを制御するか、又は、これらの処理からのデータ出力を他のＥＣＵ（例えば、ＡＣＵ１２０）に送信することができる。
【００１６】
画像処理ＥＣＵ１１０は、特に、カメラ１１２から１つ又は複数の画像を受信して、１つ又は複数の画像を処理するように構成されている。例えば、図２の実施形態では、入力／出力モジュール２１５は、カメラ１１２から１つ又は複数の画像を受信して、前記１つ又は複数の画像を画像処理のために制御装置２０５に送信する。次いで、制御装置２０５は、前記１つ又は複数の画像を処理する。
【００１７】
画像処理ＥＣＵ１１０、サブモジュール、追加的なＥＣＵ（例えば、ＡＣＵ１２０）、車両センサ１４０、及び、車両制御装置１４５を、通信インタフェース１１５Ｃ上の１つ又は複数の通信モジュールを介してリンクすること、及び／又は、入力／出力モジュール２１５を介して直接的に接続することができる。いくつかの実施形態では、ＡＣＵ１２０は、入力／出力モジュール２１５と通信するためにＪ１９３９又はＣＡＮバスのようなプロトコルを使用して通信する。他の実施形態では、ＡＣＵ１２０は、特定の用途の需要に応じて他の適当なプロトコルの下で入力／出力モジュール２１５と通信する。いくつかの実施形態では、入力／出力モジュール２１５は、種々の制御部及びセンサから専用の信号線を直接的に使用して情報を入力する。
【００１８】
例えば、図３は、車両内部１００の大部分を網羅する広角レンズを有するカメラ１１２からの画像３００である。この図示された実施形態では、画像３００は、２人の乗員、即ち、第１の乗員３０５及び第２の乗員を含む。２人の乗員は、画像処理ＥＣＵ１１０の関心物体である。図３に示すように、第１の乗員３０５及び第２の乗員３１０は、カメラ１１２からの画像３００内の所定の位置（例えば、それぞれ運転席１３０及び左後部座席１３４）を占有しており、画像処理ＥＣＵ１１０によって画素位置として、又は、座標集合（例えば、垂直座標及び水平座標）として検出される。
【００１９】
いくつかの実施形態では、画像処理ＥＣＵ１１０は、カメラ１１２からの画像３００から情報（例えば、車両の乗員の位置、寸法、及び、姿勢）を抽出するために分類器アプローチを使用する。例えば、分類器（classifier）は、エッジ、形状、色、及び、他の適当な特徴を含む画像特徴に基づいている。さらには１つ又は複数の分類器を使用して、画像内の視認可能な乗員の全身（典型的には頭及び胴の領域）を検出することができる。車両内部１００内の複数の異なる座席位置に対してそれぞれ異なる分類器を調整することができる。このように、分類器を使用して、第１の乗員３０５及び第２の乗員３１０を含む車両内部１００内の乗員の位置を識別することができる。
【００２０】
いくつかの実施形態では、追加的な分類器を使用して、乗員の頭、肩、胴、腕、又は、他の適当な特徴を含む、乗員の別個の部位を検出することもできる。これらの追加的な分類器を組み合わせて、車両内部１００内のそれぞれの乗員の姿勢を推定することができる。同様に、複数の分類器を使用して、車両内部１００内のそれぞれの乗員の複数の異なる姿勢を検出することができる。例えば、第１の乗員３０５が背筋を伸ばして座っており、第２の乗員３１０が車両内部１００の前方に傾いている場合がある。
【００２１】
いくつかの実施形態では、画像処理ＥＣＵ１１０は、分類器からの画素における乗員の寸法を使用して、乗員の寸法を推定する。画像処理ＥＣＵ１１０は、さらに、カメラのキャリブレーション、又は、乗員の姿勢（例えば、乗員の頭の位置及び向き）を使用することができる。画像処理ＥＣＵ１１０は、乗員の位置、寸法、及び、姿勢を示す情報を、ＡＣＵ１２０及び車両制御装置１４５を含む他の車両システムに通信することが可能である。ＡＣＵ１２０及び／又は車両制御装置１４５は、乗員の位置、寸法、及び、姿勢を示す情報に基づいて自身の機能を変更することができる。例えば、ＡＣＵ１２０は、前記情報を使用して、衝突の発生時にどの１つ又は複数のエアバッグ（例えば、図１に図示されたエアバッグ１２２乃至１２８のうちの１つ又は複数）を展開すべきかを決定することができる。ＡＣＵ１２０は、さらに、前記情報を使用して、衝突の発生時に展開される１つ又は複数のエアバッグの展開特性（例えば、展開強度、展開角度、又は、他の適当な特性）を決定することができる。同様に、画像処理ＥＣＵ１１０は、シートベルトシステムのような車両制御装置１４５に前記情報を提供することができる。シートベルトシステムは、前記情報を使用して、事故の発生時に車両内部１００内のシートベルトの機能を制御することができる。いくつかの実施形態では、シートベルトシステムは、シートベルトの機能を制御して、ＡＣＵ１２０による１つ又は複数のエアバッグの展開に整合させることができる。
【００２２】
他の実施形態では、画像処理ＥＣＵ１１０は、安全性、安心性、快適性、及び、利便性に関連する用途のために、車両の乗員の位置、寸法、及び、姿勢を示す情報を提供することができる。例えば、前記情報を使用して、運転者又は助手席者がシートベルトを装着していない場合、又は、シートベルトが適当に装着されていない場合（例えば、シートベルトが運転者又は助手席者を適当に拘束していない場合）に警告を発することができる。さらに他の実施形態では、画像処理ＥＣＵ１１０は、運転席１３０にいる乗員の寸法及び形状に基づいて運転席１３０、ペダル、ステアリングホイール、及び／又は、車両ミラーの位置を自動的に設定する車両システムに情報を提供する。同様に、画像処理ＥＣＵ１１０は、助手席１３２にいる乗員の寸法及び形状に基づいて助手席１３２の位置を自動的に設定する車両システムに情報を提供する。
【００２３】
図４は、寸法及び姿勢を検出するシステム１０２を使用して、車両内部の乗員の寸法及び姿勢を特定する方法４００のフローチャートである。方法４００は、画像処理ＥＣＵ１１０を用いて実施されるものとして説明される。しかしながら、方法４００で説明される各機能が、画像処理ＥＣＵ１１０、ＡＣＵ１２０、及び／又は、他の車両制御装置の間でのように、複数の装置の間で分散されていてもよいことを理解すべきである。
【００２４】
図４に示すように、画像処理ＥＣＵ１１０は、車両内部を捕捉するカメラ１１２から１つ又は複数の画像を受信する（ブロック４０２）。例えば、画像処理ＥＣＵ１１０は、車両内部１００内の全ての座席領域を網羅する広角レンズを有するカメラ１１２からビデオストリームを受信する。さらに、いくつかの実施形態においては、画像処理ＥＣＵ１１０は、カメラ１１２の位置とは異なる位置から車両内部を捕捉する任意選択のカメラ１１４から、１つ又は複数の画像を受信する。例えば、この任意選択のカメラ１１４は、比較的長い車両内部１００における３列目の座席のような座席位置の画像を捕捉することができる。
【００２５】
画像処理ＥＣＵ１１０は、１つ又は複数の画像内の車両内部の室内領域を分類する（ブロック４０４）。いくつかの実施形態では、１つ又は複数の画像を事前処理して、画像全体の品質を改善し、露出のようなカメラ値を制御するための統計量を捕捉し、場合によっては、さらなる画像処理のための所望の解像度を得るために、画像をサンプリングし直すことができる。１つ又は複数の画像は、当該１つ又は複数の画像内の全ての画素に対して、又は、少数の画素群ごとに、線、形状、勾配の大きさ及び方向、テクスチャ、及び、色のような画像特徴を抽出するために処理される。これらの抽出された画像特徴は、分類器（例えば、比較器）に供給され、この分類器は、画像の所定の領域（例えば、車両内部の室内領域）内におけるこれらの抽出された特徴の相関を取り、これらの抽出された画像特徴が、物体のクラス（例えば、車両乗員、座席、シートベルト、又は、他の車両内部の物体のクラス）の特徴とどれくらい良好に一致するかを特定する。分類器は、検出すべき物体のクラスに関する以前に収集されたデータに基づいている。物体のクラスに関する以前に収集されたデータは、車両内の乗員に関する多数の画像群を含むことができる。多数の画像群内のこれらの乗員は、寸法、年齢、着座姿勢、衣服の多様な集合を表している必要があり、かつ、種々の照明条件で撮影される必要がある。いくつかの実施形態では、車両内の複数の異なる座席に対応する複数の異なる分類器が設けられている（例えば、前部座席対後部座席又は個々の座席）。さらに、いくつかの実施形態では、チャイルドシートを検出するための別個の分類器が設けられている。
【００２６】
画像処理ＥＣＵ１１０は、車両内部の室内領域の分類を使用して、１つ又は複数の画像内の乗員を識別することができる（ブロック４０６）。例えば、画像処理ＥＣＵ１１０は、初期分類器による、１つ又は複数の画像内のそれぞれの室内領域のスコアに応じた、車両内部の室内領域の分類を使用することができる。このスコアは、１つ又は複数の画像内の乗員を識別するために画像処理ＥＣＵ１１０のメモリに記憶された閾値と比較される。いくつかの実施形態では、１つ又は複数の画像内の乗員が識別される確率を上げ、かつ、誤検出を制限するために、画像処理ＥＣＵ１１０は、画像処理ＥＣＵ１１０のメモリに記憶された低い閾値を使用することができ、また、２つ以上の画像において車両内部の同じ室内領域において識別が行われるという要求も使用することができる。
【００２７】
画像処理ＥＣＵ１１０は、１つ又は複数の画像の室内領域内の乗員を識別した後、上述したように、室内領域の分類に基づいて乗員の寸法範囲を特定する（ブロック４０８）。他の実施形態では、乗員が含まれた１つ又は複数の画像の室内領域に対して、この乗員の寸法範囲を特定するために追加的な処理を実施することができる。例えば、画像処理ＥＣＵ１１０は、頭、胴、腕、及び、脚を検出するために特化した分類器を使用して、乗員を分類し、次いで複数の分類を組み合わせて、乗員の寸法範囲を特定することができる。いくつかの実施形態では、カメラキャリブレーション値を使用して、１つ又は複数の画像内の乗員の検出された寸法及び識別された位置を取得し、前記検出された寸法及び前記識別された位置を、乗員の寸法の推定値に変換することもできる。いくつかの実施形態では、車両内部の室内領域の分類に基づいて１つ又は複数の画像内の乗員を識別することは、乗員が車両内部の運転席にいるかどうかを画像処理ＥＣＵ１１０が特定することを含む。さらに、乗員の寸法範囲が乗員の形状に相関していることが理解される。換言すれば、画像処理ＥＣＵ１１０は、乗員の寸法範囲を特定した後に乗員の形状を特定することができるということが理解される。
【００２８】
画像処理ＥＣＵ１１０は、１つ又は複数の画像の室内領域内の乗員を識別した後、上述したように、室内領域の分類に基づいて乗員の姿勢も特定する（ブロック４１０）。他の実施形態では、乗員が含まれた１つ又は複数の画像の室内領域に対して、この乗員の姿勢を特定するために追加的な処理を実施することができる。例えば、画像処理ＥＣＵ１１０は、頭、胴、腕、及び、脚を検出するために特化した分類器を使用して、乗員を分類し、次いで複数の分類を組み合わせて、乗員の姿勢を特定することができる。
【００２９】
いくつかの実施形態では、画像処理ＥＣＵ１１０は、乗員の寸法範囲及び姿勢を特定した後、乗員の寸法及び姿勢に基づいて他の車両システムを制御する（ブロック４１２）。画像処理ＥＣＵ１１０は、乗員の寸法及び姿勢に関する情報を用いて他の車両システムを制御することにより、車両内の乗員の安全性を向上させる。これに代えて、画像処理ＥＣＵ１１０は、乗員の寸法範囲及び姿勢を特定した後、乗員の寸法及び姿勢を他の車両システム（例えば、ＡＣＵ１２０）に送信して、これらの他の車両システムが、エアバッグ、シートベルト、及び、車両の他の安全機構の制御の精度を向上させることが可能となるようにすることができる。例えば、画像処理ＥＣＵ１１０は、上述したように、乗員の寸法及び姿勢をＡＣＵ１２０に送信することができ、ＡＣＵ１２０は、乗員の寸法及び姿勢に少なくとも部分的に基づいて１つ又は複数のエアバッグを展開させるように作動させて、乗員の安全性を向上させることができる。
【００３０】
いくつかの実施形態では、画像処理ＥＣＵ１１０又はＡＣＵ１２０は、乗員の寸法及び姿勢に基づいて、１つ又は複数のエアバッグの１つ又は複数の展開特性を決定することもできる。１つ又は複数のエアバッグの展開特性は、１つ又は複数のエアバッグの展開強度、又は、１つ又は複数のエアバッグの展開角度のうちの少なくとも一方を含むことができる。
【００３１】
いくつかの実施形態では、画像処理ＥＣＵ１１０は、乗員の寸法及び姿勢をシートベルトシステムに送信することもできる。シートベルトシステムは、乗員の寸法及び姿勢に少なくとも部分的に基づいて、乗員がシートベルトを適当に装着しているかどうかを特定することができる。
【００３２】
図４は、車両内の１人の乗員の寸法及び姿勢を分類、識別、及び、特定するものとして説明されてきたことが理解される。しかしながら、図４に記載及び図示されている方法４００が、車両内の複数の乗員の寸法及び姿勢を分類、識別、及び、特定するために使用され得ることも理解される。例えば、いくつかの実施形態では、画像処理ＥＣＵ１１０は、車両内部の室内領域の分類に基づいて１つ又は複数の画像内の第２の乗員を識別することができる。画像処理ＥＣＵ１１０は、車両内部の室内領域の分類に基づいて第２の乗員の寸法範囲を特定することもできる。画像処理ＥＣＵ１１０は、車両内部の室内領域の分類に基づいて第２の乗員の姿勢を特定することもできる。画像処理ＥＣＵ１１０は、第２の乗員の寸法及び姿勢を特定した後、第２の乗員の寸法及び姿勢に基づいて１つ又は複数の車両システムを制御することができる。これに代えて、画像処理ＥＣＵ１１０は、第２の乗員の寸法及び姿勢を特定した後、第２の乗員の寸法及び姿勢を１つ又は複数の車両システムに送信することができる。
【００３３】
従って、本発明は、特に、車両内の乗員の寸法及び姿勢を特定するための方法及びシステムを提供する。本発明の種々の特徴及び利点は、以下の特許請求の範囲に記載されている。
【図１】
2018512334.tif 000003
【図２】
2018512334.tif 000004
【図３】
2018512334.tif 000005
【図４】
2018512334.tif 000006
【国際調査報告】
2018512334.tif 000007
2018512334.tif 000008
2018512334.tif 000009