(57)【要約】ドア（４）を有する車両キャビン内での対象物の位置検出方法では、画像シーケンスをカメラ（２）で記録し、当該の画像シーケンスの画像を電子的に評価することにより対象物のその時点での位置を計算し、その時点の画像と先行の画像とを比較することにより差の画像を形成し、当該の差の画像に基づいて対象物の位置の計算を行う。ここでカメラ（２）によりドア（４）の画像を記録する。ドア（４）の画像が評価され、閉状態と開状態との差の画像に基づいてドア（４）の開放状態が得られる。
2004533964.tif 000002
【特許請求の範囲】
【請求項１】
画像シーケンスをカメラ（２）で記録し、当該の画像シーケンスの画像を電子的に評価することにより対象物のその時点での位置を計算し、その時点の画像と先行の画像とを比較することにより差の画像を形成し、当該の差の画像に基づいて対象物の位置の計算を行う、
ドア（４）を有する車両キャビン内での対象物の位置検出方法において、
カメラ（２）によりドア（４）の画像を記録し、
当該のドア（４）の画像を評価し、閉状態と開状態との差の画像に基づいてドア（４）の開放状態を得る
ことを特徴とする車両キャビン内での対象物の位置検出方法。
【請求項２】
差の画像からドア（４）の開放角を得る、請求項１記載の方法。
【請求項３】
識別された開放状態に依存してカメラ（２）により信号を形成し、これを監視システムへ供給し、当該の信号に基づいて車両の乗員を保護するセーフティ装置をオンオフする、請求項１または２記載の方法。
【請求項４】
画像シーケンスをカメラ（２）で記録し、当該の画像シーケンスの画像を電子的に評価することにより対象物のその時点での位置を計算し、その時点の画像と先行の画像とを比較することにより差の画像を形成し、当該の差の画像に基づいて対象物の位置の計算を行う、
ドア（４）を有する車両キャビン内での対象物の位置検出方法において、
カメラ（２）によりウィンドウ（７）の開放状態を測定し、識別された開放状態に依存して信号を形成し、これを監視システムへ供給する
ことを特徴とする車両キャビン内での対象物の位置検出方法。
【請求項５】
カメラ（２）は開放されたウィンドウ（７）の領域に対象物が存在することを検出した場合に信号を監視システムへ供給し、これに基づいて監視システムはロックを開始して開放されたウィンドウ（８）の閉鎖を阻止する、請求項４記載の方法。
【請求項６】
ドア（４）またはウィンドウ（７）の開放状態をグレー値画像から得る、請求項１から５までのいずれか１項記載の方法。
【請求項７】
グレー値画像が取得されるたびに、ドア（４）またはウィンドウ（７）の開放状態の変化に応じてグレー値が変化するヴァーチャルな画像領域を定める、請求項６記載の方法。
【請求項８】
得られた画像ごとに位置の関数としてのグレー値曲線を位置にしたがって微分し、微分の結果をそのつど記憶し、記憶されたデータと比較して開放状態を求める、請求項７記載の方法。
【請求項９】
ドア（４）またはウィンドウ（７）の開放状態をカメラ（２）の３次元距離画像から得る、請求項１から５までのいずれか１項記載の方法。
【請求項１０】
距離点全体を車両システムへの変換後に車両底部または車両底面に平行な平面へ投影し、投影画像をそのつど記憶し、記憶されたデータとの比較から開放状態を求める、請求項９記載の方法。
【請求項１１】
対象物、例えばドア（４）またはウィンドウ（７）の点の集まりを求め、記憶されたデータとの比較から開放状態を求める、請求項９記載の方法。
【請求項１２】
請求項１から１１までのいずれか１項記載の車両キャビン内での対象物の位置検出方法を実行することを特徴とするカメラ（２）を備えた車両キャビン内装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像シーケンスをカメラで記録し、画像シーケンスの画像を電子的に評価することにより対象物のその時点での位置を計算し、その時点の画像と先行の画像とを比較することにより差の画像を形成し、当該の差の画像に基づいて対象物の位置の計算を行う、ドアを有する車両キャビン内での対象物の位置検出方法に関する。
【０００２】
この種の方法は国際公開第００６５５３８号明細書から知られている。公知の方法では位置に基づいて求められた対象物の輪郭から当該の対象物の運動が示された場合にのみ差の画像を形成することが記載されている。このときシーン内で運動している対象物が自動的に検出され、簡単かつ確実に画像評価が行われる。画像検出には広角対物レンズを備えたＣＣＤカメラまたはＣＭＯＳカメラが用いられる。こうしたカメラは車両のキャビン内の高い位置、有利には車両キャビンの天井に配置される。
【０００３】
カメラまたは他の光学センサ装置は前部座席のあいだに配置され、その視野角はインストゥルメンタルパネルから座席背もたれまでのあいだ、およびキャビン天井からシートクッションまでのあいだをカバーしている。
【０００４】
公知の方法では、車両キャビン内での助手席の乗員の位置に関する情報、特にその頭部の位置に関する情報を求め、エアバッグシステムのトリガを確実に作動させるために当該の情報を用いている。
【０００５】
また車両のドアコンタクト部を読み取り、その情報を評価してエアバッグシステムを監視することも知られている。こうした監視装置は車両座席（例えば助手席）の占有状態を種々の占有状態クラス（空席、チャイルドシート後ろ向き、チャイルドシート前向き、大人乗員など）へクラシフィケーションし、これらのクラス間の遷移確率を求める。車両ドアが開いている場合、エアバッグシステムは作動してはならない。例えば車両の機械的なドアコンタクト部が信号を形成し、この信号を監視システムへ供給する。このためにドアコンタクト部からカメラシステムまたはセンサ装置までの電気線路はキャビン天井に設けられる。
【０００６】
ここでケーブルを用いるとその配設にコストがかかるという欠点が生じる。ケーブルが長くなるとさらにＥＭＶ問題（電磁障害問題）が発生することもある。車両のドアコンタクト部はたいてい安価であるが、エアバッグのトリガに関連しているので安全性に関する重要な部材である。
【０００７】
本発明の課題は車両ドアの確実な識別を行えるようにすることである。
【０００８】
この課題は本発明にしたがってカメラによりドアの画像を記録し、当該のドアの画像を評価し、閉状態と開状態との差の画像に基づいてドアの開放状態を得ることにより解決される。
【０００９】
有利な実施形態は従属請求項に記載されている。
【００１０】
本発明の方法では特に、開放状態の検出のほか、ドアの具体的な開放角度を差の画像から得て利用することができる。これにより車両を駐車場で停止したときの車両ドアの不要に大きな開放が阻止され、車両のボディ部分または他の隣接の対象物が損なわれない。
【００１１】
有利には、本発明の方法での差の画像の形成は監視システムに関連して用いられる。このときカメラは識別された開放状態に依存して信号を形成し、これを監視システムへ供給する。この信号に基づいて車両乗員を保護するセーフティシステムがオンオフされる。こうしてドアコンタクト部へ電気線路を接続することにより生じる欠点が回避される。
【００１２】
これに加えてまたはこれに代えて、本発明の方法によれば、ウィンドウの開放状態を測定することができる。このときカメラは識別された開放状態に依存して信号を形成し、これを監視システムへ供給する。これによりウィンドウから外へ出ている助手席乗員の腕や頭部、または他の物体をパワーウィンドウの閉鎖運動の際に傷つけてしまうことが回避される。これは例えば助手席乗員の頭部または他の物体が当該の乗員の胴体でカバーされずにウィンドウに挟まれてしまう場合に有効である。
【００１３】
カメラは対象物が開放されたウィンドウの領域内にあることを識別すると信号を監視システムへ送出し、これに基づいて監視システムがブロックをトリガする。これにより開放されたウィンドウの閉鎖が阻止される。
【００１４】
本発明の方法の特に有利な実施形態では、ドアまたはウィンドウの開放状態はグレー値画像を評価することにより得られる。
【００１５】
僅かなグレー値画像でドアまたはウィンドウの開放状態を判別するには、ヴァーチャルな画像領域を検出してグレー値を形成する。ここではドアまたはウィンドウの開放状態が変更されるとグレー値の変化が予測される。
【００１６】
グレー値画像での評価の際にデータメモリに必要なメモリ容量をできる限り小さくするために、得られる各画像について位置にしたがう関数としてグレー値曲線を微分しなければならない。微分の結果はそのつど記憶され、記憶されたデータとの比較から開放状態が求められる。
【００１７】
グレー値画像を取得することに代えて、３Ｄカメラで３次元の距離画像を記録し、そこからドアまたはウィンドウの開放状態を取得することもできる。この場合には測定フィールドが使用され、カメラに対する平均距離が求められる。
【００１８】
本発明の別の有利な実施形態では、距離点全体が車両システムへの変換後に車両底部または車両底面に平行な平面へ投影される。投影画像はそのつど記憶され、記憶されたデータと比較して開放状態が求められる。このとき特徴的な点の集まりを求めることもできる。ドアの開放状態に応じて対応する点の集まりが変化する。
【００１９】
本発明はさらに上述の方法を実行する装置に関する。
【００２０】
以下に本発明を図示の実施例に則して詳細に説明する。
【００２１】
図１には走行方向に対して斜めに車両を切断した面での助手席が示されている。図２のＡ，Ｂにはドアが閉じている場合および開いている場合の車両底部に対してコプレーナな面における助手席が示されている。図３のＡ，Ｂには助手席ドアを内側から閉じた状態または開いた状態を捉えているエッジボックスが示されている。図３のＣにはウィンドウの縁領域およびドアの内壁をカバーするエッジボックスが示されている。図３のＤにはエッジボックスで捉えられたウィンドウ領域からドア内壁の領域へのグレー値特性が示されている。図３のＥには位置にしたがってグレー値曲線の第１の導関数が示されている。図４のＡ，Ｂには３Ｄカメラの測定フィールドおよび測定点の投影による助手席の乗員とドアとが示されている。図５のＡ，Ｂには３Ｄカメラで得られたピクセルを車両底部に対してコプレーナな平面へ変換したものが示されている。
【００２２】
車両内の天井１［図１、図２のＡ、Ｂ］にＣＣＤカメラまたはＣＭＯＳカメラ２が配置されており、このカメラには広角対物レンズ９が設けられている。カメラ２は有利には車両の中央に向けられるが、これに代えてカメラをボディの横軸上方の領域へ向け、座席３、ドア４、ドアグリップ６を備えたドア内壁５、およびウィンドウ７の上方の画像領域を捉えられるようにしてもよい。図中の破線Ａはカメラ２から閉鎖されているとき（第１の位置）のドア４までの距離を表しており、破線Ｂは開放されているとき（第２の位置）のドア４までの距離を表している。破線Ａ、Ｂはドアが開かれているときには破線Ａ’、Ｂ’に相応する。
【００２３】
カメラ２でグレー値画像が検出され、これによりウィンドウ７のフレームの周囲にエッジボックス１０〜１６［図３のＡ、Ｂ］が設定される。エッジボックス１０〜１６は大きなグレー値変化を有するドア４のエッジ位置を表すヴァーチャルな画像領域である。
【００２４】
エッジボックス１０はウィンドウ７の下方領域とドア内壁５の領域とをカバーしており、ｙ方向すなわちカメラ２の動作方向にＭピクセルの長さを有し、ｘ方向にＮピクセルの幅を有する。このエッジボックスにはドア内壁５のグレーで表されるグレー値のほか、これよりも明るいウィンドウ７の部分や、黒いドア縁ゴム８の部分などが存在する。
【００２５】
カメラ２がピクセルにしたがって走査する３つの領域についてエッジボックス１０内でグレー値が得られ、これが図３のＣに示されているようにｘ方向のＮ個のピクセルとｙ方向のＭ個のピクセルとで表される。同じことが図３のＤでは動作方向の関数として表されている。ここでは透明なウィンドウ７、黒いドア縁ゴム８および灰色のドア内壁５のグレー値の特性が見て取れる。
【００２６】
図３のＥには図３のＤの位置にしたがったグレー値関数、すなわち動作方向にしたがったグレー値関数の導関数が示されている。この関数の特性は実際にはエッジ関数により得られる。ここでエッジの位置は一方ではウィンドウ７とドア縁ゴム８とのあいだの位置Ｉで表され、他方ではドア縁ゴム８とドア内壁５とのあいだの位置ＩＩで表される。エッジの位置Ｉ、ＩＩは典型的なドア位置であり、一義的に表すことができる。
【００２７】
本発明の表示プロセスではきわめて僅かなメモリ容量しか必要とならない。なぜならエッジボックス１０〜１６に対して相互に対向する２つの角の位置を求め、カメラ２の動作方向とグレー値の閾値を形成するだけでよいからである。このときエッジボックス１０〜１６の閾値は個別に選定することができる。
【００２８】
エッジボックス１０〜１６の位置をドア４が閉じているとき［図３のＡ］と開いているとき［図３のＢ］とで比較すると、パースペクティブの変化によりドア４に対するエッジボックス１０〜１６の転位が得られる。エッジボックス１０〜１６のエッジはドア４の開放角がほんの少し変化しただけで変化する。これによりドア４の開放角度が検出される。基本的に、個々のエッジボックス１０〜１６は車両の乗員によって覆われてしまうことがあるので、エッジボックス１０〜１６の最小数を定義し、そのうち幾つかが隠れてしまっても、記憶されたエッジ位置と一致する覆われていないエッジボックスを用いて確実に測定結果を得られるようにしておくと有利である。
【００２９】
別の実施例ではカメラ２が３Ｄカメラとして構成されている。この実施例では測定フィールド１７〜１９［図４のＡ］が定義され、これによりドア４の部分がマッピングされ、カメラ２に対する平均距離が測定される。その時点での距離と記憶されている距離、例えばドア４が閉じられているときの距離とを比較することにより、ドア４が開放されているか閉鎖されているかが結論される。ここで測定フィールド１７〜１９は投影平面（例えば車両底面）に投影される。これはバーズビューつまり俯瞰の投影である。図４のＢに示されているように、ドア４の閉じられている位置Ｉと開いている位置ＩＩとのあいだで測定フィールド１７〜１９の平均距離の相対変化が得られ、ここからドア４の開放角が求められる。
【００３０】
本発明のもう１つの方法によれば［図５のＡ、Ｂ］、３Ｄカメラで得られたピクセル全体が車両底部に対してコプレーナな平面へ投影される。これによりｙ軸すなわち車両の走行方向の軸線に沿って特徴的な点の集まりが得られる。その位置はそれぞれの点の集まりの並ぶ長手軸線に沿って対象物の位置を反映している。このように所定の点の集まりによって閉じているときのドア４が表され［図５のＡ］、位置２０、２１で乗員の足、位置２２で座席３の筐体および背もたれが表されていることがわかる。
【００３１】
ドアの開いている状態では［図５のＢ］、ドア４を表す点の集まりは変化しているものの、他の全ての点の集まり２０〜２２はほぼ同じ位置にとどまっている。ドア４を表す点の集まりの運動方向は、ドアモデルによりドア４の回転ポイントの既知の位置を用いて求めるか、またはモデルなしで種々の文献から知られる変換法、例えばHough変換法を用いて探索される（K.R.Castleman, Prentice Hall; P.Haberaecker, Carl Hausen Verlag Muenchen, Wien; B.Jaehne, H.Haussecker, Computer Vision and Applications, Academic Pressなどを参照）。
【図面の簡単な説明】
【００３２】
【図１】走行方向に対して斜めに車両を切断した断面図である。
【００３３】
【図２Ａ】ドアが閉じている場合の車両底部に対してコプレーナな面を示す図である。
【００３４】
【図２Ｂ】ドアが開いている場合の車両底部に対してコプレーナな面を示す図である。
【００３５】
【図３Ａ】助手席ドアを内側から閉じた状態を捉えているエッジボックスを示す図である。
【００３６】
【図３Ｂ】助手席ドアを内側から開いた状態を捉えているエッジボックスを示す図である。
【００３７】
【図３Ｃ】ウィンドウの縁領域およびドアの内壁をカバーするエッジボックスを示す図である。
【００３８】
【図３Ｄ】エッジボックスで捉えられたウィンドウ領域からドア内壁の領域へのグレー値特性を示す図である。
【００３９】
【図３Ｅ】位置にしたがうグレー値曲線の第１の導関数を示す図である。
【００４０】
【図４Ａ】３Ｄカメラの測定フィールドを示す図である。
【００４１】
【図４Ｂ】測定点の投影による助手席の乗員とドアとを示す図である。
【００４２】
【図５Ａ】３Ｄカメラで得られたピクセルを車両底部に対してコプレーナな平面へ変換した図である。
【００４３】
【図５Ｂ】３Ｄカメラで得られたピクセルを車両底部に対してコプレーナな平面へ変換した図である。
【図３Ｃ】
2004533964.tif 000003
【図３Ｄ】
2004533964.tif 000004
【国際公開パンフレット】
2004533964.tif 000005
2004533964.tif 000006
2004533964.tif 000007
2004533964.tif 000008
2004533964.tif 000009
2004533964.tif 000010
2004533964.tif 000011
2004533964.tif 000012
2004533964.tif 000013
2004533964.tif 000014
2004533964.tif 000015
2004533964.tif 000016
2004533964.tif 000017
2004533964.tif 000018
2004533964.tif 000019
2004533964.tif 000020
2004533964.tif 000021
2004533964.tif 000022
2004533964.tif 000023
【国際調査報告】
2004533964.tif 000024
2004533964.tif 000025
2004533964.tif 000026
2004533964.tif 000027