(57)【特許請求の範囲】
【請求項１】
車両の座席についている者の距離画像を取得するための距離画像取得手段と、
前記距離画像取得手段によって取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、前記距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行う判定手段と、
前記判定手段による定常時判定で特定された者と非定常時判定で判別された体勢とに基づいて、座席についている者に危険がないように車載機器の制御を行うための車載機器制御手段とを具備することを特徴とする車載機器制御装置。
【請求項２】
車両の衝突を検知するための衝突検知手段と、
前記衝突検知手段によって車両の衝突が検知された場合に、膨張するエアバッグとを有する車載機器制御装置であって、
車両の座席についている者の距離画像を取得するための距離画像取得手段と、
前記衝突検知手段によって車両の衝突が検知された場合に、前記距離画像取得手段によって取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、前記距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行う判定手段と、
前記判定手段による定常時判定で特定された者と非定常時判定で判別された体勢とに基づいて、座席についている者に危険がないように前記エアバッグの膨張を制御するための膨張制御手段とを具備することを特徴とする車載機器制御装置。
【請求項３】
前記判定手段は、前記距離画像取得手段によって定常時に取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、前記衝突検知手段によって車両の衝突が検知された非定常時に前記距離画像取得手段によって取得された距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行うことを特徴とする請求項２記載の車載機器制御装置。
【請求項４】
前記距離画像取得手段は、対象物に光を照射する照射手段と、前記照射手段により照射した光が該対象物により反射された反射光を受光する受光手段とを具備し、前記反射光の強度から距離画像取得することを特徴とする請求項１乃至請求項３のいずれか１項記載の車載機器制御装置。
【請求項５】
更に、前記距離画像取得手段によって取得された距離画像から運転者の頭の動き周期を認識する認識手段と、
前記認識手段の認識結果により運転者が居眠りしているとされた場合に、運転者に警報を発する警告手段とを具備することを特徴とする請求項１乃至請求項４のいずれか１項記載の車載機器制御装置。
【請求項６】
車両の座席についている者の距離画像を取得し、
取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、取得された距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行い、
この定常時判定で特定された者と非定常時判定で判別された体勢とに基づいて、座席についている者に危険がないように車載機器の制御を行うことを特徴とする車載機器制御方法。
【請求項７】
車両の衝突を検知し、車両の衝突が検知された場合に、エアバッグの動作を制御する車載機器制御方法であって、
車両の座席についている者の距離画像を取得し、
車両の衝突が検知された場合に、取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、取得された距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行い、
この定常時判定で特定された者と非定常時判定で判別された体勢とに基づいて、座席についている者に危険がないように前記エアバッグの膨張を制御することを特徴とする車載機器制御方法。
【請求項８】
定常時に取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、車両の衝突が検知された非定常時に取得された距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行うことを特徴とする請求項７記載の車載機器制御方法。
【請求項９】
対象物に光を照射し、照射した光が該対象物により反射された反射光を受光し、この反射光の強度から距離画像取得することを特徴とする請求項６乃至請求項８のいずれか１項記載の車載機器制御方法。
【請求項１０】
更に、取得された距離画像から運転者の頭の動き周期を認識し、
この認識結果により運転者が居眠りしているとされた場合に、運転者に警報を発することを特徴とする請求項６乃至請求項８のいずれか１項記載の車載機器制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は距離画像にもとづいて車載機器の制御を行う車載ユーザの動きを認識・処理する車載機器制御装置および方法に関する。
【０００２】
【従来の技術】
自動車などの車両の運転者は運転のために両手を使っているので、ナビゲーション・システムなどの車載機器の操作ができないという問題がある。このため、音声認識を使って音声により、操作をする方法も考えられている。しかし、運転中は通行車のエンジン音などの雑音が多く認識が難しいという問題がある。あるいは、運転者が他の同乗者と話している声なのか、機器を操作するために発せられている声なのかが識別できないという問題がある。
【０００３】
一方、衝突時の被害を減らすために、衝突時にエアバッグを膨張させる方策がとられている。しかし、助手席に乗っている同乗者が妊婦や幼児である場合には、膨らんだエアバッグにより押しつぶされる不都合があるために、衝突時といえども膨らまさない方策を講じる必要がある。あるいは、衝突時に、人がエアバッグの直近にいるときには、エアバッグを膨らませると、顔に大きな衝撃を与え、傷害を与える可能性があるために、直近に人がいないことを確認する必要がある。
【０００４】
このような不具合を解消するために、赤外線による距離センサが使われている。しかし、現状の距離センサでは、例えばハエが距離センサを横切っても、人間が横切っても同じ距離に物体があると認識できるだけである。このため、ハエと人間を識別する必要があるという要求がある。
【０００５】
従来、ＣＣＤカメラなどを用いて撮像した画像を解析して、人間の身体の位置などを認識する方法がある。この方法では、ＣＣＤカメラなどの撮像装置を用いて撮影している。その画像から人間を抽出する場合では、例えば、顔や手の色が肌色なので、それ以外の背景などの余計な部分を取り除き、障害物となる物体など認識したい対象のみを切り出すという前処理を行う。そして、前処理後の画像を用いることで、物体の形状などを認識する。
【０００６】
まず、この認識対象の切り出しという前処理部分について説明する。従来の手法では、カメラで撮影した画像から、取得したい対象物の部分のみを切り出す作業として、対象物と、それ以外の部分の何らかの相違点を手がかりとして対象物の切り出しが行われていた。この手掛かりとして、色相の変化を利用する方法、差分画像を利用する方法などが用いられている。色を使って切り出す場合、色相差の大きな部分を抜き出し、細線化などの処理を行い、エッジを抽出する。人間を対象にする場合には、顔や手の部分の肌色に注目し、その色相部分のみを抽出しようとするものである。
【０００７】
しかし、色相差を用いる方法は、照明の色や角度などにより、肌色といっても変化し、また、背景の色相が肌色に近いと、人間の肌色と識別するのが難しいなどの問題があり、定常的に切り出すことは困難である。また、照明が全くない状態では、撮像画像は全部暗くなってしまうので、人間でも暗闇で撮影した写真から物体を判別することは難しい。
【０００８】
あるいは、ビデオ画像のフレーム間の動きベクトルを算出し、動いている物体を解析する方式もある。この場合、動いている物体が少ない内は問題ないが、動いている物体が多いと、動きベクトルの数が急に増え、フレーム間で動きベクトルを算出の負荷が増し、算出が追いつかなくなる。
【０００９】
特にエアバッグを膨らませるのは衝突時であるので、瞬時（１秒間より短時間）での判断が必要である。しかし、従来の画像処理では、撮像自体が１秒間に３０枚であり、その認識処理には、１枚あたり数秒以上かかるので、衝突時などの緊急時の判断処理を行うことはできなかった。
【００１０】
また、近傍にあるものがハエなのか、人間なのかを見分けるには、その体積を求める必要がある。体積を算出するには、３次元情報が必要となるが、従来のカメラを使った場合は、２台のカメラを使い、三角測量の方法を用いないと、距離などの３次元情報を取得することはできなかった。しかし、カメラが２台になるということは、パソコンなどのコンピュータのＣＰＵにかかる負担が２倍になるので、事故発生時などの瞬時の判断はますます困難となる。
【００１１】
このような問題を解決するために、たとえば、特開平１０−１７７４４９号公報に示されているような距離画像取得装置を用いて、ユーザの手や体のジェスチャをリアルタイムで取得する技術が発明されている。
【００１２】
特開平１０−１７７４４９号公報で開示されている距離画像取得装置を用いれば、パソコン本体のＣＰＵに負荷をかけることなく、物体を背景から切り出すことができる。
【００１３】
【発明が解決しようとする課題】
このように従来の方法では、両手を使う、両足も使うなど、処理すべき対象が増えると、それに応じて画像処理プログラムを作成し直す必要があり、大変手間がかかった。また、手はぐらぐら動いているために、安定した動作の抽出が難しかった。
【００１４】
【課題を解決するための手段】
以上の課題を解決するために、本願発明は、車両の座席についている者の距離画像を取得するための距離画像取得手段と、前記距離画像取得手段によって取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、前記距離画像取得手段によって取得された距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行う判定手段と、前記判定手段による定常時判定と非定常時判定とに基づいて、車載機器の制御を行うための車載機器制御手段とを具備することを特徴とする。
【００１５】
また、車両の衝突を検知するための衝突検知手段と、前記衝突検知手段によって車両の衝突が検知された場合に、膨張するエアバッグとを有する車載機器制御装置であって、車両の座席についている者の距離画像を取得するための距離画像取得手段と、前記衝突検知手段によって車両の衝突が検知された場合に、前記距離画像取得手段によって取得された距離画像から予め記憶された定常時解釈規則をもとに座席についている者を特定する定常時判定と、前記距離画像取得手段によって取得された距離画像から予め記憶された非定常時解釈規則をもとに座席についている者の体勢を判別する非定常時判定とを行う判定手段と、前記判定手段による定常時判定と非定常時判定とに基づいて、前記エアバッグの膨張を制御するための膨張制御手段とを具備することを特徴とする。
【００１６】
更に、前記距離画像取得手段によって取得された距離画像から運転者の頭の動き周期を認識する認識手段と、前記認識手段の認識結果により運転者が居眠りしているとされた場合に、運転者に警報を発する警告手段とを具備することを特徴とする。
【００１７】
【発明の実施の形態】
［第１の実施例］
図１に取得した助手席の同乗者の距離画像に対応して、エアバッグ膨張の制御を行う第１の実施例の概略構成図を示す。
【００１８】
図２に示すような距離画像取得部６と、定常時において、同乗者の特定などをおこなうための解釈規則を記憶する定常時解釈記憶部４と、衝突時などの災害時のための解釈を記憶する非常時解釈記憶部５と、これらの解釈記憶部に記憶された規則を利用して、距離画像取得部６が取得した距離画像の処理と解釈を行う画像処理部２と、衝突を検知する衝突検知部７と、衝突時に膨張し、同乗者を障害から守るエアバッグ８と、衝突検知部７から知らされた衝突と、画像処理部２の結果にもとづいてエアバッグ８の膨張を制御するエアバッグ膨張制御部１と、これらを制御する情報管理部３から構成さる。
【００１９】
図２は、特開平１０−１７７４４９号公報に示されているような距離画像取得部６の概略図である。中央の円の部分がレンズであり、周囲に並ぶ小さな円は例えば、赤外などの光を照射するＬＥＤにあたる。ＬＥＤから照射された光が物体に反射され、レンズにより集光され、レンズの後部にあるエリアセンサで受光される。
【００２０】
距離画像取得部６１は、中央の円の部分がレンズであり、周囲に並ぶ小さな円形の発光部６１１は例えば、赤外光などの光を照射するＬＥＤにあたる。タイミング信号生成部６１４の信号に従い、ＬＥＤから照射された光が物体に反射され、レンズにより集光され、レンズの後部にあるエリアセンサ（受光部６１２）で受光される。受光した光は、反射光抽出部６１３によって、画像として取得される。このように取得された画像は例えば、図３のような形式になっている。
【００２１】
図３（ａ）は取得した画像データの一部（２５６×２５６の一部の８×８）を示したものである。この例では、行列中のセルの値は、取得した反射光の強さを８ビット（２５６階調）で示したものである。２５５の値があるセルは、画像取得部１に最も接近した状態、０の値があるセルは、画像取得部１から遠くにあり、反射光が画像取得部１にまで到達しないことを示している。図３（ｂ）は取得した画像データ全体を３次元的に示したものである。この例では、人間の手を取得したデータを示している。
【００２２】
画像処理部２は、図３（ａ）のような形式で距離画像取得部６で取得された距離画像を受け取り、エッジ切り出し、重心抽出、面積算出など種々の画像処理を行う。
【００２３】
ここで、（ｉ，ｊ）の画素値をＰijとし、生成する輪郭情報の画素をＲijとすると、
Ｒij＝２５５（If（Pij−Pi-1j）＞α＆（Pij−Pij-1）＞α＆（Pij−Pi+1j）＞α＆（Pij−Pij+1）＞α）
Ｒij＝０（上記以外）
とすることにより、図４のような輪郭情報を得ることができる。
【００２４】
以下、図５をもとに第１の実施例における処理の流れを示す図である。まず、助手席に座っているのが、子供なのか、大人なのか、あるいは妊産婦なのかを見分けるために、距離画像取得部６により、定常状態での撮像を行う（ステップＳ５０１）。得られた図３のような距離画像を画像処理部２に送る。
【００２５】
画像処理部２は、図６に示すような撮像画像のフィルタリング、２次元、３次元での重心、面積、体積、ＦＦＴ（高速フーリエ解析）、パターンマッチングなどの汎用的な画像処理機能の他に、撮像画像や解析結果の高速表示をおこなうことのできるＳＤＫ（ソフトウェア開発キット）を有している。
【００２６】
例えば、このＳＤＫのパターンマッチング機能を使うと、図７に示すように、あらかじめ取得した画像をパターン画像として登録し、撮像画像とパターン画像との比較を行うときに、比較すべき切り出し領域を正規化し、さらに、その重心位置をあわせた比較を行うことができる。
【００２７】
あるいは、図８に示すように、ＳＤＫのオプティカルフロー機能とベクトル高速表示機能を使うと、撮像画像に対して、オプティカルフローをリアルタイムに表示することが可能である。図８の例は、右側が最新の撮像画像、左側がそれより一つ前に撮像した画像である。左側の撮像画像に対して、右側の撮像画像のオプティカルフローを検出して、右側の撮像画像に矢印を使って、重ねて表示している。例えば、親指に注目すると、左側の画像より、右側の画像の親指の方が、下向きになっている。これが、右側の親指からのびている矢印（オプティカルフロー）として、コンピュータに識別されているわけである。
【００２８】
以上のような処理を行う画像処理部２において、画像処理を行った結果と、定常時解釈規則記憶部４に記憶された規則とを参照し、定常時の状態を解釈する（ステップＳ５０２）。
【００２９】
定常時解釈規則記憶部４には、例えば、図９のような形式で定常時に取得した画像を解釈するのに、使用される規則が記憶されている。助手席に座っているのが、子供や妊婦である場合には、衝突事故時でもエアバッグを膨張しないことが必要なので、ここでは、子供か、妊婦かを見分けるための規則が記憶されている。
【００３０】
また、子供や妊婦でなくても、顔の向きによっては、不用意にエアバッグを膨張させると、窒息させるおそれがあるので、顔の向きなどを識別する規則が格納されている。
【００３１】
例えば、規則１は、助手席に座っているのが、子供か大人かを見分ける規則の１つである。この場合には、子供は頭の大きさが大人とほとんど変わらないため、身長（ここでは、座っていることを想定しているので、座高）に対する割合が大きいことを利用している。つまり、座高値ｂに対する頭長値ｈがある一定値（ここではα）より大きければ、子供、小さければ、大人としている。座高値ｂや頭長値ｈは取得した画像より、画像処理部２において、輪郭を抽出し、そこより求めることができる。
【００３２】
規則２は、助手席に座っているのが、妊婦かどうかを見分けるための規則である。妊婦の場合には、腹部と顔の奥行き方向をみて、腹部がでっぱているかどうかを見る。それが、（上半身最近値ｚｂ−頭部最近値ｚｈ）である。つまり上半身の最近値（腹部の奥行き）ｚｂと頭部の最近値ｚｈを比較する。この値だけは、単に肥満との差が見分けにくいので、上半身の体幅ｗで正規化をし、この値がある一定値（ここではβ）を越えているかどうかにより判定を行っている。
【００３３】
ステップＳ５０３では、衝突検知部７より衝突検知が通知されたかどうか、つまり衝突したかどうかを確認している。衝突していなければ、ステップＳ５０１に戻り、定常時撮像を継続する。
【００３４】
衝突した場合には、非定常時撮像を行う（ステップＳ５０４）。このステップは場合によっては、その直前の定常時撮像（ステップＳ５０１）で撮像された画像を使えるので、その場合には、このＳ５０４の処理を省略できる。
【００３５】
撮像後、画像処理部２において、非定常時解釈規則記憶部５に記憶された非定常時解釈規則をもとに解釈を行う（ステップＳ５０５）。
【００３６】
図１０は、非定常時解釈規則記憶部５に記憶された非定常時解釈規則の一例を示すものである。
【００３７】
エアバッグ膨張時にエアバッグに非常に近いところに人間がいると、膨張するエアバッグと人間が激しくぶつかり、その反動により大きな障害を受ける可能性がある。このような状況を防ぐための規則が規則１である。危険領域と見なすような非常に近い場所に人間がいるかどうかを判別するには、従来の赤外センサなどによる距離センサで十分である。
【００３８】
しかし、実際には、従来の距離センサでは、近いところにあるものが人間か、ハエのような昆虫かを識別することができない。このため、従来の距離センサでは、ハエが遮っただけで、危険領域に人間がいるとみなしてエアバッグが膨らまないことになる。このような問題を解決するために、規則１では、危険領域に物体があるか「最近距離ｚ＜δ」の式で判別するとともに、その物体の体積が人間と見なせるほど十分大きいかを次の式「体積ｖ＞ε」で判別し、両者が真のとき、危険範囲内に人間がいるという結果をだすようになっている。ここで、δ，εは所定の閾値である。
【００３９】
ただし、身体が前方に倒れたりしていると、体積が精確に計測できないおそれがある。このような問題点を解決するために、規則２では、危険範囲内で前屈した物体があるかどうかを判別している。また、規則３と規則４は顔がどこを向いているかを見分けるための規則である。
【００４０】
次にエアバッグ膨張制御部１は、ステップＳ５０２とＳ５０４の結果をもとに、エアバッグ８を膨らませるかどうかの制御を行う。ステップＳ５０２で、妊婦、子供と判定されているときには、エアバッグを膨張させないよう制御する。また、ステップＳ５０２では、妊婦あるいは子供と判断されていないが、ステップＳ５０４で、危険範囲内に人間、あるいは前屈していると判定されているときには、エアバッグを膨らませないよう制御する。
【００４１】
あるいは、妊婦、子供と判定されているが、衝撃の度合いがひどい場合、ステップＳ５０４で横を向いていて、窒息する危険性がなく、ステップＳ５０４で危険範囲内にいないこと、前屈していないことが確認されているときに、エアバッグを顔に当たらない方向に膨張させるよう制御する。
【００４２】
［第１の発明の効果］
以上のように本発明によれば、同乗者とエアバッグまでの距離値、同乗者の体積値を使って、助手席の同乗者の状態を判別して、エアバッグの膨張を制御させることができるので、衝突時でのエアバッグ膨張による危険性を大きく減らすことができるので、その効果は大きい。
【００４３】
［第２の実施例］
図１１は第２の実施例の概略構成図である。第１の実施例では、助手席の同乗者の状態を検知しているが、第２の実施例では、取得した画像にもとづいて、運転者と同乗者双方の状態を検知して、車載機器の制御を行うものである。
【００４４】
第２の実施例の構成は、第１の実施例の構成に運転者操作解釈部９とカーナビ制御部１０を追加したものである。
【００４５】
距離画像取得部６は、高解像度になっていて、例えば、図１２に示すように、左半面は運転者、右半面は同乗者（左ハンドル車では逆）を取得するようになっている。あるいは、距離画像取得部６は周期的に角度をかえ、運転者と同乗者の画像を交互に取得するようになっていてもよい。
【００４６】
情報管理部３は、同乗者の画像に関しては、第１の実施例と同様の処理を行い、また、運転者の画像に関しては、運転者操作解釈部９を起動し、その結果、カーナビなどの車載機器の操作制御部１０が操作制御を行うように、管理を行う。
【００４７】
あるいは、運転者操作解釈部９では、運転者の頭の動きの周期を認識し、一定周期で動く時間がある一定時間を越えたら、居眠りをしている危険性があるので、その認識結果をカーナビ制御部１０に送る。カーナビ制御部１０より警報を発する等して、運転者に注意を促すなどの対策を実施することもできる。
【００４８】
【発明の効果】
以上、本発明によれば、１台の画像取得部を用いるだけで、同乗者、運転者双方に対応した処理を行うことができるので、大きな低コスト化につながる。
【図面の簡単な説明】
【図１】第１の実施例の概略構成図
【図２】第１の実施例の距離画像取得部の概要の一例
【図３】は第１の実施例の画像取得部が取得した画像形式の一例
【図４】第１の実施例の画像処理部の処理結果の一例
【図５】第１の実施例の処理の流れ図
【図６】第１の実施例中の画像処理部内の処理機能の一例
【図７】第１の実施例中の画像処理部の処理結果の一例
【図８】第１の実施例中の画像処理部の処理結果の一例
【図９】第１の実施例中の定常時規則記憶部の記憶の一例
【図１０】第１の実施例中の非定常時規則記憶部の記憶の一例
【図１１】第２の実施例の概略構成図
【図１２】第２の実施例中の画像取得部が取得した画像一例
【符号の説明】
１…エアバッグ膨張制御部
２…画像処理部
３…情報管理部
４…定常時解釈記憶部
５…非常時解釈記憶部
６…距離画像取得部
７…衝突検知部
８…エアバッグ
９…運転者操作解釈部
１０…カーナビ制御部
【図１】
0003751467.tif 000002
【図２】
0003751467.tif 000003
【図３】
0003751467.tif 000004
【図４】
0003751467.tif 000005
【図５】
0003751467.tif 000006
【図６】
0003751467.tif 000007
【図７】
0003751467.tif 000008
【図８】
0003751467.tif 000009
【図９】
0003751467.tif 000010
【図１０】
0003751467.tif 000011
【図１１】
0003751467.tif 000012
【図１２】
0003751467.tif 000013