(57)【要約】      （修正有）【課題】車両前方の交通状況の変化に迅速に対応可能なシステムを提供する。【解決手段】車両５１の前方を監視するセンサ１０１と、スピーカー１０７と、ビデオ・ディスプレイ１０６を備える。センサ１０１は、車両の外側で、伸長および／または回転可能な支柱５２に据え付けられ、車両の前方に存在する可能性がある車両の高さを一般に上回る高さで、車両５１の前方の交通の画像を取り込む。ＣＰＵは、それらの画像のすべてを、ドライバに見える車両内のビデオ・ディスプレイ１０６に供給する。ＣＰＵはまた、画像ストリームのスペクトル成分に基づいて交通パターンにおける突然の変化を探してそれらの画像を分析し、前方の車両が突然ブレーキをかけた場合、またはその他の交通事象が発生した場合には、可聴音を用いてそのドライバに警告する。【選択図】図３
2015146174.tif 000002
【特許請求の範囲】
【請求項１】
車両に据え付けられるように構成されている伸長可能な支柱と、
前記伸長可能な支柱に取り付けられるように適合され、前記車両の前の画像ストリームを生成するように構成されたセンサと、
前記センサに接続されている制御ロジックと
を含み、
前記制御ロジックは、
前記画像ストリームを分析するステップと、
前記画像ストリームに基づいて前記車両の前の交通事象を検知するステップと
を行うセンサ・アセンブリ。
【請求項２】
前記伸長可能な支柱は、伏した姿勢から直立の姿勢へ回転するように構成されている支柱アームを備える請求項１に記載のアセンブリ。
【請求項３】
前記伸長可能な支柱は、電動式駆動装置によって駆動される請求項２に記載のアセンブリ。
【請求項４】
前記直立の姿勢は、前記車両の前に位置しているその他の車両の高さよりも高い高度とされている請求項１に記載のアセンブリ。
【請求項５】
前記センサは、関節接合された取り付け具を使用して前記支柱に取り付けられている請求項１に記載のアセンブリ。
【請求項６】
前記伸長可能な支柱が前記直立の姿勢にあるときに、前記関節接合された取り付け具が水平面上で少なくとも１８０°回転する請求項５に記載のアセンブリ。
【請求項７】
前記画像ストリームを分析する前記ステップは、前記画像ストリームの色成分を分析するステップを含む請求項１に記載のアセンブリ。
【請求項８】
前記交通事象を検知するステップは、前の画像フレームと比較して現在の画像フレームから赤色の強度における変化を検知するステップを含む請求項７に記載のアセンブリ。
【請求項９】
前記センサは、ビデオ・カメラを含む請求項１に記載のアセンブリ。
【請求項１０】
交通事象を検知する方法であって、
車両上の伸長可能な支柱に据え付けられているセンサから画像ストリームを受信するステップと、
前記画像ストリームの現在の画像フレームのスペクトル成分を特定するステップと、
前記現在の画像フレームの前記スペクトル成分を前記画像ストリームにおける前の画像フレームのスペクトル成分と比較するステップと、
前記現在の画像フレームと前の画像フレームとの間における前記スペクトル成分の変化に基づいて交通事象を識別するステップと
を含む方法。
【請求項１１】
前記スペクトル成分が赤色成分を含む請求項１０に記載の方法。
【請求項１２】
比較する前記ステップは、前記赤色成分がしきい値を超えて変化しているか否かを判定するステップを含む請求項１１に記載の方法。
【請求項１３】
前記交通事象の識別に基づいて前記車両のドライバへのアラートを生成するステップをさらに含む請求項１０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願の主題は、本出願と同じエンティティーによって所有されている、譲渡されている、または本出願と同じエンティティーへの譲渡の義務のもとでの、本出願と同じ発明者による、「Ｔｒａｆｆｉｃ  Ｅｖｅｎｔ  Ｄｅｔｅｃｔｉｏｎ  Ｓｙｓｔｅｍ  ｆｏｒ  Ａｕｔｏｍｏｔｉｖｅ  Ｖｅｈｉｃｌｅｓ」と題されている、２０１３年２月１日に出願された米国特許仮出願第６１／８４９，６９９号の主題に関連しており、この仮出願に対しては、優先権の利益が主張され、この仮出願は、参照によってその全体が本明細書に組み込まれている。
【０００２】
本教示は、交通事象の検知に関連しており、より詳細には、自動車およびその他の車両が、危険なまたは異常な運転状況の前方検知によって、交通状況における突然のおよび不意の変化のケースにおいて安全を高めるためのシステム、プラットフォーム、および技術に関連している。
【背景技術】
【０００３】
幹線道路、高速道路、またはその他の道路上で運転している間に、車両の前の交通が、突然にまたは予測不可能に減速すること、または不意に停止することがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両のドライバがさらに高い状況認識を有すること、および交通状況における変化にさらに迅速に対応することを可能にするためには、車両の前方で発生している事象を検知し、その事象を解読し、その検知された事象をリアルタイムでまたはほぼリアルタイムで運転手にアラームすることができるシステムがあれば、有利であろう。
【課題を解決するための手段】
【０００５】
これらおよびその他のニーズに対処するシステムは、前方の交通の画像を取り込むために車両上に据え付けられているビデオ・カメラなどのセンサ要素と、カメラによって取り込まれた画像ストリームを処理するための中央処理装置（ＣＰＵ）またはその他のロジックと、取り込まれたストリーム内の画像を分析して、その車両の前方で起こっている事象を検知するソフトウェアとを含むことができる。このシステムは、カメラによって取り込まれた画像を提示するビデオ・ディスプレイと、前方のトラブルを車両のドライバに警告する可聴アラームを生成するためのパワード・スピーカーとを含むこともできる。
【０００６】
複数の態様によれば、車両の運転中に、カメラは、本発明によるシステムを備えているその車両の付近にいるその他の車両を含むその車両の前の視野をモニタリングまたはサンプリングすることができる。その他の車両のうちの１台または複数台がブレーキ・ペダルを適用することによって減速したケースにおいては、センサに関連付けられているソフトウェアは、前方の車両におけるブレーキ・ライトの起動に起因する、視野内に存在している赤色の光強度の増大を自動的に検知することができる。このシステムは、成分におけるその変化を認識し、アラーム・サウンドを発することによってドライバに知らせることができる。さらなる情報を提示するために、および補足的な視覚的補助をドライバに提供するために、ビデオ・ディスプレイが、車両内でドライバの上方に、たとえばサン・バイザの近くに取り付けられることも可能である。
【０００７】
添付の図面は、本明細書に組み込まれて本明細書の一部を構成しており、本教示の実施形態を例示し、記述とともに、本教示の原理を説明する役割を果たす。
【図面の簡単な説明】
【０００８】
【図１】本教示の態様によるシステムおよびプラットフォームのさまざまなコンポーネントおよび構成を示す図である。
【図２】本教示の実施態様による、車両上に取り付けられているシステムを側面のビューを用いて示す全体図である。
【図３】本教示の実施態様による、車両上に取り付けられているシステムを３Ｄのビューで示す全体図である。
【図４】本教示の態様による、モニタ、およびそのモニタが車両内にどのように据え付けられることが可能であるかを示す詳細図である。
【図５】本教示の実施態様において使用されることが可能である検知ロジックを示す例示的な流れ図である。
【発明を実施するための形態】
【０００９】
図面を参照すると、図１は、車両上に取り付けられていない例示的な全体的なシステム５０を示している。センサ１０１が、ケーブル１０２によってＣＰＵ１０３に接続されている。センサ１０１は、たとえば、電荷結合素子（ＣＣＤ）センサ・アレイを使用するデジタル・デバイスなどのビデオ・カメラであってもよく、またはそうしたビデオ・カメラを含むことが可能である。その他のタイプのセンシング・エレメントまたはその他のデバイスが使用されることも可能であり、それらには、相補型金属酸化膜半導体（ＣＭＯＳ）センシング・エレメント、および／または前方監視赤外線（ＦＬＩＲ）センサが含まれるが、それらは例にすぎない。複数の実施態様においては、視覚的な検知器に加えて、または視覚的な検知器の代わりに、音響センサなど、その他のタイプの信号上で機能するセンサが使用されることも可能である。センサ１０１は、ケーブル１０２（たとえば、ローカル・エリア・ネットワーク（ＬＡＮ）ケーブルであってもよく、またはローカル・エリア・ネットワーク（ＬＡＮ）ケーブルを含むことが可能である）によってＣＰＵ１０３に接続されているものとして示されているが、センサ１０１とＣＰＵ１０３との間におけるその他の有線接続またはワイヤレス接続が使用されることも可能である。たとえば、複数の実施態様においては、センサ１０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）ワイヤレス接続、またはその他の接続を介してＣＰＵ１０３に接続することができる。ＣＰＵ１０３は、本明細書における教示に従ってセンサ制御および画像処理を実行するためのソフトウェア、アプリケーション、および／またはサービスを伴ってプログラムされている汎用または専用のコンピュータであること、またはそうしたコンピュータを含むことが可能である。制御ロジックを実行するように構成されているその他のデバイスが使用されることも可能である。
【００１０】
一般には、センサ１０１は、ＣＰＵ１０３が処理するために、システム５０を備えている車両の前の画像を取り込むように機能することができる。ＣＰＵ１０３は、結果として生じる画像ストリーム内の画像のうちのそれぞれを分析するためにソフトウェアを実行することおよび／またはサービスを呼び出すことが可能であり、次いで、可能性のある交通事象をドライバにアラートするために、図５において示されているものなどのアルゴリズムを使用することが可能である。任意の時点において、システム５０が機能している場合には、ＣＰＵ１０３は、センサ１０１によって取り込まれた画像を、たとえば接続ケーブル１０４を通じて、ビデオ・ディスプレイ１０６へ送信するように構成されることが可能である。ＣＰＵ１０３および関連付けられているソフトウェアまたはロジックが、交通事象を検知して、ドライバにアラートする必要がある場合には、ＣＰＵ１０３は、複数の実施態様においては、ケーブル１０５を通じてスピーカー１０７へ可聴アラームを送信することによって、それを行うことができる。点滅光またはその他の視覚的な合図など、その他のアラートまたは通知が使用されることも可能である。
【００１１】
図２は、車両５１上に据え付けられているまたは取り付けられているシステム５０を示している。センサ１０１は、支柱５２上に取り付けられることが可能である。支柱５２は、複数の実施態様においては、車両の上部前方に配置されるのに十分な高さを有するように構築されている剛性の要素であることが可能である。その他の実施態様においては、支柱５２は、引っ込めることができるまたは関節接合された要素であること、またはそうした要素を含むことが可能であり、それによって支柱５２は、たとえば、使用されていないときには、車両５１の屋根におけるくぼみもしくは溝またはその他の構造の中になど、折りたたまれたまたは伏した姿勢で配置されることが可能である。それらのケースにおける支柱５２は、電動式駆動装置によって直立の状態もしくは姿勢へと駆動されること、またはくぼみもしくはその他の受け入れ構造もしくは位置における休止状態へと戻されることが可能である。複数の実施態様においては、支柱５２は、追加として、または代替として、たとえば調整可能なまたは選択可能な高さに達することを可能にするために、入れ子式要素を使用して実装されることが可能である。複数の実施態様においては、支柱５２の電動式駆動装置は、ＣＰＵ１０３、および／またはその他のもしくは別個のプロセッサもしくはロジックによって同様に制御されることが可能である。
【００１２】
伸長可能な支柱５２上にセンサ１０１を据え付けることによって、システム５０は、センサ１０１のＣＣＤまたはその他のセンシング・エレメントのさらに高いおよび／または選択可能な上昇を達成することができる。センサを上昇させる能力は、センサが、システム５０を備えている対象車両５１の車体に固定された様式で据え付けられた場合と比べると、視野へのさらに長い奥行きもしくは距離および／またはさらに広い眺望範囲をセンサが「見る」ことを可能にすることができる。さらに長い眺望の奥行きは、システム５０を備えている車両のさらに前方に位置しているさらに多くの車両によって生み出されるブレーキ・ライトの活動またはその他の詳細をシステム５０が検知して考慮に入れることを可能にすることができる。これは、さらに多数のブレーキ・ライトおよびその他の特徴に基づいて交通事象に関する推論をシステムが引き出すことを可能にすることができ、したがって、システム５０の感度、精度、およびその他のパラメータが向上する。
【００１３】
加えて、センサ１０１は、伸長可能なまたは関節接合された支柱５２のほかに、回転可能なおよび／またはその他の形で関節接合された様式で支柱５２上に据え付けられることが可能であるということに気づくであろう。たとえば、センサ１０１は、回転駆動要素を使用して支柱に取り付けられることが可能であり、それによってセンサ１０１は、支柱が、伸長されたまたは展開された姿勢にあるときに、左右に回転されることが可能である。たとえば、センサ１０１は、前方の交通に関して車両のドライバがセンサの視野をパンすることを可能にする目的で、水平面上での１８０°のまたはその他の量の水平回転を可能にするために、電動式駆動装置を伴って支柱に据え付けられることが可能である。複数の実施態様においては、センサ１０１および／またはマウント１０２は、垂直方向のポインティング角を変えるために、垂直方向における調整が可能とされていてもよく、これにより、対象車両の前方のセンサ１０１によって提供されるビューの範囲を変えることが可能とされる。センサ１０１の動きを駆動するために使用される１つまたは複数のモータまたは駆動装置は、当業者によって理解されるように、たとえば、直流（ＤＣ）モータ、ステッパ・モータ、リニア・モータ、および／またはその他のモータであること、またはそうしたモータを含むことが可能である。それらの電動式駆動装置は、ギア、ベアリング、および／またはその他の機械伝動装置を使用して、駆動力を支柱５２および／またはその他の部材に伝達することができる。
【００１４】
システム５０を備えている対象車両内の内部構成の点では、ビデオ・ディスプレイ１０６が、車またはその他の対象車両５１の天井５３上に据え付けられることが可能である。ビデオ・ディスプレイ１０６は、固定されていてもよく、またはドライバが見るのに好都合な角度でビデオ・ディスプレイ１０６を配置することを可能にするために、バイザのように軸に沿って回転してもよい。
【００１５】
図３は、車両５０上に据え付けられているシステム５１をさらなる３次元のビューで示している。センサ１０１は、図３に示されるように、支柱５２上に取り付けられている。ビデオ・ディスプレイ１０６は、その要素の後ろから示されている。言及したように、スピーカー１０７が、交通事象の可聴警告または告知を提供するために使用されることが可能であり、図３に示されているように、ビデオ・ディスプレイ１０６上に、および／またはその他の場所に取り付けられることが可能である。図４は、車両５１の内部からビデオ・ディスプレイ１０６を示した図である。このビデオ・ディスプレイは、天井５３に取り付けられることが可能であり、やはり、サン・バイザ５４が回転することができるのと同じ方法で引き下ろされることが可能である。サウンド・スピーカー１０７は、ビデオ・ディスプレイ１０６に取り付けられている。
【００１６】
図５は、センサ１０１によって取り込まれた画像のストリームを分析するための例示的な処理を示した図である。一般には、カメラによって取り込まれた画像のうちのそれぞれは、前の画像と比較されることが可能である。連続した画像フレームどうしの間における相違を、交通事象が起こっているかどうかを判定するために使用することができる。たとえば、別々の画像フレームのスペクトル成分を比較することにより、視野の色成分が変化しているかどうかを判定することが可能である。たとえば、複数の実施態様においては、第２のまたは新たな画像が、前の画像よりも何らかのしきい値だけ高い赤色の強度を有している場合には、事象の検知をトリガーすることが可能である。赤色成分における変化を測定するために使用されるしきい値は、車の製造業者またはシステム５０の製造業者によって、たとえば、固定されたしきい値Ｘに事前に決定または設定されることが可能である。そのしきい値は、追加として、または代替として、たとえば、夕焼け、車道沿いのナトリウム・ランプ、またはその他の光源からの赤色の光成分など、周囲の状況を考慮に入れるために、ＣＰＵ１０３によって動的に設定または調整されることが可能である。言及したように、交通事象が検知されると、可聴アラームおよび／またはその他の通知がドライバへ送信されることが可能である。
【００１７】
より詳細には、図５において示されているように、５０２において、システム５０がオンにされている、電源投入されている、および／またはその他の形で機能状態にあるかどうかの判定を行うことによって、処理を開始することができる。５０２における判定が「ｎｏ」である場合には、処理は５０４へ進み、５０４においては、分析は実行されない。５０２における判定が「ｙｅｓ」である場合には、処理は５０６へ進み、５０６においては、センサ１０１が画像ナンバー「ｎ」を取り込む。複数の態様においては、取り込まれた画像は、１つのビデオ・フレーム、および／またはその他の画像フォーマットもしくは構成から構成されることが可能である。複数の実施態様においては、取り込まれた画像および／または画像ストリームは、．ｍｐｇ（ｍｏｔｉｏｎ  ｐｉｃｔｕｒｅ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）フォーマット、．ｊｐｇ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｉｃ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）フォーマット、生画像フォーマット、および／またはその他のフォーマット、エンコーディング、もしくはファイル・タイプなど、標準的な画像フォーマットでエンコードされることが可能である。センサ１０１は、３０フレーム／秒、またはその他など、所定のフレーム・レートを使用して、それぞれの連続したビデオ・フレームまたはデータのその他のユニットを取り込むように構成されることが可能である。センサ１０１によって取り込まれた画像データは、ＣＰＵ１０３によって、所望に応じて、電子メモリ、ソリッド・ステート・ドライブ、ハード・ドライブ、および／またはその他のストレージ・メディアなどのローカル・ストレージに格納されることが可能である。
【００１８】
５０８において、ＣＰＵ１０３および／またはその他のプロセッサもしくはロジックは、たとえば、その画像コンテンツにおける赤色成分のパーセンテージを計算する等によって、取り込まれたフレームｎの色成分を分析することができる。標準的なリア・ブレーキ・ライトによって生み出されるため、赤色を使用することが可能である。しかしながら、画像ｎのスペクトルまたは色分析を実行する場合に、追加として、または代替として、その他の色を使用することとしてもよい。システム５０を備えている車両の前のシーンまたはビューを分析するために、輝度値、動作分析、またはその他など、色成分以外の画像処理特性または特徴を同様に使用することとしてもよい。５１０において、センサ１０１は、次なる画像または画像フレーム「ｎ＋１」を取り込むまたは取得することができるＣＰＵ１０３とともに機能して、次なる画像または画像フレーム「ｎ＋１」を取り込むまたは取得することができる。５１２において、ＣＰＵ１０３および／またはその他のプロセッサもしくはロジックは、画像または画像フレームｎ＋１における赤色成分またはその他のスペクトルもしくはその他の特徴のパーセンテージを同様に計算することができる。５１４において、ＣＰＵ１０３および／またはその他のロジックもしくはプロセッサは、画像または画像フレームｎ＋１における赤色成分のパーセンテージが、画像または画像フレームｎの赤色成分のパーセンテージ以下であるかどうかを判定することができ、次いで処理は５１６へ進み、５１６においては、画像／フレームｎおよびｎ＋１の色成分が等しいという判定が行われることが可能である。そのケースにおいては、処理は、５１０へ戻ることができる。複数の態様においては、処理は、５１０へ戻ること（およびさらなる画像またはフレームを取得すること）が可能であり、なぜなら、赤色成分における変化が検知されておらず、全体のブレーキ・ライトの照明は同じであって、前方の交通状況における突然の変化はないと想定されるためである。
【００１９】
５１８において、ＣＰＵ１０３および／またはその他のプロセッサもしくはロジックは、画像またはフレームｎ＋１における赤色成分のパーセンテージが、画像またはフレームｎ＋選択されたしきい値（たとえば、１０％またはその他の値）におけるものよりも大きいかどうかを判定することができ、次いで処理は５２０へ進み、５２０においては、交通事象が検知されているとみなされ、ドライバは、可聴音またはその他のアラートもしくは通知を用いてアラートされることが可能である。複数の実施形態においては、アラートまたは通知は、ドライバがキャンセル・ボタンを押すまで、所定のタイムアウトが生じるまで、またはその他の状況が発生するまで、続くことができる。次いで処理は、前の処理ポイント（たとえば、５０２）へ戻ること、さらなる処理ポイントへジャンプすること、または終了することが可能である。
【００２０】
前述の説明は、例示的なものであり、当業者なら、構成および実施態様におけるバリエーションを想起することができる。たとえば、システム５０が１つのセンサ１０１を使用して機能する実施態様について説明してきたが、複数の実施態様においては、複数のセンサ１０１が採用されることが可能である。同様に、画像処理および制御ロジックが１つのＣＰＵ１０３において実行される実施形態について説明してきたが、複数の実施態様においては、クラウドベースのネットワークにおいてホストされているものを含めて、複数のＣＰＵおよび／またはネットワーク化されたもしくはリモートのコンピューティング・リソースもしくはサービスが使用されることが可能である。単数であるまたは統合されているものとして説明されているその他のリソースは、複数の実施形態においては、複数であることまたは分散されていることが可能であり、複数であるまたは分散されているものとして説明されているリソースは、複数の実施形態においては、結合されることが可能である。したがって、本教示の範囲は、添付の特許請求の範囲によってのみ限定されることを意図されている。
【図１】
2015146174.tif 000003
【図２】
2015146174.tif 000004
【図３】
2015146174.tif 000005
【図４】
2015146174.tif 000006
【図５】
2015146174.tif 000007
【手続補正書】
【提出日】平成26年10月23日(2014.10.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】
前記直立の姿勢は、前記車両の前に位置しているその他の車両の高さよりも高い高度とされている請求項２に記載のアセンブリ。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項６
【補正方法】変更
【補正の内容】
【請求項６】
前記センサは、関節接合された取り付け具を使用して前記支柱に取り付けられており、
前記伸長可能な支柱が前記直立の姿勢にあるときに、前記関節接合された取り付け具が水平面上で少なくとも１８０°回転する請求項２に記載のアセンブリ。
【外国語明細書】
2015146174000001.pdf