(57)【要約】【課題】輝度信号検出の処理時間を短縮することができる夜間走行補助装置及び方法を提供する。【解決手段】自車両の前方を撮像するＮＴＳＣカメラ１０１と、ＮＴＳＣカメラ１０１から伝送される画像情報を格納するフレームバッファ１０３と、フレームバッファ１０３に格納された画像情報から輝度信号を検出するＣＰＵ１０４とを備えた夜間走行補助装置において、ＮＴＳＣカメラ１０１から伝送される前記画像情報をフレームバッファ１０３へ格納することと並行して、ＣＰＵ１０４は、該格納される画像情報に対して、前記輝度信号を順次所定の閾値と比較することにより、前記閾値以上の輝度信号が分布している座標の領域を検出する。【選択図】    図１
2006244331.tif 000002
【特許請求の範囲】
【請求項１】
自車両の前方を撮像する撮像手段と、
前記撮像手段から伝送される画像情報を格納する格納手段と、
前記格納手段に格納された画像情報から輝度信号を検出する輝度信号検出手段と
を備えた夜間走行補助装置において、
前記撮像手段から伝送される前記画像情報を前記格納手段へ格納することと並行して、前記輝度信号検出手段は、該格納される画像情報に対して、前記輝度信号を順次所定の閾値と比較することにより、前記閾値以上の輝度信号が分布している座標の領域を検出することを特徴とする夜間走行補助装置。
【請求項２】
前記輝度信号の閾値の設定を時刻情報によって可変にする閾値可変手段を有することを特徴とする請求項１記載の夜間走行補助装置。
【請求項３】
前記自車両のライトのオン／オフによる車両情報を取得する車両情報取得手段と、
前記輝度信号の閾値の設定を前記ライトのオン／オフによる車両情報によって可変にする閾値可変手段を有することを特徴とする請求項１記載の夜間走行補助装置。
【請求項４】
前記輝度信号検出手段は、夜間の街灯を検出し、
前記輝度信号検出手段により検出される街灯の情報から、進行する道路の形状に関する情報をドライバーに対して提示する情報提示手段を有することを特徴とする請求項１記載の夜間走行補助装置。
【請求項５】
前記輝度信号検出手段は、夜間の前車テールランプを検出し、
前記輝度信号検出手段により検出される前車テールランプの情報から、進行する道路の形状に関する情報をドライバーに対して提示する情報提示手段を有することを特徴とする請求項１記載の夜間走行補助装置。
【請求項６】
状況に応じて輝度検出処理を行う画面範囲を限定する画面範囲限定手段を有することを特徴とする請求項１ないし５のいずれか記載の夜間走行補助装置。
【請求項７】
自車両の前方を撮像する撮像工程と、
前記撮像工程において伝送される画像情報を格納する格納工程と、
前記格納工程において格納された画像情報から輝度信号を検出する輝度信号検出工程と
を有する夜間走行補助方法において、
前記撮像工程において伝送される前記画像情報を格納する前記格納工程と並行して、前記輝度信号検出工程において、該格納される画像情報に対して、前記輝度信号を順次所定の閾値と比較することにより、前記閾値以上の輝度信号が分布している座標の領域を検出することを特徴とする夜間走行補助方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の夜間走行の補助を行う夜間走行補助装置及び方法に関する。
【背景技術】
【０００２】
下記の特許文献１には、ＣＣＤカメラにより得られた画像を水平・垂直方向に所定画素数シフトし、このシフトする前後の画像の輝度を比較することにより、画面中のエッジ情報を検出する車両用画像処理装置が記載されている。
【０００３】
【特許文献１】特開平７−２４９１２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載された技術は、カメラから伝送される画像信号１フレーム（画面）分の画像情報をフレームバッファに格納した後に、エッジ情報の検出処理を始めるため、カメラと画像処理装置間の伝送方式がＮＴＳＣ（National Television System Commitee）の場合、検出処理を始める前に最低３３．３ｍｓの遅延が生じることになる。
【０００５】
なお、本装置を、街灯やヘッドランプの照射範囲が狭い夜間に使用した場合、１フレーム中のエッジ検出範囲自体が狭い（すなわち、画像上の暗い部分はエッジの検出がし難い）ので、エッジ検出処理を開始する前に１フレーム分の画像情報をフレームバッファに格納し終えるまで待機することが処理時間の観点上無駄となる。また、高速道路等、車速の高い状態における夜間に使用した場合、エッジ検出を完了した時点での環境情報（画面）と、現在走行している箇所での環境情報（画面）に時間差が生じてしまう。
【０００６】
また、このような画像処理装置を車両の制御に用いる場合、安全上の観点からその処理時間はより短いものが期待される。  
本発明は、上述した実情に鑑みて提案されたものであり、その目的は、輝度信号検出の処理時間を短縮することができる夜間走行補助装置及び方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、自車両の前方を撮像する撮像手段から伝送される画像情報を格納する格納手段と、この格納手段に格納された画像情報から輝度信号を検出する輝度信号検出手段とを備え、前記伝送される前記画像情報を前記格納手段へ格納することと並行して、前記輝度信号検出手段は、該格納される画像情報に対して、前記輝度信号を所定の閾値と順次比較することにより、前記閾値以上の輝度信号が分布している座標の領域を検出する、という構成になっている。
【発明の効果】
【０００８】
本発明によれば、輝度信号検出の処理時間を短縮することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。  
本発明は、画像信号を出力する電子式のカメラから伝送される画像信号に載った画像情報（画素情報を含む）を画像処理装置のフレームバッファに格納する際に、画像信号はカメラ内部のイメージセンサの最も上部のライン（ラスタ：１Ｈ）から伝送されることに着目し、フレームバッファへの画像情報の格納と並行して該画像情報に含まれる輝度信号の比較処理を行う。例えば、画像信号がＹｃｂＣｒフォーマットであった場合（詳細は後述）、輝度信号であるＹ信号のみを垂直、水平方向に比較していくことで、輝度信号の集中している座標の領域を検出するものである。
【００１０】
《装置の構成》
図１は、本発明の実施の形態である夜間走行補助装置の構成を示す図である。  
図１において、１０１はＮＴＳＣカメラ、１０２は画像処理装置、１０３はフレームバッファ、１０４はＣＰＵ（Central Processing Unit：中央処理装置）、１０５はＧＰＳの時刻情報、情報車速センサの車速情報、自車両のライト（ヘッドランプ）のオン／オフ等の車両情報を取得し、ＣＰＵ１０４に提供する車両情報取得装置、１０６はドライバーに情報を提示するディスプレイ、スピーカ等の情報提示装置である。  
本実施の形態における夜間走行補助装置は、自車両前方を撮像するＮＴＳＣカメラ１０１と画像処理装置１０２で構成される。画像処理装置１０２は、ＮＴＳＣカメラ１０１から伝送される画像信号に載った画像情報を格納するフレームバッファ１０３、及び画像情報に対して画像処理を行うＣＰＵ１０４で構成される。
【００１１】
ＮＴＳＣカメラ１０１は、ＮＴＳＣ方式に従って画像情報を生成することにより、インターレース方式の奇数フィールド画像情報と偶数フィールド画像情報とを交互に画像処理装置１０２に出力する。本実施の形態では、３３．３ｍｓ間隔で１フレーム分の画像情報を画像処理装置１０２に送出する。すなわち、奇数フィールド画像情報と偶数フィールド画像情報とを繰り返して１６．７ｍｓ間隔で送出する。
【００１２】
画像処理装置１０２は、前記画像情報をフレームバッファ１０３に格納する際、図示しないＮＴＳＣデコーダがＡＤ変換を行い、アナログ情報をディジタル情報に変換してからフレームバッファ１０３に格納する。ディジタル情報の形式としては、ＹｃｂＣｒフォーマット（Ｙ：輝度信号、Ｃｂ：青色色差信号、Ｃｒ：赤色色差信号）と、ＲＧＢフォーマット（Ｒ：赤、Ｇ：緑、Ｂ：青）がある。
【００１３】
《処理の流れ》
図２は、図１におけるＣＰＵ１０４内の処理の流れについて示す図である。  
なお、ＮＴＳＣカメラ１０１から画像処理装置１０２に伝送されてＮＴＳＣデコードされる画像情報は１フレーム６４０×４８０画素（ＶＧＡ(Video Graphics Array)相当）とする。すなわち、フィールド画像情報は、６４０×２４０画素となる。また、ディジタル情報の形式はＹｃｂＣｒフォーマットとする。
【００１４】
〈Ｓ２０１〉
まず、Ｓ２０１において、ＮＴＳＣカメラ１０１（図１参照）から伝送されたアナログ情報に対して、図示しないＮＴＳＣデコーダによりＮＴＳＣデコードを行うことで、ディジタル化された奇数フィールド画像情報について、ＣＰＵ１０４は、画像情報をフレームバッファ１０３に格納することと並行して、該画像情報の輝度信号Ｙをモニタする（なお、ＣＰＵ１０４は、ＮＴＳＣカメラ１０１から伝送された画像情報を一度内部に取り込んだ後、フレームバッファ１０３に転送する）。輝度信号Ｙを選別する閾値は、任意に所定の値に設定することができる。この閾値よりも大きい場合の座標情報のみを図１に図示しないメモリに格納する。閾値は、昼、夜等時間帯や、車両信号に従って（図１の車両情報取得装置１０５のＧＰＳによる時刻情報や、自車両のライトのオン／オフによる車両情報で）設定を変えても良い。また、ＮＴＳＣカメラ１０１のアイリスの制御電圧に応じて設定を変えても良い。
【００１５】
図３は、上記輝度信号の検出に関するイメージ図である。図３（ａ）は奇数フィールドの画像同期信号、（ｂ）は画像情報、（ｃ）は輝度信号、（ｄ）は偶数フィールドの画像同期信号、（ｅ）は画像情報、（ｆ）は輝度信号を示す。（ｃ）および（ｆ）において、１００は検出のための閾値である。
【００１６】
なお、ディジタル情報の形式がＲＧＢフォーマットである場合は、下式からＲＧＢフォーマットをＹ信号に変換して上記操作を行う。  
Ｙ＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋１６
〈Ｓ２０２〉
次に、Ｓ２０２において、奇数フィールドの画像情報をフレームバッファ１０３に格納完了したかどうかを判断する。完了していない場合は、Ｓ２０１に戻る。Ｓ２０１を、奇数フィールド画像情報の１Ｈ、３Ｈ、…、４７９Ｈまで繰り返す。完了した場合は、Ｓ２０３へ進む。
【００１７】
〈Ｓ２０３〉〈Ｓ２０４〉
Ｓ２０３、Ｓ２０４は、偶数フィールド画像情報に関して、Ｓ２０１、Ｓ２０２と同様の操作を行う。  
すなわち、Ｓ２０３において、ＮＴＳＣカメラ１０１から伝送されたアナログ情報に対して、ＮＴＳＣデコードを行うことで、ディジタル化された偶数フィールド画像情報について、ＣＰＵ１０４は、画像情報をフレームバッファ１０３に格納することと並行して、該画像情報の輝度信号Ｙをモニタする（なお、ＣＰＵ１０４は、ＮＴＳＣカメラ１０１から伝送された画像情報を一度内部に取り込んだ後、フレームバッファ１０３に転送する）。  
次に、Ｓ２０４において、偶数フィールドの画像情報をフレームバッファ１０３に格納完了したかどうかを判断する。完了していない場合は、Ｓ２０３に戻る。Ｓ２０３を、偶数数フィールド画像情報の２Ｈ、４Ｈ、…、４８０Ｈまで繰り返す。完了した場合は、Ｓ２０５へ進む。
【００１８】
〈Ｓ２０５〉
次に、Ｓ２０５において、閾値に基づいた輝度信号の検出を行う。上記では、ある閾値以上の輝度信号に関する座標のみをメモリに格納したが、全ての座標における輝度信号をメモリに格納し、その情報を操作（全輝度信号情報の平均をとり、平均以上の輝度信号情報を選別）することで輝度信号を検出してもかまわない。
【００１９】
〈Ｓ２０６〉
次に、Ｓ２０６において、Ｓ２０５における輝度信号の検出を受けて、該当する座標を検出する。すなわち、フレームバッファ１０３に格納される画像情報に対して、輝度信号を順次所定の閾値と比較することにより、閾値以上の輝度信号が分布している座標の領域を検出し、処理を終了する。
【００２０】
なお、本実施の形態は、座標検出をフレーム単位（６４０×４８０画素）で行っているが、フィールド単位（６４０×２４０画素）で行っても良い。ただし、その場合は検出処理を始める前での遅延が１６．７ｍｓに短縮される反面、画面の解像度が半分になる。
【００２１】
以上のような処理を行うことで、カメラ１０１から画像信号が画像処理装置１０２に到達し、それをフレームバッファ１０３に格納することとほぼ同時に、ＣＰＵ１０４により輝度信号の集中している画面領域を画素単位で検出することができる。
【００２２】
〈街灯の検出〉
次に、夜間の街灯を検出することについて説明する。  
図４は、車両の座標系（以降、グローバル座標系と記す）を示す図である。  
本座標系は、原点Ｏを前輪中心、かつ地面上、Ｘ方向を車両の進行方向に対して左向き、Ｙ方向を車両の進行方向と逆向き、Ｚ方向を車両の鉛直上方に置く。また、一般にＸ軸方向の回転をピッチ、Ｙ軸方向の回転をロール、Ｚ軸方向の回転をヨーとする。
【００２３】
図５は、夜間の道路上を走行する車両が撮像した画像の一例を示す図である。  
ＮＴＳＣカメラ１０１を、車両前方のピッチ０°、ロール０°の向き（車両前方進行方向、地面に水平）に取り付けた場合、ＮＴＳＣカメラ１０１は、図５のような撮像範囲を撮像する。
【００２４】
街灯の検出を行う一連の流れを以下に示す。  
１）上述した処理により、任意の閾値以上の輝度信号領域の座標を検出する。  
２）図５に示すように、街灯は道路の左右両端に存在し、それはほぼ同じ水平ライン上に存在（数ドットの幅をもたせて選別する）すること、画面の上部から中央部にかけてその座標領域が狭く、かつ街灯間の距離が小さくなっていくことから、対の街灯を検出する。  
３）画像処理装置１０２は、ＮＴＳＣカメラ１０１の取り付け位置、レンズ特性、画角を認識していれば、街灯の実寸から該街灯が車両の現在位置に対して何ｍ先にあるかが検出できる。  
４）３）の情報から自車両がこれから進行する道路の形状がわかる（右方向に湾曲、左方向に湾曲等）。本処理結果をもとに、ＣＰＵ１０４は、進行方向の道路の曲率を計算することも可能である。
【００２５】
上記処理結果から、画像処理装置１０２は、図１のディスプレイあるいはスピーカ等の情報提示装置１０６から、ドライバーに対して進行方向の道路の情報を通知することで、ドライバーの安心感を向上させることができる。  
また、曲率の計算から急な曲がり道であった場合に、情報提示装置１０６を用いてドライバーに対して注意喚起を行うことができる。  
また、進行方向の道路の情報、及び図１の車両情報取得装置１０５の車速センサから、ＡＦＳ（可変配光前照灯）の制御に使用することができる。  
また、検出するターゲットを街灯に絞った場合、輝度検出処理を行う画面範囲を限定（画面上部半分）することでＣＰＵ１０４の処理負荷を低減することができる。  
なお、本実施の形態は、分岐の少ない夜間の高速道路で特に有効である。
【００２６】
〈前車のテールランプの検出〉
前車のテールランプを検出することについて説明する。  
ＮＴＳＣカメラ１０１の取り付け位置、向きは上記の例と同様とする。  
前車のテールランプの検出を行う一連の流れを以下に示す。  
１）上述した処理により、任意の閾値以上の輝度信号領域の座標を検出する。  
２）車両のテールランプの間隔は、一定とみなすことができる（軽自動車、大型トラック等、車幅に差があるものもあるが、画面上では誤差範囲内と考える）。また、車両の１組のテールランプは、ほぼ同じ水平ライン上に存在（数ドットの幅をもたせて選別する）することから、前車を検出する。  
３）画像処理装置１０２は、ＮＴＳＣカメラ１０１の取り付け位置、レンズ特性、画角を認識していれば、前車が車両の現在位置に対して何ｍ先にあるかが検出できる。  
４）上記前車の輝度信号領域の座標を任意のフレーム、もしくはフィールド単位で追跡する。また、図１の車両情報取得装置１０５の車速センサと、検出した前車のテールランプの座標領域に基づいて、前車との相対車速を検出できる。また、この相対車速情報も用いて、自車両がこれから進行する道路の形状、すなわち、例えば右方向に湾曲、左方向に湾曲等を判断することができる。本処理結果をもとに、ＣＰＵ１０４は、自車両の進行方向の道路の曲率を計算することも可能である。
【００２７】
上記処理結果から、画像処理装置１０２は、図１のディスプレイあるいはスピーカ等の情報提示装置１０６から、ドライバーに対して進行方向の道路の情報を通知することで、ドライバーの安心感を向上させることができる。  
また、曲率の計算から急な曲がり道であった場合に、情報提示装置１０６を用いてドライバーに対して注意喚起を行うことができる。  
また、進行方向の道路の情報、及び図１の車両情報取得装置１０５の車速センサから、ＡＦＳの制御に使用することができる。  
なお、本実施の形態は、前車との距離を保ちづらい場合や、分岐の少ない夜間の高速道路で特に有効である。
【００２８】
以上説明したように本実施の形態の夜間走行補助装置は、自車両の前方を撮像するＮＴＳＣカメラ１０１と、ＮＴＳＣカメラ１０１から伝送される画像情報を格納するフレームバッファ１０３と、フレームバッファ１０３に格納された画像情報から輝度信号を検出するＣＰＵ１０４とを備えた夜間走行補助装置において、ＮＴＳＣカメラ１０１から伝送される前記画像情報をフレームバッファ１０３へ格納することと並行して、ＣＰＵ１０４は、該格納される画像情報に対して、前記輝度信号を順次所定の閾値と比較することにより、前記閾値以上の輝度信号が分布している座標の領域を検出するという構成になっている。また、本実施の形態の夜間走行補助方法は、自車両の前方を撮像する撮像工程と、前記撮像工程において伝送される画像情報を格納する格納工程と、前記格納工程において格納された画像情報から輝度信号を検出する輝度信号検出工程とを有する夜間走行補助方法において、前記撮像工程において伝送される前記画像情報を格納する前記格納工程と並行して、前記輝度信号検出工程において、該格納される画像情報に対して、前記輝度信号を順次所定の閾値と比較することにより、前記閾値以上の輝度信号が分布している座標の領域を検出するものである。
【００２９】
上記従来装置では、ＮＴＳＣカメラから伝送される１フレーム分の画像情報をフレームバッファに格納した後に、エッジ情報の検出処理を始めるため、検出処理を始める前に最低３３．３ｍｓの遅延が生じた。そして、このような装置を、街灯やヘッドランプの照射範囲が狭い夜間に使用した場合、１フレーム中のエッジ検出範囲自体が狭い、すなわち、画像上の暗い部分はエッジの検出がし難いので、エッジ検出処理を開始する前に１フレーム分の画像情報をフレームバッファに格納し終えるまで待機することが無駄となっていた。また、高速道路等、車速の高い状態における夜間に使用した場合、エッジ検出を完了した時点での環境情報と、現在走行している箇所での環境情報に時間差が生じてしまった。なお、このような画像処理装置を車両の制御に用いる場合、安全上の観点からその処理時間はより短いものが期待される。本実施の形態では、上記のような構成により、輝度信号検出の処理時間を短縮することができる夜間走行補助装置及び方法を提供することができる。これにより、安全上の観点上望ましく、また、ＣＰＵ１０４の処理負荷を低減することができる。
【００３０】
また、前記輝度信号の閾値の設定を時刻情報によって可変にするＣＰＵ１０４を有する。このように、状況に応じた適切な輝度信号の閾値を設定することができ、ドライバーが所望する輝度信号領域を検出することができる。例えば、夜間においては街灯、前車のテールランプのみを検出できれば良い。
【００３１】
また、自車両のライトのオン／オフによる車両情報を取得する車両情報取得装置１０５と、前記輝度信号の閾値の設定を前記ライトのオン／オフによる車両情報によって可変にするＣＰＵ１０４を有する。このように、状況に応じた適切な輝度信号の閾値を設定することができ、ドライバーが所望する輝度信号領域を検出することができる。例えば、夜間においては街灯、前車のテールランプのみを検出できれば良い。
【００３２】
また、ＣＰＵ１０４は、夜間の街灯を検出し、ＣＰＵ１０４により検出される街灯の情報から、進行する道路の形状に関する情報をドライバーに対して提示する情報提示装置１０６を有する。このように、ドライバーに対して進行方向の道路の情報を通知することで、ドライバーの安心感を向上させることができる。また、ドライバーに対して運転に関する注意喚起を行うことができる。また、ＡＦＳの制御に使用することができる。
【００３３】
また、ＣＰＵ１０４は、夜間の前車テールランプを検出し、ＣＰＵ１０４により検出される前車テールランプの情報から、進行する道路の形状に関する情報をドライバーに対して提示する情報提示装置１０６を有する。このように、ドライバーに対して進行方向の道路の情報を通知することで、ドライバーの安心感を向上させることができる。また、ドライバーに対して運転に関する注意喚起を行うことができる。また、ＡＦＳの制御に使用することができる。
【００３４】
また、状況に応じて輝度検出処理を行う画面範囲を限定するＣＰＵ１０４を有する。これにより、ＣＰＵ１０４の処理負荷をさらに低減することができる。
【００３５】
なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。  
また、特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明すると、実施の形態の図１のＮＴＳＣカメラ１０１が特許請求の範囲の撮像手段に、フレームバッファ１０３が格納手段に、ＣＰＵ１０４が輝度信号検出手段に、図２のＳ２０１、Ｓ２０３が撮像工程に、Ｓ２０１、Ｓ２０３が格納工程に、Ｓ２０１、Ｓ２０３、Ｓ２０５、Ｓ２０６が輝度信号検出工程に、ＣＰＵ１０４が閾値可変手段に、ＣＰＵ１０４が閾値可変手段に、ＣＰＵ１０４が画面範囲限定手段にそれぞれ対応する。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施の形態の夜間走行補助装置の構成を示す図である。
【図２】本発明の実施の形態におけるＣＰＵの処理フローである。
【図３】本発明の実施の形態における輝度信号検出のイメージを示す図である。
【図４】本発明の実施の形態における車両の座標系（グローバル座標系）を示す図である。
【図５】本発明の実施の形態において夜間の道路上を走行する車両が撮像した画像の一例を示す図である。
【符号の説明】
【００３７】
１０１…ＮＴＳＣカメラ                １０２…画像処理装置
１０３…フレームバッファ              １０４…ＣＰＵ
１０５…車両情報提示手段              １０６…情報提示手段
【図１】
2006244331.tif 000003
【図２】
2006244331.tif 000004
【図３】
2006244331.tif 000005
【図４】
2006244331.tif 000006
【図５】
2006244331.tif 000007