【手続補正書】
【提出日】平成17年3月24日(2005.3.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】  明細書
【発明の名称】  安全運転支援装置及び画像処理装置
【特許請求の範囲】
【請求項１】画像から検出対象を検出する画像検出手段を有し、表示手段を用いて前記検出対象の存在をドライバーに提示する安全運転支援装置であって、前記検出対象毎に予め用意した領域拡大情報を用い、前記検出対象の検出領域を前記領域拡大情報に基づいて拡大した領域画像を得、前記拡大した領域部分の画像を前記表示手段に提示することを特徴とする安全運転支援装置。
【請求項２】前記検出対象は信号機であり、前記領域拡大情報は信号機の下方へ領域を拡大する量を含んでおり、前記検出領域を前記領域拡大情報に基づいて拡大した領域画像を得、前記拡大した領域部分の画像を前記表示手段に提示することを特徴とする請求項１記載の安全運転支援装置。
【請求項３】前記信号機が赤信号の場合のみに前記拡大した領域部分の画像を前記表示手段に提示することを特徴とする請求項２記載の安全運転支援装置。
【請求項４】画像を入力する画像入力手段と、
画像入力手段から入力された画像から道路交通標識あるいは信号機を検出対象として検出する画像検出手段と、
道路交通標識あるいは信号機に関する提示パターン情報を予め記憶した記憶手段から取得した提示パターン情報と前記画像検出手段により検出した検出対象とから提示内容を選択する提示手段とを有し、
前記提示パターン情報は領域拡大情報を含み、前記領域拡大情報に基づいて前記検出対象の検出領域を拡大した領域部分の画像を表示手段に提示する画像処理装置。
【請求項５】  提示パターン情報は、拡大する方向及び拡大する割合の情報を含む請求項４記載の画像処理装置。
【請求項６】  提示パターン情報は、提示時間に関する情報を含む請求項４又は５記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ドライバーが運転に集中できるように、車載カメラ等で撮影された画像から看板・標識・信号機等の対象物を検出し利用する安全運転支援装置及び画像処理装置に関する。
【０００２】
【従来の技術】
従来、標識などを車載カメラ映像から検出して表示する技術としては、特開平６−７６０６５号に記載されたものがある。図１３は従来技術の構成図を示している。画像入力手段１０２によって入力された画像データは、画像バッファ２０１に記憶される。サンプル領域指定部１３０１はユーザーが認識したい標識等を登録するための構成要素である。特徴点抽出処理１３０２は、画像データの一部の特徴を抽出する処理であり、検出の対象が標識であれば領域抽出処理１３０３は前記特徴から標識の候補を抽出し、検出の対象が車線であれば特徴点補間処理１３０４は前記特徴から車線を抽出する。検出の対象が標識である場合、さらに画像データ比較処理１３０５は、サンプルデータ記憶メモリ１３０６に登録されたサンプルデータと入力画像データの特徴を比較して指定された標識であるかを判定する。表示手段１０６は入力画像及び認識結果を表示する。図１４は表示の方法を示した図である。表示手段１０６の表示画面１４０１上に認識結果表示部分１４０２を設け、認識した道路標識等の画像を認識結果表示部分１４０２に表示する。
【０００３】
また、従来、カーオーディオの音量を上げたまま踏切にさしかかった時には、踏切が鳴っているかどうかを聞くために、ドライバーはカーオーディオの音量を自分で下げていた。
【０００４】
さらに、従来、道路標識の中でも高さ制限、幅制限及び重量制限の標識等をカメラ映像から検出して報知する技術が特開平９−１８５７０３に記載されている。従来技術では、これらの道路標識を車載カメラ映像から検出し、道路標識の存在をドライバーに知らせていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、特開平６−７６０６５号に記載の従来技術では、認識された検出対象（標識など）はそのまま表示手段１０６の表示画面上に画像として表示され、その検出対象の周囲の画像が表示されるとは限らなかったため、標識や信号機の下にある補助標識及び補助信号が表示されない可能性があった。ドライバーは検出対象が検出される度に表示手段に視線を向けなければならず安全運転に集中できなかった。
【０００６】
本発明の目的は、上記課題を解決し、ドライバーの運転を妨げず、真に必要な情報提示及び利用することでドライバーの安全運転を支援できるシステムを提供することにある。
【０００７】
【課題を解決するための手段】
本願発明は、画像から検出対象を検出する画像検出手段を有し、表示手段を用いて前記検出対象の存在をドライバーに提示する安全運転支援装置であって、前記検出対象毎に予め用意した領域拡大情報を用い、前記検出対象の検出領域を前記領域拡大情報に基づいて拡大した領域画像を得、前記拡大した領域部分の画像を前記表示手段に提示するものである。
【０００８】
【発明の実施の形態】
本願発明の一実施形態は、画像から検出対象を検出する画像検出手段を有し、表示手段を用いて前記検出対象の存在をドライバーに提示する安全運転支援装置であって、前記検出対象毎に予め用意した領域拡大情報を用い、前記検出対象の検出領域を前記領域拡大情報に基づいて拡大した領域画像を得、前記拡大した領域部分の画像を前記表示手段に提示するものである。
【０００９】
好ましくは、前記検出対象は信号機であり、前記領域拡大情報は信号機の下方へ領域を拡大する量を含んでおり、前記検出領域を前記領域拡大情報に基づいて拡大した領域画像を得、前記拡大した領域部分の画像を前記表示手段に提示するものであり、信号機だけでなく補助信号（「→」等の信号）も同時に表示できるので、実際の小さな補助信号を慌てて凝視せずに済み、安全運転に集中できる。
【００１０】
更に、好ましくは、信号機が赤信号の場合のみに前記拡大した領域部分の画像を前記表示手段に提示するものであり、補助信号（「→」等の信号）が点灯する赤信号時のみに補助信号を表示できるので、実際の小さな補助信号を慌てて凝視せずに済み、また赤信号以外の信号機を通過する毎に表示手段に目を移さずに済み、安全運転に集中できる。
【００１１】
本発明の一実施形態は、画像を入力する画像入力手段と、画像入力手段から入力された画像から道路交通標識あるいは信号機を検出対象として検出する画像検出手段と、道路交通標識あるいは信号機に関する提示パターン情報を予め記憶した記憶手段から取得した提示パターン情報と前記画像検出手段により検出した検出対象とから提示内容を選択する提示手段とを有し、前記提示パターン情報は領域拡大情報を含み、前記領域拡大情報に基づいて前記検出対象の検出領域を拡大した領域部分の画像を表示手段に提示する画像処理装置である。
【００１２】
好ましくは、提示パターン情報は、拡大する方向及び拡大する割合の情報を含むものである。
【００１３】
好ましくは、提示パターン情報は、提示時間に関する情報を含むものである。
【００１４】
尚、本願発明と直接関係しないが、従来の技術に対する他の課題として、以下の２点がある。  まず、カーオーディオの音量を上げたまま踏切にさしかかった時には、踏切が鳴っているかどうかに注意を向けるために、ドライバーはカーオーディオの音量を操作するため、安全運転の妨げになる可能性があった。
【００１５】
この課題に対して他の参考実施形態は、画像から検出対象を検出する画像検出手段を有し、この画像検出手段によって前記検出対象が検出された場合、車載機器の動作を制御する安全運転支援装置であって、前記検出対象は踏切注意の交通標識であり、前記車載機器はカーオーディオであり、前記検出対象である踏切注意の交通標識を検出した場合に、前記カーオーディオの音量を減少させるよう構成されている。これにより、カーオーディオの音量を上げたまま踏切にさしかかった時に、ドライバーはカーオーディオの音量を操作することなく、踏切の音を聞くことができ、安全運転に集中できる。
【００１６】
第２の他の課題として、特開平９−１８５７０３号に記載の従来技術では、高さ制限、幅制限及び重量制限がある道路では常に警報が発せられ、自分の車がその制限を越えてしまうかまでは判定しておらず、ドライバー自身が通過できるか判断をしなければならなかった。しかも、ドライバーは自分の乗る車の正確な車の高さ、幅及び重量を覚えておらず、通れるかどうかを目で確認しながら、あるいは通れるであろうという推測の基に運転をしていた為、運転に集中できなかったり、場合によっては判断を誤って車を破損する可能性があった。
【００１７】
この課題に対して他の参考実施形態は、画像から検出対象を検出する画像検出手段を有し、提示手段を用いて前記検出対象の存在をドライバーに提示する安全運転支援装置であって、車状態を検出する車状態検出手段を有し、車状態は車の高さ、幅及び重量のいずれか少なくとも一つであり、前記検出対象は高さ制限、幅制限及び重量制限の交通標識であり、前記交通標識の少なくとも一つが検出された場合、前記車状態である車の高さ、幅及び重量のいずれか少なくとも一つが前記検出された交通標識の制限を満たしていなければ、ドライバーに前記検出された交通標識の制限を満たしていない旨を提示するよう構成されている。これにより、高さ制限、幅制限及び重量制限がある道路にさしかかった時に、ドライバーは詳細な車の高さ、幅及び重量を覚えていなくても、通れるかどうかを事前に知ることができ、迅速な判断を行うことができる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１４を用いて説明する。
【００１９】
（実施の形態１）
図１は本発明によって実現できるシステムの一構成図を示している。車１０１の前方を撮影するように配置された画像入力手段（車載カメラ）１０２から画像データが得られ、記憶手段１０３に記憶される。そして、ＣＰＵ１０４で後述するように前記記憶手段１０３から画像データを読み出し、予め定められた検出対象を前記画像データから検出し、その検出結果をドライバーに提示できる形態に加工して、スピーカー１０５、表示手段１０６へ出力、あるいはその他の車載機器１０７を制御する。入力手段１０８はキーボードやマウスなどがあり、後述する提示パターンを編集するのに用いることができる。
【００２０】
以上のように構成された前記システムについて、以下その動作を述べる。画像入力手段１０２は車１０１の前方を撮影するように設置されており、得られた画像を記憶手段１０３に記憶する。記憶手段１０３には、予め検出する対象（例えば、道路交通標識、信号機、など）やＣＰＵ１０４で実行するプログラムも記憶されているとする。
【００２１】
ＣＰＵ１０４は、プログラムを記憶手段１０３から読み出し実行する。図２はＣＰＵ１０４で行われる処理の構成図を示している。画像入力手段１０２から入力された画像データは記憶手段１０３内の画像バッファ２０１に格納されている。画像検出手段２０２は画像バッファ２０１に蓄積された画像データから予め定められた検出対象を検出し、その検出結果を出力する。
【００２２】
画像検出手段２０２は、一例として「局所色情報を用いた高速物体探索−アクティブ探索法」（信学論VOL.J81-DII,No.9,pp.2035-2042）を用いることが可能である。画像検出手段２０２から出力される検出結果は、以下に示すように検出対象の名称と検出された前記画像データ内での位置から成っている。ここで検出された位置は、検出対象を囲う外接矩形で表し、外接矩形は左上及び右下のｘｙ座標で表すものとする。
【００２３】
（名称、左上ｘ座標、左上ｙ座標、右下ｘ座標、右下ｙ座標）
図３に検出結果の例を示す。図３（ａ）は画像データ中に信号機（名称をＳＩＧＮＡＬとする）が存在する例を示している。この時、画像検出手段２０２に信号機（ＳＩＧＮＡＬ）を検出するように設定してあるとすると、その検出結果は、以下のように検出対象の名称ＳＩＧＮＡＬと検出された位置の組となる。
【００２４】
（ＳＩＧＮＡＬ，ｓｘ０，ｓｙ０，ｅｘ０，ｅｙ０）
その他の例として図３（ｂ）のように制限速度５０Ｋｍ／ｈの道路標識（名称をＬＳ５０とする）があり、画像検出手段２０２にこの制限速度５０Ｋｍ／ｈの道路標識を検出するように設定してあるとすると、その検出結果は、
（ＬＳ５０，ｓｘ１，ｓｙ１，ｅｘ１，ｅｙ１）となる。複数の検出対象がある場合は、これらの検出対象名と検出位置の組の集合となる。
【００２５】
次に、図２において、検出結果処理手段２０３は、予め用意された提示パターン格納テーブル２０４を参照することによって、前記検出結果に対応した提示パターンを選択し、前記提示パターンに記された提示手段２０５に指定された形式で提示内容を出力する。提示手段２０５は図１のスピーカー１０５、表示手段１０６及び車載機器１０７に対応する。
【００２６】
提示パターンは、以下のように検出された対象名、提示内容を出力する提示手段、出力形式、そして提示内容（複数のパラメータ）から成っている。
【００２７】
（対象名、提示手段、出力形式、パラメータ１、パラメータ２、...、パラメータＮ）
このように、全ての提示手段で提示パターンを共通にするのは、ユーザーがキーボード等の入力手段１０８を用いて検出対象毎に好みの提示方法を容易に変更できるようにするためである。例えば、信号機を検出して表示手段に表示するのを好まない場合はスピーカーで信号機の存在を音声で知らせる等、システム構築後も自由に提示方法を変更できる。
【００２８】
ここで、提示手段は、スピーカー１０５、表示手段１０６、車載機器１０７の制御等が考えられ、提示手段２０５を指示するための識別名（括弧内）を用いることで指定する。以下に各提示手段の一例を示した。
【００２９】
スピーカー１０５としては、
オーディオスピーカー（ＳＰ）
イヤホン（ＥＰＳ）
ヘッドホン（ＨＰＳ）等がある。これらのスピーカーは種類は異なるが同様の操作で音声や警告音を出力することができ、音データを再生するＡ／Ｄ変換やアンプも含んでいる。
【００３０】
表示手段１０６としては、
カーナビゲーションモニター（ＣＮＭ）
ＴＶモニター（ＴＶＭ）
ダッシュボードモニター（ＤＢＭ）
ヘッドアップディスプレー（ＨＵＤ）
ヘッドマウントディスプレー（ＨＭＤ）等がある。これらの表示手段は種類は異なるが同様の操作で特定の位置に画像を表示させることができ、表示手段を駆動する回路も含んでいる。
【００３１】
車載機器１０７としては、
カーオーディオの消音機能（ＭＵＴＥ）
クラクション（ＨＯＲＮ）
ヘッドライト（ＬＩＧＨＴ）等があり、ディジタル信号でＯＮ／ＯＦＦすることができる。
【００３２】
図４に各提示手段への出力形式の一例を記した。例えば、表示手段の場合、出力形式は１種類のみ（形式１）である。表示手段の出力形式１（ＰＡＴ１）は領域拡大情報（パラメータ１及び２）を含む４つのパラメータを必要とすることが予め決められている。
【００３３】
図５の検出結果処理手段の動作を表すフローチャートを用いてその動作を説明する。まず、ステップ５０１では処理する検出結果が残っているかを判断する。ステップ５０２で検出結果を読み出し、検出した対象名（ＮＡＭＥとする）と座標を読みとる。ステップ５０３で提示パターン格納テーブル２０４から対象名がＮＡＭＥである提示パターンを取得する。ステップ５０４で前記提示パターンに必要なデータを生成し、前記提示パターンに指定された提示手段２０５に指定された形式で生成されたデータを出力する。上記ステップ５０１〜ステップ５０４までを全ての検出結果に対して行う。また、ステップ５０３で１つの検出結果に対して適用する提示パターンが複数ある場合は、全ての前記提示パターンに対し、ステップ５０４を適用する。上記ステップ５０４では、その提示パターンにより動作が異なるので以下に代表的な例を用いてその動作を説明する。
【００３４】
図６に表示手段を用いた提示例の一つを示した。この例では、赤信号（ＳＩＧＮＡＬ−Ｒ）が検出されたとし、その検出結果が、
（ＳＩＧＮＡＬ−Ｒ，ｓｘ０，ｓｙ０，ｅｘ０、ｅｙ０）であり、予め登録されている提示パターンが
（ＤＢＭ、ＰＡＴ１、ＰＡＲＡＭ１＝３（下方向）、ＰＡＲＡＭ２＝２（倍）、ＰＡＲＡＭ３＝（ｄｓｘ０，ｄｓｙ０，ｄｅｘ０，ｄｅｙ０）、ＰＡＲＡＭ４＝３（秒））である場合を示している。パラメータ１は拡大する方向であり、図６（ａ）で方向と番号が対応づけられている。パラメータ２は拡大する割合であり、図６（ｂ）に示すように検出された標識の高さ（ｅｙ０−ｓｙ０）にパラメータ２の数（ここでは２）を乗じた分だけ前記パラメータ１の方向（下方向）へ検出領域を拡大する。パラメータ３は表示手段上の表示領域、パラメータ４は提示時間である。この場合、入力画像中における検出対象（ＳＩＧＮＡＬ−Ｒ）の検出領域（（ｓｘ０，ｓｙ０）、（ｅｘ０、ｅｙ０））を下方向に２倍拡大し、その拡大された領域内の画像を、出力先のダッシュボードモニター６０１（ＤＢＭ）の左上及び右下の座標が（ｄｓｘ０，ｄｓｙ０）、（ｄｅｘ０，ｄｅｙ０）となる表示領域６０２に合うように拡大（あるいは縮小）して表示する。その結果、図６（ｃ）に示すように、下方向（ＰＡＲＡＭ１）に検出領域の高さを２倍まで広げた領域の部分画像をダッシュボードモニター（ＤＢＭ）６０１のＰＡＲＡＭ３で指定した表示領域６０２に拡大（あるいは縮小）して３秒間表示する。このように検出し難い補助信号を画像認識技術を駆使して検出するのではなく、比較的検出し易い信号機を検出してその周囲の映像を常に同時に切り出すことで補助信号もドライバーにわかりやすく知覚させようとしている。
【００３５】
また、図７に別の提示例を示した。この例では道路標識「制限速度５０」（ＬＳ５０）が検出されたとし、その検出結果が
（ＬＳ５０、ｓｘ１，ｓｙ１，ｅｘ１、ｅｙ１）であり、予め登録されている提示パターンが
（ＬＳ５０、ＤＢＭ、ＰＡＴ１、ＰＡＲＡＭ１＝３（下方向）、ＰＡＲＡＭ２＝１．５（倍）、ＰＡＲＡＭ３＝表示領域、ＰＡＲＡＭ４＝３秒）である場合を示している。パラメータ１は拡大する方向であり、図６（ａ）で方向と番号が対応づけられている。パラメータ２は拡大する割合であり、図７（ａ）に示すように検出された標識の高さ（ｅｙ１−ｓｙ１）にパラメータ２の数（ここでは１．５）を乗じた分だけ前記パラメータ１の方向（下方向）へ拡大する。パラメータ３は表示手段上の表示領域、パラメータ４は提示時間である。この場合、入力画像中における検出対象（ＬＳ５０）の検出領域（（ｓｘ１，ｓｙ１）、（ｅｘ１、ｅｙ１））を下方向に１．５倍拡大し、その拡大された領域内の画像を、出力先のダッシュボードモニター６０１の左上及び右下の座標が（ｄｓｘ０，ｄｓｙ０）、（ｄｅｘ０，ｄｅｙ０）となる矩形領域に合うように拡大（あるいは縮小）して表示する。その結果、図７（ｂ）に示すように、下方向（ＰＡＲＡＭ１）に１．５倍まで広げた領域をダッシュボードモニター（ＤＢＭ）６０１のＰＡＲＡＭ３で指定した表示領域７０１に拡大（あるいは縮小）して３秒間表示する。
【００３６】
図６及び図７の例は、信号機や道路標識を検出しその周囲の映像を同時に切り出して拡大表示することで、補助信号や補助標識をドライバーに知覚し易くするという効果を示している。信号機や道路標識に付随する補助信号や補助標識は非常に重要な情報であるにも関わらず、ドライバーには知覚し難く、また画像検出手段でも検出し難いため、このような提示の仕方が有効である。
【００３７】
次に車載機器を介して道路状況を提示する場合について説明する。図４において出力形式は１つであり、形式１（ＰＡＴ１）は指定した車載機器の制御信号をＯＮ（又はＯＦＦ）する。パラメータ１はどの車載機器を制御するかをビット系列で表し、そのビットの位置と制御機器の対応付けは予め定められている。例えば、１ビット目（最下位ビット）はカーステレオのミュート（ＭＵＴＥ）、２ビット目はヘッドライト（ＬＩＧＨＴ）、３ビット目はクラクション（ＨＯＲＮ）といった具合である。パラメータ２は点滅の間隔（提示周期）を秒数で表し、パラメータ３は提示時間を示す。
【００３８】
車載機器の制御を伴う提示例を示す。この例では、道路標識「踏切注意」（警戒標識）が検出されたとし、その検出結果が、
（ＲＡＩＬＲＯＡＤ、１００，１２０，２００，２２５）であり、予め登録されている提示パターンが、
（ＲＡＩＬＲＯＡＤ、ＡＵＤＩＯ、ＰＡＴ１、ＰＡＲＡＭ１＝ＭＵＴＥ、ＰＡＲＡＭ２＝３０秒、ＰＡＲＡＭ３＝３０（秒））である。パラメータ１はカーオーディオの消音（ＭＵＴＥ）を制御することを示し、パラメータ２は消音のＯＮ／ＯＦＦの周期が３０秒であることを示し、パラメータ３はその動作を３０秒間継続することを示している。結果的には１５秒間消音し、その後カーオーディオの音量は元に戻る。
【００３９】
このように「踏切」の標識が前方に検出された場合、カーオーディオを１５秒間消音し、ドライバーがカーオーディオを操作することなく踏切の音をよく聞くことができるので安全運転ができるようにする。
【００４０】
また、車載機器の制御を伴う別の提示例を示す。この例では、道路標識「警報ならせ」が検出されたとし、その検出結果が、
（ＨＯＲＮ、１００，１２０，２００，２２５）であり、予め登録されている提示パターンが、
（ＨＯＲＮ、ＨＯＲＮ、ＰＡＴ１、ＰＡＲＡＭ１＝０．５（秒）、ＰＡＲＡＭ２＝１（秒））である。ＨＯＲＮはクラクションを制御することを示し、パラメータ１はクラクションのＯＮ／ＯＦＦの周期が０．５秒であることを示し、パラメータ３はその動作を１秒間継続することを示している。
【００４１】
このように「警報ならせ」の標識が前方に検出された場合、０．２５秒間のクラクションを０．２５秒間隔で１秒間ならす。結果としては０．２５秒継続するクラクションが２回ならされ、ドライバーはカーブなどでハンドル操作が忙しいときに手を離さなくても自動的にクラクションを鳴らすことができ、運転に集中できる。
【００４２】
図８は、この「警笛ならせ」を検出したときの上記の提示パターンを用いたときのタイミングチャートを示している。画像入力手段が動画像を入力する場合、画像データは通常１／３０秒の周期でサンプリングされてフレーム画像として入力されている。時間Ｔ１で１枚目のフレーム画像の入力が完了し、時刻Ｔ２で「警報ならせ」の標識が検出され、それと同時にクラクションの制御（クラクションＯＮ）が開始する。時刻Ｔ２から０．５秒の周期でＯＮ／ＯＦＦを繰り返し、それを１秒間継続する。結果として、時刻Ｔ２から時刻Ｔ３までの間に０．２５秒のクラクションが２回鳴らされることになる。
【００４３】
さらに、後述する実施の形態２で用いる音声による提示について説明する。図４において、スピーカーの出力形式は２つであり、形式１（ＰＡＴ１）はパラメータ１で指定された音データを、パラメータ２で指定した回数だけ出力する。また、形式２（ＰＡＴ２）はパラメータ１で指定されたテキストデータを音声合成手段などで音データに変換し、パラメータ２で指定した提示回数だけ出力する。この形式２はドライバーがキーボード等の入力手段１０８を用いて前記提示パターンを編集し、好みの言葉で発声できるという利点がある。
【００４４】
スピーカーに形式１で提示する提示パターンの場合、まず、パラメータ１で指定された音データを記憶手段１０３から読み出す。そして、パラメータ２で定められた回数だけ音データを出力する。スピーカーに形式２で提示する場合、パラメータ１で指定されるテキストデータ（発声する内容）を、音声合成手段を用いて音声データに変換し、パラメータ２で指定された回数だけその音声データをスピーカーから出力する。音声合成の実現手法については、「新版・情報処理ハンドブック」（p.1329、情報処理学会編）等に記載されている。スピーカーを提示手段として用いる例については後述の実施の形態２で説明する。
【００４５】
なお、時間の計測はＣＰＵが有するタイマー機能を用いることで実現できる。
【００４６】
また、図１の車載機器１０７にブレーキ、アクセル、ハンドル、ヘッドライト、ハイビームなどを含めて検出結果に応じてこれらの機器を制御することもできる。例えば、「止まれ」の標識を検出すればブレーキをＯＮしたり、「横断歩道有り」を検出した場合ハイビームをＯＦＦするなどが可能となる。
【００４７】
さらに、提示パターンは提示パターンを格納テーブル２０４から選択するだけでなく、検索結果処理手段２０３によって臨機に適応した提示パターンを作成しても良い。
【００４８】
以上のように、検出した内容に応じてその提示手段や提示内容を変えることで運転に集中するドライバーの混乱を招かず道路環境を報知することが可能となる。
【００４９】
（実施の形態２）
図９は本発明によって実現できるシステムの一構成図を示している。車１０１の前方を撮影するように配置された画像入力手段（車載カメラ）１０２から画像データが得られ、記憶手段１０３に記憶される。そして、ＣＰＵ１０４で記憶手段１０３から画像データを読み出し、予め定められた検出対象を前記画像データから検出し、それと並行して、車状態検出手段９０１は車の状態（例えば、車高、車幅、車重の他、燃料が満杯であるか、スピード（停止も含む）、後退中かどうか）を検出する。これらの検出結果をドライバーに提示できる形態に加工して、スピーカー１０５や表示装置１０６に出力したり、あるいはその他の車載機器１０７を制御する。
【００５０】
以上のように構成された前記システムについて、以下その動作を述べる。画像入力手段１０２は車１０１の前方を撮影するように設置されており、得られた画像を記憶装置１０３に記憶する。記憶手段１０３には予め検出対象（例えば、道路交通標識、信号機、コンビニエンスストア、ガソリンスタンドなど）やＣＰＵ１０４で実行するプログラムも記憶されているとする。
【００５１】
ＣＰＵ１０４は、プログラムを記憶手段１０３から読み出し実行する。図１０はＣＰＵ１０４で行われる処理の構成図を示している。画像入力手段１０２から入力された画像データは記憶手段１０３内の画像バッファ２０１に格納されている。画像検出手段２０２は画像バッファ２０１に蓄積された画像データから予め定められた検出対象を検出し、その検出結果を出力する。画像検出手段２０２とその検出結果のデータ形式については実施の形態１と同等であるので説明は省略する。検出結果処理手段１００１は前記検出結果、次に述べる車状態を加味して検出内容を提示手段２０５に出力する。
【００５２】
車状態検出手段９０１は車に取り付けられた各種センサー（燃料タンク・各種オイルの残量、ギアの状態、ウインカーの点灯状態、舵角、車速など）や車固有のデータ（車高、車幅、自重など）から車の状態を知ることができる。ここで、車状態検出手段９０１から出力される車の状態について説明する。車の状態の種類としては燃料の残量有無・各種オイル（エンジンオイル、ブレーキオイル）の残量有無、ギアの状態、ウインカーの点灯状態、舵角、車速、車高、車幅、自重などがある。燃料の残量及び各種オイルの残量有無は各１ビットで表現し、残量が予め定められた量よりも少ない時は「１」、そうでなければ「０」とする。ギアの状態はバックか否かの１ビットで表現し、バックギアであれば「１」、そうでなければ「０」とする。ウインカーの点灯は２ビットで表現し、右であれば「０１」、左であれば「１０」、どちらも点灯していなければ「００」とする。舵角、車速、車高、車幅、自重は各８ビットでその数値を量子化して表現する。これらをまとめて４６ビットで車の状態を表現する。以下では便宜上上位２ビットを付加して４８ビットとし、１６進（「０ｘ」を接頭辞とする１２桁）で表現している。また以降の説明で、この４８ビットのデータから車速、車高、車幅、自重を求めるための式を次のように定義しておく。
【００５３】
ＧＥＴＳＰＥＥＤ（ｘ）＝（ｘ  ＡＮＤ  ０ｘ００００ＦＦ００００００）＞＞２４で車の状態ｘから車速のみを取り出すことができる。「ＡＮＤ」と「＞＞」は論理演算であり、「Ａ＞＞Ｂ」はＡを右にＢビットシフト（左は０をつめる）することを表す。同様に、車の状態ｘから車高、車幅、自重を取り出すには、それぞれ
ＧＥＴＨＥＩＧＨＴ（ｘ）＝（ｘ  ＡＮＤ  ０ｘ００００００ＦＦ００００）＞＞１６
ＧＥＴＷＩＤＴＨ（ｘ）＝（ｘ  ＡＮＤ  ０ｘ００００００００ＦＦ００）＞＞８
ＧＥＴＷＥＩＧＨＴ（ｘ）＝（ｘ  ＡＮＤ  ０ｘ００００００００００ＦＦ）となる。また、舵角は符号付き整数とし、車の正面を０度として右方向を正、左方向を負として角度で表す。車状態ｘから舵角を求めるための式は、
ＧＥＴＤＡＫＡＫＵ（ｘ）＝ＩＮＴ（（ｘ  ＡＮＤ  ０ｘ００ＦＦ００００００００）＞＞３２）とする。ＩＮＴ（ｘ）は、ｘを２の補数表現された整数とした時、符号付きの整数値を返す。
【００５４】
次に、提示パターン格納テーブル１００２に格納されているデータ（提示パターン）について説明する。実施の形態１と同様、予め、検出対象毎にその提示の仕方（提示パターン）を定めておき、提示パターン格納テーブル１００２に保持する。提示パターンは、以下に示すように検出された対象名、車の状態に関する条件、提示内容を出力する提示手段、出力形式、そして提示内容（複数のパラメータ）から成っている。
【００５５】
（対象名、車状態の条件、提示手段、出力形式、パラメータ１、パラメータ２、...、パラメータＮ）
ここで、対象名、提示手段、出力形式及びパラメータ１〜Ｎは実施の形態１と同等であるので説明は省略する。
【００５６】
車状態の条件は、ＣＳＴＡＴＥ（ｘ）という表現で記述し、値（ｘ）に車状態検出手段９０１の出力（４８ビット）を代入することで条件に合致しているか否かを真偽値で出力する論理式とする。
【００５７】
図１１は検出結果処理手段１００１の動作を示すフローチャートである。まず、ステップ１１０１では処理する検出結果が残っているかを判断する。ステップ１１０２で検出結果を読み出し、検出した対象名（ＮＡＭＥとする）と座標を読みとる。ステップ１１０３で提示パターン格納テーブルから対象名がＮＡＭＥである提示パターンを取得する。ステップ１１０４では車状態検出手段９０１から得られた車状態がステップ１１０３で取得された提示パターン内の車状態の条件式を満たすかをチェックする。ここで条件式を満たせばステップ１１０５に進み、満たさなければステップ１１０１に進む。ステップ１１０５では前記提示パターンに必要なデータを生成し、前記提示パターンに指定された提示手段２０５に指定された形式で生成されたデータを出力する。このステップ１１０５では、その提示パターンにより動作が異なる。以上の手順を検出結果が無くなるまで繰り返す。
【００５８】
以下、前記ステップ１１０５の動作が、検出対象によって異なるので、具体的な例を挙げて説明する。
【００５９】
□道路標識「高さ制限（３．３ｍ）」
検出結果：（ＬＩＭＩＴ−Ｈ３３、１００，１２０，２００，２２５）
提示パターン：（ＬＩＭＩＴ−Ｈ３３、ＣＳＴＡＴＥ（ｘ）、ＳＰ、ＰＡＴ１、ＰＡＲＡＭ１＝「高さ制限があります」、ＰＡＲＡＭ２＝１（回））
ただし、
ＣＳＴＡＴＥ（ｘ）＝  （ＧＥＴＨＥＩＧＨＴ（ｘ）＞３．３）
これは、車高が３．３ｍ以上である場合に、「高さ制限があります」と１回発声する。
【００６０】
□道路標識「幅制限（２．２ｍ）」
検出結果：（ＬＩＭＩＴ−Ｗ２２、１００，１２０，２００，２２５）
提示パターン：（ＬＩＭＩＴ−Ｗ２２、ＣＳＴＡＴＥ（ｘ）、ＳＰ、ＰＡＴ１、ＰＡＲＡＭ１＝「幅制限があります」、ＰＡＲＡＭ２＝１（回））
ただし、
ＣＳＴＡＴＥ（ｘ）＝（ＧＥＴＷＩＤＴＨ（ｘ）＞２．２）
これは、車幅が２．２ｍ以上である場合に、「幅制限があります」と１回発声する。
【００６１】
なお、図９の車載機器１０７にブレーキ、アクセル、ハンドル、ヘッドライトなどを含めて検出結果に応じてこれらの機器を制御することもできる。例えば、「止まれ」の標識を検出し、車速が３０Ｋｍ／ｈ以上であればブレーキをＯＮしたり、赤信号を検出して車速が０Ｋｍ／ｈの時（止まっている時）はヘッドライトをＯＦＦするなどが可能となる。
【００６２】
以上のように、検出した内容（道路標識や信号機など）を常にドライバーに提示するのではなく、車の状態に応じて適した提示方法で提示することで、運転に集中するドライバーの混乱を招かず安全運転を支援することができる。
【００６３】
（実施の形態３）
さらに、上記各実施の形態で示した安全運転支援装置の構成を実現するために必要な安全運転支援のプログラムや前記提示パターン格納テーブルを、通信網を介した別のサーバーコンピュータに格納するようにすることにより、上記各実施の形態で示した処理を、サーバーコンピュータからダウンロードして実施することが可能となる。
【００６４】
図１２は、上記実施の形態１〜２の安全運転支援処理を、上記安全運転支援プログラムや提示パターン格納テーブルを格納したサーバーコンピュータ１２０３と連携して実施する場合を説明するための図である。上記実施の形態１または２で示した車載コンピュータにさらに通信網１２０２を介して車外のサーバーコンピュータ１２０３と通信するための送受信手段１２０１を備えている。
【００６５】
車載コンピュータ１２００は上記プログラムと提示パターン格納テーブルを、サーバーコンピュータ１２０３からダウンロードし、記憶手段１０３に格納し、ＣＰＵ１０４を用いて上記実施の形態１〜２のごとく安全運転支援処理を実行する。
【００６６】
あるいは、画像入力手段１０２で入力した入力画像、車状態検出手段９０１から入力された車状態を送受信手段１２０１を用いてサーバーコンピュータ１２０３に送信し、サーバーコンピュータ１２０３上で安全運転支援処理を実行し、その結果（提示パターンに応じた提示データ）を車載コンピュータ１２００が受け取り、スピーカー１０５、表示手段１０６及び車載機器１０７を用いて提示することも可能である。
【００６７】
このように構成することによって、安全運転支援のプログラムの開発者が常に最新のプログラムを提供できたり、サーバーコンピュータ１２０３の計算資源を用いて処理できるので、車載コンピュータ１２００の性能が低い場合でも安定して安全運転支援の機能を提供することが可能となる。
【００６８】
なお、上記実施の形態の記憶手段１０３は、フロッピーディスク、光ディスク、ＩＣカード、ＲＯＭカセット、固体メモリ、ハードディスク等、プログラムを記録できるものであれば同様に実施することができる。
【００６９】
なお、上記実施の形態では、画像入力手段（車載カメラ）は車の前方を撮影するとしたが、これに限らず、後方や横方向を撮影するように設置してもかまわない。後方を撮影する場合の利点としては、対向車線側に設置された行き先表示板を検出できるため直前に通った交差点での各方面の行き先を確認できる。
【００７０】
また、上記実施の形態では、提示時間を決まった時間（秒数）で指定していたが、「次のＮフレーム目の画像から検出結果が得られるまで提示する（Ｎは自然数）」とすることも可能である。この場合、提示時間を示す提示パターンのパラメータはフレーム数（Ｎ）となる。これは、画像が入力されてから検出対象が検出される時間が常に一定でない場合に対応するためである。
【００７１】
また、画像検出手段２０２が出力する検出結果内の位置は外接矩形としたが、これに限らず、検出対象を内包する多角形でもよい。
【００７２】
また、上記実施の形態では提示手段２０５の各出力形式のパラメータの値（提示時間など）を適当に定めたがこれに限るものではなく、他の値でもかまわない。
【００７３】
以上のように、本実施形態によれば、画像から検出対象を検出する画像検出手段を有し、表示手段を用いて前記検出対象の存在をドライバーに提示する安全運転支援装置であって、前記検出対象毎に予め用意した領域拡大情報を用い、前記検出対象の検出領域を前記領域拡大情報に基づいて拡大した領域画像を得、前記拡大した領域部分の画像を前記表示手段に提示するものであり、安全運転が可能となる。
【００７４】
好ましくは、前記検出対象は信号機であり、前記領域拡大情報は信号機の下方へ領域を拡大する量を含んでおり、前記検出領域を前記領域拡大情報に基づいて拡大した領域画像を得、前記拡大した領域部分の画像を前記表示手段に提示するものであり、信号機だけでなく補助信号（「→」等の信号）も同時に表示できるので、実際の小さな補助信号を慌てて凝視せずに済み、安全運転に集中できる。
【００７５】
更に、好ましくは、信号機が赤信号の場合のみに前記拡大した領域部分の画像を前記表示手段に提示するものであり、補助信号（「→」等の信号）が点灯する赤信号時のみに補助信号を表示できるので、実際の小さな補助信号を慌てて凝視せずに済み、また赤信号以外の信号機を通過する毎に表示手段に目を移さずに済み、安全運転に集中できる。
【００７６】
画像を入力する画像入力手段と、画像入力手段から入力された画像から道路交通標識あるいは信号機を検出対象として検出する画像検出手段と、道路交通標識あるいは信号機に関する提示パターン情報を予め記憶した記憶手段から取得した提示パターン情報と前記画像検出手段により検出した検出対象とから提示内容を選択する提示手段とを有し、前記提示パターン情報は領域拡大情報を含み、前記領域拡大情報に基づいて前記検出対象の検出領域を拡大した領域部分の画像を表示手段に提示する画像処理装置であり、走路交通標識あるいは信号機だけでなく補助信号（「→」等の信号）も表示できる。
【００７７】
また、画像検出の処理をコンピュータに行わせるためのプログラムとして実現することで、前記プログラムを記憶媒体や通信網を介して最新のものに更新したり、任意のコンピュータで実行できる。
【００７８】
【発明の効果】
本発明によれば、画像から検出対象を検出する画像検出手段を有し、表示手段を用いて前記検出対象の存在をドライバーに提示する安全運転支援装置であって、前記検出対象毎に予め用意した領域拡大情報を用い、前記検出対象の検出領域を前記領域拡大情報に基づいて拡大した領域画像を得、前記拡大した領域部分の画像を前記表示手段に提示するものであり、安全運転が可能となる。
【図面の簡単な説明】
【図１】
本発明によるシステムの一例を示す図
【図２】
実施の形態１におけるＣＰＵ内部での処理構成を示す図
【図３】
画像検出手段の検出結果を説明する図
【図４】
提示パターンを説明する図
【図５】
実施の形態１における検出結果処理手段の動作を示すフローチャート
【図６】
信号機を検出したときの検出領域を拡大して表示する提示パターンの説明図
【図７】
道路交通標識を検出したときの検出領域を拡大して表示する提示パターンの説明図
【図８】
画像入力、対象検出及び提示のタイミングチャート
【図９】
本発明によるシステムのまた別の一例を示す図
【図１０】
実施の形態２におけるＣＰＵ内部での処理構成を示す図
【図１１】
実施の形態２における検出結果処理手段の動作を示すフローチャート
【図１２】
上記各実施の形態の安全運転支援装置をコンピュータシステムにより実現するためのプログラムを格納するためのデータ記憶媒体についての説明図
【図１３】
従来技術の処理構成図
【図１４】
従来技術の提示方法を説明する図
【符号の説明】
１０１  車
１０２  画像入力手段
１０３  記憶手段
１０４  ＣＰＵ
１０５  スピーカー
１０６  表示手段
１０７  車載機器
１０８  入力手段
２０１  画像バッファ
２０２  画像検出手段
２０３  検出結果処理手段
２０４  提示パターン格納テーブル
２０５  提示手段
９０１  車状態検出手段
１００１  検出結果処理手段
１００２  提示パターン格納テーブル
１２００  車載コンピュータ
１２０１  送受信手段
１２０２  通信網
１２０３  サーバーコンピュータ