(57)【要約】【課題】車両周囲を撮像するカメラ動画像を処理して、車内の環状表示部分に車外の動画情報を投影または表示することにより、運転者を補助する全周囲情報環状表示システムを提供する。【解決手段】本発明による全周囲情報環状表示システムは、１以上の動画カメラにより車両外部の全周囲の動画情報を常時取得している。環状の表示手段は、車両の前後左右の情報を環状部分に対応させて表示する。画像処理・認識手段は、前記カメラ手段からの動画情報を表示用画像処理および画像中の対象物の認識を行い、別に入力される操作子情報および付加情報を参照して表示対応画像と重ね合わせ情報とを合成して環状部分対応表示画像を形成し、前記環状の表示手段に出力する。【選択図】図１
2007158578.tif 000002
【特許請求の範囲】
【請求項１】
車両外部の全周囲の動画情報を常時、１以上の動画カメラにより取得しているカメラ手段と、
車両の前後左右の情報を環状部分に対応させて表示するための環状の表示手段と、
前記カメラ手段からの動画情報を表示用画像処理および画像中の対象物の認識を行い、別に入力される操作子情報および付加情報を参照して表示対応画像と重ね合わせ情報とを合成して環状部分対応表示画像を形成し、前記環状の表示手段に出力する画像処理・認識手段と、
から構成した全周囲情報環状表示システム。
【請求項２】
前記動画カメラは複数の俯角制御可能なカメラで全周囲の動画情報を取得しており、その情報を操作子情報および付加情報に基づいて加工して前記環状の表示手段に出力する請求項１記載の全周囲情報環状表示システム。
【請求項３】
前記動画カメラは常時一台のカメラで全周囲の動画情報を取得しており、その情報を操作子情報および付加情報に基づいて加工して前記環状の表示手段に出力する請求項１記載の全周囲情報環状表示システム。
【請求項４】
前記表示手段は略４辺に配置されたスクリーンの上下辺が車両の後前方向情報、左右辺が車両の左右方向情報を表示する請求項１記載の全周囲情報環状表示システム。
【請求項５】
前記表示手段は略４辺に配置されたディスプレイの上下辺が車両の後前方向情報、左右辺が車両の左右方向情報を表示する請求項１記載の全周囲情報環状表示システム。
【請求項６】
前記表示手段は操作子の入力により表示と車両との対応が変更可能である請求項１記載の全周囲情報環状表示システム。
【請求項７】
前記付加情報は前記カメラ手段の俯角を変化させるための車両の速度情報または走行モード情報を含む請求項１記載の全周囲情報環状表示システム。
【請求項８】
請求項１記載の全周囲情報環状表示システムで、
運転者を登録し識別する登録識別手段と、
車速，走行モードまたは運転者別の挙動を検出する状況検出手段と、
車速や走行モードに応じた俯角の変化度合いを運転者や状況に応じて変化させる制御手段と、
運転者の指示により前記俯角の変化度合いを補正または学習する補正・学習手段と、
を付加した構成からなる全周囲情報環状表示システム。
【請求項９】
前記画像処理・認識手段は、表示画像加工処理用に濃淡調整、輝度調整や強調が可能であり、
障害物、危険物、標識、路面表示や歩行者などの対象物を認識し、認識出力を発生する認識手段を含み、
前記認識出力に基づいて表示画像に付加情報を付加するように構成した請求項１記載の全周囲情報環状表示システム。
【請求項１０】
前記全周囲情報環状表示システムは、音声提示手段を含み、前記認識手段の認識対象に基づいた音声提示を行うシステムであって、
前記音声提示手段は、透明スピーカフィルム，スピーカアレイもしくは数個のスピーカであり、前記認識手段の認識対象と対象の位置に基づいた音声提示を行う請求項１記載の全周囲情報環状表示システム。
【請求項１１】
前記カメラ手段で撮影された映像や、交通情報等の付加情報を画像処理・認識手段に入力し、前記画像処理・認識手段で車両の全周囲の方向に対応した画像に加工処理し、
前記認識手段により認識された対象物と入力された交通情報等の付加情報を関連付けし、
画像上の対応位置に付加情報を付加する処理を行った後、画像処理・認識手段から出力する請求項１記載の全周囲情報環状表示システム。
【請求項１２】
前記カメラ手段で撮影された映像を前記画像処理・認識手段に入力し、
前記画像処理・認識手段の認識手段で認識された前記対象物を車両の全周囲の方向に対応した認識をし、認識結果を出力し、この出力情報に応じて前記対象物に対応した方向の環状の表示域内に、対象物毎に対応させたマーク／模式図で画像表示し、あるいは色分け可能な発光素子で表示するように構成した請求項１記載の全周囲情報環状表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲を撮像するカメラ動画像に基づき、車内の表示部分に車外の動画情報を投影または表示することにより、運転者を補助する全周囲情報環状表示システムに関する。
【背景技術】
【０００２】
運転者に対する視覚情報の支援は、ルームミラーやバックモニタなど限定された表示エリアを覗き込むかたちが一般的であり、特定部位の視覚情報の支援しかできず一覧性に乏しい。また、ミラーやカメラを可動式としたものもあるが、どの部位を見ているのかがわからなくなるという問題がある。
なおフロントガラスに投影するものとしては、ヘッドアップディスプレイがある。
【０００３】
特許文献１記載の発明（車体下方表示システム）は、車体下方について全周囲撮像を行ない、パノラマ表示等を行なうことを開示している。
特許文献２記載の発明（車両周辺確認装置）は、広角カメラを回転させ、取得した画像を合成してパノラマ画像を得ることを開示している。
特許文献３記載の発明（車両用画像情報表示装置）は、右側フロントピラー近傍から左側フロントピラー近傍まで表示装置を設置し、運転者以外の者も画像情報を見ることが出来ることを開示している。
特許文献４記載の発明（車載用表示装置）は、車両のフロントガラスの所定箇所に設けられた表示部に表示情報を表示することを開示している。
特許文献５記載の発明（車輌用ヘッドアップディスプレイ装置）は、その開示の中で従来例として自動車等の車輌のフロントガラスに、車輌の内側に置かれた表示パネル面上の表示情報を光学的に反射させ、運転者等の視野内に光学的虚像として情報を表示視認させる車輌用ヘッドアップディスプレイ装置を説明している。
【特許文献１】特開２００４−３２０４９２
【特許文献２】特開２００５−０５１６２０
【特許文献３】特開２００４−２４３８９８
【特許文献４】特許第２６１６４５９号
【特許文献５】特公昭６３−０５３０４６
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来技術による運転者に対する視覚情報の支援は、ルームミラーやバックモニタなどが一般的であり、限定された表示エリアを覗き込むかたちである。
一方、限定表示ではなく車両の全周囲の画像を表示するものとして、横長画像表示のパノラマ画像や円形画像表示のものがある。
この内、全周囲を横長のパノラマ画像として表示するものは、車両周囲全体を表示できるが、表示された画像の局所領域がどの方向かが一見して把握しにくい。
また、魚眼レンズや双曲面ミラーを使用して取得した映像を円形画像表示するものは、車両周囲全体を表示でき、画像の局所領域の方向把握はし易いが、画像が歪んでいるため物体比率・距離感等が人の感覚にあわず一見して把握しにくい。
また、カメラを回転させて車両の全周囲を撮影し、パノラマ画像を得るものは、一周するためのカメラの回転時間が必要であるため、カメラの回転無しでパノラマ画像を作成するものと比較しパノラマ画像全体として同時刻の画像が得られない。したがって、車両走行時には、車両が止まっている時に比べて不自然な画像となる。
【０００５】
本発明の目的は、車内に独立して配置されたディスプレイ内の外周環状領域またはフロントガラス周縁部（フロントガラス、フロントガラス枠を含む）の全周囲を車両の全周囲と方向を対応付けたパノラマ画像の投影または／かつ表示を行うことにより、表示される画像が車外のどの方向の画像に対応しているかの直観的理解を可能にする全周囲情報環状表示システムを提供することにある。
本発明のさらに詳細な目的は、前記表示システムにおいて、運転者の識別による個別化した支援、マークや模式図の表示、音声情報の提供などによるさらに詳細な支援を可能にした全周囲情報環状表示システムを提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するために、本発明による請求項１記載の全周囲情報環状表示システムは、
車両外部の全周囲の動画情報を常時、１以上の動画カメラにより取得しているカメラ手段と、
車両の前後左右の情報を環状部分に対応させて表示するための環状の表示手段と、
前記カメラ手段からの動画情報を表示用画像処理および画像中の対象物の認識を行い、別に入力される操作子情報および付加情報を参照して表示対応画像と重ね合わせ情報とを合成して環状部分対応表示画像を形成し、前記環状の表示手段に出力する画像処理・認識手段と、から構成されている。
【０００７】
本発明による請求項２記載の全周囲情報環状表示システムは、請求項１記載のシステムにおいて、
前記動画カメラは複数の俯角制御可能なカメラで全周囲の動画情報を取得しており、その情報を操作子情報および付加情報に基づいて加工して前記環状の表示手段に出力するように構成されている。
【０００８】
本発明による請求項３記載の全周囲情報環状表示システムは、請求項１記載のシステムにおいて、
前記動画カメラは常時一台のカメラで全周囲の動画情報を取得しており、その情報を操作子情報および付加情報に基づいて加工して前記環状の表示手段に出力するように構成されている。
【０００９】
本発明による請求項４記載の全周囲情報環状表示システムは、請求項１記載のシステムにおいて、
前記表示手段は略４辺に配置されたスクリーンの上下辺が車両の後前方向情報、左右辺が車両の左右方向情報を表示するように構成されている。
【００１０】
本発明による請求項５記載の全周囲情報環状表示システムは、請求項１記載のシステムにおいて、
前記表示手段は略４辺に配置されたディスプレイの上下辺が車両の後前方向情報、左右辺が車両の左右方向情報を表示するように構成されている。
【００１１】
本発明による請求項６記載の全周囲情報環状表示システムは、請求項１記載のシステムにおいて、
前記表示手段は操作子の入力により表示と車両との対応が変更可能なように構成されている。
【００１２】
本発明による請求項７記載の全周囲情報環状表示システムは、請求項１記載のシステムにおいて、
前記付加情報は前記カメラ手段の俯角を変化させるための車両の速度情報または走行モード情報を含むように構成されている。
【００１３】
本発明による請求項８記載の全周囲情報環状表示システムは、請求項１記載のシステムにおいて、
運転者を登録し識別する登録識別手段と、
車速，走行モードまたは運転者別の挙動を検出する状況検出手段と、
車速や走行モードに応じた俯角の変化度合いを運転者や状況に応じて変化させる制御手段と、運転者の指示により前記俯角の変化度合いを補正または学習する補正・学習手段と、を付加して構成されている。
【００１４】
本発明による請求項９記載の全周囲情報環状表示システムは、請求項１記載のシステムにおいて、
前記画像処理・認識手段は、表示画像加工処理用に濃淡調整、輝度調整や強調が可能であり、
障害物、危険物、標識、路面表示や歩行者などの対象物を認識し、認識出力を発生する認識手段を含み、
前記認識出力に基づいて表示画像に付加情報を付加するように構成されている。
【００１５】
本発明による請求項１０記載の全周囲情報環状表示システムは、請求項１記載のシステムにおいて、
前記全周囲情報環状表示システムは、音声提示手段を含み、前記認識手段の認識対象に基づいた音声提示を行うシステムであって、
前記音声提示手段は、透明スピーカフィルム，スピーカアレイもしくは数個のスピーカであり、前記認識手段の認識対象と対象の位置に基づいた音声提示を行うように構成されている。
【００１６】
本発明による請求項１１記載の全周囲情報環状表示システムは、請求項１記載のシステムにおいて、
前記カメラ手段で撮影された映像や、交通情報等の付加情報を画像処理・認識手段に入力し、前記画像処理・認識手段で車両の全周囲の方向に対応した画像に加工処理し、
前記認識手段により認識された対象物と入力された交通情報等の付加情報を関連付けし、
画像上の対応位置に付加情報を付加する処理を行った後、画像処理・認識手段から出力するように構成されている。
【００１７】
本発明による請求項１２記載の全周囲情報環状表示システムは、請求項１記載のシステムにおいて、
前記カメラ手段で撮影された映像を前記画像処理・認識手段に入力し、
前記画像処理・認識手段の認識手段で認識された前記対象物を車両の全周囲の方向に対応した認識をし、認識結果を出力し、この出力情報に応じて前記対象物に対応した方向の環状の表示域内に、対象物毎に対応させたマーク／模式図で画像表示し、あるいは色分け可能な素子、例えばＬＥＤやランプ等、で表示するように構成されている。
【発明の効果】
【００１８】
本発明では、車両の全周囲の方向に対応した画像や情報が表示されるので、これまでの画像表示や周囲方向に対応していない情報表示の方法と比較して、より車外のどの方向の画像／情報かが方向感覚でわかりやすくなるため、安全確認が容易となる。
【発明を実施するための最良の形態】
【００１９】
本発明による全周囲情報環状表示システムでは、まず、１以上の動画カメラで車両の全周囲の画像を撮影する。
フロントガラス周縁部（フロントガラス、フロントガラス枠を含む）の全周囲を車両の全周囲の方向と対応付ける（運転者側から見てフロントガラス上部は車両後方、右部は車両右側、左部は車両左側、下部は車両前方）。
カメラ画像を投影または表示される部分（上下左右の４辺部分）に対応したパノラマ画像に加工処理し、更に危険情報等の付加情報があればこれを重ね表示する画像の合成処理を行い、各部分に対応した画像を、フロントガラス周縁部に投影装置で投影するかまたは／かつフロントガラス周縁部に設置した表示ディスプレイへ表示する。
【００２０】
運転者側から見てフロントガラス上部周縁に投影または／かつ表示される画像をルームミラーと同じような鏡像表示とするかあるいは上下逆転した鏡像表示とするかを予め決められた設定から選択できるようになっているかまたは／かつユーザーが設定できるようになっているかまたは／かつ専用操作子にて変更できるようになっている。
【００２１】
以下図面等を参照して本発明による装置の実施の形態を説明する。
図１，図２のように動画カメラを車両の全周囲に複数配置する。動画カメラの配置は、車両の全周囲をカバーするように図１，図２以外の配置にて複数のカメラを配置してもよい。図１，図２のように複数の動画カメラで車両１０の全周囲の画像を撮影する。図１，図２のカメラ配置例ではカメラ１〜４に対して撮影有効範囲を矢印範囲で示している。動画カメラに魚眼レンズや双曲面ミラーを装着すれば、図１，図２のように各カメラに対して広範囲の撮影が可能である。また、広角カメラや超広角カメラによる撮影の場合、魚眼レンズや双曲面ミラーを使用するよりも撮影範囲が狭くなり、カメラの撮影範囲が少しずつ重なるように配置する必要が生ずるため、図１や図２よりカメラの配置数を増やす必要がある。
【００２２】
〔全周囲情報環状表示例と基本構成〕  
図３にフロントガラス５の周縁表示部の表示手段の実施例を示す。この実施例は、４個のディスプレイを配置したものであるが、この部分をスクリーンとして投影表示することもできる。図３においてフロントガラス５の周縁部（フロントガラス、フロントガラス枠を含む）の表示部は、運転者側から見てフロントガラス上部が車両後方、右部が車両右側、左部が車両左側、下部が車両前方に各々対応し、全体としてフロントガラス周縁部の全周囲が車両の全周囲の方向に対応させられている。図４はひとつのディスプレイ６（プラズマディスプレイ、液晶ディスプレイ等）の一つの表示部の中心を包囲する外側部分を環状の表示部として利用するものである。中心の部分は適宜他の表示に利用できる。
【００２３】
図５は全周囲情報環状表示システムの実施例を示すブロック図である。
４辺各々の表示部（図３）に４辺各々の対応方向の画像となるように加工処理される。図５において画像を表示するための表示装置は、プロジェクタ等の投影装置であるかまたは液晶表示装置等の表示ディスプレイである。
４辺各々の表示部分に、画像処理・認識装置より出力された４辺各々の対応画像が、投影装置にて画像投影されるか、フロントガラス周縁部の全周囲に配置した表示ディスプレイにて画像表示される。
図３の表示手段において、図中の上部は投影装置で画像を投影し、同図右部と左部とは表示ディスプレイで画像を表示し、同図下部は投影装置と表示ディスプレイとで画像を投影表示するように、全体として投影装置と表示ディスプレイとを組み合わせて画像を投影または／かつ表示することもできる。
【００２４】
図５において、画像処理・認識装置には、カメラ１〜４（または図示を省略した唯一のカメラ）からの信号が接続されている。さらに操作子からの操作子情報および危険情報等の付加情報が入力される。画像処理・認識装置はこれらの情報（全周囲情報）を処理して図３，４を参照して説明した環状の表示部に送出する。
複数のカメラ（または図示を省略した唯一のカメラ）で撮影された画像は、画像処理・認識装置に入力され、画像処理装置内で画像の加工処理が行われ、付加情報を重ね表示する画像の合成処理が行われた後、画像データが表示装置に出力される。
【００２５】
図６は、図５に示した画像処理・認識装置の内部での処理を系統的に示している。
同図において複数のカメラ（図１，２および図７参照）から入力されたカメラ画像が、カメラ画像データとして入力処理され、俯角設定部で仮想俯角の設定がなされ、透視投影変換部で透視投影変換処理され透視投影画像が生成される。
その後、４辺パノラマ画像合成部分で４辺各々に対応した透視投影画像として加工処理され、車両全周囲としてのパノラマ画像に合成処理される。そして付加情報の重ね合成部で、危険情報等の付加情報をパノラマ画像に重ね表示するための画像の合成処理が行われ、表示手段により表示される。
【００２６】
動画カメラに魚眼レンズや双曲面ミラーを使用するカメラ（図示を省略した唯一のカメラの場合）で撮影された画像はそのままでは円形画像である。そのため透視投影変換部で撮影画像データから各辺の表示方向に対応したカメラの画像データ領域と仮想俯角情報とを用いて各辺の表示に必要な画像データ領域を切り出し、透視投影変換処理を行い透視投影画像を生成する。その後、４辺パノラマ画像合成部分で各辺の表示方向に対応した透視投影画像として扱われ、車両全周囲としてのパノラマ画像に合成処理される。
動画カメラに広角カメラや超広角カメラを使用する場合、撮影された画像そのままでは歪んだ画像と限定された撮影範囲であるため、透視投影変換部で各辺の表示方向に対応したカメラ画像データと仮想俯角情報とを用いて透視投影変換処理を行い、各辺の表示方向に対応した部分的透視投影画像を生成する。その後、４辺パノラマ画像合成部分で各辺方向の表示に必要な部分的透視投影画像から各辺の表示方向に対応した透視投影画像を画像合成にて生成し、車両全周囲としてのパノラマ画像に合成処理される。
【００２７】
魚眼レンズや双曲面ミラーを使用して、１台の動画カメラにて車両の全周囲の動画情報を取得する場合、車両の屋根に鉛直上方向きにカメラを設置する。この時、車両によって（車両の陰となる）車両周囲の見えなくなる領域が少なくなるようにカメラを設置する。撮影された画像は、車両を中心とした円形の画像であり、図６のカメラ画像全てにこの同じ円形画像を入力する。このようにすることで前述した魚眼レンズや双曲面ミラーを使用する場合と同じ処理で図６の処理・認識部の実行が可能となる。
【００２８】
専用操作子の操作子情報に応じて、フロントガラス上部周縁に投影または／かつ表示する鏡像画像を上下逆転させるか否かを設定または選択あるいは変更することができる。
図５の操作子の内の専用操作子の操作に応じた操作子情報が、図６の画像処理・認識手段で処理される。画像処理・認識手段の４辺パノラマ画像合成部分ではこの操作子の情報に応じて、フロントガラス上部周縁に投影または／かつ表示する画像をルームミラーと同じような鏡像表示とするかあるいは上下逆転した鏡像表示とするかを決定し、この情報に対応した透視投影画像に加工処理し、パノラマ画像に画像合成する。この場合、フロントガラス上部周縁に投影または／かつ表示する画像を上下逆転するか否かは、予め決められた設定から選択できるようになっているかまたは／かつユーザーが設定できるようになっているかまたは／かつ専用操作子にて変更できるようになっている。
【００２９】
〔パノラマ画像の俯角制御〕
本発明による全周囲情報環状表示システムでは、車速や走行モードに応じてパノラマ画像の俯角の制御をすることができる。車速や走行モードの情報は図６の画像処理・認識手段に付加情報として供給され、俯角設定の部分において車速や走行モードの入力情報に応じた俯角の設定を変化させる。図７に俯角α，βを図解して示してある。同図のカメラ配置は、図２のカメラ配置例に相当する。図６の画像処理・認識手段内部の俯角設定部では、車速が遅い場合、車速や走行モードの入力情報を車両の近くを見るように俯角の大きい情報に変換する（α，βを大きな値に設定する）。車速が速い場合、車速や走行モードの入力情報を車両の遠くを見るように俯角の小さい情報に変換する（α，βを小さな値に設定する）。同様に車両の右側、左側に対しても車速や走行モードに応じた俯角による各方向の画像を画像処理手段で生成することができる。また、各投影部または各表示部に対応した各々の方向に対して車速や走行モードに応じた俯角の変化具合を各々変えることができる。このようにすれば、車速や走行モードに応じた俯角の変化した画像を、図３，４の表示手段の環状（辺）方向の各々に対応させて投影または／かつ表示することができる。
【００３０】
〔音声提示〕
本発明による全周囲情報環状表示システムでは、前述したシステムで認識された対象物について、方向の情報や、対象物が何であるかを音声信号にて提示することができる。図８は音声提示のために追加される回路のブロック図である。同図の認識物音声信号発生装置に図６の画像認識処理部出力の認識情報を入力する。また認識物の音声信号を図８の音声信号任意定位設定装置に入力する。
一方、図６の画像認識処理部出力の位置情報を図８の音声信号任意定位設定装置に入力し、別ルートで入力された音声信号を位置情報を用いて、認識対象物の画像を表示する方向から音声情報が運転者に聞こえるように音声定位処理される。
処理された音声は、増幅器を通してスピーカに出力される。音声定位処理には音声信号処理装置等が使用できる。図８に示されている２以上のスピーカの設置場所は限定されず、設置されたスピーカと同図の音声信号任意定位設定装置とが組み合わされて、指定された方向から音が聞こえるように初期設定されていれば良い。
透明スピーカフィルムを用いれば、画像表示装置に重ねて設置でき画像表示しているその箇所から音声発生が可能となる。また、運転者の視界をさえぎらずにフロントガラス周縁部等に設置できる。スピーカアレイを用いることで音声信号を提示する方向の定位をし易くできる。図８の設置されたスピーカと音声信号任意定位設定装置とが組み合わされて、指定された方向から音が聞こえるように初期設定されていれば良いので、いずれのスピーカでも良い。このように、認識対象物を画像表示している方向から認識対象物に対応した音声提示を行うことで、目で見られない部分・注視できない部分・目で見えていない部分の視覚情報の補完を行うことができる。
【００３１】
〔付加情報の追加表示〕
認識対象物をマーク／模式図表示することで運転者に視覚的にわかり易い表示とすることができる。
図６の画像認識処理部で認識された対象物の位置方向に対して、同図の付加情報の重ね合成部分において認識した対象物のマーク／模式図を表示するように処理を付加することができる。図９に認識した対象物の位置方向に対応したマーク／模式図の表示例を示す。
図１０に認識した対象物の位置方向に対応したマーク／模式図を発光素子の点灯で表示する場合の表示例を示す。
図１０において、認識対象領域毎に対象物の絵を用意し、ＬＥＤやランプ等の消灯では暗く、点灯では明るく絵を表示することができる。マーク／模式図は、点線で示したものがＬＥＤ／ランプ等の消灯を表し、実線で表示されているものがＬＥＤ／ランプ等の点灯で表示されることを示している。この場合、図６の画像認識処理部で認識された対象物の位置方向を図１０の表示に対応する概略方向別の位置方向に変換し、図６の付加情報の重ね合成部分において認識した対象物を表示するためのＬＥＤ／ランプ等の点灯情報にして出力する。このようにすることで、ＬＥＤ／ランプ等に対応することができる。
対象物の絵を表示する場合、同じ色ではなく対象物毎に違う色で表示することで認識のし易さを向上でき誤認識も防げる。
対象物の絵を表示するのではなく、ＬＥＤ／ランプ等の点灯する色自体で認識対象物を表示することもできる。領域毎の絵の代わりに色の異なるＬＥＤ／ランプ等を配置することで実施することも可能である。この場合、ＬＥＤ／ランプ等の近くに対象物が何であるかを示す文字が印刷等で表示されていると認識のし易さを向上できる。
【００３２】
〔運転者情報の処理〕
俯角の変化具合を運転者別に対応させたり、運転者別に学習させたりすることができる。そのために、図５の基本動作との関連において動作させられる回路ブロックを図１１に示す。
図１１に示される登録識別手段は、操作子、識別用センサ及び登録識別装置からなり、識別用センサは、指紋照合装置や顔認証装置、眼の虹彩照合装置、手のひら静脈認証装置等で構成でき、運転者の登録と識別のために使用される。
同図の操作子は、スイッチや音声認識装置等から構成でき、スイッチの操作順や専用スイッチのオンや音声認識装置での認識結果に応じて登録または識別が行われる。
登録時には、識別用センサ情報を操作子にて運転者名を付けて登録識別装置に記憶される。識別時には、識別用センサ情報と記憶済み運転者とを照合し、識別できた場合には運転者名を登録識別装置より出力し、識別できなかった場合にはエンジン始動時の登録識別装置の出力である一般人を出力する。
状況検出手段は、同図の状況検出装置により構成され、車速または走行モードまたは運転者の挙動を検出し、状況情報として制御手段である制御装置に出力する。走行モードには、前進、後退、左折、右折、停車、駐車、ステアリング舵角情報、アクセル情報、ブレーキ情報等の情報が含まれる。
【００３３】
図１１に示されている制御装置は、状況情報と運転者情報とを用いて俯角の変化度合いを変化させて俯角情報を補正・学習手段である補正学習装置に出力する。俯角の変化度合いは、運転者や状況別に記憶される。
同図の補正学習装置は、運転者の指示である操作子情報を用いて運転者別の俯角の変化度合いを補正したり学習したりして俯角情報を図６の付加情報経由にて車速・走行モードの情報の代わりに俯角設定部分に出力する。
一般人の場合、標準的なデータとして用意されている。これは、予め決めた人数分の運転中の各種情報を取得し、分類すべき項目各々に対して統計的処理をして中心値または平均値等を標準的データとして一般人のデータとすることができる。また、この一般人のデータから統計的に見て外れたデータの場合、その運転者の癖や挙動として検出ができる。
また、いつも同じ動作となるようなデータもその運転者特有の癖や挙動として検出ができる。
例えば、運転者Ａがブレーキをかける時は必ず２度踏むような場合、車速の変化具合は直線的ではなく、車速の変化どおりに応じて俯角を変化させると、運転者Ａが画像を見た時に気持ち悪いとか違和感があるような場合がある。このような場合、運転者の操作子による指示により、車速の変化具合は直線的ではないが、俯角の変化度合いは直線的に補正したり、車速の変化どおりではなく滑らかに変化するように学習する。補正結果や学習結果は、運転者別に記憶しておき、速やかに反映される。あるいは、ブレーキを２度踏んだら俯角の変化度合いは、車速とブレーキ情報とを参考にしながら滑らかに変化するように状況に応じた変化をするよう制御装置の俯角情報を出力することもできる。
俯角の変化度合いにより表示される画像を運転者が見た場合、運転者毎に見た感覚（違和感、気持ち悪さ、船酔い感、特に問題なし等）が異なり、運転に悪い方の影響を与える場合がある。本発明により、運転者に対応したより適した俯角の変化度合いをつけることができ、運転者に違和感の無い優しい画像表示ができる。
【００３４】
〔付加情報の表示〕
検出できた認識対象物を濃淡調整、輝度調整や強調等により表示画像上に視覚的な表示差異を付けることで運転者に速やかに認識対象物を認知させることができる。図６の画像認識処理部で障害物、危険物、標識、路面表示や歩行者等の対象物を射影変換や正規化相関やパターン認識や文字認識等の画像処理技術により認識し、認識情報を出力する。
同図の付加情報の重ね合成部分では、認識情報に基づき検出した認識対象物の当該画像位置の画像データに対して濃淡調整、輝度調整や強調等の視覚的に差異のある画像処理を行い出力する。例えば、視覚的に差のある輝度強調を２段階用意し、輝度強調１と輝度強調２とを一定時間で交互に表示したり、時間間隔を変動させて表示し、運転者の注意を促し検出した認識対象物の認知度を上げることもできる。
また、認識情報に基づいて認識対象物が何であるかを文字情報として付加したり、対象物の回りを枠で囲んだりする等の付加情報を付加することができる。更に、標識や路面表示等は、記載されている文字情報を付加情報として付加することができる。
図５の操作子の情報やシステム起動時の設定等により検出した認識対象物の濃淡調整、輝度調整や強調等の表示のオン／オフをすることができる。同様に、付加情報の表示のオン／オフをすることができる。各々の表示のオン／オフは、個別に独立に設定可能であり、認識対象物の濃淡調整、輝度調整や強調等の表示はせず（オフ）、付加情報の表示（オン）だけすることも可能である。また、まとめて表示のオン／オフをさせることも可能である。このように、検出した認識対象物を濃淡調整、輝度調整や強調等により表示画像上に視覚的に目立たせた／視覚的な差異を付けた表示をしたり、枠表示や文字情報等の付加情報を付加することで検出した認識対象物を運転者に速やかに認知し易くすることができる。
【００３５】
〔他のシステムに関連した付加情報〕
画像内の認識対象物の情報を付加情報として付加する前述のようなものの他に、画像とは別経路で入手した付加情報と画像内の認知対象物とを関連付けして画像上の対応位置に付加情報を付加することもできる。
図６の画像認識処理部では、前述と同様の方法にて対象物を認識し、画像とは別経路で入手した付加情報を画像内の認知対象物と関連付けして画像上の対応位置に付加するように認識情報として出力する。
情報の関連付けには、対応関係が予め決められた対応表に基づき行う等の方法にて実行可能である。同図の付加情報の重ね合成部分では、認識情報に基づき対応する画像位置に対して付加情報を付加する画像処理を行い出力する。
例えば、VICS（Vehicle Information and Communication System）等の交通情報等を図５、図６の付加情報に入力し、渋滞や交通規制などの道路交通情報を、認知した対象物である前方車両と関連付けして対応位置に、前方車両が無い場合には所定位置または前方の遠方相当位置に、前方方向の渋滞や交通規制などの交通規制情報を表示することができる。また、速度規制等の交通規制情報を速度制限標識や速度路面表示と関連付けして、認識した標識や路面表示の文字情報の代わりに交通規制情報の文字情報に置き換えて付加情報として表示することができる。
あるいは、事故、故障車、路上障害物、工事、作業などの交通障害情報を、認知した対象物である前方車両と関連付けて対応位置に、前方車両が無い場合には所定位置または前方の遠方相当位置に、事故、故障車、路上障害物、工事、作業などの交通障害情報を表示することができる。
このように、認識した対象物と入力された交通情報等の付加情報を関連付けして対応位置に付加情報を付加することにより、運転者により的確な情報を与えることができる。
【産業上の利用可能性】
【００３６】
本発明によれば、運転支援のために必要な画像や情報を表示方向が対応付けされて、例えばフロントガラス周縁部に投影または／かつ表示することができ、車外のどの方向にどの画像が対応しているか運転者が直観的に理解可能である。自動車関連産業や、交通運輸の産業に広く利用できる。
【図面の簡単な説明】
【００３７】
【図１】本発明による全周囲情報環状表示システムにおける、複数のカメラを配置する例を示す平面図である。
【図２】前記システムにおける複数のカメラの他の配置例を示す平面図である。
【図３】前記システムにおいて表示部をフロントガラス周縁に設けた例を示す図である。
【図４】前記システムにおいて、ひとつのディスプレイの表示部の周縁を環状表示手段とする例を示す図である。
【図５】本発明による全周囲情報環状表示システムの基本構成を示すブロック図である。
【図６】全周囲情報環状表示システムの画像処理・認識装置の内部での処理を示す図である。
【図７】車両に搭載されたカメラの俯角を示す説明図である。
【図８】本発明による全周囲情報環状表示システムで音声提示をするためのブロック図である。
【図９】認識した対象物の位置方向に対応したマーク／模式図の表示例を示す略図である。
【図１０】認識した対象物の位置方向に対応したマーク／模式図を発光素子の点灯で表示する場合の表示例を示す略図である。
【図１１】本発明による全周囲情報環状表示システムにおける運転者情報の利用に関連する回路のブロック図である。
【符号の説明】
【００３８】
１〜４  カメラ
５  フロントガラス
６  ディスプレイ
１０  車両
【図１】
2007158578.tif 000003
【図２】
2007158578.tif 000004
【図３】
2007158578.tif 000005
【図４】
2007158578.tif 000006
【図５】
2007158578.tif 000007
【図６】
2007158578.tif 000008
【図７】
2007158578.tif 000009
【図８】
2007158578.tif 000010
【図９】
2007158578.tif 000011
【図１０】
2007158578.tif 000012
【図１１】
2007158578.tif 000013