(57)【特許請求の範囲】
【請求項１】
周囲３６０゜の全方位にわたる視野領域の映像が得られ、該映像に対して中心射影の変換が可能な光学系と、該光学系を通して得られる光学像を第１の画像データに変換する撮像手段とからなる全方位視覚センサーと、
該第１の画像データを極座標から直交座標へと座標変換することにより、パノラマ画像および透視画像に変換して第２の画像データを得る画像処理手段と、
該第２の画像データを表示する表示手段と、
該第２の画像データを選択および制御する表示制御手段とを備え、
該表示手段は、車両周辺の安全性を高めるべく、該表示制御手段の選択および制御によりパノラマ画像と透視画像を同時に表示すると共に、該第２の画像データの周囲３６０゜の視野領域における前方視覚、後方視覚および左右視覚のうち、少なくとも前方視覚の透視画像データと左右視覚の透視画像データを同時に表示する全方位視覚システムを搭載した車両の周囲監視システム。
【請求項２】
前記表示手段で表示された画像の１つを前記表示制御手段に備わった選択手段で選択し、選択された画像に対して、前記画像処理手段により外部からのキー操作に対応して上下左右への移動および拡大縮小を行い、該表示手段に処理後の画像を表示可能である請求項１に記載の車両の周囲監視システム。
【請求項３】
前記表示手段が、地図画面上に車両の位置を表示する位置表示手段を兼ねており、前記表示制御手段により車両周囲画像と車両位置表示とを切り替え可能である請求項１または２に記載の車両の周囲監視システム。
【請求項４】
前記車両が自動車である請求項１乃至請求項３のいずれかに記載の車両の周囲監視システム。
【請求項５】
前記全方位視覚センサーが自動車のルーフ上に設置されている請求項４に記載の車両の周囲監視システム。
【請求項６】
前記全方位視覚センサーが自動車の前後のバンパー上に設置されている請求項４に記載の車両の周囲監視システム。
【請求項７】
前記全方位視覚センサーが、前方バンパーの左端部および右端部のいずれか一方の上に設置されていると共に、後方バンパーでは該前方バンパーの設置位置と対角位置の端部上に設置されている請求項６に記載の車両の周囲監視システム。
【請求項８】
前記車両が電車である請求項１乃至請求項３のいずれかに記載の車両の周囲監視システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人や貨物を輸送する自動車や電車等、車両の周囲監視に好適に用いられる車両の周囲監視システムに関する。
【０００２】
【従来の技術】
近年における交通事故の増大は、大きな社会問題となっている。特に、四つ角等ので人の飛び出しや車両同士の出合い頭の衝突、車両同士の追突等による事故が多い。これら四つ角等での事故の原因は、運転者および歩行者共に視界が狭くなり、十分な注意を払っていないために危険の認識が遅れることによると考えられる。よって、車両自体の改良および運転者の注意、道路環境の整備等がさらに強く望まれている。
【０００３】
従来から、道路環境の整備のために、四つ角等の視界が遮られているところにミラーを設置することなどが行われているが、視界が狭く、設置数もまだ十分ではないため、万全とは言えない。また、車両の安全、特に後方確認等を目的として、監視カメラを車両後部に設置し、ケーブルを通じて運転席の横または前方パネル部に設置したモニターに、監視カメラの画像を表示するシステムが、バス等の大型車両や一部の乗用車において普及している。しかし、この場合でも、側方の確認は運転者の視覚によるところが大きく、四つ角等の視界が遮られているところでは危険の認識が遅れることが多かった。さらに、この種のカメラは視界が狭く、一方向に対する障害物の有無や衝突の危険については確認することができるが、広範囲に障害物の有無や衝突の危険について確認するためには、カメラの角度を変化させる等の操作が必要であった。
【０００４】
すなわち、従来の車両周囲監視装置においては、一方向の監視のみを重視しており、車両の周囲３６０゜に対する確認を行うためには、複数台（前後左右計４台以上）のカメラが必要であった。
【０００５】
一方、表示手段については、車室内の前部に位置する運転席から運転者が見やすい位置に設置する必要があり、その位置は非常に限られている。
【０００６】
最近では、ＧＰＳ等を利用して地図上に自分の車両位置を表示する車両位置表示手段（カーナビゲーションシステム）の普及により、画像を表示する表示手段を備えた車両が増えている。しかし、従来の車両位置表示手段と監視カメラのモニターとは別々に設置されており、狭い運転席のスペースをさらに狭くすると共に、操作も繁雑であり、運転者から見やすい位置に設置できていない場合が多かった。
【０００７】
【発明が解決しようとする課題】
車の用途からは当然のことながら、車を利用する際には安全を確認して対応する必要がある状況が多々ある。例えば、前方の確認は言うに及ばず、出発時の周囲の確認、左折や右折時、駐車場や車庫からの入出庫時など、左右後方の確認等が必要である。運転者にとってはこれらの確認が非常に重要であるが、車の構造上、運転席からの死角部分では安全性の確認が難しく、運転者にとっては多大な負担になる。
【０００８】
さらに、従来の車両周囲監視装置を用いて車両の周囲３６０゜に対する確認を行うためには、複数台のカメラを必要とする。そして、運転者がそのときの状況に応じて表示装置にカメラを切り替え、またはカメラの向きを替えて安全を確認する必要があり、運転者に非常に大きな負担をかけることになっていた。
【０００９】
本発明は、このような従来技術の課題を解決するためになされたものであり、車両の周囲を容易に確認して運転者の負担を減らすことができ、安全性を高めることができる車両の周囲監視システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の車両の周囲監視システムは、周囲３６０゜の全方位にわたる視野領域の映像が得られ、該映像に対して中心射影の変換が可能な光学系と、該光学系を通して得られる光学像を第１の画像データに変換する撮像手段とからなる全方位視覚センサーと、該第１の画像データを極座標から直交座標へと座標変換することにより、パノラマ画像および透視画像に変換して第２の画像データを得る画像処理手段と、該第２の
画像データを表示する表示手段と、該第２の画像データを選択および制御する表示制御手段とを備え、  該表示手段は、車両周辺の安全性を高めるべく、該表示制御手段の選択お
よび制御によりパノラマ画像と透視画像を同時に表示すると共に、該第２の画像データの周囲３６０゜の視野領域における前方視覚、後方視覚および左右視覚のうち、少なくとも前方視覚の透視画像データと左右視覚の透視画像データを同時に表示する全方位視覚システムを搭載しており、そのことにより上記目的が達成される。
【００１３】
前記表示手段で表示された画像の１つを前記表示制御手段に備わった選択手段で選択し、選択された画像に対して、前記画像処理手段により外部からのキー操作に対応して上下左右への移動および拡大縮小を行い、該表示手段に処理後の画像を表示可能な構成としてもよい。
【００１４】
前記表示手段が、地図画面上に車両の位置を表示する位置表示手段を兼ねており、前記表示制御手段により車両周囲画像と車両位置表示とを切り替え可能な構成としてもよい。
【００１５】
前記車両が自動車であってもよく、電車であってもよい。
【００１６】
前記全方位視覚センサーが自動車のルーフ上に設置されていてもよく、自動車の前後のバンパー上に設置されていてもよい。または、前記全方位視覚センサーが、前方バンパーの左端部および右端部のいずれか一方の上に設置されていると共に、後方バンパーでは該前方バンパーの設置位置と対角位置の端部上に設置されていてもよい。
【００１８】
なお、本明細書において、中心射影の変換が可能であるとは、撮像手段で撮影した画像を光学系の一方の焦点位置を視点とする画像と見なすことができるということを言う。
【００１９】
以下、本発明の作用について説明する。
【００２０】
本発明にあっては、全方位視覚センサーを構成する光学系によって、車両周囲３６０゜の視野領域の映像が得られ、その映像に対して中心射影の変換が可能である。そして、光学系を通して得られる光学像を撮像手段により第１の画像データに変換し、これを画像処理手段によりパノラマ画像や透視画像に変換して、表示手段に表示する。表示画像の選択や画像サイズ等の制御は、表示選択手段により行う。一方向の監視のみを重視した従来の車両監視装置のように、運転者が表示装置に複数のカメラを切り替えたり、カメラの向きを替えたりする必要がなく、容易に周囲の確認を行うことが可能である。
【００２１】
例えば自動車の場合、ルーフ上や前後のバンパー上に全方位視覚センサーを設置することにより、運転席から死角となる部分を容易に確認することが可能となる。或いは、電車等の車両にも有効である。
【００２２】
さらに、表示手段により、パノラマ画像と透視画像を同時に、または切り替えて表示することができる。或いは、前方視覚、後方視覚および左右視覚のうち、少なくとも前方視覚の透視画像データと左右視覚の透視画像データを同時に表示することができる。後方視覚については、必要に応じて表示可能である。さらに、表示制御手段で選択された画像に対して、画像処理手段により外部からのキー操作に対応して上下左右への移動（パン・チルト動作）および画像の拡大縮小を行うことが可能である。このように、表示画像、表示方向や画像サイズを任意に選択および制御することができるので、安全確認を容易に行うことが可能である。
【００２３】
さらに、表示手段がＧＰＳ等を利用して地図画面上に車両の位置（自分の車両位置）を表示する位置表示手段を兼ね、表示制御手段により車両の周囲画像と車両の位置表示とを切り替え可能とすることにより、車両位置表示手段と監視カメラのモニターを別々に設置した従来技術のように運転席のスペースが狭くなったり、操作が繁雑になるのを防ぐことができ、表示手段がさらに見やすくなる。
【００２５】
【発明の実施の形態】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００２６】
（実施形態１）
図１（ａ）は本発明の一実施形態である移動体周囲監視システムを備えた車両の構成を示す平面図であり、図１（ｂ）はその側面図である。この図１および以下の図において、１は車両であり、２はフロントバンパーであり、３はリアバンパーであり、４は全方位視覚センサーである。
【００２７】
本実施形態では、車両１のルーフ（天井部）上に全方位視覚センサー４を設置してあり、１つのセンサーにより自身を中心として略水平方向３６０゜の視野が得られる。
【００２８】
図２は本実施形態における移動体周囲監視システムの構成を説明するためのブロック図である。この全方位視覚センサーは、周囲３６０゜の視野領域の映像が得られ、その映像に対して中心射影の変換が可能な光学系４ａと、光学系４ａを通して得られる光学像を画像データに変換する撮像手段４ｂとからなる全方位視覚センサー４を備えている。また、撮像手段４ｂにより得られた画像データをパノラマ画像や透視画像等に変換する画像変換部５ａと、全方位視覚センサー４ａからの画像信号について一定時間の前後の画像を比較することにより車両１周囲の物体を検出すると共に、その物体の画像上の位置の変化量と車両の速度信号から物体との距離および相対速度、移動方向等を検出する画像比較距離検出部５ｂと、出力バッファメモリー５ｃとを含む画像処理手段５を備えている。また、ＧＰＳ等を利用して地図画面上の自分の車両位置を検出する車両位置検出手段９を備え、画像処理手段５からの出力６ａと車両位置検出手段９からの出力６ｂとを切り替えて表示する表示手段５を備えている。さらに、表示される車両周囲画像の選択やサイズ等を制御すると共に、車両周囲画像と車両位置表示とを切り替え制御するための制御信号７ａを表示手段６に出力する表示制御手段７と、他の物体が一定距離範囲内に近づいたときに警報情報を発する警報発生手段８とを備えている。
【００２９】
表示手段６は、運転者が見やすく、また、操作しやすい位置、すなわち、運転席前部ダッシュボード内で運転者の前方視界を妨げず、運転者の手の届く範囲に設置されるのが好ましい。その他の手段（画像処理手段５、表示制御手段７、警報発生手段８、車両位置検出手段９）については、特に設置位置の指定はないが、温度変化および振動の少ない場所が好ましい。例えば、後方貨物室（トランクルーム）の一部またはエンジンルームであればエンジンからできるだけ離れた位置が好ましい。
【００３０】
以下に、各部分について、詳細に説明する。
【００３１】
中心射影の変換が可能な光学系４ａとしては、例えば図３に示すようなものを用いることができる。ここでは、２葉双曲面のうちの一方の双曲面形状を有する双曲面ミラー２２を用いて、双曲面ミラー２２の回転軸（Ｚ軸）が撮像手段４に備わった撮像レンズの光軸に一致し、撮像レンズの第１主点が双曲面ミラー２２の片方の焦点位置（焦点位置▲２▼）に配されている。これにより、中心射影の変換（撮像手段４で撮影した画像を双曲面ミラー２２の一方の焦点位置▲１▼を視点とする画像と見なすこと）が可能になる。このような光学系は、例えば特開平６−２９５３３３号公報に詳述されているので、特徴点のみを以下に説明する。
【００３２】
図３において、双曲面ミラー２２とは、双曲線をＺ軸を中心として回転して得られる曲面（２葉双曲面）のうちの一方（Ｚ＞０の領域）の曲面の凸状面に鏡面を形成したものである。この２葉双曲面は、
（Ｘ２＋Ｙ２）／ａ２−Ｚ２／ｂ２＝−１
ｃ２＝（ａ２＋ｂ２）
で表される。なお、ａおよびｂは双曲面の形状を定義する定数であり、ｃは焦点の位置を定義する定数である。
【００３３】
この双曲面ミラー２２は２つの焦点▲１▼と▲２▼とを有し、外部から一方の焦点に向かう光は双曲面ミラー２２で反射され、全て他方の焦点に向かうという特徴を有する。従って、双曲面ミラー２２の回転軸と撮像レンズの光軸とを一致させると共に、他方の焦点位置▲２▼に撮像レンズの第１主点を配置することにより、撮像手段４で撮影された画像が、一方の焦点▲１▼を視点中心として視野方向によって視点位置が変わらない画像となる。
【００３４】
撮像手段４はビデオカメラ等であり、図３における双曲面ミラー２２を介して得られる光学像を、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用して画像データに変換する。変換された画像データは、図４に示す画像処理手段５の第１の入力バッファメモリー１１に入力される。なお、撮像手段のレンズは、一般的な球面レンズであっても非球面レンズであってもよく、第一主点が焦点位置▲２▼にあればよい。
【００３５】
画像処理手段５は、図４および図５に示すように、Ａ／Ｄ変換器１０と第１の入力バッファメモリー１１とＣＰＵ１２とルックアップテーブルＬＵＴ１３と画像変換ロジック１４を有する画像変換部５ａを備え、図４および図６に示すように、Ａ／Ｄ変換器１０と第１の入力バッファメモリー１１とＣＰＵ１２とＬＵＴ１３を画像変換部５ａと共用し、画像比較距離変換ロジック１６と第２の入力バッファメモリー１７と遅延回路１８とを有する画像比較距離検出部５ｂを備え、さらに、出力バッファメモリー５ｃを備えており、各々がバスライン４３で接続されている。
【００３６】
画像処理手段５では、撮像手段４ｂにて撮像された画像を入力とし、画像データがアナログ信号の場合には、Ａ／Ｄ変換器１０によりデジタル信号に変換された後で第１の入力バッファメモリー１１に入力されると共に遅延回路１８を介して第２の入力バッファメモリー１７に入力される。また、画像データがデジタル信号の場合には、直接第１の入力バッファメモリー１１に入力されると共に遅延回路１８を介して第２の入力バッファメモリー１７に入力される。
【００３７】
図５に示す画像変換部５ａでは、上記第１の入力バッファメモリー１１からの出力を、画像変換ロジック１４によりＬＵＴ１３を用いてパノラマ画像にしたり、透視画像に変換したり、画像の上下左右への移動や拡大縮小を行ったり、必要に応じてその他の画像処理が施される。そして、画像変換処理後の画像データが図４に示す出力バッファメモリー５ｃに入力される。これらの制御は、ＣＰＵ１２により制御される。このとき、並列演算機能を有するＣＰＵ１２を用いることにより、さらに高速に処理を行うことができる。
【００３８】
次に、上記画像変換ロジック１４による画像変換の原理について、説明する。画像変換としては、３６０゜のパノラマ画像に変換するためのパノラマ画像変換および透視画像に変換するための透視変換がある。また、透視変換には横回転移動（左右移動、いわゆるパン動作）および縦回転移動（上下移動、いわゆるチルト動作）がある。
【００３９】
まず、３６０゜のパノラマ画像変換について、図７を用いて説明する。図７（ａ）の１９は撮像手段４ｂで得られた円形入力画像であり、図７（ｂ）の２０はドーナツ状に切り出して切り開く途中を示し、図７（ｃ）の２１は引き伸ばして直交座標に変換した後のパノラマ画像である。
【００４０】
図７（ａ）に示すように、円形入力画像をその中心を原点とした極座標で表すと、各画素Ｐの座標は（ｒ，θ）で表わされる。図７（ｂ）に示すように、この画像をドーナツ状に切り出して、ＰＯ（ｒｏ，θｏ）を基準に切り開いて引き伸ばし、四角いパノラマ画像に変換する座標変換式は、点Ｐのパノラマ画像上の座標を（ｘ，ｙ）とすると、
ｘ＝θ−θｏ
ｙ＝ｒ−ｒｏ
で表される。図７（ａ）の入力円形画像上の点Ｐの座標を（Ｘ，Ｙ）とし、その中心Ｏの座標を（Ｘｏ，Ｙｏ）とすると、
Ｘ＝Ｘｏ＋ｒ×ｃｏｓθ
Ｙ＝Ｙｏ＋ｒ×ｓｉｎθ
であるので、
Ｘ＝Ｘｏ＋（ｙ＋ｒｏ）×ｃｏｓ（ｘ＋θｏ）
Ｙ＝Ｙｏ＋（ｙ＋ｒｏ）×ｓｉｎ（ｘ＋θｏ）
と表される。
【００４１】
パノラマ画像のパン動作については、基準点ＰＯ（ｒｏ，θｏ）の座標θｏを所定のキー操作に対応して一定角度θだけ増減した点を基準に変換することにより、左右にパンした後のパノラマ画像を入力画像から直接生成することができる。なお、パノラマ画像ではチルト動作を行わない。
【００４２】
次に、透視変換について、図８を用いて説明する。透視変換の座標変換については、空間上の点から、その点が入力画像上のどの位置に対応するかを計算し、その点の画像情報を透視変換後の画像上の対応する座標位置に割り当てる方法を採用する。
【００４３】
図８に示すように、空間上の点の座標をＰ（ｔｘ，ｔｙ，ｔｚ）とし、撮像手段受光部４ｃに形成される円形入力画像上の対応する点の座標をＲ（ｒ，θ）とし、撮像手段４の撮像レンズの焦点距離をＦとし、さらに、ミラー定数を（ａ，ｂ，ｃ）（上記図３のａ、ｂ、ｃと同じ）とし、αを物点から双曲面ミラーの焦点▲１▼へ向かう入射光の焦点から見た入射角（水平面からの上下振れ角）、βを物点から双曲面ミラーの焦点▲１▼へ向かう光が双曲面ミラーで反射され、撮像手段に入射する入射角（但し、光軸からの角度ではなく、光軸に垂直なレンズ平面からの角度）とし、Ｆをレンズ主点と受光素子の距離とし、受光面上の入射点の座標を（ｒ、θ）とすると、
ｒ＝Ｆ×ｔａｎ（（π／２）−β）    ・・・（１）
但し、
β＝ａｒｃｔａｎ（（（ｂ２＋ｃ２）×ｓｉｎα−２×ｂ×ｃ）／（ｂ２−ｃ２）      ×ｃｏｓα）
α＝ａｒｃｔａｎ（ｔｚ／ｓｑｒｔ（ｔｘ２＋ｔｙ２））
θ＝ａｒｃｔａｎ（ｔｙ／ｔｘ）
となる。
【００４４】
上記式（１）を整理すると、
ｒ＝Ｆ×（（（ｂ２−ｃ２）×ｓｑｒｔ（ｔｘ２＋ｔｙ２））／（（ｂ２＋ｃ２）
×ｔｚ−２×ｂ×ｃ×ｓｑｒｔ（ｔｘ２＋ｔｙ２＋ｔｚ２）））
である。さらに、円形画像上の点の座標を直交座標に変換してＰ（Ｘ，Ｙ）とすると、
Ｘ＝ｒ×ｃｏｓθ
Ｙ＝ｒ×ｓｉｎθ
であるので、
Ｘ＝Ｆ×（（（ｂ２−ｃ２）×ｔｘ／（（ｂ２＋ｃ２）×ｔｚ−２×ｂ×ｃ
×ｓｑｒｔ（ｔｘ２＋ｔｙ２＋ｔｚ２）））  ・・・（２）
Ｙ＝Ｆ×（（（ｂ２−ｃ２）×ｔｙ／（（ｂ２＋ｃ２）×ｔｚ−２×ｂ×ｃ
×ｓｑｒｔ（ｔｘ２＋ｔｙ２＋ｔｚ２）））  ・・・（３）
となる。
【００４５】
以上の計算により、空間上の点Ｐ（ｔｘ，ｔｙ，ｔｚ）を透視したときの直交座標系への透視変換がなされる。
【００４６】
ここで、双曲面ミラー５４の焦点から距離Ｒ、俯角φ（図８のαと同じ）、Ｚ軸周りの回転角θの空間上に、図８に示すような幅Ｗ、高さｈの画像平面を考える。このとき、平面上の点、例えば左上コーナーの点Ｑの座標（ｔｘｑ，ｔｙｑ，ｔｚｑ）は、
0003627914.tif 000002
で表される。
【００４７】
よって、上記式（４）、（５）および（６）を上記式（２）および（３）に代入することにより、入力画像面上の対応する点の座標ＸとＹとを求めることができる。ここで、透視画面サイズをピクセル（画素）単位で幅ｄおよび高さｅとすると、上記式（４）、（５）および（６）においてＷをＷ／ｄステップでＷ〜−Ｗ、ｈをｈ／ｅステップでｈ〜−ｈまで変化させたときに、入力画像面上の対応する点の画像データを並べることにより透視画像が得られる。
【００４８】
次に、透視変換における横回転移動と縦回転移動（パン・チルト動作）について説明する。まず、上述のようにして得られた点Ｐが横回転移動（左右移動）した場合について説明する。横回転移動（Ｚ軸回りの回転）については、移動角度をΔθとすると、移動後の座標（ｔｘ’，ｔｙ’，ｔｚ’）は、
0003627914.tif 000003
で表される。
【００４９】
よって、横回転移動については、上記式（７）、（８）および（９）を上記式（２）および（３）に代入することにより、入力画像面上の対応する点の座標ＸとＹとを求めることができる。他の平面上の点についても同様である。よって、上記式（７）、（８）および（９）においてＷ〜−Ｗ、ｈ〜−ｈまで変化させたときに、入力画像面上の対応する点の画像データを並べることにより回転画像が得られる。
【００５０】
次に、上述のようにして得られた点Ｐが縦回転移動（上下移動）した場合について説明する。縦回転移動（Ｚ軸方向の回転）については、移動角度をΔφとすると、移動後の座標（ｔｘ”，ｔｙ”，ｔｚ”）は、
0003627914.tif 000004
で表される。
【００５１】
よって、縦回転移動については、上記式（１０）、（１１）および（１２）を上記式（２）および（３）に代入することにより、入力画像面上の対応する点の座標ＸとＹとを求めることができる。他の平面上の点についても同様である。よって、上記式（１０）、（１１）および（１２）をＷ〜−Ｗ、ｈ〜−ｈまで変化させたときに、入力画像面上の対応する点の画像データを並べることにより回転画像が得られる。
【００５２】
透視画像のズームイン・ズームアウト機能については、上記と同様に所定のキー操作に対応して、上記変換式（４）〜（１２）のＲを一定量ΔＲだけ増減することにより、ズームイン・ズームアウト後の透視画像を入力画像から直接生成することができる。
【００５３】
変換領域を選択する機能については、入力画像からパノラマ画像への変換に際し、変換領域（半径方向）の範囲を所定のキー操作により指定できるようにする。すなわち、変換領域指定モードにおいて、パノラマ画像への変換幅を２つの円で表示し、内側の円を基準点ＰＯ（ｒｏ，θｏ）の座標ｒｏを半径とする円とし、外側の円をパノラマの上側の円として、円形入力画像の最大径をｒｍａｘ、撮像手段自身の画像半径をｒｍｉｎとして、この２つの円の半径をｒｍｉｎとｒｍａｘの間で所定のキー操作により自由に指定できるようにする。透視画面のサイズ（透視変換領域）についても、上記と同様に、透視変換式においてＷとｈを自由に設定できるようにしてもよい。
【００５４】
一方、図６に示す画像比較距離検出部５ｂでは、上記第１の入力バッファメモリー１１のデータと第２の入力バッファメモリー１７のデータを、画像比較距離検出ロジック１６により比較し、対象物体の角度データと自分の車両の速度情報、および第１の入力バッファメモリー１１のデータと第２の入力バッファメモリー１７のデータの時間差から、対象物体までの距離が計算される。
【００５５】
以下に、距離検出の原理について、図９を用いて説明する。図９（ａ）の２３は第２の入力バッファメモリー１７に記憶されている任意の時刻ｔｏにおける入力画像を示し、図９（ｂ）の２４は第１の入力バッファメモリー１１に記憶されている任意の時刻ｔｏからｔ秒後の入力画像を示す。
【００５６】
撮像手段４から取り込まれた任意の時刻ｔｏにおける画像情報は第１の入力バッファメモリー１１に入力されると共に、遅延回路１８を介してｔ秒後に第２の入力バッファメモリー１７に入力される。このとき、第１の入力バッファメモリー１１にはｔ秒後の画像情報が入力されるため、第１の入力バッファメモリー１１のデータと第２の入力バッファメモリー１７のデータを比較することにより、任意の時刻ｔｏにおける入力画像と任意の時刻ｔｏからｔ秒後の入力画像の比較が可能になる。図９（ａ）では、物体Ａ、Ｂの任意時刻ｔｏにおける入力画像上での位置がＡ（ｒ１，θ１）、Ｂ（ｒ２，ψ１）であることを示している。また、図９（ｂ）では、物体Ａ、Ｂの任意時刻ｔｏからｔ秒後の入力画像上での位置がＡ（Ｒ１，θ２）、Ｂ（Ｒ２，ψ２）であることを示している。
【００５７】
画像比較距離検出ロジック１６は、図示しない自分の車両の速度計からの速度情報によりｔ秒間に動いた距離が
Ｌ＝ｖ×ｔ
であることから、上記２つの画像情報を用いて三角測量の原理により自分の車両と対象物体との距離を計算することが可能である。例えば、任意時刻ｔｏからｔ秒後のＡとの距離をＬａ、Ｂとの距離をＬｂとすると、
Ｌａ＝Ｌθ１／（π−（θ１＋θ２））
Ｌｂ＝Ｌψ１／（π−（ψ１＋ψ２））
で求められる。
【００５８】
このようにして得られた計算結果が表示手段６に送られ、表示される。さらに、物体が画像面上で一定の範囲内に入ってくると、警報信号がスピーカー等からなる警報発生手段８に送られ、警報発生手段８から警報音が発される。それと共に、警報信号が表示制御手段７にも送られ、表示手段６の画面上で該当物体が表示されている透視画面表示が点滅するなど、警報表示がなされる。なお、画像比較距離検出ロジック１６の出力１６ａは警報発生手段８への警報信号出力であり、１６ｂは表示制御手段７への警報信号出力である。
【００５９】
表示手段６はブラウン管、ＬＣＤやＥＬ等のモニター等であり、画像処理手段５の出力バッファメモリー５ｃからの出力を入力として、画像を表示する。このとき、表示制御手段７の制御によって、上記パノラマ画像と透視画像を同時に表示したり、または切り替えて表示することができる。また、透視画像を表示する場合、少なくとも前方視覚の透視画像と左右視覚の透視画像を同時に表示し、さらに必要に応じて後方視覚の透視画像も表示することができる。さらに、これらの画像の１つを選択して、画像処理手段５により上下左右への移動や拡大縮小を行い、表示手段６に表示することもできる。
【００６０】
さらに、運転席前方パネル上に設置された図示しない切り替えスイッチからの信号により、表示制御手段７によって車両周囲画像と車両位置表示とを切り替え表示することができる。例えば、切り替えスイッチが車両位置表示側にオンになっているときには、ＧＰＳ等の車両位置検出手段９により得られた車両位置情報が表示手段６に表示される。また、切り替えスイッチが車両周囲画像表示側にオンになっているときには、表示制御手段７によって画像処理手段５からの車両周囲画像情報（画像処理手段５の出力バッファメモリー５ｃの出力）が表示手段６に送られ、画像表示される。
【００６１】
表示制御手段７は専用のマイクロコンピューター等であり、表示手段６に表示する画像の種類（例えば画像処理手段５により変換されたパノラマ状の画像や透視変換された画像等）、画像の向きや画像のサイズ等を選択して制御する。
【００６２】
図１０に、表示形態の例を示す。この図において、２５は表示画面であり、２６はすぐ下の第１の透視画像表示部２７を説明するための第１の説明表示部であり、２７は第１の透視画像表示部（ここではデフォルト値は車両正面の透視画像）であり、２８はすぐ下の第２の透視画像表示部２９を説明するための第２の説明表示部であり、２９は第２の透視画像表示部（ここではデフォルト値は車両左正面の透視画像）であり、３０はすぐ下の第３の透視画像表示部３１を説明するための第３の説明表示部であり、３１は第３の透視画像表示部（ここではデフォルト値は車両右正面の透視画像）である。３２はすぐ下のパノラマ画像表示部３３を説明するための第４の説明表示部であり、３３はパノラマ画像表示部（ここでは３６０゜パノラマ画像）である。３４は上下左右移動のための方向キーであり、３５は画像の拡大キーであり、３６は画像の縮小キーである。
【００６３】
ここで、説明表示部２６、２８、３０、３２は各々その下の画像表示部２７、２９、３１、３３のアクティブスイッチになっており、利用者が操作することにより画像表示部２７、２９、３１、３３の上下左右移動および拡大縮小が可能になると共に、表示色が変わって画像表示部２７、２９、３１、３３がアクティブになっていることを示す。画像表示部２７、２９、３１、３３は、方向キー３４、拡大キー３５、縮小キー３６を操作することにより上下左右移動および拡大縮小することができる。但し、パノラマ画像表示部３３については拡大縮小は行われない。
【００６４】
例えば、利用者が説明表示部２６を押すと、その信号が表示制御手段７に送られ、表示制御手段７によって説明表示部２６の表示色がアクティブ状態を示す色に変更されるか、または点滅する。それと共に透視画像表示部２７がアクティブ状態になり、方向キー３４、拡大キー３５、縮小キー３６からの信号に応じて表示制御手段７から画像処理手段５の画像変換部５ａに信号が送られる。そして、各キーに対応して変換された画像が表示手段６に送られ、画面に表示される。
【００６５】
（実施形態２）
図１１（ａ）は実施形態２の移動体周囲監視システムを備えた車両の構成を示す平面図であり、図１１（ｂ）はその側面図である。
【００６６】
本実施形態では、車両１のフロントバンパー２の中央部上とリアバンパー３の中央部上に全方位視覚センサー４を設置してあり、各センサーは自身を中心として略水平方向３６０゜の視野を有する。
【００６７】
しかし、フロントバンパー２上の全方位視覚センサー４の視野は、後方視野略１８０゜が車両１にふさがれるため、略側方から前方１８０゜である。また、リアバンパー３上の全方位視覚センサー４の視野は、前方視野略１８０゜が車両１にふさがれるため、略側方から後方１８０゜である。よって、２つの全方位視覚センサー４を合わせて略３６０゜の視野が得られる。
【００６８】
上記実施形態１では車両の天井に設置されているので、１台の全方位視覚センサーで周囲３６０゜のパノラマ画像が得られるが、天井が邪魔をして車両の直ぐそばが死角となる。また、四辻等、左右が死角となっているようなところでは、全方位視覚センサーに左右の辻が映る位置まで車両を突き出す必要がある。これに対して、実施形態２では車両の前後に栗間の全方位視覚センサーを設置するので、四辻等の左右が死角になっているような所での左右視覚を得るための車両の突き出し量が少しでよい。また、天井が邪魔をすることがないので、車両の前後直ぐそばの画像を得ることができる。
【００６９】
（実施形態３）
図１２（ａ）は実施形態３の移動体周囲監視システムを備えた車両の構成を示す平面図であり、図１２（ｂ）はその側面図である。
【００７０】
本実施形態では、車両１のフロントバンパー２のコーナー上とリアバンパー３のコーナー上に全方位視覚センサー４を設置してあり、各センサーは自身を中心として略水平方向３６０゜の視野を有する。
【００７１】
しかし、フロントバンパー２上の全方位視覚センサー４の視野は、斜め後方視野略９０゜が車両１にふさがれるため、略２７０゜である。また、リアバンパー３上の全方位視覚センサー４の視野は、斜め前方視野略１８０゜が車両１にふさがれるため、略９０゜である。よって、２つの全方位視覚センサー４を合わせて、運転者の死角となりやすい車両のすぐそばで略３６０゜の視野が得られる。
【００７２】
なお、上記実施形態１〜実施形態３では乗用車を例に示したが、バス等の大型車や貨物用車両についても同様に、本発明を適用可能である。特に、貨物用車両では、貨物室によって運転車の後方視界が遮られることが多いため、本発明が特に有効である。さらに、車両としては、自動車（乗用車の他、バス等の大型車や貨物用自動車も含む）だけではなく、本発明は電車等の車両に搭載しても有効である。
【００７３】
この実施形態３でも、四辻等の左右が死角になっているような所での左右視覚を得るための車両の突き出し量が少しでよく、また、実施形態１のように天井が邪魔をすることがないので、車両の前後左右を含め、直ぐそばの画像を得ることができる。
【００７４】
（実施形態４）
図１３（ａ）は実施形態４の移動体周囲監視システムを備えた車両の構成を示す平面図であり、図１３（ｂ）はその側面図である。この図において、３７は電車の車両である。
【００７５】
本実施形態では、電車の先頭車両と最後部車両において連結部通路上部に移動体周囲監視システムの全方位視覚センサー４を設置してあり、前方１８０゜、後方１８０゜ずつの視野が得られる。
【００７６】
なお、上記実施形態１〜実施形態４では車両を例に示したが、本発明は航空機や船舶等、有人、無人を問わず、本発明は全ての移動体に対して有効である。
【００７７】
上記実施形態では、３６０゜の視野領域の映像が得られ、中心射影の変換が可能な光学系４ａとして図３に示すような光学系を用いたが、本発明はこれに限られず、例えば特開平１１−３３１６５４号公報に記載の光学系等を用いてもよい。
【００７８】
【発明の効果】
以上詳述したように、本発明によれば、例えば車両の上部や端部等に全方位視覚センサーを設置することにより、運転席から死角となる部分を容易に確認することが可能となる。従来の車両監視装置のように運転者が表示装置に複数のカメラを切り替えたり、カメラの向きを替えたりしなくてもよいので、出発時の周囲確認、左折時や右折時、駐車場や車庫からの入出庫時の安全確認等、左右後方確認を行って安全運転を確実に行うことができる。
【００７９】
さらに、任意の表示画像、表示方向や画像サイズを切り替えて表示することができるので、例えば後退時に表示を切り替えること等により、安全確認を容易に行って接触事故等を防ぐことができる。
【００８０】
さらに、車両の周囲画像と位置表示とを切り替えて表示することができるので、従来のように運転席のスペースが狭くなったり、操作が繁雑になることもなく、見やすい表示が得られる。
【図面の簡単な説明】
【図１】（ａ）は本発明の一実施形態である移動体周囲監視システムを備えた車両の構成を示す平面図であり、（ｂ）はその側面図である。
【図２】実施形態１の移動体周囲監視システムの構成を説明するためのブロック図である。
【図３】実施形態１における光学系の構成例を示す斜視図である。
【図４】実施形態１における画像処理手段の構成例を示すブロック図である。
【図５】実施形態１における画像変換部の構成例を示すブロック図である。
【図６】実施形態１における画像比較距離検出部の構成例を示すブロック図である。
【図７】実施形態１における３６０゜のパノラマ画像変換について説明するための平面図であり、（ａ）は撮像手段で得られた円形入力画像であり、（ｂ）はドーナツ状に切り出して切り開く途中であり、（ｃ）は引き伸ばして直交座標に変換した後のパノラマ画像である。
【図８】実施形態１における透視変換について説明するための斜視図である。
【図９】（ａ）および（ｂ）は実施形態１における距離検出について説明するための模式図である。
【図１０】実施形態１における表示手段の表示形態の例を示す図である。
【図１１】（ａ）は実施形態２の移動体周囲監視システムを備えた車両の構成を示す平面図であり、（ｂ）はその側面図である。
【図１２】（ａ）は実施形態３の移動体周囲監視システムを備えた車両の構成を示す平面図であり、（ｂ）はその側面図である。
【図１３】（ａ）は実施形態４の移動体周囲監視システムを備えた車両の構成を示す平面図であり、（ｂ）はその側面図である。
【符号の説明】
１  車両
２  フロントバンパー
３  リアバンパー
４  全方位視覚センサー
４ａ  光学系
４ｂ  撮像手段
４ｃ  撮像手段受光部
５  画像処理手段
５ａ  画像変換部
５ｂ  画像比較距離検出部
５ｃ  出力バッファメモリー
６  表示手段
６ａ  画像処理手段５からの出力
６ｂ  車両位置検出手段からの出力
７  表示制御手段
７ａ  車両周囲画像と車両位置表示とを切り替え制御するための制御信号
８  警報発生手段
９  車両位置検出手段
１０  Ａ／Ｄ変換器
１１  第１の入力バッファメモリー
１２  ＣＰＵ
１３  ＬＵＴ
１４  画像変換ロジック
１６  画像比較距離検出ロジック
１６ａ、１６ｂ  画像比較距離検出ロジックの出力
１７  第２の入力バッファメモリー
１８  遅延回路
１９  円形入力画像
２０  ドーナツ状に切り出し、切り開く途中の状態
２１  引き伸ばし後のパノラマ画像
２２  双曲面ミラー
２３  第２の入力バッファメモリーに記憶されている任意の時刻ｔｏにおける入力画像
２４  第１の入力バッファメモリー１１に記憶されている任意の時刻ｔｏからｔ秒後の入力画像
２５  表示画面
２６  第１の説明表示部
２７  第１の透視画像表示部
２８  第２の説明表示部
２９  第２の透視画像表示部
３０  第３の説明表示部
３１  第３の透視画像表示部
３２  第４の説明表示部
３３  パノラマ画像表示部
３４  方向キー
３５  拡大キー
３６  縮小キー
３７  電車の車両
４３  バスライン
【図１】
0003627914.tif 000005
【図２】
0003627914.tif 000006
【図３】
0003627914.tif 000007
【図４】
0003627914.tif 000008
【図５】
0003627914.tif 000009
【図６】
0003627914.tif 000010
【図７】
0003627914.tif 000011
【図８】
0003627914.tif 000012
【図９】
0003627914.tif 000013
【図１０】
0003627914.tif 000014
【図１１】
0003627914.tif 000015
【図１２】
0003627914.tif 000016
【図１３】
0003627914.tif 000017