(57)【要約】【課題】  運転者にとって違和感の少ない画像が得られ、移動体の周囲の状況を容易に確認して運転者の負担を減らすことができ、安全性を高める。【解決手段】  周囲３６０度の視野領域における映像が得られ、その映像に対して中心射影変換が可能な光学系１１ａを通して得られる光学像を撮像手段１１ｂにて画像データに変換する。その画像データを画像処理手段１２にてパノラマ画像データや透視画像データに変換して、表示手段１３にて第二画像データに対応する画像を表示する。視野中心付近は路面を俯瞰するような画像データに変換し、視野中心から一定距離離れた部分は射影変換中心を通って路面に平行な平面内で射影変換中心から一定距離離れた位置に軸を有し、射影変換中心と路面との距離を半径とする一部円筒面または一部球面に射影した画像データに変換する。【選択図】  図２
2005167638.tif 000002
【特許請求の範囲】
【請求項１】
周囲３６０度の視野領域の映像が得られ、その映像に対して中心射影変換が可能な光学系と、該光学系を通して得られる光学像を第１画像データに変換する撮像手段とを含む全方位視覚センサと、
該第１画像データを少なくともパノラマ画像データまたは透視画像データに変換する画像処理手段と、
該画像処理手段で得られた第２画像データに対応する画像を表示する表示手段とを備え、
前記画像処理手段は、視野中心付近では移動体の少なくとも一部を含むその配置面を俯瞰する画像データに変換し、かつ視野中心から一定距離離れた該視野中心付近以外の視野部分では該移動体の配置面から上方を該移動体側から横方向に見た場合の画像データに変換する画像変換手段を有する移動体周囲監視装置。
【請求項２】
前記画像変換手段は、前記視野中心付近以外の視野部分において、前記射影変換中心を含み移動体の配置面に平行な平面内に、該射影変換中心から一定距離離れた位置に円筒軸および球中心点の少なくともいずれかを有し、該射影変換中心と移動体の配置面との距離を半径とする一部円筒面および一部球面の少なくともいずれかに射影した画像データに変換する請求項１に記載の移動体周囲監視装置。
【請求項３】
前記画像変換手段は、前記視野中心付近以外の視野部分において、前記射影変換中心を含み移動体の配置面に平行な平面内に、該射影変換中心から反対方向にそれぞれ一定距離離れた各位置にそれぞれ円筒軸および球中心点の少なくともいずれかを有し、該射影変換中心と移動体の配置面との距離を半径とする各一部円筒面および各一部球面の少なくともいずれかの各面にそれぞれ射影した各画像データに変換する請求項１に記載の移動体周囲監視装置。
【請求項４】
前記射影面が、射影変換中心を含み移動体の配置面に平行な平面内で該射影変換中心からそれぞれ一定距離離れた位置に互いに直交する円筒軸をそれぞれ有する二つの前記一部円筒面を有し、前記一部球面は該二つの一部円筒面の円筒軸の交点を中心点とし、該一部円筒面の半径と同じ半径を有して該二つの一部円筒面を繋ぐ球面である請求項２または３に記載の移動体周囲監視装置。
【請求項５】
前記全方位視覚センサにおいて、前記光学系は、軸を中心に双曲線を回転して得られる２葉双曲面の一方の曲面における凸状面に鏡面を形成した双曲面ミラーを有し、前記撮像手段は、その光軸が該双曲線の回転軸と一致し、該双曲面ミラーの二つの焦点のうちの他方の焦点位置にレンズの主点が配置されている請求項１〜４のいずれかに記載の移動体周囲監視装置。
【請求項６】
前記全方位視覚センサにおいて、前記光学系は、軸を中心に双曲線を回転して得られる２葉双曲面の一方の曲面における凸状面に、光が透過可能な凸部先端部を除いて鏡面を形成した主双曲面ミラーと、他方の曲面における凸状面に鏡面を形成した副双曲面ミラーとを有し、前記撮像手段は、その光軸が該双曲線の回転軸と一致し、該副双曲面ミラーの二つの焦点のうちの他方の焦点位置にレンズの主点が配置されている請求項１〜４のいずれかに記載の移動体周囲監視装置。
【請求項７】
前記表示手段が地図画面上に前記移動体の位置画像を表示する位置表示手段を兼ねており、
該移動体の位置を検出する移動体位置検出手段と、該移動体位置検出手段で検出された位置情報に基づく該移動体の位置画像と前記移動体の周囲画像を切り替えるように該表示手段を制御可能とする表示制御手段とを更に有する請求項１〜６のいずれかに記載の移動体周囲監視装置。
【請求項８】
請求項１〜７のいずれかに記載の移動体周囲監視装置が搭載された移動体。
【請求項９】
前記移動体周囲監視装置が前後のバンパーのうちの少なくとも一方のバンパー上に設置されている請求項８に記載の移動体。
【請求項１０】
前記移動体周囲監視装置は、前方バンパーの右側端部上および左側端部上のいずれか一方の位置に設置されていると共に、該設置位置に対する対角線上の後方バンパー上にも設置されている請求項９に記載の移動体。
【請求項１１】
周囲３６０度の視野領域の映像に対して中心射影変換が可能な光学系を通して得られる光学像を撮像手段にて撮像して得られる第１画像データを、第２画像データとして、視野中心付近では移動体の少なくとも一部を含むその配置面を俯瞰する画像データに変換し、かつ視野中心から一定距離離れた該視野中心付近以外の視野部分では該移動体の配置面から上方を該移動体側から横方向に見た場合の画像データに変換する画像変換方法。
【請求項１２】
前記第１画像データを前記第２画像データに変換する際に、前記視野中心付近以外の視野部分において、前記射影変換中心を含み移動体の配置面に平行な平面内に、該射影変換中心から一定距離離れた位置に円筒軸および球中心点の少なくともいずれかを有し、該射影変換中心と移動体の配置面との距離を半径とする一部円筒面および一部球面の少なくともいずれかに射影した該第２画像データに変換する請求項１１に記載の画像変換方法。
【請求項１３】
前記第１画像データを前記第２画像データに変換する際に、前記視野中心付近以外の視野部分において、前記射影変換中心を含み移動体の配置面に平行な平面内に、該射影変換中心からそれぞれ互いに反対方向に一定距離離れた各位置にそれぞれ円筒軸および球中心点の少なくともいずれかを有し、該射影変換中心と移動体の配置面との距離を半径とする各一部円筒面および各一部球面の少なくともいずれかの各面にそれぞれ射影した該各第２画像データにそれぞれ変換する請求項１１に記載の画像変換方法。
【請求項１４】
前記射影面が、射影変換中心を含み移動体の配置面に平行な平面内に、該射影変換中心からそれぞれ一定距離離れた位置に互いに直交する円筒軸を有する二つの前記一部円筒面を有し、前記一部球面は該二つの該一部円筒面の円筒軸の交点を中心とし、該一部円筒面の半径と同じ半径を有して該二つの一部円筒面を繋ぐ球面である請求項１２または１３に記載の画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の周囲を監視するための移動体周囲監視装置、これを搭載した移動体および画像変換方法に関し、特に、人または貨物を輸送する自動車または電車などの車両を含む移動体の周囲を監視するための移動体周囲監視装置、これが搭載された移動体および画像変換方法に関する。
【背景技術】
【０００２】
近年における交通事故の増大は、大きな社会問題となっている。特に、四つ角や三叉路などの交差点において、人の飛び出しによる事故や車両同士の出会い頭の衝突事故、車両同士の追突事故などが多発している。このような交差点での交通事故の原因は、車両の運転者および歩行者共に、安全を確認するために必要な視界に比べて実際に得られる視界が狭く、その結果、十分に注意を払っていないと危険の認識が遅れることに起因すると考えられる。このため、車両自体の改良、運転者の注意および道路環境の整備などがさらに強く望まれている。
【０００３】
従来から、道路環境を整備するために、四つ角や三叉路などで視界が遮られているところにミラーが設置されているが、ミラーを設置するだけでは視界が狭く、また、設置されるミラーの数も未だ十分ではないため、安全に対して万全であるとは言えない。
【０００４】
また、車両の安全、特に後方確認などを目的として、監視カメラを車両後部に設置し、ケーブルを通じて運転席の横または前方パネル部に設置されたモニタに監視カメラの画像を表示するシステムが、バスなどの大型車両や一部の乗用車において普及している。
【０００５】
しかしながら、この場合でも、車両の側方の安全確認は運転者の視覚によるところが大きく、四つ角や三叉路などで視界が遮られているところでは危険に対する認識が遅れることが多い。また、この種のカメラは一般に視覚が狭く、一方向に対する障害物の有無や他の物体と衝突する危険性については確認することができるが、広範囲の障害物の有無や他の物体と衝突する危険性について確認するためには、カメラの角度を変化させるなどの操作が必要である。
【０００６】
このように、従来の車両周囲監視装置においては、一方向を監視することのみが重視されており、車両の周囲３６０度を確認にするためには、複数台（前後左右計４台以上）の監視カメラが必要となっていた。
【０００７】
そこで、例えば特許文献１などには、車両の周囲３６０度の視野領域に対する映像が得られ、その映像に対して中心射影変換が可能な光学系と、その光学系を通して得られる光学像を第一画像データに変換する撮像手段とを含む全方位視覚センサを用いて、視野方向が９０度下向き(鉛直軸方向下向き)である画像（俯瞰画像または鳥瞰図）を表示させる方法が提案されている。
【特許文献１】特開２００２−２１８４５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前述したように、車両を利用する際には、安全を確認して対応しなければならない状況がしばしばある。例えば、車両出発時の周囲の確認、車両左折時または右折時、駐車場や車庫からの入出庫時などには、車両の前方だけではなく、車両の左右および後方の確認が必要となる。車両の運転者がこれらの確認を行うことは非常に重要であるが、車両の構造上、運転席からの死角部分に対しては安全性の確認が困難であり、運転者にとって多大な負担になる。
【０００９】
また、従来の車両周囲監視装置を用いて車両の周囲３６０度を確認するためには、複数台のカメラが必要となる。これらのカメラを使用する場合には、車両の運転者は、そのときの状況に応じて、モニタに表示される画像を出力させるカメラを切り替えるか、またはカメラの向きを変化させて車両の安全性を確認する必要がある。このような操作は、車両の運転者に大きな負担をかけることになってしまう。
【００１０】
また、特許文献１に開示されている周囲監視装置によれば、１台のカメラで周囲３６０度の画像が得られるが、モニタに表示される画像は、周囲の物体を投影面(例えば路面)に射影(投影)させた俯瞰画像または鳥瞰図である。このため、視野方向中心から離れた場所の画像は大きく歪んだ画像となり、車両の運転者に大きな違和感を与えることになってしまう。
【００１１】
本発明は、上記従来の問題を解決するもので、運転者にとって違和感の少ない画像が得られ、移動体の周囲の状況を容易に確認できて運転者の負担を減らすことができ、安全性を高めることができる移動体周囲監視装置、これが搭載された移動体およびその画像変換方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の移動体周囲監視装置は、周囲３６０度の視野領域の映像が得られ、その映像に対して中心射影変換が可能な光学系と、該光学系を通して得られる光学像を第１画像データに変換する撮像手段とを含む全方位視覚センサと、該第１画像データを少なくともパノラマ画像データまたは透視画像データに変換する画像処理手段と、該画像処理手段で得られた第２画像データに対応する画像を表示する表示手段とを備え、前記画像処理手段は、視野中心付近では移動体の少なくとも一部を含むその配置面を俯瞰する画像データに変換し、かつ視野中心から一定距離離れた該視野中心付近以外の視野部分では該移動体の配置面から上方を該移動体側から横方向に見た場合の画像データに変換する画像変換手段を有し、そのことにより上記目的が達成される。
【００１３】
また、好ましくは、本発明の移動体周囲監視装置における画像変換手段は、前記視野中心付近以外の視野部分において、前記射影変換中心を含み移動体の配置面に平行な平面内に、該射影変換中心から一定距離離れた位置に円筒軸および球中心点の少なくともいずれかを有し、該射影変換中心と移動体の配置面との距離を半径とする一部円筒面および一部球面の少なくともいずれかに射影した画像データに変換する。
【００１４】
さらに、好ましくは、本発明の移動体周囲監視装置における画像変換手段は、前記視野中心付近以外の視野部分において、前記射影変換中心を含み移動体の配置面に平行な平面内に、該射影変換中心から反対方向にそれぞれ一定距離離れた各位置にそれぞれ円筒軸および球中心点の少なくともいずれかを有し、該射影変換中心と移動体の配置面との距離を半径とする各一部円筒面および各一部球面の少なくともいずれかの各面にそれぞれ射影した各画像データに変換する。
【００１５】
さらに、好ましくは、本発明の移動体周囲監視装置において、射影面は、射影変換中心を含み移動体の配置面に平行な平面内で該射影変換中心からそれぞれ一定距離離れた位置に互いに直交する円筒軸をそれぞれ有する二つの前記一部円筒面を有し、前記一部球面は該二つの一部円筒面の円筒軸の交点を中心点とし、該一部円筒面の半径と同じ半径を有して該二つの一部円筒面を繋ぐ球面である。
【００１６】
さらに、好ましくは、本発明の移動体周囲監視装置における全方位視覚センサにおいて、前記光学系は、軸を中心に双曲線を回転して得られる２葉双曲面の一方の曲面における凸状面に鏡面を形成した双曲面ミラーを有し、前記撮像手段は、その光軸が該双曲線の回転軸と一致し、該双曲面ミラーの二つの焦点のうちの他方の焦点位置にレンズの主点が配置されている。
【００１７】
さらに、好ましくは、本発明の移動体周囲監視装置における全方位視覚センサにおいて、前記光学系は、軸を中心に双曲線を回転して得られる２葉双曲面の一方の曲面における凸状面に、光が透過可能な凸部先端部を除いて鏡面を形成した主双曲面ミラーと、他方の曲面における凸状面に鏡面を形成した副双曲面ミラーとを有し、前記撮像手段は、その光軸が該双曲線の回転軸と一致し、該副双曲面ミラーの二つの焦点のうちの他方の焦点位置にレンズの主点が配置されている。
【００１８】
さらに、好ましくは、本発明の移動体周囲監視装置における表示手段が地図画面上に前記移動体の位置画像を表示する位置表示手段を兼ねており、該移動体の位置を検出する移動体位置検出手段と、該移動体位置検出手段で検出された位置情報に基づく該移動体の位置画像と前記移動体の周囲画像を切り替えるように該表示手段を制御可能とする表示制御手段とを更に有する。
【００１９】
本発明の移動体には、請求項１〜７のいずれかに記載の移動体周囲監視装置が搭載されており、そのことにより上記目的が達成される。
【００２０】
また、好ましくは、本発明の移動体における移動体周囲監視装置が前後のバンパーのうちの少なくとも一方のバンパー上に設置されている。
【００２１】
さらに、好ましくは、本発明の移動体における移動体周囲監視装置は、前方バンパーの右側端部上および左側端部上のいずれか一方の位置に設置されていると共に、該設置位置に対する対角線上の後方バンパー上にも設置されている。
【００２２】
本発明の画像変換方法は、周囲３６０度の視野領域の映像に対して中心射影変換が可能な光学系を通して得られる光学像を撮像手段にて撮像して得られる第１画像データを、第２画像データとして、視野中心付近では移動体の少なくとも一部を含むその配置面を俯瞰する画像データに変換し、かつ視野中心から一定距離離れた該視野中心付近以外の視野部分では該移動体の配置面から上方を該移動体側から横方向に見た場合の画像データに変換し、そのことにより上記目的が達成される。
【００２３】
また、好ましくは、本発明の画像変換方法において、前記第１画像データを前記第２画像データに変換する際に、前記視野中心付近以外の視野部分において、前記射影変換中心を含み移動体の配置面に平行な平面内に、該射影変換中心から一定距離離れた位置に円筒軸および球中心点の少なくともいずれかを有し、該射影変換中心と移動体の配置面との距離を半径とする一部円筒面および一部球面の少なくともいずれかに射影した該第２画像データに変換する。
【００２４】
さらに、好ましくは、本発明の画像変換方法において、前記第１画像データを前記第２画像データに変換する際に、前記視野中心付近以外の視野部分において、前記射影変換中心を含み移動体の配置面に平行な平面内に、該射影変換中心からそれぞれ互いに反対方向に一定距離離れた各位置にそれぞれ円筒軸および球中心点の少なくともいずれかを有し、該射影変換中心と移動体の配置面との距離を半径とする各一部円筒面および各一部球面の少なくともいずれかの各面にそれぞれ射影した該各第２画像データにそれぞれ変換する。
【００２５】
さらに、好ましくは、本発明の画像変換方法において、前記射影面は、射影変換中心を含み移動体の配置面に平行な平面内に、該射影変換中心からそれぞれ一定距離離れた位置に互いに直交する円筒軸を有する二つの前記一部円筒面を有し、前記一部球面は該二つの該一部円筒面の円筒軸の交点を中心とし、該一部円筒面の半径と同じ半径を有して該二つの一部円筒面を繋ぐ球面である。
【００２６】
上記構成により、以下に、本発明の作用について説明する。
【００２７】
本発明の移動体周囲監視装置は、１台の全方位視覚センサによって、周囲３６０度の視野領域における映像が得られ、その映像に対して中心射影変換が可能な光学系を通して得られる光学像を撮像手段にて第１画像データに変換する。その第１画像データを画像処理手段によってパノラマ画像データや透視画像データ（第２画像データ）に変換して、表示手段によって第２画像データに対応する画像を表示する。なお、この表示手段に表示される画像は、表示サイズや表示方向などを表示制御手段によって制御することができる。
【００２８】
この画像処理手段は、視野中心付近については移動体の配置面（例えば路面など）を俯瞰するような画像データに変換可能で、視野中心から一定距離離れた部分については、横から見たような画像データに変換可能な画像変換手段を備えている。
【００２９】
画像変換手段は、例えば視野中心から一定距離離れた部分については、射影変換中心を通って移動体の配置面に平行な平面内で射影変換中心から一定距離離れた位置に軸を有し、射影変換中心と移動体の配置面との距離を半径とする一部円筒面または一部球面に射影した画像データに変換可能である。
【００３０】
または、画像変換手段は、視野中心から一定距離離れた部分については射影変換中心を通って移動体の配置面に平行な平面内で射影変換中心からそれぞれ一定距離離れた位置に互いに直交する軸を有し、射影変換中心と移動体の配置面との距離を半径とする二つの一部円筒面または二つの一部円筒面の軸の交点を中心とし、一部円筒面の半径と同じ半径を有して二つの一部円筒面を繋ぐ一部球面に射影した画像データに変換可能である。
【００３１】
これにより、視野中心付近は鳥瞰図的な俯瞰画像が得られ、視野中心から所定距離だけ離れた視野部分では俯瞰画像ではなく、車両などの移動体側から横から見たような画像が得られるため、移動体の運転者にとって違和感の少ない画像が得られる。
【００３２】
さらに、地図上の移動体の位置を検出するＧＰＳなどの位置検出手段を設けて、表示制御手段によって、表示手段に表示される移動体の周囲画像とその位置表示とを切り替え制御することもできる。
【発明の効果】
【００３３】
以上により、本発明によれば、例えば全方位視覚センサを車両の前後部（例えば自動車の前後バンパー上やコーナ部など）に設置して、運転席に設けられた表示手段によって死角となる部分を容易に確認することができるため、出発時における周囲確認時、左折時や右折時、駐車場や車庫からの入出庫時、左右後方確認時などにおいて、安全確認をより確実に行うことができる。
【００３４】
従来の車両監視装置のように運転者が表示手段に表示される映像を出力させる複数のカメラを切り替えたり、カメラの向きを切り替えたりしなくても、表示制御手段によって任意の表示画像や表示方向、画像サイズを切り替えて表示させることができるため、後退時に表示を切り替えることなどにより安全確認を容易に行って接触事故などを未然に防止することができる。
【００３５】
さらに、駐車場や車庫での入出庫時や幅寄せ時などに、視野中心付近は鳥瞰図的な俯瞰画像が得られ、視野中心から離れた部分では俯瞰画像ではなく、移動体の横から見たような画像が得られるため、車両などの移動体の運転者にとって、より違和感の少ない画像によって、安全確認を容易に行って接触事故などを未然に防ぐことができる。
【発明を実施するための最良の形態】
【００３６】
以下に、本発明の移動体周囲監視装置を搭載した移動体の実施形態１，２を自動車に適用した場合について、図面を参照しながら説明する。
（実施形態１）
図１（ａ）は、本発明の移動体周囲監視装置を搭載した自動車の実施形態１の上面図、図１（ｂ）は、その側面図である。
【００３７】
図１に示すように、自動車（車両）１は、前方のフロントバンパー２および後方のリアバンパー３の上側中央に全方位視覚センサ１１がそれぞれ設置されている。車両１の前方エンジン室内または後方貨物室内などには、後述する画像処理手段１２が設けられている。車両１の運転席には、例えば前方パネル内またはパネル横などに表示手段１３および表示制御手段１４が設けられている。
【００３８】
全方位視覚センサ１１はそれぞれ、それを中心として周囲３６０度の視野領域における映像が得られるが、例えばフロントバンパー２上に設置されている全方位視覚センサ１１は、後方視野領域において略水平方向１８０度の視野領域が自車両の画像により死角となり、有効な視野領域は前方１８０度である。また、リアバンパー３上に設置されている全方位視覚センサ１１は前方視野領域において略水平方向１８０度の視野領域が自車両の画像により死角となり、有効な視野領域は後方１８０度である。
【００３９】
図２は、本発明の移動体周囲監視装置の実施形態１の概略構成を示すブロック図である。
【００４０】
図２に示すように、移動体周囲監視装置１０は、中心射影変換が可能な光学系１１ａおよびビデオ撮像手段１１ｂとを含む全方位視覚センサ１１と、画像変換手段１２ａおよび出力バッファメモリ１２ｂとを有し、撮像手段１２ｂで得られた第１画像データをパノラマ画像や透視画像等に変換する画像処理手段１２と、画像変換手段１２ａから出力される第２画像データ（移動体の周囲画像）１３ａおよび、車両位置検出手段９から出力される画像データ（移動体の位置画像）１３ｂとが切り替えて表示可能とする表示手段１３と、自動車の周囲画像についてその表示方向、画像サイズなど表示画像を制御すると共に、自動車の周囲画像とその位置画像とを、制御信号１４ａによって切り替え制御する表示制御手段１４と、画像処理手段１２からの出力に応じて周囲に障害物がある場合などに警報を発生する警報発生手段１５とを有している。なお、車両位置検出手段９はここでは設けているが、設けられていなくてもよい。
【００４１】
以下に、この移動体周囲監視装置１０の各部分について詳細に説明する。
【００４２】
まず、光学系１１ａと撮像手段１１ｂとを含む全方位視覚センサ１１について説明する。
【００４３】
図３は、図２の移動体周囲監視装置１０の光学系１１ａの要部構成例を示す斜視図であり、周囲３６０度の視野領域の映像が得られ、その映像に対して中心射影変換が可能な光学系１１ａの一例を示している。
【００４４】
図３に示すように、光学系１１ａは、双曲面ミラー１１１ａを利用しており、ビデオ撮像手段１１ｂの撮像レンズの第１主点が双曲面ミラー１１１ａの他方の焦点位置（焦点２）に配置されることにより、中心射影変換が可能になっている。この光学系１１ａの詳細は特開平６−２９５３３３号公報に説明されているので、ここでは特徴点についてのみ説明する。
【００４５】
図３では、双曲面ミラー１１１aは、双曲線を軸J１（Ｚ軸）を中心に回転して得られる曲面（２葉双曲面）の一方（Ｚ＞０の領域）の曲面における凸状面に鏡面を形成したものである。この２葉双曲面は、
（Ｘ２＋Ｙ２）／ａ２−Ｚ２／ｂ２＝−１
ｃ２＝ａ２＋ｂ２                     ・・・（１）    
によって表される。なお、上記式（１）において、ａおよびｂは双曲面の形状を定義する定数であり、ｃは焦点の位置を定義する定数である。以下、これらの定数ａ、ｂおよびｃを双曲面ミラーのミラー定数と称する。
【００４６】
この双曲面ミラー１１１aは、二つの焦点（焦点１と焦点２）を有し、外部から一方の焦点１に向かう光は双曲面ミラー１１１ａで反射され、全て他方の焦点２に向かうという特徴を有する。したがって、双曲面ミラー２１の回転軸J１とビデオ撮像手段１１ｂの光軸J２とを一致させると共に、他方の焦点（図３では焦点２）位置にビデオ撮像手段１１ｂのレンズ主点（第１主点）を配置させることにより、このビデオ撮像手段１１ｂで撮影される光学像は、視野方向によって視点位置が変わらずに、一方の焦点（焦点１）を視点中心として周囲領域の映像を画像データに変換可能（中心射影変換が可能）であるという特徴を有する。
【００４７】
ビデオ撮像手段１１ｂは、例えばビデオカメラなどであって、双曲面ミラー１１１aを介して得られる光学像がＣＣＤやＣＭＯＳなどの固体撮像素子を利用して画像データ（第１画像データ）に変換される。変換された画像データは、画像処理手段１２に送られる。
【００４８】
次に、画像処理手段１２について具体的に説明する。
【００４９】
図４は、図２の画像処理手段１２の要部構成例を示すブロック図である。
【００５０】
図４に示すように、画像処理手段１２は、Ａ／Ｄ変換器１２１ａ、入力バッファメモリ１２２ａ、ＣＰＵ（制御部；中央演算処理装置）１２３ａ、ルックアップテーブル（ＬＵＴ）１２４ａおよび画像変換ロジック１２５ａを有する画像変換手段１２ａと、出力バッファメモリ１２ｂとがバスライン１２ｃによって接続されている。
【００５１】
ビデオ撮像手段１１ｂにて撮像された画像（第１画像データ）は、アナログ信号である場合にはＡ／Ｄ変換器１２１ａによりデジタル信号に変換された後に、入力バッファメモリ１２２ａに入力される。また、第１画像データがデジタル信号である場合には直接入力バッファメモリ１２２ａに入力される。
【００５２】
その後、入力バッファメモリ１２２ａからの出力が、画像変換ロジック１２５ａによってパノラマ画像データや透視画像データなどの第２画像データに変換されたり、その他の画像処理が施されて、出力バッファメモリ１２ｂに入力される。画像変換ロジック１２５ａでは、画像変換や画像処理時に必要に応じてＬＵＴ１２４ａのデータが参照される。この画像変換手段１２ａにおいて、各部分の制御は、所謂ＲＩＳＣ方式のＣＰＵ１２３ａによって行うことができる。
【００５３】
以下に、図４の画像変換ロジック１２５ａによる画像データの変換処理について具体的に説明する。
【００５４】
まず、撮像手段１１ｂでの撮像により得られる円形入力画像１１１から３６０゜パノラマ画像１１３への変換について、図５を用いて説明する。
【００５５】
図５に示すように、ドーナツ状画像１１２は、円形入力画像１１１をドーナツ状に切り出して切り開く途中の状態の画像であり、ドーナツ状画像１１２を引伸ばして直交座標に変換した後の画像がパノラマ画像１１３である。
【００５６】
円形入力画像１１１をその中心を原点とした極座標で表わす場合、円形入力画像１１１内のある点（画素）Ｐの座標は（ｒ，θ）で表わされる。この円形入力画像１１１をドーナツ状に切り出してＰＯ（ｒｏ，θｏ）を基準に切り開いて引伸ばし、これを四角い長方形のパノラマ画像１１３に変換する座標変換式は、パノラマ画像１１３上の点の座標をＰ（ｘ，ｙ）とすると、
ｘ＝θ−θｏ
ｙ＝ｒ−ｒｏ
で表される。円形入力画像１１１上の点の座標をＰ（Ｘ，Ｙ）とし、その中心の座標をＯ（Ｘｏ，Ｙｏ）とすると、
Ｘ＝ｒ×ｃｏｓθ＋Ｘｏ
Ｙ＝ｒ×ｓｉｎθ＋Ｙｏ
であるので、
Ｘ＝（ｙ＋ｒｏ）ｃｏｓ（ｘ＋θｏ）＋Ｘｏ
Ｙ＝（ｙ＋ｒｏ）ｓｉｎ（ｘ＋θｏ）＋Ｙｏ
で表わされる。
【００５７】
次に、透視変換画像データにおける透視変換の座標位置関係について、図６を用いて説明する。
【００５８】
透視変換による座標変換については、空間上の点が入力画像面上のどの位置に対応するかを計算し、その位置の画像情報を、透視変換後の周囲の映像上で対応する座標位置に割り当てるようにする。
【００５９】
図６に示すように、空間上のある点の座標をＰ（ｔｘ，ｔｙ，ｔｚ）とし、ビデオ撮像手段１１ｂの受光部に形成される円形入力画像１１１上において対応する点の座標をＲ（ｒ，θ）とし、ビデオ撮像手段１１ｂのレンズの焦点距離をＦとし、さらに、双曲面ミラー定数をａ、ｂおよびｃとすると、
ｒ＝Ｆ×ｔａｎ（（π／２）−β）    ・・・（１）
であり、但し、
β＝ａｒｃｔａｎ（（（ｂ２＋ｃ２）×ｓｉｎα−２ｂｃ）／（ｂ２−ｃ２）×ｃｏｓα）
α＝ａｒｃｔａｎ（ｔｚ／ｓｑｒｔ（ｔｘ２＋ｔｙ２））
θ＝ａｒｃｔａｎ（ｔｙ／ｔｘ）      ・・・（２）
となる。上記式（２）を整理すると、
ｒ＝Ｆ×（（（ｂ２−ｃ２）×ｓｑｒｔ（ｔｘ２＋ｔｙ２））
／（（ｂ２＋ｃ２）×ｔｚ−２×ｂ×ｃ
×ｓｑｒｔ（ｔｘ２＋ｔｙ２＋ｔｚ２）））         ・・・（２’）
となる。さらに、画像上の点の座標を直行座標に変換してＲ（Ｘ，Ｙ）と表すと、
Ｘ＝ｒｃｏｓθ                     ・・・（３）
Ｙ＝ｒｓｉｎθ                     ・・・（４）
より、
Ｘ＝Ｆ×（（（ｂ２−ｃ２）×ｔｘ／（（ｂ２＋ｃ２）×ｔｚ−２×ｂ×ｃ
×ｓｑｒｔ（ｔｘ２＋ｔｙ２＋ｔｚ２）））        ・・・（５）
Ｙ＝Ｆ×（（（ｂ２−ｃ２）×ｔｙ／（（ｂ２＋ｃ２）×ｔｚ−２×ｂ×ｃ
×ｓｑｒｔ（ｔｘ２＋ｔｙ２＋ｔｚ２）））         ・・・（６）
となる。
【００６０】
なお、パノラマ画像１１３や透視画像の横回転移動（パン）や縦回転移動（チルト）動作、透視画像のズームイン、ズームアウト動作についても、特開２００２−２１８４５１号公報の場合と同様に行うことが可能である。
【００６１】
画像変換手段１２ａでは、視野中心付近については、移動体の配置面（自動車の場合には路面）を俯瞰するような鳥瞰図の画像データに変換される。例えばビデオ撮像手段１１ｂの光軸Ｊ２が地面に対して鉛直方向上向きになるように車両１に取り付けられている場合には、縦回転移動によりα＝−９０度となるように透視画像の視野方向を選択すると、その透視画像は、車両１の周囲を真上から俯瞰するような画像（鳥瞰図）になる。
【００６２】
また、画像変換手段１２ａでは、視野中心から一定距離離れた視野中心付近以外の視野部分については、射影変換中心を通って移動体の配置面（自動車の場合には路面）に平行な平面内で射影変換中心（双曲面ミラー焦点１）から一定距離離れた位置に軸を有し、その射影変換中心と路面との距離を半径とする半円筒面または半球面を２分割した１／４円筒面または１／４球面（これを半円筒面部分または半球面部分；一部筒面部分または一部球面）に射影した画像データにそれぞれ変換される。或いは、射影変換中心を通って移動体の配置面（自動車の場合には路面）に平行な平面内でそれぞれ射影変換中心（双曲面ミラー焦点１）から一定距離離れた位置に互いに直交する軸を有し、その射影変換中心と路面との距離を半径とする二つの一部円筒面または二つの一部円筒面の軸の交点を中心とし、一部円筒面の半径と同じ半径を有して二つの一部円筒面を繋ぐ一部球面に射影した画像データに変換される。
【００６３】
まず、上記一部円筒面に射影した画像データに変換する場合について、図７を用いて説明する。なお、ここでは、光学系１１ａの光軸Ｊ１（双曲面ミラー１１１ａの回転軸）は路面（移動体の配置面）に鉛直上向き（Ｚ軸方向）と仮定しているが、必ずしも鉛直上向きである必要はない。
【００６４】
ここでは、その一例として、上記射影変換中心（双曲面ミラー１１１ａの焦点１）を通って路面に平行な平面内に軸Ｋを有し、その軸Ｋが射影変換中心（焦点１）からｌ０だけ離れ、軸Ｋ上の中心から半径ｒ０の一部円筒面１１４（半円筒面部分１１４）を射影面として考える。射影変換中心（双曲面ミラー１１１ａの焦点１）からの距離Ｒ、俯角α、円筒軸Ｋに垂直で射影変換中心からの距離ｌ０で光軸（Ｚ軸）に平行な軸Ｌ周りの回転角θ、円筒軸Ｋ周りの回転角φの位置の点の座標Ｐ（ｔｘ、ｔｙ、ｔｚ）は、
ｔｘ＝ｌ０＋ｒ０ｃｏｓφ              ・・・（７）
ｔｙ＝ｒ０ｔａｎθ                    ・・・（８）
ｔｚ＝ｒ０ｓｉｎφ                    ・・・（９）
によって表される。したがって、上記式（７）〜（９）を上記式（５）および（６）に代入することにより、入力画像面上の点の座標ＸおよびＹは、
Ｘ＝Ｆ×（ｂ２−ｃ２）×ｃｏｓθ×（ｌ０＋ｒ０ｃｏｓφ）
／（ｒ０×（ｂ２＋ｃ２）×ｃｏｓθ×ｓｉｎφ
−２×ｂ×ｃ×（ｃｏｓ２θ×（ｌ０２＋２ｌ０ｒ０ｃｏｓφ）＋ｒ０２）１／２  
・・・（１０）
Ｙ＝Ｆ×（ｂ２−ｃ２）×ｒ０ｓｉｎθ
／（ｒ０×（ｂ２＋ｃ２）×ｃｏｓθ×ｓｉｎφ
−２×ｂ×ｃ×（ｃｏｓ２θ（ｌ０２＋２ｌ０ｒ０ｃｏｓφ）＋ｒ０２）１／２
・・・（１１）
によって表される。
【００６５】
次に、上記二つの一部円筒面とそれらを繋ぐ一部球面に射影した画像データに変換する場合について、図８を用いて説明する。なお、ここでは光学系１１ａの光軸Ｊ１（双曲面ミラー１１１ａの回転軸）は路面（移動体の配置面）に鉛直上向き（Ｚ軸方向）と仮定しているが、必ずしも鉛直上向きである必要はない。
【００６６】
ここでは、その一例として、上記射影変換中心（双曲面ミラー１１１ａの焦点１）を通って路面に平行な平面内にそれぞれＹ軸に平行な軸５０ａおよびＸ軸に平行な軸５０ｂを有し、それらの軸５０ａ，５０ｂが射影変換中心（焦点１）からそれぞれ一定値ｌ０および一定値ｍ０だけ離れた中心（交点Ｎ）から半径ｒ０の一部円筒面１１５ａ，１１５ｂ（半円筒面部分１１５ａ，１１５ｂ）が、ある１象限でそれらの一部円筒面１１５ａ，１１５ｂと同じ半径ｒ０を有する一部球面１１６で結合された射影面を考える。一部円筒面１１５ａ，１１５ｂ上の点と画像面上の点との関係は、上記図７を用いて説明した式（１０）および（１１）と同様であるので、ここでは、一部球面１１６（半球面部分１１６）上の点と画像面上の点との関係について説明する。
【００６７】
一部円筒面１１５ａ，１１５ｂの軸Ｋ１，Ｋ２の交点Ｎの座標を（ｌ０，ｍ０，０）とし、この交点Ｎを支点として交点Ｎを通る光軸（Ｚ軸）に平行な軸Ｌ周りの回転角をθ、軸Ｋ１，Ｋ２の張る平面からの回転角をφとすると、一部球面１１６上の点の座標Ｐ（ｔｘ、ｔｙ、ｔｚ）は、
ｔｘ＝ｌ０＋ｒ０ｃｏｓφｃｏｓθ             ・・・（１２）
ｔｙ＝ｍ０＋ｒ０ｃｏｓφｓｉｎθ              ・・・（１３）
ｔｚ＝ｒ０ｓｉｎφ                    ・・・（１４）
によって表される。 従って、上記式（１２）〜（１４）を上記式（５）および（６）に代入することにより、入力画像面上の点の座標ＸおよびＹは、
Ｘ＝Ｆ×（ｂ２−ｃ２）×（ｌ０＋ｒ０ｃｏｓφｃｏｓθ）
／（（ｂ２＋ｃ２）×ｒ０ｓｉｎφ
−２×ｂ×ｃ×（ｌ０２＋ｍ０２＋ｒ０２
＋２ｌ０ｒ０ｃｏｓφｃｏｓθ＋２ｍ０ｒ０ｃｏｓφｓｉｎθ）１／２）
・・・（１５）          
Ｙ＝Ｆ×（ｂ２−ｃ２）×（ｍ０＋ｒ０ｃｏｓφｓｉｎθ）
／（（ｂ２＋ｃ２）×ｒ０ｓｉｎφ
−２×ｂ×ｃ×（ｌ０２＋ｍ０２＋ｒ０２
＋２ｌ０ｒ０ｃｏｓφｃｏｓθ＋２ｍ０ｒ０ｃｏｓφｓｓｉｎθ）１／２）
・・・（１６）          
によって表される。
【００６８】
なお、上記各場合について、射影中心を通って路面に平行な平面よりも上方の射影面は、一部円筒面から伸びた平面を想定しており、この面上の点と画像面上の点との関係は、従来通りであるので、ここではその説明を省略する。
【００６９】
なお、本実施形態１では、全方位視覚センサ１１は、設置空間の底面（例えば車両に設置される場合は路面）に垂直に設置された場合について説明しているが、必ずしも底面に垂直に設置されるとは限らず、一方向に傾けて設置される場合についても、全方位視覚センサ１１の光軸の傾きを考慮した式に変換することによって、俯瞰画像でありながら、水平視野に近い歪の少ない周囲画像を容易に得ることができる。
【００７０】
次に、鳥瞰図として、従来技術のように、単に、透視画像画面の視野方向を−９０°（鉛直下方）とした場合と、本実施形態１のように中心視野方向から離れた位置では所定の一部円筒面や一部球面に射影させた擬似鳥瞰図とについて、表示状態の違いを図９（ａ）および図９（ｂ）に示している。
【００７１】
単に、透視画像画面の視野方向を−９０°（鉛直下方）とした場合には、図９（ａ）に示すように、視点から離れたところにある物体２０は、その視野方向に大きく伸びたように表示される。このため、運転者（画面の観察者）にとっては、非常に違和感が大きな画像になる。
【００７２】
一方、本実施形態１の擬似鳥瞰図の場合には、図９（ｂ）に示すように、視点から離れたところにある物体２０は、水平視野に近い形で表示される。このため、歪が少なく、違和感が少ない画像が得られる。
【００７３】
次に、表示手段１３および表示制御手段１４について詳細に説明する。
【００７４】
表示手段１３は、例えばブラウン管、ＬＥＤやＥＬなどのモニタであって、画像処理手段１２の出力バッファメモリ１２ｂから出力される第２画像データ１３ａを受け取って画像を表示させたり、ＧＰＳなどの車両位置検出手段９で検出された自車両の位置を地図画面上に表示させたりする。このとき、マイクロコンピュータを含む表示制御手段１４によって表示手段１３に表示される画像（画像処理手段１２から得られるパノラマ画像や透視変換画像、擬似鳥瞰図、車両位置検出手段９で検出された自車両の位置表示など）を切り替えて表示させたり、また、表示方向や画像のサイズなどを制御することができる。
【００７５】
図１０は、図２の表示手段１３によって表示される表示画面の一例を示す図である。ここでは、全方位視覚センサ１１は、車両１の前方または後方のバンパーまたはボンネット上中央位置に設置されているものとする。ここでの擬似鳥瞰図表示は、車両の左右一定距離以上の部分が水平視野に近い表示になるように設定されている。
【００７６】
図１０に示すように、表示手段１３の表示画面１３１には、直下の透視画像表示部１３１ａを説明するための説明表示部１３１Ａ、デフォルトにおいて車両正面の透視画像を表示する透視画像表示部１３１ａ、直下の擬似鳥瞰図表示部１３３ａを説明する説明表示部１３３Ａ、デフォルトにおいて車両正面を表示する擬似鳥瞰図表示部１３３ａ、上下左右の方向キー１３５、画像の拡大キー１３６および画像の縮小キー１３７が表示されている。
【００７７】
説明表示部１３１Ａおよび１３３Ａはそれぞれ、その直下の画像表示部１３１ａ，１３３ａのアクティブスイッチになっており、利用者が説明表示部１３１Ａおよび１３３Ａを操作することによって、その直下の画像表示部１３１ａ，１３３ａのそれぞれの上下左右移動、拡大・縮小が可能になると共に、説明表示部１３１Ａおよび１３３Ａの表示色が変化して画像表示部１３１ａ，１３３ａがアクティブ状態になっていることが示される。画像表示部１３１ａ，１３３ａがアクティブ状態になっているときに、方向キー１３５、拡大キー１３６および縮小キー１３７を操作することによって、画像の上下左右移動、拡大・縮小などを行うことができる。
【００７８】
例えば、利用者が説明表示部１３１Ａを操作すると、その信号が表示制御手段１４に送られて、表示制御手段１４によって説明表示部１３１Ａの表示色がアクティブ状態を表す色に変更するか、または説明表示部１３１Ａが点滅すれると共に、透視画像表示部１３１ａがアクティブ状態となる。利用者が方向キー１３５、拡大キー１３６および縮小キー１３７を操作すると、その信号に応じて表示制御手段１４から画像処理手段１２の画像変換手段１２ａに信号が送られ、各キー操作に対応して変換された画像データが表示手段１３に送られて、透視画像表示部１３１ａに表示される。
【００７９】
擬似鳥瞰図表示部１３３ａでは、図７〜図９を用いて説明したように、視野中心付近については、移動体の配置面（自動車の場合には路面）を俯瞰するような鳥瞰図が表示され、視野中心から一定距離離れた部分については、射影変換中心を通って移動体の配置面（自動車の場合には路面）に平行な平面内で射影変換中心（ミラー焦点１）から一定距離離れた位置に軸を有し、その射影変換中心（焦点１）と路面との距離を半径とする一部円筒面１１５ａ、１１５ｂまたは一部球面１１６に射影した画像が表示される。これにより、視点から離れたところにある物体が水平視野に近い形で表示され、歪が少なく、違和感が少ない画像が得られる。
【００８０】
図１１は、図２の表示手段１３によって表示される表示画面の他の一例を示す図である。ここでは、全方位視覚センサ１１は、車両１の前方または後方のバンパーまたはボンネット上コーナ位置に設置されているものとする。ここでの擬似鳥瞰図表示は、全方位視覚センサ１１の周囲一定距離以上の部分（車両の左右いずれか、センサが取り付けられた側、および前方もしくは後方）が水平視野に近い表示になるように設定されている。
【００８１】
図１１に示すように、表示画面１３２には、直下の透視画像表示部１３２ａ〜１３２ｃを説明するための説明表示部１３２Ａ〜１３２Ｃ、デフォルトにおいて車両左側の透視画像を表示する透視画像表示部１３２ｂ、デフォルトにおいて車両正面の透視画像を表示する透視画像表示部１３２ａ、デフォルトにおいて車両右側の透視画像を表示する透視画像表示部１３２ｃ、直下の擬似鳥瞰図表示部１３４を説明する説明表示部１３４Ａ、デフォルトにおいて車両正面の透視画像を表示する擬似鳥瞰図表示部１３４ａ、上下左右の方向キー１３５、画像の拡大キー１３６および画像の縮小キー１３７が表示されている。
【００８２】
図１０に示す表示画面１３１と同様に、図１１に示す説明表示部１３２Ａ〜１３２Ｃおよび１３４Ａはそれぞれ、その直下の画像表示部１３２ａ〜１３２ｃおよび１３４ａのアクティブスイッチになっており、利用者が説明表示部１３２Ａ〜１３２Ｃおよび１３４Ａを操作することによって、その直下の画像表示部１３２ａ〜１３２ｃおよび１３４ａのそれぞれの上下左右移動、拡大・縮小が可能になると共に、説明表示部１３２Ａ〜１３２Ｃおよび１３４Ａの表示色が変化して画像表示部１３２ａ〜１３２ｃおよび１３４ａがアクティブ状態になっていることが示される。画像表示部１３２ａ〜１３２ｃおよび１３４ａがアクティブ状態になっているときに、方向キー１３５、拡大キー１３６および縮小キー１３７を操作することによって、画像の上下左右移動、拡大・縮小などを行うことができる。
【００８３】
なお、本実施形態１では、中心射影変換が可能な光学系として、図３に示すように双曲面ミラー１１１ａを１枚用いた例を示したが、この他にも、図１２に示すような２枚の双曲面ミラー１１１ａおよび１１１ｂを用いた光学系についても、中心射影変換が可能である。
【００８４】
図１２に示すように、全方位視覚センサ１１Ａは、主鏡に当たる双曲面ミラー（主双曲面ミラー）１１１ａの一方の焦点位置（焦点１）と副鏡に当たる双曲面ミラー（副双曲面ミラー）１１１ｂの他方の焦点位置（焦点１）とが一致している。また、双曲線の回転軸（双曲面ミラー１１１ａ，１１１ｂの光軸）Ｊ１と撮像手段１１ｂの光軸Ｊ２とが一致されており、双曲面ミラー１１ｂの他方の焦点位置（焦点１）と撮像手段１１ｂのレンズ主点とが一致するように配設されている。双曲面ミラー１１１ａの凸部先端は鏡面が設けられておらず、光が透過されるようになっている。
【００８５】
この全方位視覚センサ１１において、双曲面ミラー１１１ａの焦点１に向かう光は、双曲面ミラー１１１ａで反射されて双曲面ミラー１１１ｂの一方の焦点位置（焦点２）に向かう。この焦点２に向かった光は、双曲面ミラー１１１ｂで反射され、双曲面ミラー１１１ｂの他方の焦点位置（焦点１）に向かい、撮像手段１１ｂによって撮像される。よって、撮像手段１１ｂによって撮像される画像は、視野方向によって視点位置が変わらず、双曲面ミラー１１１ａの焦点（焦点１）を視点とした画像となる。
（実施形態２）
図１３（ａ）は本発明の自動車の実施形態２における上面図であり、図１３（ｂ）はその側面図である。
【００８６】
図１３（ａ）および図１３（ｂ）に示すように、自動車（車両）１は、フロントバンパー２のコーナ上部（本実施形態２では左側コーナ部）と、その設置位置の対角線上にあるリアバンパー３のコーナ上部（本実施形態２では右側コーナ部）に全方位視覚センサ１１がそれぞれ設置されている。車両１の前方エンジン室内または後方貨物室内などには画像処理手段１２が設けられている。車両１の運転席には、例えば前方パネル内またはパネル横などに表示手段１３および表示制御手段１４が設けられている。
【００８７】
各全方位視覚センサ１１はそれぞれ、自身を中心として周囲３６０度の視野領域における映像が得られるが、例えばフロントバンパー２上に設置されている全方位視覚センサ１１は、斜め後方視野領域（右側）において略水平方向９０度の視野領域が自車両の画像により死角となり、有効な視野領域は前方および左側の２７０度である。また、リアバンパー３上に設置されている全方位視覚センサ１１は斜め前方視野領域（左側）において略水平方向９０度の視野領域が自車両の画像により死角となり、有効な視野領域は後方および右側の２７０度である。よって、両全方位視覚センサ１１の視野領域を合わせて、運転者にとって死角となりやすい車両のすぐそばの領域において略３６０度の視野を得ることができる。
【００８８】
図１４は、本実施形態２における表示手段１３によって表示される表示画面の一例を示す図である。
【００８９】
図１４に示すように、表示画面１３８には、直下の擬似鳥瞰図表示部１３８ａを説明する説明表示部１３８Ａ、擬似鳥瞰図の組み合せにより周囲略３６０度の視野領域の画像を表示する擬似鳥瞰図表示部１３８ａ、上下左右の方向キー１３５、画像の拡大キー１３６および画像の縮小キー１３７が表示されている。
【００９０】
擬似鳥瞰図表示部１３８ａにおいて、太い点線で区切られた領域１〜４のうち、領域１ではフロントバンパー２上に設置されている全方位視覚センサ１１で得られた画像データを用いて表示が行われ、領域４ではリアバンパー３上に設置されている全方位視覚センサ１１で得られた画像データを用いて表示が行われている。また、領域２および３では、フロントバンパー２上に設置されている全方位視覚センサ１１で得られた画像データと、リアバンパー３上に設置されている全方位視覚センサ１１で得られた画像データとのいずれかを選択的に用いて表示が行われている。
【００９１】
この擬似鳥瞰図表示部１３８ａにおいても、図７〜図９を用いて説明したように、視野中心付近については、路面を俯瞰するような鳥瞰図が表示され、視野中心から一定距離離れた部分については、射影変換中心を通って路面に平行な平面内で射影変換中心（ミラー焦点）から一定距離離れた位置に軸を有し、その射影変換中心と路面との距離を半径とする一部円筒面または一部球面に射影した画像が表示される。これにより、視点から離れたところにある物体が水平視野に近い形で表示され、歪が少なく、違和感が少ない画像が得られる。
【００９２】
以上により、上記実施形態１，２によれば、周囲３６０度の視野領域における映像が得られ、その映像に対して中心射影変換が可能な光学系１１ａを通して得られる光学像を撮像手段１１ｂにて画像データに変換する。その画像データを画像処理手段１２にてパノラマ画像データや透視画像データに変換して、表示手段１３にて第２画像データに対応する画像を表示する。視野中心付近は路面を俯瞰するような画像データに変換し、視野中心から一定距離離れた部分は射影変換中心を通って路面に平行な平面内で射影変換中心から一定距離離れた位置に軸を有し、射影変換中心と路面との距離を半径とする一部円筒面または一部球面に射影した画像データに変換する。これによって、運転者にとって違和感の少ない画像が得られ、移動体の周囲の状況を容易に確認して運転者の負担を減らすことができ、安全性を高めることができる移動体周囲監視装置を得ることができる。
【００９３】
なお、上記実施例１，２では、本発明の移動体として、乗用車（自動車）を例に挙げて説明を行ったが、この他にも、バスなどの大型車や貨物用車両（トラック）などの自動車についても本発明は適用可能である。特に、貨物用車両では、貨物室によって運転者の後方視界が遮られることが多いため、本発明の移動体周囲監視装置を搭載することは、非常に有用である。また、自動車だけでなく、電車など前後が長い車両にも本発明は有効である。さらには、車両に限らず、航空機や船舶など、有人・無人を問わず、全ての移動体に対して本発明は有効に適用可能である。
【００９４】
また、以上のように、本発明の好ましい上記実施形態１，２を用いて本発明を例示してきたが、本発明は、この実施形態１，２に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１，２の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【００９５】
本発明によれば、移動体の運転席から死角となる部分を運転者にとって違和感が少ない画像により容易に確認することができるため、出発時における周囲確認時、左折時や右折時、駐車場や車庫からの入出庫時、左右後方確認時等において、安全確認をより確実に行うことができる。また、運転者が表示手段に表示される複数のカメラを切り替えたり、カメラの向きを切り替えたりしなくてもよいため、安全運転を確実に行うことができる。本発明は、自動車やバス、電車などの車両、航空機や船舶等、有人・無人を問わずあらゆる移動体の安全を確保するために非常に有効である。
【図面の簡単な説明】
【００９６】
【図１】（ａ）は、本発明の移動体周囲監視装置を搭載した自動車の実施形態１の上面図、（ｂ）はその側面図である。
【図２】本発明の移動体周囲監視装置の実施形態１の概略構成を示すブロック図である。
【図３】図２の光学系の要部構成例を示す斜視図である。
【図４】図２の画像処理手段の要部構成例を示すブロック図である。
【図５】図２の移動体周囲監視装置において、入力画像からパノラマ画像への変換について説明するための平面図である。
【図６】図２の移動体周囲監視装置において、入力画像から透視投影画像への変換について説明するための斜視図である。
【図７】（ａ）は、図２の移動体周囲監視装置において、入力画像から一部円筒面に射影した画像への変換について説明するための斜視図であり、（ｂ）はその上面図である。
【図８】（ａ）は、図２の移動体周囲監視装置において、入力画像から一部円筒面および一部球面に射影した画像への変換について説明するための斜視図であり、（ｂ）は、その上面図である。
【図９】（ａ）および（ｂ）は、従来および本発明の実施形態１の移動体周囲監視装置において、表示手段に表示される画像の違いについて説明するための模式図である。
【図１０】図２の移動体周囲監視装置において、表示手段の表示形態の一例について説明するための模式図である。
【図１１】図２の移動体周囲監視装置において、表示手段の表示形態の他の一例について説明するための模式図である。
【図１２】図２の移動体周囲監視装置における光学系の他の構成例を示す斜視図である。
【図１３】（ａ）は、本発明の移動体周囲監視装置を搭載した自動車の実施形態２の上面図、（ｂ）はその側面図である。
【図１４】図１３の移動体周囲監視装置において、表示手段の表示形態の一例について説明するための模式図である。
【符号の説明】
【００９７】
１  車両
２  フロントバンパー
３  リアバンパー
９  車両位置検出手段
１０  移動体周囲監視装置
１１  全方位視覚センサ
１１ａ  光学系
１１１ａ，１１１ｂ  双曲面ミラー
１１ｂ  撮像手段
１１１  円形入力画像
１１２  円形入力画像をドーナツ状に切り出し切り開く途中の状態
１１３  引伸ばし後のパノラマ画像
１１４，１１５ａ，１１５ｂ  一部円筒面（半円筒面部分）
１１６  一部球面（半球面部分）
１２  画像処理手段
１２ａ  画像変換手段
１２ｂ  出力バッファメモリ（画像比較距離検出手段）
１２ｃ  バスライン
１２１ａ  Ａ／Ｄ変換器
１２２ａ  入力バッファメモリ
１２３ａ  ＣＰＵ
１２４ａ  ＬＵＴ
１２５ａ  画像変換ロジック
１３  表示手段
１３ａ  画像処理手段からの出力
１３ｂ  車両位置検出手段からの出力
１３１，１３２  表示画面
１３１Ａ，１３２Ａ，１３３Ａ，１３４Ａ  説明表示部
１３１ａ，１３２ａ〜１３２ｃ  透視画像表示部
１３３ａ，１３４ａ  擬似鳥瞰図表示部
１３５  方向キー
１３６  拡大キー
１３７  縮小キー
１４  表示制御手段
１４ａ  制御信号
１５  警報発生手段
２０  視点から離れたところにある物体
Ｊ１、Ｊ  双曲面ミラーの回転軸
Ｋ  一部円筒面の軸
１１５ａ，１１５ｂ  一部円筒面
Ｌ  Ｚ軸に平行な軸
Ｎ  一部円筒面の軸の交点
【図１】
2005167638.tif 000003
【図２】
2005167638.tif 000004
【図３】
2005167638.tif 000005
【図４】
2005167638.tif 000006
【図５】
2005167638.tif 000007
【図６】
2005167638.tif 000008
【図７】
2005167638.tif 000009
【図８】
2005167638.tif 000010
【図９】
2005167638.tif 000011
【図１０】
2005167638.tif 000012
【図１１】
2005167638.tif 000013
【図１２】
2005167638.tif 000014
【図１３】
2005167638.tif 000015
【図１４】
2005167638.tif 000016