(57)【要約】【課題】  車両側下方などの運転者にとって死角となる部分を違和感の少ない画像により容易に確認して、安全性を高める。【解決手段】  最大周囲３６０度の視野領域から入射される光を所定方向に反射させる光学系４ａと、この光学系４ａで反射された反射光を撮像して画像データを取得するビデオ撮像手段４ｂとを含む全方位視覚センサ４を、その光軸４ｄを水平方向にして、車両１の例えばサイドミラー２，３の下部位置に設置する。自車両１の側下方を前方から後方まで、運転者にとって違和感が少ない俯瞰画像が得られると共に、サイドミラー２，３を視点として運転者にとって違和感の少ない前方・後方視野画像が得られる。【選択図】  図３
2005191962.tif 000002
【特許請求の範囲】
【請求項１】
最大周囲３６０度の視野領域から入射される光を所定方向に反射させる光学系および、該光学系で反射された反射光を撮像して画像データを取得する撮像手段を含む全方位視覚センサと、該撮像手段で取得された画像データを画像処理する画像処理手段と、該画像処理手段で画像処理された画像データを表示画面上に移動体周囲画像として表示する表示手段とを備え、
該全方位視覚センサは、その光軸を水平方向にして、該移動体の前後左右のうち少なくとも左右の一方側に設置されている移動体周囲監視装置。
【請求項２】
前記全方位視覚センサは、前記移動体のサイドミラー下部または上角部に設置されている請求項１に記載の移動体周囲監視装置。
【請求項３】
前記光学系は、双曲線をＺ軸を中心に回転して得られる２葉双曲面の一方の曲面における凸状面に鏡面を形成した双曲面ミラーを有し、前記撮像手段は、その光軸が該双曲線の回転軸と一致し、該双曲面ミラーの二つの焦点のうち他方の焦点の位置にレンズの主点が配置されている請求項１または２に記載の移動体周囲監視装置。
【請求項４】
前記光学系は、焦点を持つ凸面ミラーの複数ミラー方式である請求項１または２に記載の移動体周囲監視装置。
【請求項５】
前記光学系は、曲線をＺ軸を中心に回転して得られる２葉曲面の一方の曲面における凸状面に、光透過可能な凸部先端部を除いて鏡面を形成した主曲面ミラーと、他方の曲面における凸状面に鏡面を形成した副曲面ミラーとを有し、前記撮像手段は、その光軸が該曲線の回転軸と一致し、該副曲面ミラーの二つの焦点のうち他方の焦点の位置にレンズの主点が配置されている請求項４に記載の移動体周囲監視装置。
【請求項６】
前記光学系は、双曲線をＺ軸を中心に回転して得られる２葉双曲面の一方の曲面における凸状面に、光透過可能な凸部先端部を除いて鏡面を形成した主双曲面ミラーと、他方の曲面における凸状面に鏡面を形成した副双曲面ミラーとを有し、前記撮像手段は、その光軸が該双曲線の回転軸と一致し、該副双曲面ミラーの二つの焦点のうち他方の焦点の位置にレンズの主点が配置されている請求項５に記載の移動体周囲監視装置。
【請求項７】
前記画像処理手段は、前記撮像手段で取得された画像データをパノラマ画像データおよび透視画像データの少なくともいずれかに画像変換する請求項１に記載の移動体周囲監視装置。
【請求項８】
前記全方位視覚センサは、上下視野角の一方が他方よりも大きく設定されている請求項１または２に記載の移動体周囲監視装置。
【請求項９】
前記全方位視覚センサは、上下視野角の一方が５度以上９０度以下であり、他方が５０度以上９０度以下である請求項８に記載の移動体周囲監視装置。
【請求項１０】
前記全方位視覚センサは、移動体側の視野角が外側の視野角に比べて小さく設定されている請求項１，２，８および９のいずれかに記載の移動体周囲監視装置。
【請求項１１】
前記全方位視覚センサは、前記光学系として前記移動体側に配置された双曲面ミラーと、該双曲面ミラーの外側に配置された撮像手段とを有する請求項１０に記載の移動体周囲監視装置。
【請求項１２】
前記全方位視覚センサは、前記サイドミラーの開閉動作に応じて回動し、該サイドミラーが開いた状態で該全方位視覚センサの光軸が移動体の前後軸に対して垂直となるように設置されている請求項２に記載の移動体周囲監視装置。
【請求項１３】
前記全方位視覚センサは、その光軸が常に移動体の前後軸に対して垂直となるように設置されている請求項２に記載の移動体周囲監視装置。
【請求項１４】
前記撮像手段は、撮像素子の有効画素領域中心が前記光学系の光軸からずれて配置されており、前記全方位視覚センサの光軸が水平方向に設置されたときに、該撮像素子の有効画素領域中心が光軸よりも上方に位置する請求項１および７〜１１のいずれかに記載の移動体周囲監視装置。
【請求項１５】
前記表示手段を表示制御する表示制御手段をさらに有し、
該表示制御手段は、該表示手段に表示される移動体周囲画像の種類および画像サイズを選択制御可能とする請求項１または７に記載の移動体周囲監視装置。
【請求項１６】
前記表示手段を表示制御する表示制御手段と、移動体の位置を検出する移動体位置検出手段とをさらに有し、
該表示手段は、該移動体位置検出手段で検出された該移動体の位置を位置画像として地図画面上に表示可能であり、該表示制御手段は、該移動体の周囲画像と該位置画像とを切り替え制御可能とする請求項１または７に記載の移動体周囲監視装置。
【請求項１７】
請求項１〜１６のいずれかに記載の移動体周囲監視装置が搭載された移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人や貨物を輸送する車両などの移動体の周囲を監視するための移動体周囲監視装置およびこれを搭載した移動体に関する。
【背景技術】
【０００２】
近年における交通事故の増大は、大きな社会問題となっている。特に、三叉路および四つ角などの交差点において、人の飛び出しによる事故や車両同士の出会い頭の衝突事故、車両同士の追突事故などが多発している。このような交差点での交通事故の原因は、車両の運転者および歩行者共に、安全を確認するために必要な視界に比べて実際に得られる視界が狭く、その結果十分な注意が払えず、危険の認識が遅れることに起因すると考えられる。このため、車両自体の改良、運転者の注意および道路環境の整備などがさらに強く望まれている。
【０００３】
従来から、道路環境を整備するために、三叉路や四つ角などの交差点で視界が遮られているところにはミラーが設置されている。しかしながら、ミラーを設置するだけでは視界が狭く、また、設置されるミラーの数も未だ十分ではないため、安全に対して万全であるとは言えない。
【０００４】
また、車両の安全、特に後方確認を目的として、監視カメラを車両後部に設置し、ケーブルを通じて運転席横または前方パネル部に設置されたモニタに監視カメラからの画像を表示させるシステムが、バスなどの大型車両や一部の乗用車において普及している。しかし、この場合でも、車両側方の安全確認は車両運転者の視覚によるところが大きく、交差点のような視界が遮られているところでは危険の認識が遅れることが多い。
【０００５】
さらに、この種の監視カメラは、一般に視覚が狭く、一つのカメラでは、一方向に対する障害物の有無や他の物体と衝突する危険性については確認することができるが、広範囲に障害物の有無や他の物体と衝突する危険性について確認するためには、カメラの角度を変化させる等など操作が必要となる。
【０００６】
そこで、例えば特許文献１には、周囲３６０度の視野領域の映像が得られ、その映像に対して正確な中心射影変換が可能な光学系と、その光学系を通して得られる光学像を画像データに変換する撮像手段とを含む全方位視覚センサを用いて、視野方向が９０度下向き(鉛直軸方向下向き)である画像（俯瞰画像または鳥瞰図）を表示させる方法が提案されている。この従来技術では、全方位視覚センサが車両のバンパー上やサイドミラー上に設置されている。また、例えば特許文献２には、この全方位視覚センサを車両のサイドミラーに組み込んだ車両周囲監視装置が提案されている。
【特許文献１】特開２００２−２１８４５１号公報
【特許文献２】特開２００３−１２５３９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
車両を利用する際には、安全を確認して対応しなければならない状況がしばしばある。例えば、車両運転時の前方確認は当然のことながら、車両出発時における周囲の確認、車両の左折または右折時、駐車場や車庫からの入出庫時における車両の左右後方の確認などが必要となる。車両の運転者がこれらの確認を行うことは非常に重要であるが、車両の構造上、運転席から死角部分の安全性を確認することは困難であり、運転者にとっては多大な負担となる。
【０００８】
また、従来の監視カメラを用いて車両の周囲３６０度を確認するためには、車両の運転者は、そのときの状況に応じて、モニタに表示される画像を出力させるカメラの角度を変化させて車両の安全を確認する必要がある。このような操作は、車両の運転者にとって大きな負担をかけることになる。
【０００９】
さらに、特許文献１および特許文献２に開示されている周囲監視装置では、１台の全方位視覚センサで周囲３６０度の画像が得られるが、全方位視覚センサの光軸が地面に対して鉛直軸方向に配置されているため、全方位視覚センサ直下の車両際の領域は全方位視覚センサ自体によって死角になる。このため、全方位視覚センサ直下の車両際の領域では、全方位視覚センサがサイドミラー上に設置されたり、サイドミラーに組み込まれた場合でも、全方位視覚センサ自体によって死角になって見えない部分が発生し、十分に安全確認を行うことができない。
【００１０】
これらの方法で得られる画像は、周囲の物体を投影面(例えば路面)に射影(投影)させた俯瞰画像または鳥瞰図であるため、視野方向中心から離れた場所の画像は大きく歪んだ画像となり、車両の運転者が画像を観察した場合に大きな違和感を受けることになる。
【００１１】
本発明は、上記従来の問題を解決するもので、車両際の領域についても運転者（ユーザ）が容易に確認できて安全性を高めることができ、ユーザにとって違和感のより少ない画像を得ることができる移動体周囲監視装置およびそれを搭載した移動体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の移動体周囲監視装置は、最大周囲３６０度の視野領域から入射される光を所定方向に反射させる光学系および、該光学系で反射された反射光を撮像して画像データを取得する撮像手段を含む全方位視覚センサと、該撮像手段で取得された画像データを画像処理する画像処理手段と、該画像処理手段で画像処理された画像データを表示画面上に移動体の周囲画像として表示する表示手段とを備え、該全方位視覚センサは、その光軸を水平方向にして、該移動体の前後左右のうち少なくとも左右の一方側に設置されており、そのことにより上記目的が達成される。
【００１３】
また、好ましくは、本発明の移動体周囲監視装置における全方位視覚センサは、前記移動体のサイドミラー下部または上角部に設置されている。
【００１４】
さらに、好ましくは、本発明の移動体周囲監視装置における光学系は、双曲線をＺ軸を中心に回転して得られる２葉双曲面の一方の曲面における凸状面に鏡面を形成した双曲面ミラーを有し、前記撮像手段は、その光軸が該双曲線の回転軸と一致し、該双曲面ミラーの二つの焦点のうち他方の焦点の位置にレンズの主点が配置されている。
【００１５】
さらに、好ましくは、本発明の移動体周囲監視装置における光学系は、焦点を持つ凸面ミラーの複数ミラー方式である。この光学系は、好ましくは、曲線をＺ軸を中心に回転して得られる２葉曲面の一方の曲面における凸状面に、光透過可能な凸部先端部を除いて鏡面を形成した主曲面ミラーと、他方の曲面における凸状面に鏡面を形成した副曲面ミラーとを有し、前記撮像手段は、その光軸が該曲線の回転軸と一致し、該副曲面ミラーの二つの焦点のうち他方の焦点の位置にレンズの主点が配置されている。
【００１６】
さらに、好ましくは、本発明の移動体周囲監視装置における光学系は、双曲線をＺ軸を中心に回転して得られる２葉双曲面の一方の曲面における凸状面に、光透過可能な凸部先端部を除いて鏡面を形成した主双曲面ミラーと、他方の曲面における凸状面に鏡面を形成した副双曲面ミラーとを有し、前記撮像手段は、その光軸が該双曲線の回転軸と一致し、該副双曲面ミラーの二つの焦点のうち他方の焦点の位置にレンズの主点が配置されている。
【００１７】
さらに、好ましくは、本発明の移動体周囲監視装置における画像処理手段は、前記撮像手段で取得された画像データをパノラマ画像データおよび透視画像データの少なくともいずれかに画像変換する。
【００１８】
さらに、好ましくは、本発明の移動体周囲監視装置における全方位視覚センサは、上下視野角の一方が他方よりも大きく設定されている。
【００１９】
さらに、好ましくは、本発明の移動体周囲監視装置における全方位視覚センサは、上下視野角の一方が５度以上９０度以下であり、他方が５０度以上９０度以下である。
【００２０】
さらに、好ましくは、本発明の移動体周囲監視装置における全方位視覚センサは、移動体側の視野角が外側の視野角に比べて小さく設定されている。この場合、全方位視覚センサは、前記光学系として前記移動体側に配置された双曲面ミラーと、該双曲面ミラーの外側に配置された撮像手段とを有する。
【００２１】
さらに、好ましくは、本発明の移動体周囲監視装置における全方位視覚センサは、前記サイドミラーの開閉動作に応じて回動し、該サイドミラーが開いた状態で該全方位視覚センサの光軸が移動体の前後軸に対して垂直となるように設置されている。
【００２２】
さらに、好ましくは、本発明の移動体周囲監視装置における全方位視覚センサは、その光軸が常に移動体の前後軸に対して垂直となるように設置されている。
【００２３】
さらに、好ましくは、本発明の移動体周囲監視装置における撮像手段は、撮像素子の有効画素領域中心が前記光学系の光軸からずれて配置されており、前記全方位視覚センサの光軸が水平方向に設置されたときに、該撮像素子の有効画素領域中心が光軸よりも上方に位置する。
【００２４】
さらに、好ましくは、本発明の移動体周囲監視装置における表示手段を表示制御する表示制御手段をさらに有し、該表示制御手段は、該表示手段に表示される移動体周囲画像の種類および画像サイズを選択制御可能とする。
【００２５】
さらに、好ましくは、本発明の移動体周囲監視装置において、表示手段を表示制御する表示制御手段と、移動体の位置を検出する移動体位置検出手段とをさらに有し、該表示手段は、該移動体位置検出手段で検出された該移動体の位置を位置画像として地図画面上に表示可能であり、該表示制御手段は、該移動体の周囲画像と該位置画像とを切り替え制御可能とする。
【００２６】
本発明の移動体は、請求項１〜１６のいずれかに記載の移動体周囲監視装置が搭載されており、そのことにより上記目的が達成される。
【００２７】
上記構成により、以下に、本発明の作用について説明する。
【００２８】
本発明の車両周囲監視装置などの移動体周囲監視装置においては、光軸が水平方向に設置された全方位視覚センサの光学系によって、最大周囲３６０度の視野領域から入射される光を所定方向に反射させ、その光学系で反射された反射光を撮像手段にて撮像することによって画像データが得られる。この光学系は、例えば双曲線をＺ軸を中心に回転して得られる２葉双曲面の一方の曲面における凸状面に鏡面を形成した双曲面ミラーを有し、撮像手段の光軸が双曲線の回転軸と一致し、双曲面ミラーの他方の焦点位置にレンズの主点が配置されている。または、光学系は、双曲線をＺ軸を中心に回転して得られる２葉双曲面の一方の曲面における凸状面に凸部先端部を除いて鏡面を形成した主双曲面ミラーと、他方の曲面における凸状面に鏡面を形成した副双曲面ミラーとを有し、撮像手段の光軸が双曲線の回転軸と一致し、副双曲面ミラーの他方の焦点位置にレンズの主点が配置されている。ここで、主鏡及び副鏡は必ずしも双曲面である必要は無く、焦点を持つ凸面ミラーであれば良い。
【００２９】
これによって、１台の全方位視覚センサにて最大周囲３６０度の視野領域の映像が得られ、その映像に対して中心射影変換された光学像が撮像手段にて撮像されて画像データに変換される。その画像データが画像処理手段によってパノラマ画像データや透視画像データに変換されて、表示手段の表示画面上に移動体周囲画像として表示される。この表示手段の表示画面上に表示される画像は、その種類（パノラマ画像データや透視画像データなど）や表示サイズなどが表示制御手段によって選択制御可能とされている。さらに、車両位置を検出するＧＰＳなどの車両位置検出手段を設けて、表示制御手段によって、表示手段の表示画面上に表示される移動体周囲画像と位置表示画像とを切り替え制御することも可能である。
【００３０】
全方位視覚センサは、運転者（ユーザ）にとって死角となる、移動体（例えば車両）の少なくとも左右の一方側のサイドミラー（ドアミラー）の例えば下部に、横向き（光軸が水平方向）に設置されている。これにより、移動体の側下方際を前方から後方まで、運転者にとって違和感が無い俯瞰画像として得られると共に、サイドミラー（ドアミラー）を視点として運転者にとって違和感の少ない前方・後方視野画像も得られる。
【００３１】
また、全方位視覚センサは、その光軸が車両の前後軸に対して垂直となるように設置されている。または、全方位視覚センサをサイドミラーの開閉動作に応じて回動させ、サイドミラーが開いた状態で光軸が移動体の前後軸に対して垂直となるように設置してもよい。これにより、移動体側下方を前方から後方までの視野領域の画像とサイドミラーによる死角を含む上空視野領域の画像とが得られる。
【００３２】
移動体際側下方を観察するためには、下方視野角が上方視野角よりも大きいことが好ましく、例えば下方視野角が５度以上９０度以下で、上方視野角が５０度以上９０度以下であることが好ましい。移動体、特に車両のサイドミラーによる死角を含む上空視野が不要である場合には、撮像素子の有効画素領域中心を光学系の光軸からずらして、全方位視覚センサの光軸が水平に設置されたときに、撮像素子の有効画素領域中心が光軸よりも上方に位置するように設定することにより、全方位視覚センサの上方視野角を小さくして下方視野角を大きくし、撮像素子の画素を有効活用することも可能である。
【００３３】
移動体側に双曲面ミラーを配置して外側に撮像手段を配置することによって、移動体側の視野角を小さくして移動体の映り込みを少なくし、外側の視野角を大きくすることも可能である。
【発明の効果】
【００３４】
以上により、本発明によれば、移動体の例えば車両のサイドミラー下部に全方位視覚センサを光軸を水平方向に設置して、運転席に設けられた表示手段の表示画面によって、移動体際の側下方などの死角となる部分を容易に確認できるため、移動体の出発時における周囲確認時、左折時や右折時、駐車場や車庫からの入出庫時、左右後方確認時などにおいて、安全確認をより確実に行うことができる。
【００３５】
従来の移動体周囲監視装置のように運転者がカメラの向きを切り替えなくても、表示制御手段によって任意の表示画像や表示方向、画像サイズなどを切り替えて表示させることができるため、後退時などに表示を切り替えて安全確認をより容易に行って接触事故などを防止することが可能になる。
【００３６】
駐車場や車庫での入出庫時や幅寄せ時などに、運転者にとって違和感の少ない画像によって、安全確認をより容易に行うことができて接触事故などを未然に防ぐことができる。
【発明を実施するための最良の形態】
【００３７】
以下に、本発明の移動体周囲監視装置およびこれを搭載した移動体の実施形態を、車両周囲監視装置およびこれを搭載した車両としての自動車（乗用車）に適用した場合について、図面を参照しながら説明する。
【００３８】
図１（ａ）は、本実施形態の車両周囲監視装置を備えた乗用車の上面図、図１（ｂ）はその側面図である。図２（ａ）は、図１のサイドミラー下部への本実施形態の全方位視覚センサの取り付け状態を表す図、図２（ｂ）は図２（ａ）の要部拡大図である。
【００３９】
図１および図２に示すように、車両（乗用車）１は、左右のドアミラー２，３（サイドミラー）の下部にそれぞれ、全方位視覚センサ４がその光軸４ｄ（図２（ｂ）参照）を水平方向に設置している。また、車両１の運転席には、例えば前方パネル内またはパネル横などに表示手段６およびこれの表示制御手段７さらには画像処理手段５が設けられている。画像処理手段５はまた、車両１の前方エンジン室内または後方貨物室内などに分離して設けられても良い。
【００４０】
各全方位視覚センサ４はそれぞれ、例えばサイドミラー２，３の開閉動作に応じて回動するように構成されており、サイドミラー２，３が開いた状態で、全方位視覚センサ４の光軸４ｄが車両１の前後軸に垂直になるように設置される。通常、車両運転時はサイドミラー２，３が開いており、その状態で、一つの全方位視覚センサ４によって、センサ設置側の自車両１側下方を前方から後方まで、略１８０度の視野領域４ｅ（図２（ａ）参照）における映像が得られる。全方位視覚センサ４は、それ自体を中心として最大周囲３６０度の視野領域における映像が得られるが、上記視野領域４ｅの残りである略１８０度の視野領域は、自車両のサイドミラーによる死角を含む上空視野となっている。
【００４１】
また、車両１を運転しないときには、例えばサイドミラー２，３が閉じると、全方位視覚センサ４もそれに連動して回動し、車両１からの全方位視覚センサ４の突出量が少なくなるようにされている。
【００４２】
ここで、全方位視覚センサ４の光軸４ｄの方向の視野角は、自車両１側（内側）を小さくし、外側の視野角が大きくなるように設定することが好ましい。これは、自車両１側の視野角を大きくしても、得られる映像に対して自車両１の割合が増え、周囲映像の割合が減るからである。
【００４３】
図３は、本実施形態１の車両周囲監視装置の概略構成を示すブロック図である。
【００４４】
図３に示すように、車両周囲監視装置１０は、中心射影変換が可能な光学系４ａとビデオ撮像手段４ｂとを含む全方位視覚センサ４と、画像変換手段５ａおよび出力バッファメモリ５ｂ、図示していないが画像比較距離検出手段を有し、ビデオ撮像手段４ｂで得られた画像データをパノラマ画像や透視画像（擬似鳥瞰図画像を含む）などに変換する画像処理手段５と、この画像処理手段５から出力される画像データ（移動体の周囲画像データ）５ｓと車両位置検出手段８から出力される画像データ（移動体の位置画像データ８ｓ）とが切り替えられて表示される表示手段６と、移動体の周囲画像について表示画像やその表示方向、画像サイズなどを選択制御すると共に移動体の周囲画像とその位置表示とを制御信号７ｓによって切り替え制御する表示制御手段７とを有している。なお、車両周囲監視装置１０は移動体位置検出手段としての車両位置検出手段８を含んでいてもよいし含んでいなくてもよい。
【００４５】
以下に、本実施形態１の車両周囲監視装置１０の各部分について順次説明する。
【００４６】
まず、図３の光学系４ａとビデオ撮像手段４ｂとを含む全方位視覚センサ４について詳細に説明する。
【００４７】
図４は、周囲３６０度の視野領域の映像が得られ、その映像に対して中心射影変換が可能な図３の光学系およびビデオ撮像手段の一例を示す斜視図である。
【００４８】
図４に示すように、光学系４ａは、双曲面ミラー４１を利用しており、撮像手段４ｂの撮像レンズ４２の第一主点が双曲面ミラー４１の他方の焦点位置（焦点２）に配置されることにより、中心射影変換が可能になっている。本光学系４ａの詳細は特開平６−２９５３３３号公報に詳しく説明されているので、ここではその特徴点についてのみ説明する。
【００４９】
双曲面ミラー４１は、双曲線を軸（Ｚ軸；回転軸４ｄ）を中心に回転して得られる曲面（２葉双曲面）の一方（Ｚ＞０の領域）の曲面における凸状面に鏡面を形成したものである。この２葉双曲面は、
（Ｘ２＋Ｙ２）／ａ２−Ｚ２／ｂ２＝−１
ｃ２＝ａ２＋ｂ２                     ・・・（１）
によって表される。なお、上記式（１）において、ａおよびｂは双曲面の形状を定義する定数であり、ｃは焦点の位置を定義する定数である。
【００５０】
この双曲面ミラー４１は二つの焦点（焦点１と焦点２）を有しており、外部から一方の焦点１に向かう光は双曲面ミラー４１の鏡面で反射され、全て他方の焦点２に向かうという特徴を有している。したがって、双曲面ミラー４１の回転軸４ｄと撮像手段４ｂの光軸とを一致させると共に、他方の焦点２の位置に撮像手段４ｂのレンズ主点（第一主点）を配置させることにより、この撮像手段４ｂで撮影される光学像は、視野方向によって視点位置が変わらずに、一方の焦点１を視点中心として周囲領域の映像を画像データに変換可能（中心射影変換が可能）であるという特徴を有している。
【００５１】
撮像手段４ｂは、例えばビデオカメラなどであって、双曲面ミラー４１を介して得られる光学像がＣＣＤやＣＭＯＳなどの固体撮像素子を利用して画像データに変換される。変換された画像データはその後段の画像処理手段５に送られる。
【００５２】
次に、図３の画像処理手段５について詳細に説明する。
【００５３】
図５は、図３の画像処理手段５の構成例を示すブロック図である。
【００５４】
図５に示すように、画像処理手段５は、Ａ／Ｄ変換器５１、入力バッファメモリ５２、ＣＰＵ５３（中央演算処理装置；制御手段）、ルックアップテーブル５４（ＬＵＴ）および画像変換ロジック５５を有する画像変換手段５ａと、出力バッファメモリ５ｂとがバスライン５ｃによって接続されて構成されている。
【００５５】
ビデオ撮像手段４ｂにて撮像された画像（画像データ）は、アナログ信号である場合にはＡ／Ｄ変換器５１によりデジタル信号に変換された後、入力バッファメモリ５２に入力される。また、ビデオ撮像手段４ｂにて撮像された画像（画像データ）がデジタル信号である場合には入力バッファメモリ５２に直接入力される。
【００５６】
その後、入力バッファメモリ５２からの出力が、画像変換ロジック５５によってパノラマ画像データや透視画像データなどの画像データに変換されたり、その他の画像処理が施されて、出力バッファメモリ５ｂに入力される。
【００５７】
画像変換ロジック５５では、画像変換や画像処理時に必要に応じてＬＵＴ５４のデータが参照される。この画像変換手段５ａにおいて、各部分の制御は、所謂、ＲＩＳＣ方式のＣＰＵ１３によって行うことができる。
【００５８】
全方位カメラ４によって撮影される画像データは円形画像であり、正確な視覚情報を得るためには見にくい画像である。このため、表示手段６の表示画面上に円形画像である全方位画像データがそのまま表示されるのではなく、この全画像データをパノラマ画像データや透視画像データなどの画像データに変換して、表示手段６の表示画面上に表示されるようにする。画像変換ロジック５５によって全方位画像データをパノラマ画像データや透視画像データに変換する変換処理の詳細については、例えば特願２０００−１５２２０７号などに説明されているため、ここではその説明を省略する。
【００５９】
次に、図３の表示手段６および表示制御手段７について説明する。
【００６０】
表示手段６は、例えばブラウン管、ＬＥＤやＥＬなどを用いたモニタであって、画像処理手段５の出力バッファメモリ５ｂから出力される画像データ５ｓを受け取って画像を表示させたり、ＧＰＳなどの車両位置検出手段８で検出された自車両の位置を地図画面上に表示させたりする。このとき、マイクロコンピュータを含む表示制御手段７によって表示手段６に表示される画像（画像処理手段５から得られるパノラマ画像や透視変換画像、車両位置検出手段８で検出された自車両１の位置表示など）を切り替えて表示させたり、また、表示方向や画像のサイズなどを制御することができる。
【００６１】
図６（ａ）は、本実施形態のように全方位視覚センサ４をサイドミラー２，３の下部に光軸４ｄを水平方向として設置した場合の視野領域Ｓ１を示し、図６（ｂ）は従来技術のように全方位視覚センサ４をサイドミラー２，３下部に光軸を鉛直軸方向として取り付けた場合の視野領域Ｓ２または通常のカメラをサイドミラー２，３下部に鉛直軸方向下向きに設置した場合の視野領域Ｓ３を示している。
【００６２】
図６（ｂ）に示すように、従来技術では、例えば、サイドミラー２，３の下部に通常のカメラを鉛直軸方向下向きに設置した場合、画角が狭く、サイドミラー２，３の周囲における僅かな領域Ｓ３しか撮像することができない。また、サイドミラー２，３下部に全方位視覚センサ４を光軸を鉛直軸方向として設置した場合にも、サイドミラー２，３を中心として、略１８０度の水平視野領域と下方の視野領域Ｓ２の映像が得られるが、全方位視覚センサ４の近傍の下方視野（車両際の領域）は全方位視覚センサ４自体によって死角となってしまう。
【００６３】
これに対して、図６（ａ）に示す本実施形態では、全方位視覚センサ４がサイドミラー２，３の下部に光軸４ｄを水平方向として設置されており、かつ、サイドミラー２，３の開閉動作に応じて全方位視覚センサ４が回動可能とされて、サイドミラー２，３が開いた状態で全方位視覚センサ４の光軸４ｄが車両の前後軸Ｊに垂直になるように設置される。このため、全方位視覚センサ４の光軸４ｄを中心として周囲３６０度、即ち、自車両１の側下方を前方から後方までの視野領域Ｓ１と、自車両１のサイドミラー２，３による死角を含む上空の視野領域の映像が得られる。
【００６４】
ここで、例えば、図７（ａ）にサイドミラー部分を取り出して示すように、サイドミラー２がその回動軸２ｄに沿って回動するときに、それに対応して全方位視覚センサ４も回動すると、サイドミラー２を閉じる必要があるような狭い場所では、前後方向の視野が狭くなってしまう。よって、特に、サイドミラー２（ドアミラー）を閉じる必要があるような狭い場所のためには、図７（ｂ）および図７（ｃ）に示すように、サイドミラー２の開閉によらず、全方位視覚センサ４の光軸４ｄが水平でかつ、車両の前後軸に垂直になるように、また、サイドミラー２が閉じた状態で全方位視覚センサ４がサイドミラー２よりも外側に突出しないように、全方位視覚センサ４が固定されていてもよい。さらに、自車両側の視野角を大きくしても、自車両の映り込みが増えるだけなので、図７（ｃ）に示すように、全方位視覚センサ４の向きを逆にして、撮像手段４ｂ側を外側に、光学系４ａを内側に向けて配して固定することが好ましい。これにより、光軸４ｄの方向の視野角は、自車両側（内側）を小さく、外側の視野角が大きくなるようにすることができる。なお、図７（ａ）〜図７（ｃ）において、左側のサイドミラー２のミラー部２ａを保持する筺体２ｂが回動軸２ｄの周りに回動自在に取り付け部２ｃに取り付けられている。
【００６５】
自車両１のサイドミラー２（ドアミラー）による死角を含む上空の視野領域が不要な場合には、例えば図８に示すように、全方位視覚センサ４の撮像手段４ｂにおいて、撮像素子４ｃの有効画素領域の中心位置を光学系（双曲面ミラー４１）の光軸４ｄからずらして、全方位視覚センサ４を水平方向に設置した状態で、撮像素子４ｃが光軸４ｄより上方に位置するように設置してもよい。これにより、全方位視覚センサ４の下方視野領域４ｅの映像が撮像素子４ｃの有効画素領域に入射され、全方位視覚センサ４の画素を有効活用して画質を改善することができる。
【００６６】
図９は、図３の表示手段６によって表示される表示画面の一例を示す図である。図９では、全方位視覚センサ４は、車両１のサイドミラー下部に光軸４ｄを水平方向にして設置されている。この場合、透視画像表示は、車両の左右一定距離以上の部分が水平視野に近い表示になるように設定されている。
【００６７】
図９に示すように、表示画面２５Ａには、直下の画像表示部を説明するための説明表示部２６、デフォルトにおいて車両左正面の透視画像を表示する透視画像表示部２７、直下の画像表示部を説明するための説明表示部２８、デフォルトにおいて車両側下方の透視画像を表示する透視画像表示部２９、上下左右の方向キー３０、画像の拡大キー３１および画像の縮小キー３２が表示されている。
【００６８】
これらの説明表示部２６，２８はそれぞれ、直下の各画像表示部２７，２９のアクティブスイッチにそれぞれなっており、利用者が説明表示部２６，２８を操作することによって、その直下の画像表示部２７，２９のそれぞれの上下左右移動、拡大・縮小が可能になると共に、説明表示部２６，２８の表示色が変化して画像表示部２７，２９がアクティブ状態になっていることが示される。画像表示部２７，２９がアクティブ状態になっているときに、方向キー３０、拡大キー３１および縮小キー３２を操作することによって、画像の上下左右移動、拡大・縮小などを行うことができる。
【００６９】
例えば、利用者が説明表示部２６を操作すると、その操作による信号が表示制御手段７に送られて、表示制御手段７によって説明表示部２６の表示色がアクティブ状態を表す色に変更されるか、または説明表示部２６が点滅されると共に、透視画像表示部２７がアクティブ状態となる。この場合に、利用者が方向キー３０、拡大キー３１および縮小キー３２を操作すると、その信号に応じて表示制御手段７から画像処理手段５の画像変換手段５ａに信号が送られ、各キー操作に対応して変換された画像データが表示手段６に送られて、透視画像表示部２７に表示される。
【００７０】
透視画像表示部２７では、サイドミラーを視点とした前方の画像が、全方位視覚センサ４の視野方向（光軸）中心から一定距離以上離れた部分を水平視野に近い表示として表示しており、歪みが少なく、車両の運転者にとって違和感が少ない画像が得られる。また、透視画像表示部２９では、自車両側方際を前方から後方まで俯瞰するような俯瞰画像が表示されており、車両の運転者にとって違和感が無い画像が得られている。
【００７１】
図１０は、図３の表示手段６によって表示される表示画面の他の例を示す図である。図１０では、全方位視覚センサ４は、車両の前方または後方のバンパーまたはボンネット上コーナ位置に設置されている。ここでの擬似鳥瞰図表示は、全方位視覚センサ４の周辺一定距離以上の部分（車両の左右いずれか、全方位視覚センサ４が取り付けられた側および前方または後方）が水平視野に近い表示になるように設定されている。
【００７２】
図１０に示すように、表示画面２５Ｂには、直下の画像表示部を説明するための説明表示部３３、デフォルトにおいて車両後方の透視画像を表示する透視画像表示部３４、直下の画像表示部を説明するための説明表示部３５、デフォルトにおいて車両前方の透視画像を表示する透視画像表示部３６、直下の画像表示部を説明するための説明表示部３７、デフォルトにおいて車両側下方の透視画像を表示する透視画像表示部３８、上下左右の方向キー３０、画像の拡大キー３１および画像の縮小キー３２が表示されている。
【００７３】
説明表示部３３，３５，３７はそれぞれ、その直下の各画像表示部３４，３６，３８のアクティブスイッチにそれぞれなっており、利用者が説明表示部３３、３５、３７を操作することによって、その直下の画像表示部３４、３６、３８のそれぞれの上下左右移動、拡大・縮小が可能になると共に、説明表示部３３、３５、３７の表示色が変化して画像表示部３４，３６，３８がアクティブ状態になる。このように、画像表示部３４，３６，３８がアクティブ状態になっているときに、方向キー３０、拡大キー３１および縮小キー３２を操作することによって、画像の上下左右移動、拡大・縮小などを行うことができる。
【００７４】
図１０に示すように、透視画像表示部３４では、サイドミラー２を視点とした後方の画像が、全方位視覚センサ４の視野方向（光軸）中心から一定距離以上離れた部分を水平視野に近い表示として表示され、透視画像表示部３６では、サイドミラー２を視点とした前方の画像が、全方位視覚センサ４の視野方向（光軸）中心から一定距離以上離れた部分を水平視野に近い表示として表示されており、これらは、歪みが少なく、車両１の運転者にとって違和感が少ない画像が得られている。また、透視画像表示部３８では、自車両側方際を前方から後方まで俯瞰するような俯瞰画像が表示されており、車両１の運転者にとってより違和感がない画像が得られている。
【００７５】
以上により、本実施形態によれば、最大周囲３６０度の視野領域から入射される光を所定方向に反射させる光学系４ａと、この光学系４ａで反射された反射光を撮像して画像データを取得するビデオ撮像手段４ｂとを含む全方位視覚センサ４を、その光軸４ｄを水平方向にして、車両１の例えばサイドミラー２，３の下部位置に設置する。自車両１の側下方を前方から後方まで、運転者にとって違和感が少ない俯瞰画像が得られると共に、サイドミラー２，３を視点として運転者にとって違和感の少ない前方・後方視野画像が得られる。これによって、車両１の側下方などの運転者にとって死角となる部分を違和感の少ない画像でより容易に確認できて、安全性をより高めることができる車両周囲監視装置１０を得ることができる。
【００７６】
なお、本実施形態では、中心射影変換が可能な光学系４ａとして、図４に示すように双曲面ミラー４１を１枚用いた例を示したが、この他にも、図１１に示すような２枚の双曲面ミラー４３，４４を用いた光学系についても、中心射影変換が可能であって、本発明の目的を達成することができる。
【００７７】
図１１に示すように、全方位視覚センサ４Ａは、主鏡に当たる双曲面ミラー（主双曲面ミラー）４３の他方の焦点位置（焦点２）と副鏡に当たる双曲面ミラー（副双曲面ミラー）４４の一方の焦点位置（焦点２）とが一致している。また、双曲線の回転軸４ｄ（双曲面ミラー４３，４４の光軸）と撮像手段４ｂの光軸とが一致しており、双曲面ミラー４４の他方の焦点位置（焦点１）と撮像手段４ｂのレンズ４２の主点とが一致するように配設されている。双曲面ミラー４３の凸部先端部分は鏡面が設けられておらず、ここを光が透過されるようになっている。
【００７８】
この全方位視覚センサ４Ａにおいて、双曲面ミラー４４の他方の焦点１に向かう光は、双曲面ミラー４３で反射されて双曲面ミラー４４の一方の焦点位置（焦点２）に向かう。焦点２に向かった光は、双曲面ミラー４４で反射され、双曲面ミラー４４の他方の焦点位置（焦点１）に向かい、双曲面ミラー４３の凸部先端部分を通過して撮像手段４ｂによって撮像される。したがって、撮像手段４ｂによって撮像される画像は、視野方向によって視点位置が変わらず、双曲面ミラー４３の焦点（焦点１）を視点とした画像となる。ここで、主鏡及び副鏡は必ずしも双曲面である必要は無く、焦点を持つ凸面ミラー例えば放物面ミラー、楕円ミラーであれば良い。
【００７９】
なお、上記実施形態では、本発明の移動体として、乗用車を例に挙げて説明を行ったが、この他にも、バスやトラックなどの大型車や貨物用車両などの自動車の他、飛行機や船舶についても本発明は適用可能である。特に、貨物用車両では、貨物室によって運転者の後方視界が遮られることが多いため、本発明の移動体周囲監視装置１０を搭載することは、非常に有用である。また、自動車だけでなく、電車などの車両にも本発明は有効である。
【００８０】
また、上記実施形態では、特に説明しなかったが、全方位視覚センサ４は、その光軸を水平にして車両１の左右のサイドミラー２，３の各下部にそれぞれ配置される場合だけではなく、全方位視覚センサ４が左右のサイドミラー２，３の各下部のいずれか一方側だけに設置されていてもよい。また、これらに加えて、全方位視覚センサ４が車両１の前後のうち少なくとも一方側に設置されていてもよい。さらに、全方位視覚センサ４はサイドミラー下部の他、サイドミラー上角部（下方の視野角を有する部分）、バンパー上角部（下方の視野角を有する部分；中央部または端部）、さらにはボンネット上角部（下方の視野角を有する部分；中央部または端部）などに設置されていてもよい。
【００８１】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【００８２】
人や貨物を輸送する車両などの周囲を監視するための車両周囲監視装置およびこれを搭載した移動体の分野において、移動体の運転席から死角となる車両側下方などの部分を、運転者にとって違和感が少ない画像により容易に確認することができる。このため、移動体の出発時における周囲確認、左折時や右折時、駐車場や車庫からの入出庫時、左右後方の確認時などにおいて、安全確認をより確実に行うことができる。また、運転者がカメラの向きを切り替えたりしなくてもよいため、安全運転を確実に行うことができる。本発明は、自動車やバス、電車などの車両の安全を確保するために非常に有効である。
【図面の簡単な説明】
【００８３】
【図１】（ａ）は本実施形態の車両周囲監視装置が搭載された車両（乗用車）の構成を示す平面図であり、（ｂ）はその側面図である。
【図２】（ａ）および（ｂ）は、図１の車両周囲監視装置が搭載された車両において、サイドミラー下部への全方位視覚センサの取り付け状態を表す図およびその拡大図である。
【図３】本実施形態の車両周囲監視装置の要部構成を説明するためのブロック図である。
【図４】図３の光学系の要部構成例を示す斜視図である。
【図５】図３の画像処理手段の要部構成例を示すブロック図である。
【図６】（ａ）および（ｂ）は、本実施形態と従来技術について、視野領域を説明するための上面図である。
【図７】（ａ）〜（ｃ）は、図２（ｂ）のサイドミラー部の開閉と全方位視覚センサの向きとの関係を説明するための図である。
【図８】本実施形態の車両周囲監視装置において、撮像素子の有効画素領域中心を光学系の光軸からずらした場合を示す斜視図である。
【図９】図３の表示手段の表示形態の一例について説明するための表示画面の模式図である。
【図１０】図３の表示手段の表示形態の他の例について説明するための表示画面の模式図である。
【図１１】図３の光学系の他の構成例を示す斜視図である。
【符号の説明】
【００８４】
１  車両
２  左側のサイドミラー（ドアミラー）
２ａ  ミラー部
２ｂ  筺体
２ｃ  ミラー取り付け部
２ｄ  ミラー回動軸
３  右側のサイドミラー（ドアミラー）
４，４Ａ  全方位視覚センサ
４１，４３，４４  双曲面ミラー
４２  レンズ
４ａ  光学系
４ｂ  撮像手段
４ｃ  撮像素子
４ｄ  光軸
４ｅ  全方位視覚センサの視野領域
５  画像処理手段
５ａ  画像変換手段
５ｂ  出力バッファメモリ
５ｃ  バスライン
５ｓ  出力画像信号
５１  Ａ／Ｄ変換器
５２  入力バッファメモリ
５３  ＣＰＵ（中央演算処理装置）
５４  ＬＵＴ（ルックアップテーブル）
５５  画像変換ロジック
６  表示手段
２５Ａ，２５Ｂ  表示画面
２６，２８，３３，３５，３７  説明表示部
２７，２９，３４，３６，３８  透視画像表示部
３０  方向キー
３１  拡大キー
３２  縮小キー
７  表示制御手段
７ｓ  制御信号
８  車両位置検出手段
８ｓ  位置データ
１０  車両周囲監視装置
【図１】
2005191962.tif 000003
【図２】
2005191962.tif 000004
【図３】
2005191962.tif 000005
【図４】
2005191962.tif 000006
【図５】
2005191962.tif 000007
【図６】
2005191962.tif 000008
【図７】
2005191962.tif 000009
【図８】
2005191962.tif 000010
【図９】
2005191962.tif 000011
【図１０】
2005191962.tif 000012
【図１１】
2005191962.tif 000013