(57)【要約】【課題】自車体の側方近傍を視認性良く表示する。【解決手段】画像処理用ＥＣＵ５０は、カメラ１によって撮像された車体近傍の画像信号Ｊ１を入力する。画像処理用ＥＣＵ５０において画像処理用ＡＳＩＣ５２は、所定の角度を示す角度情報Ｐを不揮発性メモリ５４から入力する。そして画像処理用ＡＳＩＣ５２は角度情報Ｐを用いて、画像信号Ｊ１から表示用画像信号Ｊ２を生成する。モニタ３は表示用画像信号Ｊ２を画像処理用ＥＣＵ５０から得て、これに基づいて車体近傍の画像を表示する。画像信号Ｊ１と比較して表示用画像信号Ｊ２では、モニタから認識される車体の延在方向と実際に車体が延在する方向とが、運転者から見て平行となる。【選択図】図３
2006157218.tif 000002
【特許請求の範囲】
【請求項１】
車体が延在する方向を基準とした所定の基準方向に対する所定の角度を示す角度情報を記憶する記憶装置と、
前記角度情報と、前記車体の側方近傍を撮像した結果を示す画像信号とを入力し、前記画像信号に対して前記所定の角度での回転変換処理を行って表示用画像信号を生成する回転修正機能を有し、前記表示用画像信号を出力する画像処理装置と
を備える画像処理用電子制御装置。
【請求項２】
前記画像処理装置は、
前記画像信号に対して画像の歪曲を補正する歪曲補正機能をも有し、
前記歪曲補正機能と前記回転修正機能とを併せて、前記表示用画像信号を生成する、請求項１記載の画像処理用電子制御装置。
【請求項３】
前記画像処理装置は、
前記画像信号に対して前記車体の側方から所定距離の位置を示す指標を付加する指標付加機能を更に有し、
前記指標付加機能、前記歪曲補正機能、及び前記回転修正機能を併せて、前記表示用画像信号を生成する、請求項２記載の画像処理用電子制御装置。
【請求項４】
請求項１乃至請求項３のいずれか一つに記載の画像処理用電子制御装置と、
前記車体の側方近傍を撮像して前記画像信号を得る撮像装置と
を備える、車体撮像システム。
【請求項５】
請求項２及び請求項３のいずれか一つに記載の画像処理用電子制御装置と、
前記車体の側方近傍を撮像して前記画像信号を得る撮像装置と
を備え、
前記撮像装置は広視野角のレンズ系を有し、
前記歪曲補正機能は樽型歪曲を補正する、車体撮像システム。
【請求項６】
請求項４及び請求項５のいずれか一つに記載の車体撮像システムと、
前記表示用画像信号に基づいて前記車体の側方近傍の画像を表示し、前記基準方向を規定する表示装置と
を備える、車体撮像表示システム。
【請求項７】
（ａ）撮像装置を用いて車体の側方近傍を撮像し、前記車体の側方近傍を撮像した結果を示す画像信号を得るステップと、
（ｂ）前記画像信号に基づいて、前記車体が延在する方向を基準とした前記撮像装置の取り付け角度を示す角度情報を抽出するステップと、
（ｃ）前記角度情報と、前記画像信号とに基づいて、前記画像信号に対して前記角度での回転変換処理を行って表示用画像信号を生成するステップと
を有する車体撮像方法。
【請求項８】
前記ステップ（ｃ）において、前記画像信号に対して画像の歪曲も補正される、請求項７記載の車体撮像方法。
【請求項９】
前記ステップ（ｃ）において、前記画像信号に対して前記車体の側方から所定距離の位置を示す指標が付加される、請求項８記載の車体撮像方法。
【請求項１０】
請求項７乃至請求項９のいずれか一つに記載のステップ（ａ）〜（ｃ）と、
（ｄ）前記表示用画像用信号に基づいて前記車体の側方近傍の画像を表示するステップ
とを備える、車体撮像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は車体の側方近傍を撮像した結果を修正する技術に関する。
【背景技術】
【０００２】
従来から車体近傍を撮像し、その結果を表示して当該車体の運転の便宜に供する技術がある。例えば車体後部近傍を撮像するバックモニタが提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このような技術は車体後方のみならず、車体側方近傍を撮像する場合に適用することも可能である。例えばドアミラーやドアハンドルにカメラを設けることで、当該カメラの視野において、当該カメラが搭載された車体（以下「自車体」と称す）の側面及び路面を捕らえることができる。
【０００４】
運転者は運転時には車体の直進方向に向かって座ることが通常であり、車体はその直進方向に延在しているため、車体が延在する方向は運転者にとって前後方向として把握される。しかも運転者は前方を見て運転するので、車体側方近傍を表示するモニタ画面は、運転者にとっての側方ではなく、運転者の前方に配置することが望ましい。そうすると運転者がモニタ画面を視認するさい、そこに表示される車体の延在方向は、運転者から見て前後方向と平行に捉えられることが望ましい。
【０００５】
換言すれば撮像画像に基づいて表示された車体の延在方向（以下「表示延在方向」と称す）と、実際に車体が延在する方向（以下「車体延在方向」と称す）とが、運転者から見て任意に傾斜していると、運転者の快適な運転を妨げる可能性がある。
【０００６】
そこで本発明は、自車体の側方近傍を撮像した画像を運転者に見やすく提供する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明にかかる画像処理用電子制御装置の第１の態様は、記憶装置と、画像処理装置とを備える。記憶装置は角度情報を記憶する。角度情報は、車体が延在する方向を基準とする所定の基準方向に対する所定の角度を示す。画像処理装置は、前記角度情報と、画像信号とを入力し、表示用画像信号を出力する。前記画像信号は、前記車体の側方近傍を撮像した結果を示す。画像処理装置は回転修正機能を有する。前記回転修正機能は、前記画像信号に対して前記所定の角度での回転変換処理を行って前記表示用画像信号を生成する。
【０００８】
この発明にかかる画像処理用電子制御装置の第２の態様は、画像処理用電子制御装置の第１の態様であって、前記画像処理装置は歪曲補正機能をも有し、前記歪曲補正機能と前記回転修正機能とを併せて、前記表示用画像信号を生成する。前記歪曲補正機能は、前記画像信号に対して画像の歪曲を補正する。
【０００９】
この発明にかかる画像処理用電子制御装置の第３の態様は、画像処理用電子制御装置の第２の態様であって、前記画像処理装置は、指標付加機能を更に有し、前記指標付加機能、前記歪曲補正機能、及び前記回転修正機能を併せて、前記表示用画像信号を生成する。前記指標付加機能は、前記画像信号に対して前記車体の側方から所定距離の位置を示す指標を付加する。
【００１０】
この発明にかかる画像処理用電子制御装置の第１乃至第３の態様と、撮像装置とを用いて車体撮像システムを構築することができる。前記撮像装置は、前記車体の側方近傍を撮像して前記画像信号を得る。
【００１１】
撮像装置が広視野角のレンズ系を有する場合には、前記歪曲補正機能は樽型歪曲を補正する。
【００１２】
上記の車体撮像システムと、表示装置とを用いて車体撮像表示システムを構築することができる。前記表示装置は前記表示用画像信号に基づいて前記車体近傍の画像を表示する。基準方向は車体が延在する方向によって規定される。
【００１３】
この発明にかかる車体撮像方法の第１の態様は、ステップ（ａ）〜（ｃ）を備える。ステップ（ａ）においては、撮像装置を用いて車体の側方近傍を撮像し、前記車体の側方近傍を撮像した結果を示す画像信号を得る。ステップ（ｂ）においては、（ｂ）前記画像信号に基づいて、前記車体が延在する方向を基準とした前記撮像装置の取り付け角度を示す角度情報を抽出する。ステップ（ｃ）においては、前記角度情報と、前記画像信号とに基づいて、前記画像信号に対して前記角度での回転変換処理を行って表示用画像信号を生成する。
【００１４】
この発明にかかる車体撮像方法の第２の態様は、車体撮像方法の第１の態様であって、前記ステップ（ｃ）において、前記画像信号に対して画像の歪曲も補正される。
【００１５】
この発明にかかる車体撮像方法の第３の態様は、車体撮像方法の第２の態様であって、前記ステップ（ｃ）において、前記画像信号に対して前記車体の側方から所定距離の位置を示す指標が付加される。
【００１６】
車体撮像方法の第１の態様乃至第３の態様のいずれかのステップ（ａ）〜（ｃ）と、ステップ（ｄ）とを更に備えて車体撮像表示方法を得ることができる。ステップ（ｄ）では、前記表示用画像用信号に基づいて前記車体の側方近傍の画像を表示する。
【発明の効果】
【００１７】
この発明にかかる画像処理用電子制御装置の第１の態様及び第２の態様によれば、表示装置において表示される車体が延在する方向と、風景や路面を視認することで認識される車体の延在方向とを運転者から見て平行に近づけることができ、両者の方向に対して少ない違和感で運転を行うことができる。
【００１８】
この発明にかかる画像処理用電子制御装置の第３の態様によれば、車体側方と障害物との接触を避ける運転が容易となる。
【００１９】
この発明にかかる車体撮像方法の第１の態様及び第２の態様によれば、撮像装置の取り付け誤差が生じても正確な位置情報を改めて得ることができる。
【００２０】
この発明にかかる車体撮像方法の第３の態様によれば、車体側方と障害物との接触を避ける運転が容易となる。
【発明を実施するための最良の形態】
【００２１】
図１及び図２は、本発明の実施の形態にかかる撮像技術を適用可能な車体撮像表示システムを例示する、それぞれ平面図及び側面図である。
【００２２】
自車体１００は、その直進方向Ｌ０と平行に延在する。そして撮像装置たるカメラ１と、表示装置たるモニタ３と、制御装置５とが備えられている。カメラ１は例えばそのドアハンドルに搭載され、モニタ３は車室内、例えば運転席近傍の前方に配置される。制御装置５は例えばダッシュボード内に配置される。
【００２３】
カメラ１は自車体１００の側方近傍の視野７を撮像する。例えばカメラ１のレンズ系に広角レンズや魚眼レンズを採用することができる。カメラ１はドアミラーに装着してもよい。
【００２４】
図３は制御装置５として採用可能な画像処理用電子制御装置（ＥＣＵ）５０の構成を例示するブロック図である。画像処理用ＥＣＵ５０は映像インタフェース５１、画像処理用集積回路（ＡＳＩＣ）５２、中央演算ユニット（ＣＰＵ）５３、不揮発性メモリ５４、モニタインタフェース５５、フレームメモリ５６を備えている。ＣＰＵ５３は映像インタフェース５１、ＡＳＩＣ５２、不揮発性メモリ５４、モニタインタフェース５５、フレームメモリ５６の動作を統括的に制御する。
【００２５】
カメラ１は視野７において自車体１００の側方近傍を撮像して画像信号Ｊ１を得る。画像信号Ｊ１は画像処理用ＥＣＵ５０に与えられる。画像信号Ｊ１は画像処理用ＥＣＵ５０において映像インタフェース５１を介して画像処理用ＡＳＩＣ５２に入力する。
【００２６】
不揮発性メモリ５４には、所定の方向を基準とした所定の角度を示す角度情報Ｐ、画像信号Ｊ１に対応する画像の歪曲を補正する歪曲補正情報Ｑ、所定の距離を示す距離情報Ｒが記憶されている。角度情報Ｐ、歪曲補正情報Ｑ及び距離情報Ｒも画像処理用ＡＳＩＣ５２に入力する。画像処理用ＡＳＩＣ５２は後述する処理によって表示用画像信号Ｊ２を生成し、これを出力する。表示用画像信号Ｊ２は画像処理用ＥＣＵ５０においてモニタインタフェース５５を介し、更に画像処理用ＥＣＵ５０からモニタ３へと出力される。
【００２７】
角度情報Ｐは、画像信号Ｊ１に対して回転変換処理を施すことなくモニタ３に表示される画像における表示延在方向Ｋが、運転者からみてモニタ３へ車体延在方向Ｌ０を射影した基準方向Ｌに対して傾斜する角度θを示す。
【００２８】
図４は、画像信号Ｊ１に対して回転変換処理を施さない場合にモニタ３に表示される画像を示す概念図である。ここで基準方向Ｌは、上述の通り、自車体１００が延在する方向（即ち直進時の方向Ｌ０）をモニタ３へ射影した方向を採った場合を例示している。モニタ３で表示される画像における表示延在方向Ｋは、基準方向Ｌに対して角度θで傾斜している。
【００２９】
画像処理用ＡＳＩＣ５２は、角度情報Ｐに基づいて、画像信号Ｊ１に対して回転変換処理を行う。具体的には例えば、角度情報Ｐが角度θを示している場合、画像信号Ｊ１に対して角度（−θ）の回転変換処理を行い、表示用画像信号Ｊ２が生成される。
【００３０】
図５は、図４に示された画像を得る画像信号Ｊ１に対して、回転変換処理を施して得られた表示用画像信号Ｊ２から得られる画像を、モニタ３で表示した概念図である。回転変換処理により、表示延在方向Ｋは、基準方向Ｌにほぼ平行になる。
【００３１】
但し、ここでは図４に示された画像、即ち回転変換処理を施す前にモニタ３で表示された画像について回転処理を行った場合を図示している。そのため、回転変換処理を施した画像の左端、右端は、モニタ３の左端、右端と一致しておらず、画像の左端とモニタ３の左端の間、画像の右端とモニタ３の右端との間には単色領域Ｙが表示されている。もちろん、撮像範囲がモニタ３で表示される画像よりも十分大きく、モニタ３で表示される画像に対してではなく、撮像範囲の画像自体に回転変換処理を施した場合には、その画像の左端、右端と、モニタ３の左端、右端とを一致させることもできる。また、単なる回転変換処理によっては所望の範囲、例えば自車体１００の前輪及び後輪がモニタ３に表示されない場合には、これをモニタ３に表示させるべく回転変換処理と併せて画像縮小処理を行ってもよい。
【００３２】
かかる回転変換処理（あるいは更に画像縮小処理）自体は周知の技術であるので、ここでは説明を省略する。但しこの回転変換処理において、画像処理用ＡＳＩＣ５２はフレームメモリ５６を、例えば画像データの１フレーム分のバッファとして、利用することができる。フレームメモリ５６としては、例えばＳＤＲＡＭを採用することができる。
【００３３】
このように基準方向Ｌとして、車体延在方向Ｌ０をモニタ３へと射影した方向に採ることにより、モニタ３へ表示される画像は基準方向Ｌと表示延在方向Ｋとを運転者から見て平行に近づけることができ、両者の方向に対して少ない違和感で運転を行うことができる。
【００３４】
また、障害物回避の観点からは、自車体の側方近傍で自車体の前後に亘る広い範囲で撮像することが望ましい。よってカメラのレンズ系に広角レンズや魚眼レンズを採用することが望ましい。しかしこの場合、画像には樽型歪みが生じる（図４，図５参照）。そこでその歪曲を補正して表示することにより、表示延在方向を基準方向に対してより平行にすることが望ましい。
【００３５】
具体的には、回転変換処理と併せて、画像処理用ＡＳＩＣ５２は歪曲補正情報Ｑに基づいて、画像信号Ｊ１に対して歪曲補正処理を行う。このような歪曲補正処理も周知の技術を利用できるので、詳細な説明は省略する。
【００３６】
図６は、図４に示された画像を得る画像信号Ｊ１に対して、回転変換処理と歪曲補正処理を併せて施して得られた表示用画像信号Ｊ２から得られる画像を、モニタ３で表示した概念図である。図５に示された場合と比較して、表示延在方向Ｋをより把握し易く、自車体１００が実際に延在する方向と表示から視認された延在方向とに対して、一層少ない違和感で運転を行うことができる。
【００３７】
ここでも、図４に示された画像、即ち回転変換処理と歪曲補正処理とを施す前にモニタ３で表示された画像について、回転処理と歪曲補正処理とを行った場合を図示している。そのため、回転変換処理と歪曲補正処理とを施した画像の左端、右端は、モニタ３の左端、右端と一致していない。もちろん、撮像範囲がモニタ３で表示される画像よりも十分大きく、モニタ３で表示される画像に対してではなく、撮像範囲の画像自体に回転変換処理と歪曲補正処理とを施した場合には、その画像の左端、右端と、モニタ３の左端、右端とを一致させることもできる。
【００３８】
このように樽型歪みが補正されることにより、自車体１００の側方近傍での距離感覚も運転者に把握し易くなる。例えば縁石３１、白線３２，３３、側溝３４の形状も実際のものと近くなる。
【００３９】
そこでモニタ３において自車体１００の側面からの所定距離を示す指標を付加してもよい。かかる指標は例えばドアミラーの大きさよりも若干大きく採っておけば、側方に障害物が存在する状態で車両が進行する際、運転者がモニタ３を見ながら運転することにより、車体側方（ドアミラーを含む）と障害物との接触を避けることが容易となる。具体的には、回転変換処理及び歪曲補正処理と併せて、画像処理用ＡＳＩＣ５２が距離情報Ｒに基づいて、画像信号Ｊ１に対して指標付加処理を行う。このような指標付加処理も周知の技術を利用できるので、詳細な説明は省略する。
【００４０】
図７は、図４に示された画像を得る画像信号Ｊ１に対して、回転変換処理と歪曲補正処理と指標付加処理を併せて施して得られた表示用画像信号Ｊ２から得られる画像を、モニタ３で表示した概念図である。指標Ｍは、図示されるように、自車体１００の側面からの所定距離のみならず、前後の位置、例えば前輪、後輪の位置を示してもよい。
【００４１】
画像処理用ＥＣＵ５０は、画像信号Ｊ１から角度情報Ｐを抽出する抽出機能をも有することが望ましい。この場合、角度情報Ｐは画像信号Ｊ１から、自車体１００の車体延在方向を基準としたカメラ１の取り付け角度として求められることになる。そして画像処理用ＥＣＵ５０で抽出された角度情報Ｐは不揮発性メモリ５４へと格納されることになる。かかる抽出機能自体は周知の技術であるので、ここでの説明は省略する。
【００４２】
このような角度情報Ｐの抽出を行ってから自車体１００の出荷を行うことが望ましいが、ユーザーが行ってもよい。カメラ１の取り付け誤差が生じる場合が考えられるからであり、その場合にも正確な角度情報Ｐを改めて得ることができるという利点がある。
【００４３】
なお、回転変換処理は、運転者の嗜好、姿勢に応じた角度で行ってもよい。例えば運転者が、自身から見て、基準方向Ｌと表示延在方向Ｋとがほぼ直交する方が運転し易いのであれば、画像信号Ｊ１に対して角度（９０°−θ）の回転変換処理を行うことが望ましい。例えばカメラ１が左方に取り付けられ、運転者にとって左方寄りにモニタ３が配置される場合等に好適である。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施の形態にかかる撮像技術を適用可能な車体撮像表示システムを例示する平面図である。
【図２】本発明の実施の形態にかかる撮像技術を適用可能な車体撮像表示システムを例示する側面図である。
【図３】制御装置として採用可能な画像処理用電子制御装置の構成を例示するブロック図である。
【図４】モニタでの表示を模式的に示す図である。
【図５】モニタでの表示を模式的に示す図である。
【図６】モニタでの表示を模式的に示す図である。
【図７】モニタでの表示を模式的に示す図である。
【符号の説明】
【００４５】
１  カメラ
３  モニタ
５  制御装置
７  視野
５０  画像処理用ＥＣＵ
５２  画像処理用ＡＳＩＣ
５４  不揮発性メモリ
１００  自車体
【図１】
2006157218.tif 000003
【図２】
2006157218.tif 000004
【図３】
2006157218.tif 000005
【図４】
2006157218.tif 000006
【図５】
2006157218.tif 000007
【図６】
2006157218.tif 000008
【図７】
2006157218.tif 000009