(57)【要約】【課題】カメラの車両への取付誤差に関わらず、俯瞰画像を正しく生成し表示することが出来る車載画像処理装置の提供。【解決手段】車両に取り付けられたカメラにより撮影された車両の一部及び路面を含む画像のデータを、俯瞰画像のデータに変換処理し、その俯瞰画像を車両内のモニタに表示する為の車載画像処理装置。カメラにより撮影された画像上の車両の一部の位置を検出する手段（Ｓ４）と、その検出した位置に基づき、カメラ及び路面がなす角度を算出する算出手段（Ｓ６）と、カメラにより撮影された画像上の位置を俯瞰画像上の位置に変換する為の変換テーブルを、算出手段（Ｓ６）が算出した角度に基づき作成する手段（Ｓ８）と、その作成した変換テーブルを記憶する手段（Ｓ１０）とを備え、その記憶する変換テーブルにより変換処理したデータに基づき、俯瞰画像をモニタに表示する構成である。【選択図】　　　　図４
2004064441.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けられたカメラにより撮影された車両の一部及び路面を含む画像のデータを、俯瞰画像のデータに変換処理し、該俯瞰画像を前記車両内のモニタに表示する為の車載画像処理装置において、
前記画像上の前記車両の一部の位置を検出する検出手段と、該検出手段が検出した位置に基づき、前記カメラ及び路面がなす角度を算出する算出手段と、前記画像上の位置を前記俯瞰画像上の位置に変換する為の変換テーブルを、前記算出手段が算出した角度に基づき作成する手段と、該手段が作成した変換テーブルを記憶する記憶手段とを備え、該記憶手段が記憶する変換テーブルにより変換処理したデータに基づき、俯瞰画像を前記モニタに表示すべくなしてあることを特徴とする車載画像処理装置。
【請求項２】
前記車両の一部はバンパであり、前記検出手段は、該バンパの位置として、該バンパ及び路面間の輝度が大きく変化するエッジ点を検出すべくなしてある請求項１記載の車載画像処理装置。
【請求項３】
車両に取り付けられたカメラにより撮影された路面を含む画像のデータを、俯瞰画像のデータに変換処理し、該俯瞰画像を前記車両内のモニタに表示する為の車載画像処理装置において、
前記車両が所定位置に停車したときに、前記画像上の路面に描かれた直線の位置を検出する検出手段と、該検出手段が検出した位置に基づき、前記カメラ及び路面がなす角度を算出する算出手段と、前記画像上の位置を前記俯瞰画像上の位置に変換する為の変換テーブルを、前記算出手段が算出した角度に基づき作成する手段と、該手段が作成した変換テーブルを記憶する記憶手段とを備え、該記憶手段が記憶する変換テーブルにより変換処理したデータに基づき、俯瞰画像を前記モニタに表示すべくなしてあることを特徴とする車載画像処理装置。
【請求項４】
前記検出手段は、前記直線の位置として、該直線及び路面間の輝度が大きく変化するエッジ点を検出すべくなしてある請求項３記載の車載画像処理装置。
【請求項５】
車両に取り付けられたカメラにより撮影された路面を含む画像のデータを、該画像上の位置を俯瞰画像上の位置に変換する為の変換テーブルにより、俯瞰画像のデータに変換処理し、該俯瞰画像を前記車両内のモニタに表示する為の車載画像処理装置において、
前記車両の縦揺れ角度を取得する取得手段と、該取得手段が取得すべき縦揺れ角度にそれぞれ応じた複数の前記変換テーブルを記憶する記憶手段と、前記取得手段が取得した縦揺れ角度に応じて、前記記憶手段が記憶する変換テーブルから選択する手段とを備え、該手段が選択した変換テーブルにより変換処理したデータに基づき、俯瞰画像を前記モニタに表示すべくなしてあることを特徴とする車載画像処理装置。
【請求項６】
前記車両の舵角を取得する手段と、該手段が取得した舵角のときに、前記車両の端部又は車輪が後進すべき位置を示すべきガイド線の、前記俯瞰画像上の位置を算出する手段と、該手段が算出した前記俯瞰画像上の位置に前記ガイド線を付加する手段とを更に備える請求項１乃至５の何れかに記載の車載画像処理装置。
【請求項７】
前記記憶手段は、車両に取り付けられた全方位カメラにより撮影された画像のデータを、パノラマ画像のデータに変換する為の変換テーブルを更に記憶し、該変換テーブルにより変換処理したデータに基づき、パノラマ画像を前記モニタに表示すべくなしてある請求項１乃至６の何れかに記載の車載画像処理装置。
【請求項８】
前記記憶手段は、前記モニタに表示すべき画像のデータを拡大画像処理する為の変換テーブル、前記画像のデータを縮小画像処理する為の変換テーブル、及び前記画像のデータをグラフィックマスク処理する為の変換テーブルの１又は複数を更に記憶し、前記記憶手段が記憶する変換テーブルにより変換処理したデータに基づき、前記モニタに表示すべくなしてある請求項１乃至７の何れかに記載の車載画像処理装置。
【請求項９】
車両に取り付けられたカメラと、該カメラが撮影した路面を含む画像のデータを、俯瞰画像のデータに変換処理する請求項１乃至８の何れかに記載された車載画像処理装置と、該車載画像処理装置が変換処理したデータに基づき、俯瞰画像を表示するモニタとを備えることを特徴とする周囲モニタシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両に取り付けられたカメラにより撮影した路面を含む画像のデータを、変換テーブルにより俯瞰画像のデータに変換処理し、俯瞰画像を車両内のモニタに表示する為の車載画像処理装置及び周囲モニタシステムの改良に関するものである。
【０００２】
【従来の技術】
近時、車庫入れ時等に後方画像を運転者に提供する車両の周囲モニタが実用化されている。このような周囲モニタシステムとして、車庫入れ操作等をより容易に行う為に、バックカメラが撮影した画像を上空から見た画像（鳥瞰図、俯瞰図）に変換して表示する車載画像処理装置を含むシステムが考えられている。
【０００３】
このような車載画像処理装置を含むシステムでは、図３（ａ）に示すようなバックカメラが撮影した画像を、図３（ｂ）に示すような俯瞰画像に変換してモニタに表示する。バックカメラが撮影した画像を俯瞰画像に変換する際は、カメラが撮影した画像のモニタ上の画素位置を（ｘ，ｙ）、俯瞰画像のモニタ上の画素位置を（Ｘ，Ｙ）、バックカメラの焦点距離をＦ、バックカメラの路面からの距離をＨ、バックカメラ及び路面のなす角度をθとすると、例えば、下式により変換する。
ｙ＝（Ｙｓｉｎθ−Ｈｃｏｓθ）Ｆ／（Ｙｃｏｓθ＋Ｈｓｉｎθ）　（１）
ｘ＝ＦＸ／（Ｙｃｏｓθ＋Ｈｓｉｎθ）　　　　　　　　　　　　　（２）
【０００４】
【発明が解決しようとする課題】
上述した変換式（１）（２）において、焦点距離Ｆ及び距離Ｈは、調整し易いこともあって、実際の取り付け時に設計値と大きく異なることはない。しかし、角度θは、設計値と０．１度程度異なるだけで、大きな影響が生じ、しかも、車両の生産ライン上で、車両毎に０．１度程度の誤差範囲の取り付け角度でカメラを取り付けるのは困難であるという問題がある。
【０００５】
また、図９（ｂ）に示すように、加減速等で車両に縦揺れが生じた場合、その縦揺れ角度の変動に伴い、路面とカメラとのなす角度が変動する為、図９（ａ）に示すような静止状態（縦揺れ角度０）で作成した変換テーブルでは、俯瞰画像を正しく生成することは困難であるという問題がある。
また、車両後方の俯瞰画像がモニタに正しく表示されていても、後進しながら左右に曲がることは難しいという問題もある。
【０００６】
本発明は、上述したような事情に鑑みてなされたものであり、第１〜４発明では、カメラの車両への取付誤差に関わらず、俯瞰画像を正しく生成しモニタに表示することが出来る車載画像処理装置を提供することを目的とする。
第５発明では、加減速等で車両に縦揺れが生じた場合でも、俯瞰画像を正しく生成しモニタに表示することが出来る車載画像処理装置を提供することを目的とする。
第６発明では、車両後方の俯瞰画像がモニタに正しく表示されると共に、後進しながら左右に曲がることが容易になる車載画像処理装置を提供することを目的とする。
【０００７】
第７発明では、俯瞰画像を正しく生成しモニタに表示することが出来ると共に、車両に取り付けられた全方位カメラにより撮影された画像を、パノラマ画像に変換してモニタに表示することが可能な車載画像処理装置を提供することを目的とする。
第８発明では、俯瞰画像を正しく生成しモニタに表示することが出来ると共に、拡大／縮小処理及びグラフィックマスク処理が可能な車載画像処理装置を提供することを目的とする。
第９発明では、第１〜８発明に係る車載画像処理装置を備える周囲モニタシステムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
第１発明に係る車載画像処理装置は、車両に取り付けられたカメラにより撮影された車両の一部及び路面を含む画像のデータを、俯瞰画像のデータに変換処理し、該俯瞰画像を前記車両内のモニタに表示する為の車載画像処理装置において、前記画像上の前記車両の一部の位置を検出する検出手段と、該検出手段が検出した位置に基づき、前記カメラ及び路面がなす角度を算出する算出手段と、前記画像上の位置を前記俯瞰画像上の位置に変換する為の変換テーブルを、前記算出手段が算出した角度に基づき作成する手段と、該手段が作成した変換テーブルを記憶する記憶手段とを備え、該記憶手段が記憶する変換テーブルにより変換処理したデータに基づき、俯瞰画像を前記モニタに表示すべくなしてあることを特徴とする。
【０００９】
この車載画像処理装置では、車両に取り付けられたカメラにより撮影された車両の一部及び路面を含む画像のデータを、俯瞰画像のデータに変換処理し、俯瞰画像を車両内のモニタに表示する。検出手段が、画像上の車両の一部の位置を検出し、算出手段が、検出手段が検出した位置に基づき、カメラ及び路面がなす角度を算出する。作成する手段が、カメラにより撮影された車両の一部及び路面を含む画像上の位置を俯瞰画像上の位置に変換する為の変換テーブルを、算出手段が算出した角度に基づき作成する。記憶手段が、その作成した変換テーブルを記憶し、記憶手段が記憶する変換テーブルにより変換処理したデータに基づき、俯瞰画像をモニタに表示する。
これにより、カメラの車両への取付誤差に関わらず、俯瞰画像を正しく生成しモニタに表示することが出来る車載画像処理装置を実現することが出来る。
【００１０】
第２発明に係る車載画像処理装置は、前記車両の一部はバンパであり、前記検出手段は、該バンパの位置として、該バンパ及び路面間の輝度が大きく変化するエッジ点を検出すべくなしてあることを特徴とする。
【００１１】
この車載画像処理装置では、車両の一部はバンパであり、検出手段は、バンパの位置として、バンパ及び路面間の輝度が大きく変化するエッジ点を検出するので、カメラの車両への取付誤差に関わらず、俯瞰画像を正しく生成しモニタに表示することが出来る車載画像処理装置を実現することが出来る。
【００１２】
第３発明に係る車載画像処理装置は、車両に取り付けられたカメラにより撮影された路面を含む画像のデータを、俯瞰画像のデータに変換処理し、該俯瞰画像を前記車両内のモニタに表示する為の車載画像処理装置において、前記車両が所定位置に停車したときに、前記画像上の路面に描かれた直線の位置を検出する検出手段と、該検出手段が検出した位置に基づき、前記カメラ及び路面がなす角度を算出する算出手段と、前記画像上の位置を前記俯瞰画像上の位置に変換する為の変換テーブルを、前記算出手段が算出した角度に基づき作成する手段と、該手段が作成した変換テーブルを記憶する記憶手段とを備え、該記憶手段が記憶する変換テーブルにより変換処理したデータに基づき、俯瞰画像を前記モニタに表示すべくなしてあることを特徴とする。
【００１３】
この車載画像処理装置では、車両に取り付けられたカメラにより撮影された路面を含む画像のデータを、俯瞰画像のデータに変換処理し、俯瞰画像を車両内のモニタに表示する。車両が所定位置に停車したときに、検出手段が、カメラにより撮影された画像上の、路面に描かれた直線の位置を検出し、算出手段が、検出手段が検出した位置に基づき、カメラ及び路面がなす角度を算出する。作成する手段が、カメラにより撮影された画像上の位置を俯瞰画像上の位置に変換する為の変換テーブルを、算出手段が算出した角度に基づき作成する。記憶手段が、作成する手段が作成した変換テーブルを記憶し、記憶手段が記憶する変換テーブルにより変換処理したデータに基づき、俯瞰画像をモニタに表示する。
これにより、カメラの車両への取付誤差に関わらず、俯瞰画像を正しく生成しモニタに表示することが出来る車載画像処理装置を実現することが出来る。
【００１４】
第４発明に係る車載画像処理装置は、前記検出手段は、前記直線の位置として、該直線及び路面間の輝度が大きく変化するエッジ点を検出すべくなしてあることを特徴とする。
【００１５】
この車載画像処理装置では、検出手段は、直線の位置として、直線及び路面間の輝度が大きく変化するエッジ点を検出するので、カメラの車両への取付誤差に関わらず、俯瞰画像を正しく生成しモニタに表示することが出来る車載画像処理装置を実現することが出来る。
【００１６】
第５発明に係る車載画像処理装置は、車両に取り付けられたカメラにより撮影された路面を含む画像のデータを、該画像上の位置を俯瞰画像上の位置に変換する為の変換テーブルにより、俯瞰画像のデータに変換処理し、該俯瞰画像を前記車両内のモニタに表示する為の車載画像処理装置において、前記車両の縦揺れ角度を取得する取得手段と、該取得手段が取得すべき縦揺れ角度にそれぞれ応じた複数の前記変換テーブルを記憶する記憶手段と、前記取得手段が取得した縦揺れ角度に応じて、前記記憶手段が記憶する変換テーブルから選択する手段とを備え、該手段が選択した変換テーブルにより変換処理したデータに基づき、俯瞰画像を前記モニタに表示すべくなしてあることを特徴とする。
【００１７】
この車載画像処理装置では、車両に取り付けられたカメラにより撮影された路面を含む画像のデータを、画像上の位置を俯瞰画像上の位置に変換する為の変換テーブルにより、俯瞰画像のデータに変換処理し、俯瞰画像を車両内のモニタに表示する。取得手段が、車両の縦揺れ角度を取得し、記憶手段が、取得手段が取得すべき縦揺れ角度にそれぞれ応じた複数の変換テーブルを記憶する。選択する手段が、取得手段が取得した縦揺れ角度に応じて、記憶手段が記憶する変換テーブルから選択し、選択する手段が選択した変換テーブルにより変換処理したデータに基づき、俯瞰画像をモニタに表示する。
これにより、加減速等で車両に縦揺れが生じた場合でも、俯瞰画像を正しく生成しモニタに表示することが出来る車載画像処理装置を実現することが出来る。
【００１８】
第６発明に係る車載画像処理装置は、前記車両の舵角を取得する手段と、該手段が取得した舵角のときに、前記車両の端部又は車輪が後進すべき位置を示すべきガイド線の、前記俯瞰画像上の位置を算出する手段と、該手段が算出した前記俯瞰画像上の位置に前記ガイド線を付加する手段とを更に備えることを特徴とする。
【００１９】
この車載画像処理装置では、取得する手段が、車両の舵角を取得し、算出する手段が、その取得した舵角のときに、車両の端部又は車輪が後進すべき位置を示すべきガイド線の、俯瞰画像上の位置を算出し、付加する手段が、その算出した俯瞰画像上の位置にガイド線を付加する。
これにより、車両後方の俯瞰画像がモニタに正しく表示されると共に、後進しながら左右に曲がることが容易になる車載画像処理装置を実現することが出来る。
【００２０】
第７発明に係る車載画像処理装置は、前記記憶手段は、車両に取り付けられた全方位カメラにより撮影された画像のデータを、パノラマ画像のデータに変換する為の変換テーブルを更に記憶し、該変換テーブルにより変換処理したデータに基づき、パノラマ画像を前記モニタに表示すべくなしてあるとを特徴とする。
【００２１】
この車載画像処理装置では、記憶手段は、車両に取り付けられた全方位カメラにより撮影された画像のデータを、パノラマ画像のデータに変換する為の変換テーブルを更に記憶し、この変換テーブルにより変換処理したデータに基づき、パノラマ画像をモニタに表示する。
これにより、俯瞰画像を正しく生成しモニタに表示することが出来ると共に、車両に取り付けられた全方位カメラにより撮影された画像を、パノラマ画像に変換してモニタに表示することが可能な車載画像処理装置を実現することが出来る。
【００２２】
第８発明に係る車載画像処理装置は、前記記憶手段は、前記モニタに表示すべき画像のデータを拡大画像処理する為の変換テーブル、前記画像のデータを縮小画像処理する為の変換テーブル、及び前記画像のデータをグラフィックマスク処理する為の変換テーブルの１又は複数を更に記憶し、前記記憶手段が記憶する変換テーブルにより変換処理したデータに基づき、前記モニタに表示すべくなしてあることを特徴とする。
【００２３】
この車載画像処理装置では、記憶手段は、モニタに表示すべき画像のデータを拡大画像処理する為の変換テーブル、前記画像のデータを縮小画像処理する為の変換テーブル、及び前記画像のデータをグラフィックマスク処理する為の変換テーブルの１又は複数を更に記憶し、記憶手段が記憶する変換テーブルにより変換処理したデータに基づき、モニタに表示する。
これにより、俯瞰画像を正しく生成しモニタに表示することが出来ると共に、拡大／縮小処理及びグラフィックマスク処理が可能な車載画像処理装置を実現することが出来る。
【００２４】
第９発明に係る周囲モニタシステムは、車両に取り付けられたカメラと、該カメラが撮影した路面を含む画像のデータを、俯瞰画像のデータに変換処理する請求項１乃至８の何れかに記載された車載画像処理装置と、該車載画像処理装置が変換処理したデータに基づき、俯瞰画像を表示するモニタとを備えることを特徴とする。
【００２５】
この周囲モニタシステムでは、カメラが車両に取り付けられ、請求項１乃至８の何れかに記載された車載画像処理装置が、そのカメラが撮影した路面を含む画像のデータを、俯瞰画像のデータに変換処理する。モニタが、その車載画像処理装置が変換処理したデータに基づき、俯瞰画像を表示する。
これにより、第１〜８発明に係る車載画像処理装置を備える周囲モニタシステムを実現することが出来る。
【００２６】
【発明の実施の形態】
以下に、本発明を、その実施の形態を示す図面に基づき説明する。
図１は、本発明に係る車載画像処理装置及び周囲モニタシステムの実施の形態の構成を示すブロック図である。この車載画像処理装置及び周囲モニタシステムは、車両内に設置されており、情報系ＬＡＮ７（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｅｋ）に、車両の後方画像を撮影するバックカメラ３、車両の死角方向の画像を撮影するブラインドコーナカメラ５、車両の左後方向の画像を撮影する左後方監視カメラ６、車両の周囲を撮影する全方位カメラ６ａ、及び車載画像処理装置である画像処理ＥＣＵ２（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ　）が接続されている。
【００２７】
情報系ＬＡＮ７は、高速シリアルバスインターフェースであるＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｅｌｅｃｔｒｉｃａｌ　ａｎｄ　Ｅｌｅｃｔｒｏｎｉｃ　Ｅｎｇｉｎｅｅｒｓ）１３９４等の通信規格に従った通信線であり、バックカメラ３、ブラインドコーナカメラ５、左後方監視カメラ６及び全方位カメラ６ａの映像データは、非圧縮で又はＤＶ（Ｄｉｇｉｔａｌ　Ｖｉｄｅｏ　）圧縮のようなリアルタイム性の高い圧縮形式で圧縮され伝送される。非圧縮で伝送する場合は、ＩＩＤＣ　Ｄｉｇｉｔａｌ　Ｃａｍｅｒａ　Ｓｐｅｃｉｆｉｃａｔｉｏｎ　Ｖｅｒ．１．３０等のプロトコルに従って伝送され、ＤＶ圧縮の場合は、ＩＥＣ６１８８３等のプロトコルに従って伝送される。
【００２８】
情報系ＬＡＮ７は、また、ゲートウェイ４を介してボディ系ＬＡＮ８に接続されており、ボディ系ＬＡＮ８には、車両の縦揺れ角度を検出する縦揺れ角度センサ９と、ステアリングホイール（ハンドル）の舵角を検出する舵角センサ１０と、タッチパネル及びスイッチ等からなる操作装置８ａとが接続されている。
画像処理ＥＣＵ２には、車両の運転席に設置されたモニタ１が接続され、バックカメラ３、ブラインドコーナカメラ５、左後方監視カメラ６の各映像（画像）及び全方位カメラ６ａによるパノラマ映像（画像）が、モニタ１側から選択されてモニタ１に表示される。また、画像処理ＥＣＵ２は、操作装置８ａからのトリガ信号に基づき、カメラ映像ストリーム（バックカメラ３、全方位カメラ６ａ等）や変換テーブルを切り替える。
【００２９】
図２は、画像処理ＥＣＵ２の構成例を示すブロック図である。この画像処理ＥＣＵ２は、画像処理ＡＳＩＣ１８（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　）にマイクロコンピュータ１５、通信インタフェース１１、フレームメモリ１２、変換テーブル用メモリ１３（記憶する手段）及びモニタインタフェース１４が接続されている。通信インタフェース１１には情報系ＬＡＮ７が接続され、モニタインタフェース１４にはモニタ１が接続され、マイクロコンピュータ１５にはＲＡＭ１６及びＲＯＭ１７が接続されている。
尚、映像を伝送する際に、ＤＶ圧縮を用いる場合は、通信インタフェース又は画像処理ＡＳＩＣ内にＤＶデコーダを持たせる必要があり、また、他形式の圧縮を用いる場合も、その形式に応じたデコーダを持たせる必要がある。
【００３０】
画像処理ＡＳＩＣ１８は、カメラ３，５，６，６ａが撮影した画像のデータを、１フレーム単位でフレームメモリ１２に格納し、モニタ１に出力して表示させる。このうち、バックカメラ３が撮影した図３（ａ）に示すような画像のデータは、変換テーブル用メモリ１３内の変換テーブルを参照しながら、図３（ｂ）に示すような俯瞰画像の画像データに変換し、モニタ１に出力して表示させる。
画像処理ＡＳＩＣ１８は、バックカメラ３が撮影した画像を、俯瞰画像に変換する際は、バックカメラ３が撮影した画像のモニタ１上の画素位置を（ｘ，ｙ）、俯瞰画像のモニタ１上の画素位置を（Ｘ，Ｙ）、バックカメラ３の焦点距離をＦ、バックカメラ３の路面からの距離をＨ、バックカメラ３及び路面のなす角度（取付角度）をθとすると、例えば、下式により変換する。
【００３１】
ｙ＝（Ｙｓｉｎθ−Ｈｃｏｓθ）Ｆ／（Ｙｃｏｓθ＋Ｈｓｉｎθ）　（１）
ｘ＝ＦＸ／（Ｙｃｏｓθ＋Ｈｓｉｎθ）　　　　　　　　　　　　　（２）
バックカメラ３及び路面のなす角度θは、車両の量産ラインにおけるバックカメラ３の取り付け時に、０．１度程度以上の取付誤差が生じる場合がある。この取付誤差は、俯瞰画像に大きな影響を与える為、バックカメラ３の車両への取り付け後に、画像認識により取付角度θを算出し、算出した取付角度θに基づき、マイクロコンピュータ１５で（１）（２）式を演算することにより、変換テーブルを作成する。作成した変換テーブルは、（ｘ，ｙ）及び（Ｘ，Ｙ）を対応させてあり、変換テーブル用メモリ１３内に格納する。
【００３２】
フレームメモリ１２は、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ　）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ　Ｄｙｎａｍｉｃ　ＲＡＭ）等の高速アクセスが可能なＲＡＭである。変換テーブル用メモリ１３は、ＦＥＥＰＲＯＭ（Ｆｌａｓｈ　Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ　；フラッシュメモリ）、ＥＥＰＲＯＭ等の繰り返し書き換え可能なＲＯＭである。但し、これらのＲＯＭの中には、アクセス速度の面からリアルタイムに読み出すことが困難なものもあるので、選択された変換テーブルを一度高速なＲＡＭ（ＳＲＡＭ，ＳＤＲＡＭ）に読み込んだ後、カメラ映像の入力に合わせてリアルタイムに変換テーブルデータを読み出す、といったＲＯＭとＲＡＭとの２重構造になっていても良い。
【００３３】
変換テーブル用メモリ１３内の変換テーブルは、上述したように、マイクロコンピュータ１５で作成し、予め、画像データを俯瞰画像処理する為の変換テーブル、画像データを拡大画像処理する為の変換テーブル、画像データを縮小画像処理する為の変換テーブル等、様々なパターンのものを用意しておく。また、画像データをグラフィックマスク処理する為の変換テーブル、及び全方位カメラ６ａにより撮影された画像のデータを、パノラマ画像のデータに変換する為の変換テーブルを用意しておく。
【００３４】
これにより、俯瞰画像を正しくモニタ１に表示することが出来ると共に、拡大／縮小処理した画像、グラフィックマスク処理した画像及びパノラマ画像等をモニタ１に表示することが出来る。
【００３５】
以下に、このような構成の車載画像処理装置及び周囲モニタシステムの動作を、それを示す図４，６，８のフローチャートを参照しながら説明する。
周囲モニタシステムのバックカメラ３が車両への取り付けられた後、車載画像処理装置である画像処理ＥＣＵ２は、バックカメラ３が撮影した画像を俯瞰画像に変換する為の変換テーブルを作成する。図４は、この変換テーブルを作成する動作を示すフローチャートである。
画像処理ＥＣＵ２は、変換テーブルを作成する際、先ず、バックカメラ３が撮影した画像のデータを読み込み（Ｓ２）、その画像上の車両のバンパ（車両の一部）の位置を検出する（Ｓ４）。
【００３６】
画像処理ＥＣＵ２は、バンパの位置を検出する際（Ｓ４）、図５に示すように、画像（画面）の下方から、閾値を超える輝度差分値（エッジ点）を探索し、各エッジ点から求まる曲線に基づき、画像上のバンパ２１の位置を検出する。
次に、画像処理ＥＣＵ２は、予め作成しておいた、画像上のバンパ２１の位置とバックカメラ３の取付角度θとの対応関係を示すテーブルに基づき、取付角度θを算出する（Ｓ６）。
【００３７】
次に、画像処理ＥＣＵ２は、算出した取付角度θ（Ｓ６）を用いて、（１）（２）式を演算することにより、変換テーブルを作成し（Ｓ８）、作成した変換テーブルを変換テーブル用メモリ１３内に記憶させて（Ｓ１０）リターンする。
画像処理ＥＣＵ２は、作成した変換テーブルを変換テーブル用メモリ１３内に記憶させた以後は、バックカメラ３が撮影した画像のデータを、変換テーブル用メモリ１３内の変換テーブルを参照しながら、俯瞰画像の画像データに変換し、モニタ１に出力して表示させる。
【００３８】
図６は、周囲モニタシステムのバックカメラ３が車両への取り付けられた後、画像処理ＥＣＵ２が、バックカメラ３が撮影した画像を俯瞰画像に変換する為の変換テーブルを作成する他の動作を示すフローチャートである。
この場合、図７（ａ）に示すように、２本の基準線１９（直線）が車両２０の幅に合わせて平行に描かれた、変換テーブル作成用のスペースの所定位置に、車両２０を停車させておく。
画像処理ＥＣＵ２は、変換テーブルを作成する際、先ず、バックカメラ３が撮影した画像のデータを読み込み（Ｓ１２）、その画像上の２本の基準線１９の位置を検出する（Ｓ１４）。
【００３９】
画像処理ＥＣＵ２は、２本の基準線１９の位置を検出する際（Ｓ１４）、図７（ｂ）に示すように、画像（画面）の中央から左右に向かって、閾値を超える輝度差分値（エッジ点）を探索し、見つけたエッジ点間を補間して、画像上の２本の基準線１９の位置を検出する。
次に、画像処理ＥＣＵ２は、予め作成しておいた、左右の基準線１９の画像上の傾き角度とバックカメラ３の取付角度θとの対応関係を示すマッピングデータに基づき、取付角度θを算出する（Ｓ１６）。
【００４０】
次に、画像処理ＥＣＵ２は、算出した取付角度θ（Ｓ１６）を用いて、（１）（２）式を演算することにより、変換テーブルを作成し（Ｓ１８）、作成した変換テーブルを変換テーブル用メモリ１３内に記憶させて（Ｓ２０）リターンする。
画像処理ＥＣＵ２は、作成した変換テーブルを変換テーブル用メモリ１３内に記憶させた以後は、バックカメラ３が撮影した画像のデータを、変換テーブル用メモリ１３内の変換テーブルを参照しながら、俯瞰画像の画像データに変換し、モニタ１に出力して表示させる。
【００４１】
図８は、作成した変換テーブルを変換テーブル用メモリ１３内に記憶させた以後の、バックカメラ３が撮影した画像のデータを処理する動作を示すフローチャートである。
図９（ｂ）に示すように、加減速等で車両２０に縦揺れが生じた場合、その縦揺れ角度の変動に伴い、路面とバックカメラ３とのなす角度が変動する。そこで、マイクロコンピュータ１５により、予め図９（ａ）に示す状態における基準のバックカメラ３の取付角度θから、コンマ数度ずつ異なる縦揺れ角度に対応する複数の変換テーブルを作成して、変換テーブル用メモリ１３内に記憶させておく。そして、縦揺れ角度センサ９が検出した車両２０の縦揺れ角度に対応する変換テーブルを選択し、選択した変換テーブルを参照しながら、バックカメラ３が撮影した画像のデータを、俯瞰画像の画像データに変換し、モニタ１に出力して表示させる。
【００４２】
画像処理ＥＣＵ２は、先ず、バックカメラ３が撮影した画像のデータを読み込み（Ｓ２２）、次いで、縦揺れ角度センサ９が検出した車両２０の縦揺れ角度を取得する（Ｓ２４）。
画像処理ＥＣＵ２は、次に、取得した縦揺れ角度（Ｓ２４）に対応する変換テーブルを選択し（Ｓ２６）、選択した変換テーブルを参照しながら、バックカメラ３が撮影した画像のデータを、俯瞰画像の画像データに変換処理する（Ｓ２８）。
【００４３】
画像処理ＥＣＵ２は、次に、舵角センサ１０が検出した車両２０の舵角を取得し（Ｓ３０）、取得した舵角のときに、車両２０の端部又は車輪が後進すべき位置を示すべきガイド線の、前記俯瞰画像上の位置を算出する（Ｓ３２）。
画像処理ＥＣＵ２は、次に、変換処理した画像データ（Ｓ２８）による俯瞰画像をモニタ１に表示する（Ｓ３４）と共に、算出した位置（Ｓ３２）の画像データをグラフィックデータで更新することにより、図１０に示すように、ガイド線２２を俯瞰画像に付加し（Ｓ３６）リターンする。
尚、本実施の形態では、画像処理装置単体の構成で記載されているが、画像処理ＥＣＵの機能をディスプレイに織り込んだ形態や、ゲートウェイ装置に織り込んだ形態を取っても良い。
【００４４】
【発明の効果】
第１〜４発明に係る車載画像処理装置によれば、カメラの車両への取付誤差に関わらず、俯瞰画像を正しく生成しモニタに表示することが出来る車載画像処理装置を実現することが出来る。
【００４５】
第５発明に係る車載画像処理装置によれば、加減速等で車両に縦揺れが生じた場合でも、俯瞰画像を正しく生成しモニタに表示することが出来る車載画像処理装置を実現することが出来る。
【００４６】
第６発明に係る車載画像処理装置によれば、車両後方の俯瞰画像がモニタに正しく表示されると共に、後進しながら左右に曲がることが容易になる車載画像処理装置を実現することが出来る。
【００４７】
第７発明に係る車載画像処理装置によれば、俯瞰画像を正しく生成しモニタに表示することが出来ると共に、車両に取り付けられた全方位カメラにより撮影された画像を、パノラマ画像に変換してモニタに表示することが可能な車載画像処理装置を実現することが出来る。
【００４８】
第８発明に係る車載画像処理装置によれば、俯瞰画像を正しく生成しモニタに表示することが出来ると共に、拡大／縮小処理及びグラフィックマスク処理が可能な車載画像処理装置を実現することが出来る。
【００４９】
第９発明に係る周囲モニタシステムによれば、第１〜８発明に係る車載画像処理装置を備える周囲モニタシステムを実現することが出来る。
【図面の簡単な説明】
【図１】本発明に係る車載画像処理装置及び周囲モニタシステムの実施の形態の構成を示すブロック図である。
【図２】画像処理ＥＣＵの構成例を示すブロック図である。
【図３】画像処理ＥＣＵの動作を示す説明図である。
【図４】画像処理ＥＣＵの変換テーブルを作成する動作を示すフローチャートである。
【図５】画像処理ＥＣＵの動作を示す説明図である。
【図６】画像処理ＥＣＵの変換テーブルを作成する他の動作を示すフローチャートである。
【図７】画像処理ＥＣＵの動作を示す説明図である。
【図８】画像処理ＥＣＵのバックカメラが撮影した画像のデータを処理する動作を示すフローチャートである。
【図９】画像処理ＥＣＵの動作を示す説明図である。
【図１０】画像処理ＥＣＵの動作を示す説明図である。
【符号の説明】
１　モニタ
２　画像処理ＥＣＵ（車載画像処理装置）
３　バックカメラ（カメラ）
５　ブラインドコーナカメラ
６　左後方監視カメラ
６ａ　全方位カメラ
８ａ　操作装置
９　縦揺れ角度センサ
１０　舵角センサ
１２　フレームメモリ
１３　変換テーブル用メモリ（記憶する手段）
１５　マイクロコンピュータ
１８　画像処理ＡＳＩＣ
１９　基準線（直線）
２０　車両
２１　バンパ（車両の一部）
２２　ガイド線
【図１】
2004064441.tif 000003
【図２】
2004064441.tif 000004
【図３】
2004064441.tif 000005
【図４】
2004064441.tif 000006
【図５】
2004064441.tif 000007
【図６】
2004064441.tif 000008
【図７】
2004064441.tif 000009
【図８】
2004064441.tif 000010
【図９】
2004064441.tif 000011
【図１０】
2004064441.tif 000012