(57)【要約】【課題】  車両外観のデザイン性と表示画像の高画質化とを両立して自車両の周辺景色を監視できる自動車用周辺監視システムを提供する。【解決手段】  この自動車用周辺監視システム１は、自車両３の所定部位３ａの内部に収納された撮像カメラ本体５ｃ及び所定部位３ａに設けられた開口部３ｂ上に配置されて所定部位３ａの周辺景色を反射して開口部３ｂを通じて撮像カメラ本体５ｃに撮像させる反射鏡５ｂとを備えた撮像カメラ５と、撮像カメラ５の撮像画像の焦点ボケを補正する画像処理部７と、画像処理部７により補正された撮像画像を表示する表示装置１１とを備える。【選択図】図１
2005059780.tif 000002
【特許請求の範囲】
【請求項１】
自車両の所定部位の内部に配置された撮像カメラ本体と、前記所定部位に設けられた開口部上に配置されて前記所定部位の周辺景色を反射して前記開口部を通じて前記撮像カメラ本体に撮像させる反射手段とを備えた撮像カメラと、
前記撮像カメラの撮像画像の焦点ボケを補正する画像処理部と、
前記画像処理部により補正された前記撮像画像を表示する表示装置と、
を備えることを特徴とする自動車用周辺監視システム。
【請求項２】
前記所定部位は、前部バンパの角部であることを特徴とする自動車用周辺監視システム。
【請求項３】
更に前記撮像画像の焦点ボケの補正具合を調整する為の操作スイッチを備えることを特徴とする請求項１又は請求項２に記載の自動車用周辺監視システム。
【請求項４】
更に前記撮像画像を所定の仮想視点からの撮像画像に視点変換する画像処理部を備えることを特徴とする請求項１〜請求項３の何れかに記載の自動車用周辺監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両に設置した撮像カメラにより自車両の周辺景色を撮像し、その撮像画像を自車両に設置した表示装置に表示する自動車用周辺監視システムに関する。
【背景技術】
【０００２】
近年、障害物間のすり抜けや駐車時の幅寄せを容易に行える様にする為に、自車両の所定部位（例えば前部バンパの左角部）上に撮像カメラを設置し、該撮像カメラにより前部バンパの左角部の周辺景色を撮像し、その撮像画像を自車両に設置した表示装置に表示する自動車用周辺監視システムが提案されている。
【０００３】
この自動車用周辺監視システムでは、前部バンパの左角部の周辺景色を撮像する為に撮像カメラを左斜め前方の斜め下向きに向けて設置する必要がある為、通常の撮像カメラ（撮像素子と撮像レンズとを含む撮像カメラ）を用いる場合は、前部バンパーの上に撮像カメラを設置するしかなく、その為、車両外観のデザイン性を大きく損なうという欠点があった。
【０００４】
この欠点を解決する為に、図３及び図４の様に、撮像カメラ本体５ｃを上方に向けて前部バンパの左角部３ａの内部に配置すると共に前部バンパの左角部３ａの上面に設けた開口部３ｂ上に反射鏡５ｂを配置し、該反射鏡５ｂにより斜め左前方の斜め下方向の景色を反射して開口部３ｂを通じて撮像カメラ本体５ｃに撮像させる案が提案されている。
【０００５】
この案では、撮像カメラ５は、その撮像カメラ本体５ｃが前部バンパの内部に配置され、その反射鏡５ｂ部分だけが前部バンパの開口部３ｂ上に露出されるだけなので、車両外観のデザイン性を損なうこと無く前部バンパの左角部の周辺景色を撮像できる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の案では、撮像カメラ５の光学系が反射鏡５ｂと撮像カメラ本体５ｃ内の撮像レンズ５ｅとの組み合せとなる為、光学系５ｂ，５ｅの製造ばらつきによる焦点ボケが顕著になって撮像領域全体で焦点を合わせることが困難となり、これにより表示画像の四隅で焦点ボケが生じて表示画像の画質が劣化する（即ち車両外観のデザイン性と表示画像の高画質化とを両立できない）という欠点があった。
【０００７】
そこで、この発明の課題は、車両外観のデザイン性と表示画像の高画質化とを両立して自車両の周辺景色を監視できる自動車用周辺監視システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決する為には、請求項１に記載の発明は、自車両の所定部位の内部に配置された撮像カメラ本体と、前記所定部位に設けられた開口部上に配置されて前記所定部位の周辺景色を反射して前記開口部を通じて前記撮像カメラ本体に撮像させる反射手段とを備えた撮像カメラと、前記撮像カメラの撮像画像の焦点ボケを補正する画像処理部と、前記画像処理部により補正された前記撮像画像を表示する表示装置と、を備えるものである。
【０００９】
請求項２に記載の発明は、前記所定部位は、前部バンパの角部であるものである。
【００１０】
請求項３に記載の発明は、更に前記撮像画像の焦点ボケの補正具合を調整する為の操作スイッチを備えるものである。
【００１１】
請求項４に記載の発明は、更に前記撮像画像を所定の仮想視点からの撮像画像に視点変換する画像処理部を備えるものである。
【発明の効果】
【００１２】
請求項１に記載の発明によれば、撮像カメラが、自車両の所定部位の内部に配置された撮像カメラ本体と、前記所定部位に設けられた開口部上に配置されて前記所定部位の周辺景色を反射して前記開口部を通じて前記撮像カメラ本体に撮像させる反射手段とを備えて構成される為、車両外観のデザイン性を損なうことなく自車両の周辺景色を撮像できると共に、撮像画像の焦点ボケを補正する画像処理部を備える為、焦点ボケの補正された高画質の表示画像を提供でき、これにより車両外観のデザイン性と表示画像の高画質化とを両立して自車両の周辺景色を監視できる。
【００１３】
請求項２に記載の発明によれば、所定部位は前部バンパの角部である為、車両外観のデザイン性と表示画像の高画質化とを両立して前部パンパの角部の周辺景色を監視できる。
【００１４】
請求項３に記載の発明によれば、撮像画像の焦点ボケの補正具合を調整する為の操作スイッチを備える為、運転者や取扱業者により、操作スイッチにより手動で表示装置の表示画像を確認しながら各車両毎に表示画像の焦点ボケの補正具合を最適な補正具合に調整できる。
【００１５】
請求項４に記載の発明によれば、撮像画像を所定の仮想視点からの撮像画像に視点変換する画像処理部を備える為、例えば鳥瞰画像等の運転者にとって直感的に分かり易い表示画像を提供できる様になる。
【発明を実施するための最良の形態】
【００１６】
この実施の形態に係る自動車用周辺監視システム１は、図１〜図３の様に、自車両３の所定部位（ここでは前部バンパの左角部）３ａに設置されて所定部位３ａの周辺景色を撮像する撮像カメラ５と、撮像カメラ５の撮像画像に対して所定の画像処理を行う画像処理部７と、画像処理部７の処理内容の選択及び調整を設定操作する為の操作スイッチ９と、自車両３の車室内に設置されて画像処理部７で処理された撮像画像を表示する液晶モニタ等の表示装置１１とを備える。
【００１７】
撮像カメラ５は、図４の様に、ケース５ａ内に反射鏡（反射手段）５ｂと撮像カメラ本体５ｃとを収納配設して構成される。ここでは、撮像カメラ本体５ｃは、ＣＣＤ等の撮像素子５ｄと、撮像素子５ｄの前側（図では上方側）に配置された撮像レンズ５ｅと、撮像素子５ｄの駆動回路等を実装した回路基板５ｆとを備えて構成される。
【００１８】
ケース５ａは、例えば、遮光性の箱状のケース本体５ｇの上面上に上端面閉塞で下端面開放の遮光性の筒状部５ｈが連通状に立設されて形成され、且つその筒状部５ｈの上部の側面上に透明窓５ｉが設けられて形成される。
【００１９】
反射鏡５ｂは、筒状部５ｈ内に於いて上端側（透明窓５ｉよりやや上側）に配置され且つその鏡面５ｊが透明窓５ｉ側への斜め下方向に向けられて配置される。
【００２０】
撮像カメラ本体５ｃは、ケース本体５ｇ内に於いて反射鏡５ｂの真下側に配置され且つその撮像方向が上方に向けられて配置される（ここでは、撮像レンズ５ｅは筒状部５ｈ内に配置される）。即ち、反射鏡５ｂの下方に撮像レンズ５ｅが配置され、撮像レンズ５ｅの下方に撮像素子５ｄが配置される。
【００２１】
この撮像カメラ５は、図２及び図３の様に、ケース本体５ｇ（従って撮像カメラ本体５ｃ）が前部バンパの左角部３ａの内部に配置され、筒状部５ｈの上部（透明窓５ｉを含む部分）が前部バンパの左角部３ａの上面に設けられた開口部３ｂから外部に露出され（従って反射鏡５ｂが開口部３ｂ上に配置され）、筒状部５ｈの透明窓５ｉが自車両３の斜め左前方に向けられて配設される。図２中の符号１８は、道路上に表記された標示である。
【００２２】
この構成により、図２〜図４の様に、前部バンパの左角部３ａの周辺景色（前部バンパの斜め左前方の斜め下方向の視野）からの光１３は、ケース５ａの透明窓５ｉを透過して反射鏡５ｂにより下方に反射されて、撮像レンズ５ｅを介して撮像素子５ｄに結像される。即ち、前部バンパの左角部３ａの周辺景色は、反射鏡５ｂにより反射されて前部バンパの開口部３ｂを通じて撮像カメラ本体５ｃに撮像される。この様にして撮像カメラ５により前部バンパの左角部３ａの周辺景色が撮像される。
【００２３】
画像処理部７は、操作スイッチ９の操作設定された補正調整量に従って撮像カメラ５の撮像画像に対して焦点ボケ補正処理を行う他に、該焦点ボケ補正された撮像画像に対して例えば視点変換処理、回転変換処理及びレンズ歪み補正処理の各処理の中から操作スイッチ９により選択された処理を行う。
【００２４】
より詳細には、上記の焦点ボケ補正処理では、画像処理部７は、以下の様に例えばウィナーフィルタを用いて撮像カメラ５の撮像画像（入力画像）ｇ（ｘ，ｙ）から焦点ボケ補正された補正画像（出力画像）ｆ（ｘ，ｙ）を生成する。即ち、ウィナーフィルタでは、ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）は、式１の様にｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）とウィナーフィルタＭ（ｕ，ｖ）との積で与えられる。Ｍ（ｕ，ｖ）は、式２の形で表される。
【００２５】
【数１】
2005059780.tif 000003
式２中のΓは、Ｓ／Ｎ比により求まる定数である。式２中のＨ（ｕ，ｖ）は、画像上の各位置（ｘ，ｙ）上の焦点ずれ・焦点ぶれを規定する関数ｈ（ｘ，ｙ）のフーリエ変換である。関数ｈ（ｘ，ｙ）は、光学系５ｂ，５ｅの仕様に応じて適当な関数形に選ばれる（その選び方としては例えば、関数ｈ（ｘ，ｙ）を適当な関数の一般形で作成しておき、補正画像ｆ（ｘ，ｙ）が表示画像上での目視で最良の補正画像となる様に、その関数の係数列｛ａ｝を数値設定することにより選ばれる）。即ち、補正画像ｆ（ｘ，ｙ）は、撮像カメラ５の撮像画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）から式１及び式２を用いて算出されるｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）を逆フーリエ変換して生成される。式２中のＨ*（ｕ，ｖ）はＨ（ｕ，ｖ）の共役複素数である。
【００２６】
ここでは、上記の｛ａ｝及びΓは、操作スイッチ９により変更自在に数値設定されるパラメータとして扱われる。即ち、操作スイッチ９によりパラメータ｛ａ｝及びΓの値が設定変更されると、そのパラメータの設定変更に基づいてフィルタＭ（ｕ，ｖ）の関数形が変更調整され（即ちフィルタＭ（ｕ，ｖ）のフィルタ特性が変更調整され）、この変更調整されたフィルタＭ（ｕ，ｖ）に基づいて撮像画像ｇ（ｘ，ｙ）から補正画像ｆ（ｘ，ｙ）が生成される。この様に、操作スイッチ９によりフィルタＭ（ｕ，ｖ）のフィルタ特性が変更調整され、これにより補正画像ｆ（ｘ，ｙ）の補正具合が変更調整される。
【００２７】
又、上記の視点変換処理では、画像処理部７は、撮像画像を所定の仮想視点からの撮像画像（例えば前部バンパの左角部３ａの上方の高所の仮想視点からの鳥瞰画像）に変換する。ここでは例えば、画像処理部７は、予め設定された視点変換用変換テーブル（視点変換前の撮像画像の各画素と視点変換後の撮像画像の各画素との対応関係を規定した変換テーブル）に従って撮像画像を変換することにより所定の仮想視点からの撮像画像（ここでは鳥瞰画像）を生成する。又、上記のレンズ歪み補正処理では、画像処理部７は、撮像レンズ５ｅのレンズ特性により生じる撮像画像の歪みを補正する。ここでは例えば、画像処理部７は、上記の視点変換処理の場合と同様、予め設定されたレンズ歪み補正用変換テーブルに従って撮像画像を変換することによりレンズ歪みの補正された撮像画像を生成する。又、上記の回転変換処理では、画像処理部７は、撮像カメラ５の撮像画像を所定の角度回転された撮像画像に変換する。ここでは例えば、画像処理部７は、上記の視点変換処理の場合と同様、予め設定された回転変換用変換テーブルに従って撮像画像を変換することにより所定の角度回転された撮像画像を生成する。例えば、操作スイッチ９により視点変換処理、レンズ歪み補正処理及び回転変換処理が選択された場合は、画像処理部７は、図５の撮像画像ｆ１に対してそれらの処理を組み合わせた処理を行うことにより、図６の様に、所定の仮想視点から撮像され、レンズ歪みが補正され、所定の角度回転された撮像画像ｆ２を生成する。尚、図６中の符号２１は、視点変換に伴って生じる撮像画像の無い部分である。
【００２８】
以上の構成により、自動車用周辺監視システム１では、撮像カメラ５の撮像画像は、画像処理部７で焦点ボケ補正されて表示装置１１に表示される。その際、操作スイッチ９の設定操作により画像処理部７のフィルタ特性が調整されると、その調整量に応じて撮像画像の焦点ボケ補正の補正具合が変更調整されて表示される。又、操作スイッチ９の選択操作により例えば視点変換処理、回転変換処理及び回転変換処理の各処理の何れかが選択されると、その選択された処理が画像処理部７により撮像画像に施されて表示される。
【００２９】
以上の自動車用周辺監視システム１によれば、撮像カメラ５が、自車両３の所定部位３ａの内部に配置された撮像カメラ本体５ｃと、所定部位３ａに設けられた開口部３ｂ上に配置されて所定部位３ａの周辺景色を反射して開口部３ｂを通じて撮像カメラ本体５ｃに撮像させる反射鏡５ｂとを備えて構成される為、車両外観のデザイン性を損なうことなく自車両３の周辺景色を撮像できると共に、撮像画像の焦点ボケを補正する画像処理部７を備える為、焦点ボケの無い高画質の表示画像を提供でき、これにより車両外観のデザイン性と表示画像の高画質化を両立して自車両３の周辺景色を監視できる。
【００３０】
又、所定部位３ａは例えば前部バンパの左角部である為、車両外観のデザイン性と表示画像の高画質化とを両立して例えば前部パンパの左角部３ａの周辺景色を監視できる。
【００３１】
又、撮像画像の焦点ボケの補正具合を調整する操作スイッチ９を備える為、運転者や取扱業者により、操作スイッチ９により手動で表示装置１１の表示画像を確認しながら各車両毎に表示画像の焦点ボケの補正具合を最適な補正具合に変更調整できる。
【００３２】
又、撮像画像を所定の仮想視点からの撮像画像に変換する視点変換する画像処理部７を備える為、例えば鳥瞰画像等の運転者にとって直感的に分かり易い表示画像を提供できる様になる。
【００３３】
＜変形例＞
上記の実施の形態では、撮像画像の焦点ボケ補正処理に於いてウイナーフィルタを用いたが、ウイナーフィルタに限定されるものではない。例えばウエーブレット変換を用いてもよい。ウエーブレット変換を用いる場合は、撮像画像（入力画像）を周波数分解し、各周波数の分解成分毎に係数を掛け、この係数を、上記の｛ａ｝及びΓの様に操作スイッチ９により変更自在に数値設定されるパラメータとして扱えばよい。この場合もウイナーフィルタを用いた場合と同様の効果を得る。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態に係る自動車用周辺監視システムの構成概略図である。
【図２】図１の撮像カメラの設置位置及び撮像方向を説明する平面視図である。
【図３】図１の撮像カメラ及び従来の撮像カメラの設置位置及び撮像方向を説明する側面視図である。
【図４】図１の撮像カメラ及び従来の撮像カメラの構成概略図である。
【図５】図１の撮像カメラの撮像画像の一例図である。
【図６】図１の撮像カメラの撮像画像の画像処理部での画像処理後の撮像画像（表示画像）の一例図である。
【符号の説明】
【００３５】
１  自動車用周辺監視システム
３  自車両
３ａ  所定部位（前部バンパの左角部）
３ｂ  開口部
５  撮像カメラ
５ｂ  反射鏡
５ｃ  撮像カメラ本体
５ｅ  撮像レンズ
５ｉ  透明窓
７  画像処理部
９  操作スイッチ
１１  表示装置
１３  光
ｇ（ｘ，ｙ）  撮像画像
ｆ（ｘ，ｙ）  補正画像
【図１】
2005059780.tif 000004
【図２】
2005059780.tif 000005
【図３】
2005059780.tif 000006
【図４】
2005059780.tif 000007
【図５】
2005059780.tif 000008
【図６】
2005059780.tif 000009