(57)【要約】【課題】  車両の後方が視認し易い画像を提供可能な画像表示システムを提供する【解決手段】  本発明の実施の形態に係る画像表示システム１０は、車両に取り付けられており、当該車両の後方に広角の視野を有するカメラ１２と、カメラから出力される画像に対する歪曲補正を実行する第１の画像処理部３２と、第１の画像処理手段３２によって歪曲補正が施された画像を、光軸上の画素からの距離に応じて減少する率で拡縮する第2の画像処理手段３６と、第２の画像処理手段によって拡縮された画像に基づく表示対象画像を表示する表示装置１６と、を備えている。【選択図】  図１
2007028444.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けられており、当該車両の後方に広角の視野を有するカメラと、
前記カメラから出力される画像に対する歪曲補正を実行する第１の画像処理手段と、
前記第１の画像処理手段によって前記歪曲補正が施された画像を、光軸上の画素からの距離に応じて減少する率で拡縮する第2の画像処理手段と、
前記第２の画像処理手段によって拡縮された画像に基づく表示対象画像を表示する表示装置と、
を備える、画像表示システム。
【請求項２】
車速検出手段によって検出された前記車両の速度が所定の速度以上であるか否かを判定する判定手段と、
前記判定手段によって前記車両の速度が前記所定の速度以上であると判断された場合に、前記表示装置に前記表示対象画像を表示させる選択手段と、
を更に備える、請求項１記載の画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載用の画像表示システムであって、車両の後方及び後側方の画像を表示する画像表示システムに関するものである。
【背景技術】
【０００２】
車両の後方の画像を表示するための画像表示システムには種々のものがある。例えば、特開２００３−２１２０４１号公報には、バックカメラを有する画像表示システムが開示されている。
【特許文献１】特開２００３−２１２０４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述の画像表示システムは、後向き駐車をするドライバの支援を目的とするものであり、例えば、走行中などにおいて後方確認などに利用できる。しかしながら、従来の画像システムによる画像では、光軸近傍が縮小され周囲が拡大されて表示される。したがって、当該画像は、車両の更に後方の情報が見難いものになっている。
【０００４】
そこで、本発明は、車両の後方を視認し易い画像を提供可能な画像表示システムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
本発明の画像表示システムは、カメラ、第１の画像処理手段、第２の画像処理手段、及び表示装置を備えている。カメラは、車両に取り付けられており、車両の後方に広角の視野を有している。第１の画像処理手段は、カメラから出力される画像に対する歪曲補正を実行する。第２の画像処理手段は、第１の画像処理手段によって歪曲補正が施された画像を、光軸上の画素からの距離に応じて減少する率で拡縮する。そして、表示装置は、第２の画像処理手段によって拡縮された画像を表示対象画像に表示する。
【０００６】
この画像表示システムによれば、広角の視野を有するカメラによって撮影された画像の歪みが補正され、光軸上、即ち車両の後方の情報が拡大される。その結果、後方が視認容易とされた画像が表示装置に表示される。
【０００７】
本発明の画像表示システムは、車速検出手段によって検出された車両の速度が所定の速度以上であるか否かを判定する判定手段と、判定手段によって車両の速度が所定の速度以上であると判断された場合に、表示装置に上記の表示対象画像を表示させる表示選択手段と、を更に備えることが好ましい。
【０００８】
この構成によれば、車両の速度が所定の速度以上である場合、即ち、後方及び後側方の情報が必要な場合にのみ、表示装置に上記の表示対象画像が表示される。なお、後側方とは、車両の後方に対して側方の領域を意味する。
【発明の効果】
【０００９】
本発明によれば、車両の後方を視認し易い画像を提供可能な画像表示システムが提供される。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
【００１１】
図１は、本発明の一実施形態に係る画像表示システムの構成を示す図である。図１に示す画像表示システム１０は、カメラ１２、画像処理ＥＣＵ（Electric Control Unit）１４、ディスプレイ（表示装置）１６を備えている。
【００１２】
カメラ１２は、自動車といった車両に取り付けられるものである。図２は、カメラ１２が取り付けられた車両を示す斜視図である。図２に示すように、カメラ１２は、車両１００の後部に取り付けられる。
【００１３】
カメラ１２は、例えば１３０度（図中の参照符号θ）以上の広角の視野を有している。また、カメラ１２は、その光軸ＺＡが水平且つ後方に延びる軸Ｚに対して下方に傾斜するように、車両１００に取り付けられている。
【００１４】
図３は、広角のカメラ１２によって撮影された画像の一例を示す図である。カメラ１２は、例えば魚眼レンズといった広角のレンズ系を有している。したがって、図３に示すように、カメラ１２から出力される画像（原画像）は、所謂樽型歪といった歪を含んでいる。また、光軸ＺＡが下方に傾斜しているので、カメラ１２から出力される原画像には、主として車両１００後方の路面が現れている。
【００１５】
図１に戻り、カメラ１２から出力される画像は、画像処理ＥＣＵ１４によって処理された後、表示対象画像としてディスプレイ１６に表示される。この画像処理ＥＣＵ１４には、ＣＡＮ（Control Area Network）１０２を介して、車速センサ１０４、ウィンカ１０６、及びナビゲーションユニット１０８が接続されている。
【００１６】
車速センサ１０４は、車両１００の速度を検出し、当該速度を特定するための車速信号をＣＡＮ１０２上に伝送する。車速センサ１０４としては、車輪に取り付けられた車輪速センサが例示される。また、ＣＡＮ１０２上には、ウィンカ１０６によって方向指示がなされている場合に出力される方向指示信号が伝送されている。
【００１７】
ナビゲーションユニット１０８は、車両１００の現在位置を特定するための現在位置情報を取得し、当該現在位置を地図上に付した地図画像を、画像処理ＥＣＵ１４を介してディスプレイ１６に表示する。ＣＡＮ１０２上には、車両１００の現在位置が、所定の速度以上で走行する道路上（例えば、高速道路上や自動車専用道路上等）である場合にナビゲーションユニット１０８から出力される位置特定信号が伝送されている。
【００１８】
以下、画像処理ＥＣＵ１４について詳細に説明する。画像処理ＥＣＵ１４は、画像処理ＡＳＩＣ（Application Specific Integrated Circuit）２０、カメラインターフェイス（Ｉ／Ｆ）２２、ディスプレイインターフェス（Ｉ／Ｆ）２４、ＣＰＵ２６、不揮発性メモリ２８、及びＳＤＲＡＭ等のフレームメモリ３０を有している。
【００１９】
ＡＳＩＣ２０は、カメラＩ／Ｆ２２を介してカメラ１２に接続されている。また、ＡＳＩＣ２０は、ディスプレイＩ／Ｆ２４を介してディスプレイ１６に接続されている。カメラＩ／Ｆ２２を介してカメラ１２から入力された画像は、ＡＳＩＣ２０経由でフレームメモリ３０に蓄えられる。このフレームメモリ３０には、ＡＳＩＣ２０によって処理された表示対象画像が蓄積され、当該表示対象画像はディスプレイＩ／Ｆ２４を介してディスプレイ１６に表示される。
【００２０】
ＡＳＩＣ２０は、第１の画像処理部（第１の画像処理手段）３２、第２の画像処理部３４及び第３の画像処理部（第２の画像処理手段）３６を有している。具体的に、第１の画像処理部３２、第２の画像処理部３４及び第３の画像処理部３６はそれぞれ、専用ロジックとしてＡＳＩＣ２０内に構成されている。なお、第１の画像処理部３２、第２の画像処理部３４及び第３の画像処理部３６は、専用プログラムによって動作するＡＳＩＣ２０の機能として構成されていてもよい。
【００２１】
第１の画像処理部３２は、カメラ１２によって撮影された画像に対する歪曲補正を実行することによって、第１の画像を生成する。この歪曲補正は、例えば、不揮発性メモリ２８に記憶されているテーブルを参照することによって実行される。
【００２２】
不揮発性メモリ２８に記憶されているテーブルには、歪曲補正前の画素位置と歪曲補正後の画素位置との対応関係が登録されている。第１の画像処理部３２は、このテーブルを参照することによって、第１の画像における各画素の画素値を、補正前の画像（原画像）における対応位置の近傍の画素の画素値から補間することによって求める。図４は、図３に示す画像の歪曲補正後の画像（第１の画像）を示す図である。図４に示すように、第１の画像処理部３２によれば、カメラ１２によって撮影された画像の歪が補正される。
【００２３】
第２の画像処理部３４は、第１の画像に対する光軸変換を実行することによって第２の画像を生成する。図５は、光軸変換の概念を説明するための図である。図５において、Ｏは光学中心である。軸ＹＡ及び軸ＺＡはそれぞれ光軸変換前のカメラ座標系の軸であり、軸ＺＡはカメラ１２の光軸であり、軸ＹＡは投影面ＩＰ１即ちカメラ１２の像面の縦方向の軸である。軸Ｙ及び軸Ｚはそれぞれ光軸変換後のカメラ座標系の軸であり、軸Ｚは車両後方に水平に延びる上述の軸であり、軸Ｙは当該Ｚ軸に直交する投影面ＩＰ２（像面ＩＰ２）の縦方向の軸である。角度βは、軸Ｚと光軸ＺＡとのなす角度であり、角度Ψは、点Ｐと光学中心Ｏがなす角度である。点Ｐは撮影対象の点であり、そのＹ座標がＹＰ、Ｚ座標がＺＰである。点Ｐ１は、光軸変換前の点Ｐの像であり、そのＹ座標はｙ１である。点Ｐ２は光軸変換後の点Ｐの像であり、そのＹ座標はｙ２である。
【００２４】
図５に示すように、第２の画像処理部３４による光軸変換は、光軸ＺＡを光軸Ｚに変換する処理である。即ち、この光軸変換によれば、光軸ＺＡに直交する像面ＩＰ１に投影されてなる原画像が、軸Ｚに直交する像面ＩＰ２に投影される。具体的に、第１の画像処理部３２による光軸変換は、次式（１）に基づく演算によって実現されている。
【数１】
2007028444.tif 000003
【００２５】
第２の画像処理部３４は、光軸変換後の第２の画像における各画素のＹ座標ｙ２に対応する変換前のＹ座標ｙ１の座標を求めることによって、第２の画像の各画素の第１の画像における対応位置を求める。そして、第２の画像処理部３４は、当該対応位置近傍の第１の画像の画素値から画素値を補間することによって、第２の画像における画素の画素値を決定する。
【００２６】
図６は、図４に示す画像の光軸変換後の第２の画像を示す図である。図６に示すように、この光軸変換によれば、路面より上方の風景が第２の画像上に占める割合が大きくなっている。また、図６に示すように、鉛直方向に延びている被写体（例えば、画像上部側方に現れている柵におけるフレーム等）が、第２の画像においても縦方向に延びている。すなわち、第２の画像は車両１００の後方及び後側方が視認し易い自然な画像になっている。
【００２７】
第３の画像処理部（第２の画像処理手段）３６は、歪曲補正及び光軸変換が施された第２の画像における軸Ｚ上の画素からの距離につれて減少する率で第２の画像を拡大・縮小することによって、第３の画像を生成する。したがって、第３の画像は、第２の画像に対して画像中央が拡大され画像周縁部が縮小された画像となる。
【００２８】
図７は、拡大・縮小処理の概念を説明するための図である。図７において（ａ）には、第２の画像が示されており、軸Ｚ上の点Ｃを原点とする距離ｒ１が示されている。また、図７において（ｂ）には、第２の画像の点Ｃを原点とする距離ｒ１と、点Ｃを原点とする拡大・縮小処理後の距離ｒ２との対応関係が示されている。なお、図７の（ｂ）における直線Ｅ１は、拡大・縮小を行わない場合の距離ｒ１と距離ｒ２の関係を示している。
【００２９】
第３の画像処理部３６は、図７の（ｂ）に示す曲線Ｅ２のように点Ｃからの距離につれて連続的に減少する率を用いて第２の画像の拡大・縮小を行うことができる。また、第３の画像処理部３６は、曲線Ｅ３のように点Ｃからの距離につれて段階的に減少する率を用いて第２の画像の拡大・縮小を行ってもよい。
【００３０】
図８は、図６に示す画像の拡大・縮小処理後の第３の画像である。図８に示すように、第３の画像処理部３６によって得られる第３の画像（表示対象画像）では、軸Ｚ上の点Ｃ近傍の領域、すなわち車両の後方の領域が拡大されている。また、第３の画像では、後側方が縮小された画像になっている。したがって、この第３の画像は、自車線の後続車両を確認するドライバへの支援に好適である。本実施の形態では、このようにして生成される第３の画像が、表示対象画像として、ディスプレイ１６に表示される。
【００３１】
再び図１に戻り、ＣＰＵ２６は、判定部３８、及び選択部４０として動作する。判定部３８及び選択部４０は、専用のプログラムモジュールの命令によって動作するＣＰＵ２６によって構成されるものである。
【００３２】
判定部３８は、車速センサ１０４からの車速信号を取得し、当該車速信号から車両１００の前進速度が所定の速度以上であるか否かを判定する。この所定の速度としては、例えば、４０ｋｍ／ｈといった速度を採用することができる。
【００３３】
選択部４０は、判定部３８によって車両１００の前進速度が所定の速度以上であると判断された場合に、ＡＳＩＣ２０によって生成された表示対象画像を表示させる。例えば、ナビゲーションユニット１０８からの地図画像といった他の画像を表示しているディスプレイ１６に、ＡＳＩＣ２０によって生成された表示対象画像を表示させる。なお、判定部３８は、（１）車両１００の速度が所定の速度以上であること、（２）車両１００のウィンカ１０６から方向指示信号が出力されていること、及び、（３）ナビゲーションユニット１０８から位置特定信号が出力されていることのうち、少なくとも一つ以上を組み合わせた条件を用いて判定を行ってもよい。
【００３４】
以下、ＡＳＩＣ２０による処理の流れを説明する。図９は、ＡＳＩＣ２０での処理の流れを示すフローチャートである。ＡＳＩＣ２０では、まず、カメラ１２によって撮影された画像（原画像）に、第１の画像処理部３２が歪曲補正を適用する（ステップＳ０１）。これによって、第１の画像が生成される。
【００３５】
次に、ＡＳＩＣ２０では、第２の画像処理部３４が上述の光軸変換を第１の画像に適用する（ステップＳ０２）。これによって、第２の画像が生成される。引き続き、ＡＳＩＣ２０Ｂでは、第３の画像処理部（第２の画像処理手段）３６によって第２の画像に拡大・縮小処理が適用される（ステップＳ０３）。これによって、第３の画像が生成され、当該第３の画像がディスプレイ１６に表示対象画像として表示される。
【００３６】
かかる表示対象画像では、上述したように、光軸上、即ち車両の後方の情報が拡大される。その結果、走行中などにおいて車両の後方が視認容易とされた画像が表示装置に表示される。このような画像が表示されることによってドライバは、自車線や隣接車線の後続車両を容易に確認することができる。
【００３７】
なお、図１０に示すように、車両内を模擬したマスクＭが付された第３の画像をディプレイ１６に表示することも好適である。このようにマスク処理が施されることによってディスプレイ１６に表示された画像では、ドライバは、後方の画像及び後側方の画像を区別し易い。このマスクＭの情報は、例えば、不揮発性メモリ２８に格納されている。マスク処理は、第２の画像処理部３４が光軸変換した画像に対して実行してもよいし、第３の画像処理部３６が拡大・縮小する前の第２の画像に対して実行してもよい。
【００３８】
また、本実施の形態では、点Ｃからの距離に応じて第２の画像の拡縮が実行されているが、縦方向（Ｙ方向）のみ又は横方向（Ｘ方向）のみの拡縮が、本実施の形態と同傾向の率を用いて実行されてもよい。
【００３９】
更に、カメラ１２は、その光軸が水平になるように車両に取り付けてられていてもよく、また、その設置位置は車両１２の後部に限定されず、視野が後方に向いていればよい。そして、光軸が予め水平になるようにカメラが車両に取り付けられている場合には、第２の画像処理部３４は必ずしも備えなくても良い。この場合、第３の画像処理部（第２の画像処理手段）３６は、第１の画像処理部３２で歪曲補正された第１の画像に対して拡大・縮小処理を実施すればよい。
【図面の簡単な説明】
【００４０】
【図１】図１は、本発明の一実施形態に係る画像表示システムの構成を示す図である。
【図２】図２は、カメラが取り付けられた車両を示す斜視図である。
【図３】図３は、広角カメラによって撮影された画像の一例を示す図である。
【図４】図４は、図３に示す画像の歪曲補正後の第１の画像を示す図である。
【図５】図５は、光軸変換の概念を説明するための図である。
【図６】図６は、図４に示す画像の光軸変換後の第２の画像を示す図である。
【図７】図７は、拡大・縮小処理の概念を説明するための図である。
【図８】図８は、図６に示す画像の拡大・縮小処理後の第３の画像である。
【図９】図９は、ＡＳＩＣでの処理の流れを示すフローチャートである。
【図１０】図１０は、マスクが付された後の第３の画像である。
【符号の説明】
【００４１】
１０…画像表示システム、１２…カメラ、１４…画像処理ＥＣＵ、１６…ディスプレイ、２０…画像処理ＡＳＩＣ、２６…ＣＰＵ、２８…不揮発性メモリ、３０…フレームメモリ、３２…第１の画像処理部（第１の画像処理手段）、３４…第２の画像処理部、３６…第３の画像処理部（第２の画像処理手段）、３８…判定部、４０…選択部。
【図１】
2007028444.tif 000004
【図２】
2007028444.tif 000005
【図３】
2007028444.tif 000006
【図４】
2007028444.tif 000007
【図５】
2007028444.tif 000008
【図６】
2007028444.tif 000009
【図７】
2007028444.tif 000010
【図８】
2007028444.tif 000011
【図９】
2007028444.tif 000012
【図１０】
2007028444.tif 000013