(57)【要約】【課題】車両の進行方向と交差する道路が垂直になっていない場合であっても、接近車両を含む交差する道路の交通状況を視認できるようにする。【解決手段】自車両の進行方向と交差する道路の状況を撮像して表示部（ナビゲーション装置１２）に表示する車載カメラ装置１１であって、制御部１１０は、自車両が位置する道路と前記交差する道路との角度に関する情報と、自車両の進行方向に対し、１８０°を超える視野角で撮像可能な光学系１１１で撮像して被写体像とを取得し、取得した被写体像から、取得した角度情報に応じて１８０°以下の視野角になる出力画像を切り出す処理を実行して表示する。【選択図】図１
2013136258.tif 000002
【特許請求の範囲】
【請求項１】
自車両の進行方向の道路情報を撮像して出力するカメラ装置であって、
前記車載カメラ装置は１８０°を超える水平視野角で撮像可能なレンズと、前記レンズを用いて撮像した前記道路情報を取得する画像情報取得部と、前記自車両の進行方向に対して前記自車両が位置する道路と該自車両が位置する道路と交差する道路とがなす角である角度情報を取得する角度情報取得部とを備え、
前記画像情報取得部で取得した前記道路情報から前記角度情報に基づいて前記自車両の進行方向に対して前記自車両が位置する道路と交差する道路に沿った水平視野角となる画像情報を切り出し出力する画像情報処理部と、
を備えたことを特徴とする車載カメラ装置。
【請求項２】
前記画像情報処理部は、
前記切り出した画像情報に歪み補正処理を行うことを特徴とする請求項１記載の車載カメラ装置。
【請求項３】
前記自車両の進行方向に対して交差する道路がその交差点で折れ曲がっている場合、前記角度情報取得部は前記交差点に対して左側の角度情報と右側の角度情報をそれぞれ独立に切り出し出力することを特徴とする請求項１または２に記載の車載カメラ装置。
【請求項４】
前記自車両の現在位置を測位しその経度・緯度を出力する現在位置測位部と、地図情報を記憶する地図情報記憶部と、それらを制御する制御部を設け、
前記制御部は前記経度・緯度と前記地図情報とから前記角度情報を演算し、前記角度情報取得部に出力することを特徴とする請求項１〜３記載の車載カメラ装置。
【請求項５】
前記制御部は、前記現在位置測位部で複数回測位して出力された測位地点の緯度・経度から得た前回の測位地点と最新の測位地点の緯度・経度の差分に基づいて演算した前記自車両の進行方向角度と前記地図情報記憶部から得た前記自車両の進行方向に対して前記自車両が位置する道路と交差する道路の角度とから前記角度情報を演算し、前記角度情報取得部に出力することを特徴とする請求項４記載の車載カメラ装置。
【請求項６】
前記画像情報部から出力される画像情報を表示するための表示部を設けたことを特徴とする請求項１〜４記載の車載カメラ装置
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、交差点、車両の進行方向に交差する道路からの接近車両等を撮像して表示する、車載カメラ装置に関する。
【背景技術】
【０００２】
従来、車両の進行方向に対して左右方向の画像を同時に撮像して表示する技術が知られている。例えば、特許文献１に開示された技術によれば、図２０に示すように、プリズムを撮像レンズの前面に配置したカメラを車両の先端に取付けることで、交差する道路から接近する車両等の交通状況を運転位置から見るよりも早く確認することができる。
【０００３】
また、１８０°前後の画角をもったレンズを用い、図２１に示す範囲の画像を切出して表示する技術も知られている。この技術によれば、１８０°前後の視野角で撮像された画像を表示するよりも進行方向に向かって左右の画像が大きく表示される。また、このとき、それぞれの方向に対して歪を除去して表示することで接近する車両等の視認性が向上する。
【０００４】
例えば、特許文献２に、一方向の画像を切り出して歪補正処理を行う技術が開示されている。この切出しおよび歪補正処理を二方向に対して行ない、進行方向に向かって左右方向の画像を合成表示することで、接近車両の視認性が高まる。
【０００５】
一方、約１８０°の画角をもったレンズを用いて車両の進行方向に対して左右方向の画像を同時に撮像した場合、撮像画像と実際に運転者が見ている画像との相関が取りにくい。このため、例えば、特許文献３では、その範囲の画像から図２０にハッチングで示す撮像範囲を残し、他の部分をマスクして表示することにより視認性を向上させる技術を提案している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−８９３０１号公報
【特許文献２】特開２０００−２３５６４５号公報
【特許文献３】特開２００６−２６２４４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、車両の進行方向に交差する道路が垂直になっていない場合、カメラの撮像方向が交差する道路と平行でなくなり、この場合、左右の片側または両側から接近する車両を視認することができないおそれがある。
【０００８】
具体的に、図２２に、１８０°前後の視野角で撮像した画像から左右の範囲を切り出して表示する車載カメラ装置による撮像範囲（表示範囲）を、図２３に、その表示画像（交差する道路に対して左方向を向いた道路で撮像）の画像が示されている。図２２、図２３によれば、交差する道路と車両が垂直でなく車両が交差する道路に対して左に傾いているため、この撮像範囲によれば右側からの接近車両が見えない。なお、図２４は、進行方向に対し１８０°の範囲を撮像するカメラ装置の表示範囲を示す図であり、上記した左右方向を切出して表示する車載カメラ装置の場合と同様に接近車両が見えない。
【０００９】
本発明は上記した課題を解決するためになされたものであり、車両の進行方向と交差する道路が垂直になっていない場合であっても、接近車両を含む交差する道路の交通状況を視認することができる車載カメラ装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記した課題を解決するために本発明は、自車両の進行方向の道路情報を撮像して出力するカメラ装置であって、前記車載カメラ装置は１８０°を超える水平視野角で撮像可能なレンズと、前記レンズを用いて撮像した前記道路情報を取得する画像情報取得部と、前記自車両の進行方向に対して前記自車両が位置する道路と該自車両が位置する道路と交差する道路とがなす角である角度情報を取得する角度情報取得部とを備え、前記画像情報取得部で取得した前記道路情報から前記角度情報に基づいて前記自車両の進行方向に対して前記自車両が位置する道路と交差する道路に沿った水平視野角となる画像情報を切り出し出力する画像情報処理部と、を備えたことを特徴とする
【００１１】
本発明によれば、画像情報処理部は、画像情報取得部で取得した道路情報から、角度情報取得部で取得した角度情報に基づき、前記交差する道路に沿った視野角になる出力画像を切り出し出力する。したがって、自車両が位置する道路と該自車両が位置する道路と交差する道路とが垂直に交差していない場合であっても、自車両が位置する道路と前記自車両が位置する道路と交差する道路との角度に応じて画像情報を切出すため交差する道路の道路情報を出力することができる。
【００１２】
本発明において、前記画像情報処理部は、前記切り出した画像情報に歪み補正処理を行うことを特徴とする。本発明によれば、画像の歪み補正により、広い範囲に亘って歪のない道路情報を出力することが出来る。
【００１３】
本発明において、前記自車両の進行方向に対して交差する道路がその交差点で折れ曲がっている場合、前記角度情報取得部は前記交差点に対して左側の角度情報と右側の角度情報をそれぞれ独立に切り出し出力することを特徴とする。本発明によれば、自車両が位置する道路と交差する道路が折れ曲がっている場合でも左右同時に道路情報を出力することができる。
【００１４】
本発明において、前記自車両の現在位置を測位しその経度・緯度を出力する現在位置測位部と、地図情報を記憶する地図情報記憶部と、それらを制御する制御部を設け、前記経度・緯度と前記地図情報から前記角度情報を演算し、前記角度情報取得部に出力することを特徴とする。本発明によれば、車両の現在地を測位して得られる自車両が位置する道路と交差する角度情報を地図情報から演算することができるため、角度情報を容易に出力することができる。
【００１５】
本発明において、前記制御部は、前記現在位置測位部で複数回測位して出力された測位地点の経度・緯度から得た前回の測位地点と最新の測位地点の緯度・経度の差分に基づいて演算した前記自車両の進行方向角度と前記地図情報記憶部から得た前記自車両の進行方向に対して前記自車両が位置する道路と交差する道路の角度とから前記角度情報を演算し、前記角度情報取得部に出力することを特徴とする。本発明によれば、自車両が位置する道路と該自車両が位置する道路と交差する道路との角度のみならず、自車両の向き方向も含めて角度情報を出力すため、道路情報を正確に切出すことができる。
【００１６】
本発明において、前記画像情報部から出力される画像情報を表示するための表示部を設けたことを特徴とする。本発明によれば、車載カメラ装置から出力された画像情報を表示することができるため、運転車は容易に道路情報を得ることができる。
【発明の効果】
【００１７】
本発明によれば、車両の進行方向と交差する道路が垂直になっていない場合であっても、接近車両を含む交差する道路の交通状況を視認することができる車載カメラ装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態に係る車載カメラ装置を含む車載カメラシステムの構成を示すブロック図である。
【図２】実施例１に係る動作を説明するために引用した図であり、撮像範囲を切出したときの撮像範囲と表示範囲を示す図である。
【図３】実施例１に係る動作を説明するために引用した図であり、２００°の視野角を有する光学系で撮像された原画像を示す図である。
【図４】実施例１に係る動作を説明するために引用した図であり、２００°の視野角を有する光学系の撮像範囲と左右の画像を切出したときの表示範囲を示す図である。
【図５】実施例１に係る動作を説明するために引用した図であり、図４の原画像を示す図である。
【図６】実施例２に係る動作を説明するために引用した図であり、図３に示す原画像を切出して歪補正した後の画像を示す。
【図７】実施例２に係る動作を説明するために引用した図であり、光学系の撮像範囲と表示範囲を示す図である。
【図８】実施例２に係る動作を説明するために引用した図であり、図６に示した原画像の変換に用いた補正曲面を上から下に投影した図である。
【図９】実施例３に係る動作を説明するために引用した図であり、視野角２００°の光学系の撮像範囲と右に角度変換した場合の表示範囲を示す図である。
【図１０】実施例３に係る動作を説明するために引用した図であり、図３の原画像から図９の表示範囲を歪補正する過程で右方向に角度変換した場合に得られる原画像を示す。
【図１１】実施例３に係る動作を説明するために引用した図であり、交差する道路に対して左を向いているカメラを用いて右方向に角度変換するときの概念を示した図である。
【図１２】実施例４に係る動作を説明するために引用した図であり、交差する道路の角度が左右で異なる場合の撮像範囲と表示範囲を示す図である。
【図１３】実施例４に係る動作を説明するために引用した図であり、視野角２００°の光学系による撮像画像から左右の方向を切り出して表示した撮像画像を示す図である。
【図１４】実施例４に係る動作を説明するために引用した図であり、実施例３にしたがい角度変換画像処理を施した後の表示範囲を示す図である。
【図１５】実施例４に係る動作を説明するために引用した図であり、左側道路の切り出し方向と右側道路の切出し方向とを別々に設定した画像である。
【図１６】本発明の実施の形態に係る車載カメラ装置のナビゲーション画面への表示例（１）を示す図である。
【図１７】車両の向きが地図情報に表される道路と平行でなかった場合の交通状況を示す図である。
【図１８】図１７において、複数の位置検出点による方向の算出処理を説明するために引用した図である。
【図１９】本発明の実施の形態に係る車載カメラ装置のナビゲーション画面への表示例（２）を示す図である。
【図２０】車両の進行方向に交差する道路の接近車両の様子を撮像可能なカメラの方向と撮像範囲を示す図である。
【図２１】車両に取り付けられたカメラの撮像範囲と、車両の進行方向に交差する道路の交通状況を示す図である。
【図２２】車両の進行方向に交差する道路が垂直でない場合に、左右方向を切出して表示するカメラの方向と表示範囲の一例を示す図である。
【図２３】図２２の原画像を示す図である。
【図２４】車両の進行方向と交差する道路が垂直でない場合に、１８０°の範囲を切出して表示するカメラの方向と表示範囲の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、添付図面を参照して本発明を実施するための実施の形態（以下、単に本実施形態という）について詳細に説明する。
【００２０】
（実施形態の構成）
図１は、本実施形態に係る車載カメラ装置１１を含む車載カメラシステム１０の構成を示すブロック図である。図１に示す車載カメラシステム１０は、車載カメラ装置１１と、ナビゲーション装置１２とを含む。車載カメラ装置１１は、車両の進行方向と交差する道路の状況を撮像して表示する、車両の前方に取り付けられたカメラであり、ナビゲーション装置１２は、車載カメラ装置１１に対し、自車両が位置する道路と交差する道路との角度に関する情報を通知すると共に、車載カメラ装置１１で画像処理された撮像画像を表示する。
【００２１】
このため、車載カメラ装置１１は、制御部１１０と、光学系１１１と、撮像部１１２と、により構成される。光学系１１１は、１８０°以上の視野角を有する、例えば、魚眼レンズを含み、当該魚眼レンズを介して入射される被写体像は撮像部１１２に入力される。撮像部１１２は、光学系１１１を介して得られる被写体からの光を撮像するカラーフィルタ付きのＣＭＯＳ（Complimentary Metal Oxide Semiconductor）またはＣＣＤ(Charge Coupled Device)センサを含み、ここで光電変換された画像データは、制御部１１０に入力される。制御部１１０には、他に、ナビゲーション装置１２から角度情報が供給されている。ここで、角度情報とは、自車両が位置する道路と交差する道路との角度に関する情報である。
【００２２】
制御部１１０は、自車両が交差点に達したときにナビゲーション装置１２から、自車両が位置する道路と交差する道路との角度に関する情報を取得すると共に、撮像部１１２から、自車両の進行方向に対して１８０°を超える水平視野角で撮像した道路情報を取得する。そして、取得した道路情報から、同じく取得した角度情報に応じて交差する道路に沿った視野角になる出力画像を切り出し、当該切り出した出力画像の歪を補正する処理を実行して、例えば、ナビゲーション装置１２の操作・表示部１２２に出力する。このため、制御部１１０は、機能的には、画像情報取得部１１０ａと、角度情報取得部１１０ｂと、画像情報処理部１１０ｃと、を含み構成される。
【００２３】
画像情報取得部１１０ａは、撮像部１１２で光電変換された画像情報を取得して画像情報処理部１１０ｃへ出力する。角度情報取得部１１０ｂは、ナビゲーション装置１２が、自車両の現在地を測位して得られる道路に交差する交差点を地図情報から得ることにより角度情報を生成し、これを取得することにより、画像情報処理部１１０ｃへ出力する。ナビゲーション装置１２は、自車両の現在地を複数回測位して得られる前回測位地点と最新の測位地点との差に基づく自車両の進行方向と交差する道路との成す角度と、交差点に対する角度とから角度情報を生成しても良く、角度情報取得部１１０ｂは、これを取得して画像情報処理部１１０ｃへ出力してもよい。
【００２４】
画像情報処理部１１０ｃは、自車両が位置する道路と交差する道路の状況が表示面上に表示されるように出力画像を切り出す。画像情報処理部１１０ｃは、光学系１１１を通して撮像された球形歪を含む被写体像を入力し、この入力画像から球形歪を除去するように画像変換して出力画像を得る。この画像変換は、仮想的な画像変換モデルに基づき構成される。
【００２５】
ここで、仮想的な画像変換モデルとは、円形の表面からなる平面直交座標系における被写体像を、光学系１１１のレンズに対応して被写体像が映し出される極座標系の半球状の仮想物体面上の画像に変換し、仮想物体面上の画像を、歪を補正する３次元直交座標系の表示面上の画像に変換し、補正曲面上の画像を平面直交座標系の表示面上に正射投影法により投影することをいう。ここで、更に、補正曲面上の３次元直交画像をｘ１，ｙ１，ｚ１とするとき、（ｘ１’，ｙ１’，ｚ１’）＝（ｘ１・ｃｏｓθ−ｚ１・ｓｉｎθ，ｙ１，ｘ１・ｓｉｎθ＋ｚ１・ｃｏｓθ）とし、ｘ１’，ｙ１’，ｚ１’に基づき、被写体像を補正曲面上において角度θだけｘ−ｚ平面内で回転させ、出力画像に変換してもよい。
【００２６】
なお、画像情報処理部１１０ｃは、自車両が位置する道路と交差するする道路との角度が進行方向に向かって左右で異なる場合、角度情報取得部１１０ｂで取得された左右方向のそれぞれの角度情報に応じて、左方向の道路の交通状況と右方向の道路の交通状況がナビゲーション装置１２の表示面上に独立して表示されるように出力画像を切り出してもよい。
【００２７】
ナビゲーション装置１２は、制御部１２０と、映像情報入力部１２１と、操作・表示部１２２と、現在地測位部１２３と、地図情報記憶部１２４と、を含み構成される。
【００２８】
映像情報入力部１２１は、車載カメラ装置１１から画像処理された画像データを得て制御部１２０に出力する。制御部１２０には、他に、現在地測位部１２３により測位演算された車両の現在地に関する情報と、地図情報記憶部１２４から読み出される現在地の地図情報が入力されている。制御部１２０は、自車両が交差点にさしかかる毎に、自車両の進行方向と交差する道路との角度情報を地図情報から求めて車載カメラ装置１１に出力する他、車載カメラ装置１１により撮像され、必要な領域が切出され、かつ歪補正された画像情報を得て、操作・表示部１２２の画面上に表示する。なお、制御部１２０は、他に、現在地測位部１２３、地図情報記憶部１２４、操作・表示部１２２と協働して動作することにより、現在地表示、目的地設定、誘導案内等、ナビゲーション装置として本来持つ機能を実行する。
【００２９】
（実施形態の動作）
以下、本実施形態に係る車載カメラ装置１１の動作について、実施例毎に詳細に説明する。まず、実施例１について、図２〜図５を参照しながら説明する。
【００３０】
実施例１（基本動作）
１８０°程度の視野角を有する光学系１１１を有する車載カメラ装置１１では、１°あたりに割り当てられる表示部１２２上の面積が小さくなるため、これ以上視野角を広げることは好ましくない。このため、１８０°以上の視野角を有する光学系１１１を備えた車載カメラ装置１１では、１８０°以下に視野角となる様に１８０°以上の視野角で捉えた原画像から、必要な範囲だけを切り出し、後述する歪補正を行い、撮像した画像をナビゲーション装置１２の操作・表示部１２２に表示している。図２に、２００°の視野角を有する光学系１１１を持つ車載カメラ装置１１で、１８０°の撮像範囲を切出したときの撮像範囲と表示範囲が示されている。
【００３１】
図３に、交差する道路に対して左方向を向いた道路で撮像した２００°の視野角を有する光学系１１１を持つ車載カメラ装置１１の原画像が示されている。図２４を用いて説明したように、自車両の進行方向に対して交差する道路が垂直でない道路状況において、画像の切出しを行う前の原画像として、図３のような視野角１８０°よりも広い２００°の光学系１１１を使用して撮像すれば、右からの接近車両を撮像することができる。
【００３２】
図４は、視野角２００°のレンズを光学系１１１として持つ車載カメラ装置１１の撮像範囲と、交差点の角度に合わせて左右の画像を切出したときの表示範囲を示す図である。ここに示される表示範囲は、図２２を用いて説明したように、交差する道路と垂直な方向に対して自車両Ａが存在する道路が左側を向いている場合を示している。図５は、図４で切出された表示範囲の画像を示す図である。図５に示されるように、交差する道路を走行する接近車両Ｂを表示することができるようになり、安全確認を行うことができる。
【００３３】
上記した実施例１に係る車載カメラ装置１１によれば、画像情報処理部１１０ｃは、画像情報取得部１１０ａで取得した被写体像から、角度情報取得部１１０ｂで取得した角度情報に基づき、１８０°以下の視野角になる出力画像を切り出し、ナビゲーション装置１２の操作・表示部１２２に表示する。したがって、交差する道路と車両が位置する道路とが垂直に交差していない場合であっても、自車両が位置する道路と交差する道路との角度に応じて切出す範囲を変化させることで交差する道路の状況を確実に視認することができる。
【００３４】
実施例２（歪補正と平行移動）
次に、実施例２につき、図６〜図８を参照しながら説明する。上記したように、広範囲の画像がそのまま利用されることは好ましくないため、実施例２に係る車載カメラ装置１１では、必ずしも自車両の進行方向に対して垂直な方向の範囲を表示するのではなく、例えば、出願人が平成１９年６月１４日に出願し、平成２３年１月１４日に登録された特許第４６６１８２９号「画像データ変換装置、およびこれを備えたカメラ」に開示された歪補正技術を用い、図３に示す原画像から切り出して表示する範囲を変化させ、かつ歪補正を施すことで図６に示す画像を得ることとした。
【００３５】
特許第４６６１８２９号に開示された技術は、魚眼レンズで撮像された球形歪を含む被写体像を入力として得、この入力画像から球形歪を除去するように画像変換して出力画像を得る画像変換手段を備えた画像データ変換装置に関するものである。ここで、画像変換手段は、魚眼レンズの光軸に向かう直線状の被写体像と、縦方向に直線の被写体像とを出力画像内でほぼ直線になるように入力された被写体像全体を画像変換する。そして、横方向に直線状の被写体像を、出力画像の中央部分と、中央部分に左右に連なる左側部分と右側部分とでほぼ直線状に、また、出力画像の中央部分と、左側部分よび右側部分の境目付近で屈曲するように、入力された被写体像を画像変換するものである。なお、この画像変換手段は、仮想的な画像変換モデルに基づき構成される。
【００３６】
すなわち、円形の表面からなる平面直交座標系における被写体像を、レンズを含む光学系１１１に対応して被写体像が映し出される極座標系の半球状の仮想物体面上の画像に変換し、当該仮想物体面上の画像を、歪を補正する３次元直交座標系の補正曲面上の画像に変換し、補正曲面上の画像を平面直交座標系の表示面上に正射投影法により投影することにより出力画像を得る。
【００３７】
上記の手法を用い、図６に示すように、歪補正後、中心を横に平行移動して１８０°の範囲を切出して表示する。この場合、交差している道路と垂直な方向を向いているような画像とは異なるが、見える範囲は略一致しており、接近車両を視認できるといった目的を実現することができる。この処理は、図３から必要な画像範囲を切り出してきたものである。なお、図７に示す撮像範囲と撮像方向は、図６に示した画像に対応するものであり、補正曲面の左側を切り取り、右側に延長したかたちになっている。
【００３８】
図８は、図６に示した画像の変換に用いた補正曲面を上から下に投影した図である。図８によれば、補正曲面全体を点線で表し、画面に出力される範囲の補正曲面を実線で表している。、図６に示す画像は、図３に示す原画像から必要な範囲だけを切り出す平行移動処理を行ったものである。
【００３９】
上記した実施例２に係る車載カメラ装置１１によれば、角度情報に基づき、１８０°以下の視野角になる出力画像を切り出し、切り出した出力画像の歪を補正する処理を実行することで、広い範囲に亘って歪と欠損のない出力画像を取得することが出来る。また、平行移動により、実施例1と同じ効果を制御部１１０（画像情報処理部１１０ｃ）の負担を軽減しながら実現することができる。
【００４０】
実施例３（歪補正と画像回転）．
次に、実施例３につき、図９〜図１１を参照しながら説明する。以下に説明する実施例３では、実施例２で説明した歪補正処理に加え、出願人が平成２１年３月３１日に出願し、平成２２年８月５日に公開された特開２０１０−１７０５１４号「画像データ変換装置」に開示された技術を用いて補正曲面を回転することにより、広い範囲に亘って歪のない出力画像を取得することを実現する。
【００４１】
具体的に、車載カメラ装置１１の制御部１１０（画像情報処理部１１０ｃ）は、まず、円形の表面からなる平面直交座標系における被写体像を、光学系１１１に対応して被写体像が映し出される極座標系の半球状の仮想物体面上の画像に変換し、当該仮想物体面上の画像を、歪を補正する３次元直交座標系の補正曲面上の画像に変換し、補正曲面上の画像を平面直交座標系の表示面上に正射投影法により投影することにより出力画像を得る。このとき、更に、補正曲面上の３次元直交画像をｘ１，ｙ１，ｚ１とするとき、（ｘ１’，ｙ１’，ｚ１’）＝（ｘ１・ｃｏｓθ−ｚ１・ｓｉｎθ，ｙ１，ｘ１・ｓｉｎθ＋ｚ１・ｃｏｓθ）とし、このｘ１’，ｙ１’，ｚ１’に基づき、被写体像を補正曲面上において角度θだけｘ−ｚ平面内で回転させ、出力画像に変換する。
【００４２】
図９は、視野角２００°の光学系１１１の撮像範囲と右に角度変換した場合の表示範囲を示す図であり、図１０は、図３の原画像から図９の表示範囲を歪補正する過程で右方向に角度変換した場合に得られる原画像を示す。ここでの角度変換処理は、上記した特開２０１０−１７０５１４号に開示された技術を用いることとする。角度変換では、実際にその方向にカメラを回転したのと同じ画像から得られる。したがって、図１１に示されるように、交差する道路に対して左を向いているカメラを用いて右方向に角度変換することにより、交差する道路に対して垂直に向いているカメラのように見えるようになり、交差する道路と平行な方向が見えるようになる。
【００４３】
上記した特許第４６６１８２９号によれば、補正曲面内の直線と平行な直線は画像内で水平に表示されるため上方の電線はおよそ水平に表示されている。このような結果から、図６に示す原画像よりも図１０に示す原画像が画像の自然さにおいて優れるが、特開２０１０−１７０５１４号に開示された方法では回転処理に複雑な計算を伴うため、平行移動処理によって角度変換処理の代替とすることで計算量の低減が可能である。
【００４４】
上記した実施例３に係る車載カメラ装置１１によれば、画像情報処理部１１０ｃは、画像情報取得部１１０ａで取得した被写体像から、角度情報取得部１１０ｂで取得した角度情報に基づき、１８０°以下の視野角になる出力画像を切り出し、切り出した出力画像の歪を補正する処理を実行してナビゲーション装置１２の操作・表示部１２２に表示する。したがって、交差する道路と車両が位置する道路とが垂直に交差していない場合であっても、自車両が位置する道路と交差する道路との角度に応じて、水平視野角２００°の原画像(図３)から左右の道路が捉えられる範囲を切出すことで交差する道路の状況を視認することができる。このとき、光学系１１１を介して撮像された球形歪を補正曲面上において画像を３次元方向に回転させるため、カメラの光軸を傾けて撮像した画像を被写体像とする場合であっても、広い範囲に亘って歪と欠損のない出力画像を取得することが出来る。また、自車両が位置する道路と交差する道路との角度のみならず、自車両の向き角度も考慮して角度情報を得るため、交差する道路情報を正確に切出すことが出来、視認性が向上する。
【００４５】
実施例４（交差点の角度が左右で異なる場合）
次に、実施例４につき、図１２〜図１５を参照しながら説明する。図１２は、交差する道路の角度が左右で異なる場合を例示している。図１３は、光学系１１１に水平視野角が２００°のレンズを備えた車載カメラ１１が撮像した画像の範囲から図２０に示す様な範囲で自車両の進行方向に垂直に左右の方向を切り出して表示した撮像画像である。図１３によれば、右側の接近車両Ｂは僅かに映っているものの左側道路の接近車両Ｃは全く映っていない。そこで、左側道路の接近車両Ｃが見えるように、実施例３に示すように角度変換画像処理を施した後の表示範囲が図１４に示されている。結果、図１４によれば、左側道路の接近車両が見えるようになったが、一律に角度を決めているため右側道路の接近車両が全く見えなくなっている。このため、左側道路の角度と右側道路の角度とを別々に制御することが要求される。
【００４６】
このように、自車両が位置する道路と交差する道路との角度が進行方向に向かって左右で異なる場合、制御部１１０（画像情報処理部１１０ｃ）は、ナビゲーション装置１２から取得される左右方向のそれぞれの角度情報に応じて、左方向の道路の交通状況と右方向の道路の交通状況が表示画面上に独立して表示されるように出力画像を切り出す。その結果、ナビゲーション装置１２の操作・表示部１２２には、図１５に示す画像が表示される。図１５は、左側道路の切り出し範囲と右側道路の切出し範囲とを別々に設定した画像である。これによって、図１２に示す道路状況でも、左右それぞれの道路における接近車両を視認することができる。なお、信号方向に対する左側道路の角度と右側道路の角度は、後述するように地図情報から検出するものとする。
【００４７】
上記した実施例４に係る車載カメラ装置１１によれば、自車両が位置する道路と交差する道路との角度が進行方向に対して左右で異なる場合でも左右同時に接近車両の様子を視認することができる。
【００４８】
ここで、ナビゲーション装置１２による角度検出の方法について詳細に説明する。図１６は、ナビゲーション装置１２の操作・表示部１２２に表示されるナビゲーション画面の一例を示す。このナビゲーション画面では、ＧＰＳ（Global Positioning System）等、現在地測位部１２３で検出される現在地の緯度、経度等が自車両のアイコンとして地図情報と共に表示される。そして、自車両が交差点にさしかかったとき、自車両が位置する道路と交差する道路との角度を、地図情報記憶部１２４に格納された地図情報から算出することができる。本実施形態に係る車載カメラ装置１１では、ナビゲーション装置１２で検出され生成される角度情報を車載カメラ装置１１による画像情報処理のための入力情報として利用する。
【００４９】
なお、地図情報によってあらかじめ角度がわかっている場合でも、車両は地図情報に示される道路と平行でない可能性もある。例えば、図１７に示されるように、交差点付近に人がいた場合、それを避けるために、道路内で道路とは平行でない方向を向いたまま、交差点にさしかかった場合である。このような場合、図１８に示すように、ナビゲーション装置１２（制御部１２０）は、現在地測位部１２３による前回の検出点と最新の検出点との差により方向を算出することができ、図１９に示すように、操作・表示部１２２に、道路と平行でない方向を向いている自車両Ａを表示することができる。したがって、車載カメラ装置１１は、道路内で自車両が道路と平行でない場合でも、現在地測位部１２３により得られる複数の検出点から算出された方角と、交差する道路と車両との角度を、角度情報として取得することができる。なお、現在地測位部１２３による現在地（検出点）の検出は、ＧＰＳに限らず、画像処理や加速度センサ等で代替してもよい。
【００５０】
なお、本実施形態に係る車載カメラ装置１１は、ナビゲーション装置１２から角度情報を取得し、また、ナビゲーション装置１２が持つ操作・表示部１２２に撮像した内容を表示するものとして説明したが、自身で地図情報を有し、更に、現在地測位部１２３と、操作・表示部１２２とを内蔵することにより、ナビゲーション装置１２を利用すること無くスタンドアロン構成で単独で実現可能である。
【００５１】
（実施形態の効果）
以上説明のように本実施形態に係る車載カメラ装置１１によれば、交差する道路と車両が位置する道路とが垂直に交差していない場合であっても、自車両が位置する道路と前記交差する道路との角度に応じて車載カメラ装置１１で撮像された１８０°を超える水平視野角を持つ原画像から左右の道路情報が得られる様に切出すことで交差する道路の状況を視認することができる。このとき、車両の現在地を測位して得られる交差点を地図情報から得、角度情報を取得するため、自車両位置する道路と交差する道路との角度を容易に取得することができる。また、本実施形態に係る車載カメラ装置１１によれば、自車両が位置する道路と交差する道路との角度のみならず、自車両の傾きも考慮して角度情報を得るため、交差する道路情報の状況を正確に切出すことが出来、視認性が向上すると共に安全性に寄与することができる。更に、自車両が位置する道路と交差する道路との角度が進行方向に向かって左右で異なる場合でも左右同時に接近車両の様子を確認することができる。
【００５２】
また、本実施形態に係る車載カメラ装置１１によれば、光学系１１１を介して撮像された球形歪を含む被写体像をできるだけ広角に画像変換すると共に、画面の左右方向の直線と奥行き方向の直線に歪が無く、視認性の高い出力画像に変換することができ、更に、補正曲面上において画像を３次元方向に回転させることにより、光学系１１１のカメラ光軸を傾けて撮像した画像を被写体像とする場合であっても、広い範囲に亘って歪のない出力画像を取得することが出来る。
【００５３】
以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００５４】
１０・・・車載カメラシステム、１１・・・車載カメラ装置、１２・・・ナビゲーション装置、１１０・・・制御部、１１１・・・光学系、１１２・・・撮像部、１１０ａ・・・画像情報取得部、１１０ｂ・・・角度情報取得部、１１０ｃ・・・画像情報処理部、１２０・・・制御部、１２１・・・映像情報入力部、１２２・・・操作・表示部、１２３・・・現在地測位部、１２４・・・地図情報記憶部
【図１】
2013136258.tif 000003
【図２】
2013136258.tif 000004
【図４】
2013136258.tif 000005
【図７】
2013136258.tif 000006
【図８】
2013136258.tif 000007
【図９】
2013136258.tif 000008
【図１１】
2013136258.tif 000009
【図１２】
2013136258.tif 000010
【図１６】
2013136258.tif 000011
【図１７】
2013136258.tif 000012
【図１８】
2013136258.tif 000013
【図１９】
2013136258.tif 000014
【図２０】
2013136258.tif 000015
【図２１】
2013136258.tif 000016
【図２２】
2013136258.tif 000017
【図２４】
2013136258.tif 000018
【図３】
2013136258.tif 000019
【図５】
2013136258.tif 000020
【図６】
2013136258.tif 000021
【図１０】
2013136258.tif 000022
【図１３】
2013136258.tif 000023
【図１４】
2013136258.tif 000024
【図１５】
2013136258.tif 000025
【図２３】
2013136258.tif 000026