(57)【要約】【課題】  車両に装着されるタイヤに応じて適切なトップビュー表示をすることができる「車載用表示装置」を提供する。【解決手段】  本発明の車載用表示装置は、自車周辺を撮像した撮像データを車両上方の仮想視点から見下ろす画像に座標変換して表示するものであり、自車周辺を撮像し撮像データを出力する撮像部６０と、タイヤ種別に対応するタイヤ外径情報を記憶する記憶部４０と、自車のタイヤが交換されたとき、記憶部４０に記憶されたタイヤ情報に基づき交換されたタイヤ種別に対応するタイヤ外径を抽出し、抽出されたタイヤ外径に基づき撮像データを座標変換する制御部７０と、座標変換された撮像データを仮想視点から見下ろす画像として表示する画像表示部５０とを有する。【選択図】  図３
2010234856.tif 000002
【特許請求の範囲】
【請求項１】
自車周辺を撮像した撮像データを車両上方の仮想視点から見下ろす画像に座標変換して表示する車載用表示装置であって、
自車周辺を撮像し、撮像データを出力する撮像手段と、
タイヤ種別に対応するタイヤ外径情報を記憶するタイヤ情報記憶手段と、
自車のタイヤが交換されたとき、前記タイヤ情報記憶手段に記憶されたタイヤ外径情報に基づき交換されたタイヤ種別に対応するタイヤ外径情報を抽出する抽出手段と、
前記抽出されたタイヤ外径情報に基づき前記撮像データを座標変換する座標変換手段と、
前記座標変換手段により変換された撮像データを前記仮想視点から見下ろす画像として表示する表示手段と、
を有する車載用表示装置。
【請求項２】
車載用表示装置はさらに、タイヤ交換されたとき、タイヤ種別を入力するための入力手段を含み、前記抽出手段は、入力されたタイヤ種別に基づきタイヤ外径情報を抽出する、請求項１に記載の車載用表示装置。
【請求項３】
前記座標変換手段は、予め決められた基準値と前記抽出手段により抽出されたタイヤ外径情報との差分に基づき前記撮像データの座標変換を行う、請求項１に記載の車載用表示装置。
【請求項４】
前記座標変換手段は、前記差分に基づき座標変換される前記仮想視点の位置を補正する、請求項３に記載の車載用表示装置。
【請求項５】
前記座標変換手段は、前記差分に基づき前記撮像手段からトリミングする撮像データの位置を補正する、請求項３に記載の車載用表示装置。
【請求項６】
自車周辺を撮像した撮像データを車両上方の仮想視点から見下ろす画像に座標変換して表示する方法であって、
自車のタイヤが交換されたとき、交換されたタイヤ種別を入力するステップと、
予め用意されたタイヤ種別とタイヤ外径情報との関係を規定したテーブルを参照し、入力されたタイヤ種別に該当するタイヤ外径情報を抽出するステップと、
抽出されたタイヤ外径情報に基づき前記撮像データを座標変換するステップと、
座標変換された撮像データを前記仮想視点から見下ろす画像として表示するステップと、
を有する表示方法。
【請求項７】
表示方法はさらに、抽出されたタイヤ外径情報と基準タイヤ外径情報との差分を検出するステップを有し、前記座標変換をするステップは、検出された差分に基づき前記仮想視点の位置を補正して座標変換をする、請求項６に記載の表示方法。
【請求項８】
表示方法はさらに、抽出されたタイヤ外径情報と基準タイヤ外径情報との差分を検出するステップを有し、前記座標変換をするステップは、検出された差分に基づき撮像データのトリミングする位置を補正する、請求項６に記載の表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像カメラが撮像した自車周辺画像を表示する車載用表示装置に関し、特に、撮像画像を車両上方の視点から見下ろした画像に変換して、これを表示する技術に関する。
【背景技術】
【０００２】
自動車への撮像カメラの搭載率の向上に伴い、画像合成を用いたアプリケーションが急拡大している。このようなアプリケーションの多くは、運転者の運転を支援し、車両の走行時の安全性を向上させるものである。例えば、車両周辺の障害物の映像を提供する車載画像システムは、遠方の障害物を撮影するカメラシステム(コーナーモニターシステム、リアビュウカメラシステムなど)と、車両近傍の死角障害物を撮影するシステム（サイドビュウカメラシステム）とをそれぞれ備えたものがある。また、画角の狭い撮像カメラを用いたシステムでは、駆動装置により撮像カメラの向きを可変できるようにし、車両の周囲の障害物を映し出すようにしている。さらに、超広角の撮像カメラを用いたシステムでは、撮像された画像データを合成し、自車周囲の３６０度を映し出すことを可能に、その中から必要とする水平方向の範囲の画像データを切り出し、またはトリミングし、その画像を表示している。
【０００３】
また、自車の前後左右に複数の撮像カメラで撮影した画像データを視点変換（座標変換）し、あたかも自車を真上から見たように、自車周囲の画像をモニタに映し出す、いわゆるトップビュー表示も実用化されている。特許文献１は、このようなトップビュー表示に関し、路面に傾斜があることを検出すると、路面の傾斜変化地点および傾斜変化量に応じて座標変換する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３１８４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図１は、トップビュー表示の説明図である。自車の前後左右には、それぞれ撮像カメラが取り付けられ、トップビュー表示Ｔは、ディスプレイ上に、自車の前方画像Ａ、左右画像Ｂ、Ｃ、後方画像Ｄを自車の上方の仮想視点から見下ろしたように表示する。トップビュー表示Ｔの中央には、自車の平面画像が表示され、１は、画像のつなぎ目である。
【０００６】
図２は、トップビュー表示の仮想視点と撮像カメラの位置関係を説明する図である。同図に示すように、撮像カメラの光軸Ｏは、地表または路面から高さＨｓ（以下、Ｈｓを基準高さという）にあり、撮像カメラは、光軸Ｏを中心に垂直方向に視野角θで撮像する。また、トップビュー表示Ｔの仮想視点Ｐは、地表または路面から高さＨｔに設定される。トップビュー表示Ｔは、基準高さＨｓで撮像された撮像データを、仮想視点Ｐの高さＨｔに座標変換して表示する。
【０００７】
例えば、撮像カメラの取り付け位置精度が低下すれば、基準高さＨｓが変化し、撮像カメラと仮想視点Ｐとの距離Ｈｄが変化し、結果的に、座標変換した撮像データに誤差が含まれてしまう。この誤差は、例えば、トップビュー表示の画像の歪となって表れたり、合成する画像のつなぎ目１に不連続を生じさせてしまう。
【０００８】
さらに撮像カメラの取り付け位置精度が保たれたとしても、後発的に、車高が変化すれば、撮像カメラの基準高さＨｓは変化し得る。車高が変化する要因としては、車両に搭乗する人員の数、積載する重量、タイヤの空気圧などがある。従来の車載用表示装置では、これらの車高変化を考慮して、予想される最大車高と最小車高との平均値または中央値となるように基準高さＨｓを設定している。
【０００９】
しかしながら、従来の車載用表示装置には、次のような課題がある。車両に装着されるタイヤは、季節によって交換されたり、新品のものに交換されることがある。例えば、春から秋までのシーズンであれば、通常走行用のノーマルタイヤ（以下、便宜上、夏タイヤという）を装着し、冬のシーズンであれば、雪道等を走行するためのスタッドレス等のタイヤ（以下、便宜上、冬タイヤという）を装着する。このような夏タイヤと冬タイヤでは、タイヤの外径が異なるため、車高が変動する。さらに、タイヤのメーカによっても微妙ではあるが外径が異なる。勿論、タイヤのサイズを変更した場合にも車高が変化する。一旦、タイヤを交換すると、長期間において車高が変化した状態が継続されることになるが、従来の車載用表示装置は、このようなタイヤによる車高の変化を考慮していなかった。従って、タイヤ交換等によって生じたトップビュー表示の歪等が長期間継続し、その間、ユーザに違和感やストレスを与えていた。
【００１０】
本発明は、このような従来の課題を解決し、車両に装着されるタイヤに応じて適切なトップビュー表示をすることができる車載用表示装置、車載用画像の補正方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る車載用表示装置は、自車周辺を撮像した撮像データを車両上方の仮想視点から見下ろす画像に座標変換して表示するものであって、自車周辺を撮像し、撮像データを出力する撮像手段と、タイヤ種別に対応するタイヤ外径情報を記憶するタイヤ情報記憶手段と、自車のタイヤが交換されたとき、前記タイヤ情報記憶手段に記憶されたタイヤ外径情報に基づき交換されたタイヤ種別に対応するタイヤ外径情報を抽出する抽出手段と、前記抽出されたタイヤ外径情報に基づき前記撮像データを座標変換する座標変換手段と、前記座標変換手段により変換された撮像データを前記仮想視点から見下ろす画像として表示する表示手段とを有する。
【００１２】
好ましくは車載用表示装置はさらに、タイヤ交換されたとき、タイヤ種別を入力するための入力手段を含み、前記抽出手段は、入力されたタイヤ種別に基づきタイヤ外径情報を抽出する。好ましくは前記座標変換手段は、予め決められた基準値と前記抽出手段により抽出されたタイヤ外径情報との差分に基づき前記撮像データの座標変換を行う。好ましくは前記座標変換手段は、前記差分に基づき座標変換される前記仮想視点の位置を補正する。好ましくは前記座標変換手段は、前記差分に基づき前記撮像手段からトリミングする撮像データの位置を補正する。
【００１３】
本発明に係る自車周辺を撮像した撮像データを車両上方の仮想視点から見下ろす画像に座標変換して表示する方法は、自車のタイヤが交換されたとき、交換されたタイヤ種別を入力するステップと、予め用意されたタイヤ種別とタイヤ外径情報との関係を規定したテーブルを参照し、入力されたタイヤ種別に該当するタイヤ外径情報を抽出するステップと、抽出されたタイヤ外径情報に基づき前記撮像データを座標変換するステップと、座標変換された撮像データを前記仮想視点から見下ろす画像として表示するステップとを有する。
【００１４】
好ましくは表示方法はさらに、抽出されたタイヤ外径情報と基準タイヤ外径情報との差分を検出するステップを有し、前記座標変換をするステップは、検出された差分に基づき前記仮想視点の位置を補正して座標変換をする。好ましくは表示方法はさらに、抽出されたタイヤ外径情報と基準タイヤ外径情報との差分を検出するステップを有し、前記座標変換をするステップは、検出された差分に基づき撮像データのトリミングする位置を補正する。
【発明の効果】
【００１５】
本発明によれば、自車のタイヤが交換されたとき、タイヤ種別に応じて撮像データの座標変換を行うようにしたので、タイヤ種別による車高変化が生じても適切な仮想視点から見下ろした画像を表示することができる。
【図面の簡単な説明】
【００１６】
【図１】トップビュー表示を説明する図である。
【図２】トップビュー表示の仮想視点と撮像カメラの位置関係を説明する図である。
【図３】本発明の実施例に係る車載用表示装置の構成を示すブロック図である。
【図４】タイヤ種別とタイヤ外径との関係を登録したタイヤ情報の例を示す図である。
【図５】撮像カメラの設置例である。
【図６】図３に示す制御部のトップビュー表示を実行するための機能ブロック図である。
【図７】本発明の第１の実施例によるトップビュー表示の動作フローチャートである。
【図８】タイヤに関する情報を入力するための入力画面の表示例である。
【図９】撮像カメラの基準高さＨｓを補正する方法を説明する図である。
【図１０】本発明の第２の実施例による撮像カメラの基準高さＨｓを補正する方法を説明する図である。
【発明を実施するための形態】
【００１７】
以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。
【実施例】
【００１８】
図３は、本発明の実施例に係る車載用表示装置の構成を示すブロック図である、車載用表示装置１０は、ユーザからの情報を入力する入力部２０と、タイヤの着脱を検知する接触センサやギアポジションなどの車両状態を検出する車両状態センサ３０と、車載用表示装置の動作に必要なデータ等を記憶する記憶部４０と、ディスプレイにトップビュー表示Ｔやリヤビュー表示などを表示する画像表示部５０と、自車周辺を撮像する撮像部６０と、各部の動作を制御する制御部７０とを含んで構成される。
【００１９】
入力部２０は、入力キー、タッチパネル、音声入力等を含み、ユーザからの種々の情報を制御部７０に提供する。例えば、制御部７０は、ユーザからの入力に応答してトップビュー表示Ｔを出力させることができる。記憶部４０は、タイヤ情報テーブル４２、タイヤ情報入力画面部４４、およびタイヤ情報更新部４６を含む。タイヤ情報テーブル４２は、図４に示すように、メーカ毎にタイヤ種別に応じたタイヤの外径の情報とを含んでいる。タイヤ種別は、例えば、標準的なノーマルな夏タイヤ、スタッドレスのような冬タイヤである。タイヤ情報入力画面部４４は、タイヤ交換時にユーザにタイヤ情報の入力を促すための入力画面を保持する。タイヤ情報更新部４６は、車両に現在装着されているタイヤ情報を記憶し、ユーザからタイヤ情報の入力があったときタイヤ情報を更新する。
【００２０】
撮像部６０は、撮像カメラ６２、６４、６６、６８を含み、撮像カメラ６２〜６８は、例えばＣＣＤ撮像素子と、広角の魚眼レンズを含む光学系を含んで構成される。図５は、撮像カメラ６２〜６８の配置例であり、撮像カメラ６２は、前方バンパーのナンバープレート付近に設置され、前方を視野角θ１の範囲で撮像する。撮像カメラ６６、６８は、それぞれ左右のドアミラーに設置され、自車の左右方向を視野角θ２、θ３の範囲で撮像する。撮像カメラ６４は、後方バンパーに設置され、後方を視野角θ４の範囲で撮像する。撮像カメラのそれぞれの視野角θ１〜θ４は、隣接する視野角と一部が重複するように調整され、４つの撮像カメラ６２〜６８により自車の全周囲を撮像する。但し、撮像カメラの数および設置位置は任意であり、必ずしも上記の態様に限られるものではない。
【００２１】
図６は、制御部７０におけるトップビュー表示を実行するための機能ブロック図である。制御部７０は、タイヤ情報入力画面部４４から読み出された入力画面に基づきタイヤ情報の設定を可能にするタイヤ情報設定部７２、タイヤ情報テーブル４２を参照しタイヤ情報更新部４６に保持されたタイヤ種別に対応するタイヤ外径を抽出するタイヤ外径抽出部７４、タイヤ外径抽出部７４で抽出されたタイヤ外径と予め設定された基準タイヤ外径との差分を検出する差分検出部７６、差分検出部７６により検出された差分を用いて撮像データを座標変換する座標変換部７８、座標変換部７８で変換された撮像データの合成を行いトップビュー表示用の画像を生成する画像合成部８０を有する。
【００２２】
次に、本実施例の車載用表示装置におけるトップビュー表示動作を図７のフローチャートを参照して説明する。先ず、自車のタイヤが、例えば夏タイヤから冬タイヤまたは冬タイヤから夏タイヤに交換され、あるいは新品のタイヤに交換される（ステップＳ１０１）。タイヤ交換が行われると、車両状態センサ３０からタイヤの着脱を検出した検出信号が制御部７０へ出力される。あるいは、入力部２０を介してタイヤ交換を行ったこと旨がユーザによって入力される。タイヤ情報設定部７２は、タイヤ交換があったこと検出すると、タイヤ情報入力画面部４４から入力画面情報を読出し、タイヤに関する情報を入力するための入力画面をディスプレイに表示させる（ステップＳ１０２）。
【００２３】
図８（ａ）は、タイヤに関する情報の入力画面の例である。同図（ａ）の入力画面には、例えば「製造メーカとタイヤの種類を選択してください」などの入力指示９０が表示され、さらに製造メーカ毎の夏タイヤと冬タイヤのタイヤリスト９２が表示される。ユーザは、タイヤリスト９２の中から該当するタイヤを選択することができる。図８（ａ）の入力が終了すると、次に図８（ｂ）に示すようなタイヤのサイズを入力するための画面が表示される。ここには、例えば「タイヤサイズを入力してください」などの入力指示９４が表示され、さらに複数のタイヤサイズを示したサイズリスト９６が表示される。但し、タイヤが輸入品や新製品であってタイヤリストに登録されていないような場合には、ユーザが、直接タイヤに関する情報を入力するようにしてもよい。
【００２４】
上記のような入力画面を参照してユーザからタイヤに関する情報が入力される（ステップＳ１０３）。タイヤに関する情報が入力されると、タイヤ情報設定部７２は、タイヤに関する情報をタイヤ情報更新部４６に格納し、タイヤに関する情報を更新する（ステップＳ１０４）。次に、タイヤ外径抽出部７４は、図４に示したタイヤ情報テーブル４２を参照し、タイヤ情報更新部４６に保持されたタイヤに関する情報からタイヤ外径Ｄｘを抽出する（ステップＳ１０５）。タイヤ外径Ｄｘは、車高、すなわち図２に示した撮像カメラの地表からの高さを決定する。次に、差分検出部７６は、抽出されたタイヤ外径Ｄｘと予め決定された基準タイヤ外径Ｄｓとの差分Ｓ（Ｓ＝｜Ｄｓ−Ｄｘ｜）を検出する（ステップＳ１０６）。ここで、基準タイヤ外径Ｄｓは、撮像カメラの基準高さＨｓのときの外径である。
【００２５】
次に、座標変換部７８は、検出された差分Ｓに基づき係数を補正し、撮像データの座標変換を行う（ステップＳ１０７）。図９に示すように、基準タイヤ外径Ｄｓのとき、撮像カメラの基準高さはＨｓとなる。基準タイヤ外径Ｄｓよりもタイヤ外径Ｄｘ１が大きいとき（Ｄｘ１＞Ｄｓ）、撮像カメラの地表からの高さはＨｓ１（Ｈｓ１＞Ｈｓ）となり、仮想視点Ｐと撮像カメラとの距離Ｈｄ１がＨｄよりも小さくなる。従って、座標変換部７８は、仮想視点Ｐと撮像カメラの距離がＨｄとなるように仮想視点ＰをＰ１へ補正して座標変換する。
【００２６】
反対に、基準タイヤ外径Ｄｓよりもタイヤ外径Ｄｘ２が小さいとき（Ｄｘ２＜Ｄｓ）、撮像カメラの地表からの高さはＨｓ２（Ｈｓ２＜Ｈｓ）となり、仮想視点Ｐと撮像カメラとの距離Ｈｄ２がＨｄよりも大きくなる。従って、座標変換部７８は、仮想視点Ｐと撮像カメラの距離がＨｄとなるように仮想視点ＰをＰ２へ補正して座標変換する。
【００２７】
次に、画像合成部８０は、車両の前後左右の撮像カメラの撮像データを合成し（ステップＳ１０８）、画像表示部５０は、ディスプレイにトップビュー表示Ｔを出力する（ステップＳ１０９）。
【００２８】
このように、装着されるタイヤ外径に応じて基準高さＨｓに対する差分を補償するように仮想視点を補正して座標変換を行うことで、車高変化に伴うトップビュー表示の歪等を解消し、ユーザへの違和感や不快感を低減することができる。
【００２９】
次に、本発明の第２の実施例について説明する。上記実施例では、タイヤ外径の差分による撮像カメラの基準高さＨｓに基づいて仮想視点を変更することで補償したが、第２の実施例では、タイヤ外径の差分Ｓによる撮像カメラの基準高さＨｓを撮像カメラ自身によって補正する。
【００３０】
図１０は、撮像カメラにより撮像可能な範囲を２次元的に模式的に示している。広角レンズを用いた撮像カメラの撮像データ１００は、一定のアスペクト比で広範囲の周辺状況が写しだすことができるが、撮像データ１００の端部には歪みが生じるため、歪の少ない中央の矩形領域１０２をトリミングし、これをトップビュー表示の画像に用いている。ここで、矩形部分１０２は、撮像カメラの基準高さＨｓのときに切り取られる映像である。タイヤ外径Ｄｘ１が基準タイヤ外径Ｄｓよりも大きいとき、車高は、差分Ｓに応じて高くなり、従って、撮像カメラの高さも高くなる。座標変換部７８は、撮像データ１００からトリミングすべき矩形領域１０２Ａを差分Ｓに応じた距離Ｔ１だけ下方にシフトすることで、タイヤ外径の差分Ｓを補償することができる。
【００３１】
同様に、タイヤ外径Ｄｘ２が基準タイヤ外径Ｄｓよりも小さいとき、車高は、差分Ｓに応じて低くなり、従って、撮像カメラの高さも低くなる。座標変換部７８は、撮像データ１００からトリミングすべき矩形領域１０２Ｂを差分Ｓに応じた距離だけ上方Ｔ２にシフトすることで、タイヤ外径の差分Ｓを補償することができる。
【００３２】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００３３】
上記第１および第２の実施例では、トップビュー表示Ｔを補正する方法を例示したが、このような方法の他に、メモリに格納された車高値を用いてトップビュー表示Ｔを補償する場合には、タイヤ交換によるサイズの変化分を車高値に反映させるようにしてもよい。
【符号の説明】
【００３４】
１０：車載用表示装置                ２０：入力部
３０：車両状態センサ                ４０：記憶部
５０：画像表示部                    ６０：撮像部
７０：制御部
Ｔ：トップビュー表示
Ａ：自車の前方画像
Ｂ、Ｃ：自車の左右画像
Ｄ：自車の後方画像
【図１】
2010234856.tif 000003
【図２】
2010234856.tif 000004
【図３】
2010234856.tif 000005
【図４】
2010234856.tif 000006
【図５】
2010234856.tif 000007
【図６】
2010234856.tif 000008
【図７】
2010234856.tif 000009
【図８】
2010234856.tif 000010
【図９】
2010234856.tif 000011
【図１０】
2010234856.tif 000012