(57)【要約】【目的】トップビュー画像表示において、車体の傾きに起因してカメラ画像のつなぎ目で発生するズレをなくす「画像表示装置」を提供することである。【構成】複数のカメラで撮影した車両周辺の画像を合成してトップビュー画像を表示する画像表示装置であり、各カメラで撮影された車両前方、車両後方、車両右側、車両左側の風景のそれぞれを記憶する画像メモリ、後座席に乗っている搭乗者数を検出して使用するマッピングテーブルを決定するマッピングテーブル決定部、搭乗者数に応じたマッピングテーブルを用いて各画像メモリから画像データを読み出し、フレームメモリにマッピングしてトップビュー画像を表示するマッピング部を備えている。【選択図】図１
2008152424.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を合成して車両上方の視点から眺めた合成画像をフレームメモリに描画し、該フレームメモリより画像データを読み出して合成画像を表示する画像表示装置において、
各カメラで撮影された車両前方の風景、車両後方の風景、車両右側の風景、車両左側の風景のそれぞれを記憶する画像メモリ、
車両前座席を除いた席に乗っている所定搭乗者数毎に設けられ、前記各画像メモリの画素位置とフレームメモリの画素位置との対応関係を示すマッピングテーブルを保存するマッピングメモリ、
前記搭乗者数を検出して使用するマッピングテーブルを決定するマッピングテーブル決定部、
前記搭乗者数に応じたマッピングテーブルを用いて前記各画像メモリから画像データを読み出し、前記フレームメモリにマッピングするマッピング部、
を備えたことを特徴とする画像表示装置。
【請求項２】
請求項１記載の画像表示装置において、
前記マッピングテーブル決定部は、
車両前座席を除いた席に乗っている搭乗者数を検出する検出部、
所定搭乗者数に対応させて使用するマッピングテーブルを記憶する記憶部、
車両の搭乗者数に応じた使用マッピングテーブルを決定して前記マッピング部に通知するマッピングテーブル決定制御部、
を備えたことを特徴とする画像表示装置。
【請求項３】
請求項２記載の画像表示装置において、
前記搭乗者数検出部を、座席シートに搭乗者の着座を検出する感圧センサーを埋め込むことにより構成する、
ことを特徴とする画像表示装置。
【請求項４】
請求項２記載の画像表示装置において、
前記搭乗者数検出部を、車室天井に車室内を撮影するカメラと、該カメラの撮影画像を画像処理して搭乗者数を検出する画像処理部で構成する、
ことを特徴とする画像表示装置。
【請求項５】
請求項２記載の画像表示装置において、
前記搭乗者数検出部を、搭乗者を検出する赤外線センサーで構成する、
ことを特徴とする画像表示装置。
【請求項６】
請求項１記載の画像表示装置において、
前記フレームメモリに描画された合成画像を取り込み、所定の２つの画像メモリから読み出して描画した画像部分のつなぎ目における白線のズレ量を検出する画像処理部、
を備え、前記マッピングテーブル決定制御部は前記白線ズレ量に基づいて搭乗者数を補正し、補正搭乗者数に応じて使用マッピングテーブルを決定する、
ことを特徴とする画像表示装置。
【請求項７】
車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を合成して車両上方の視点から眺めた合成画像をフレームメモリに描画し、該フレームメモリより画像データを読み出して合成画像を表示する画像表示装置において、
各カメラで撮影された車両前方の風景、車両後方の風景、車両右側の風景、車両左側の風景のそれぞれを記憶する画像メモリ、
車両前座席を除いた席に乗っている搭乗者の総重量の所定範囲毎に設けられ、前記各画像メモリの画素位置とフレームメモリの画素位置との対応関係を示すマッピングテーブルを保存するマッピングメモリ、
前記搭乗者の総重量を検出して使用するマッピングテーブルを決定するマッピングテーブル決定部、
前記搭乗者の総重量に応じたマッピングテーブルを用いて前記各画像メモリから画像データを読み出し、前記フレームメモリにマッピングするマッピング部、
を備えたことを特徴とする画像表示装置。
【請求項８】
請求項７記載の画像表示装置において、
前記マッピングテーブル決定部は、
車両前座席を除いた席に乗っている搭乗者の総重量を検出する検出部、
搭乗者の総重量範囲に対応させて使用するマッピングテーブルを記憶する記憶部、
搭乗者の総重量に応じた使用マッピングテーブルを決定して前記マッピング部に通知するマッピングテーブル決定制御部、
を備えたことを特徴とする画像表示装置。
【請求項９】
請求項８記載の画像表示装置において、
前記搭乗者の総重量検出部を、座席シートに搭乗者の重量を検出する重量検出センサーを埋め込むことにより構成する、
ことを特徴とする画像表示装置。
【請求項１０】
請求項７または８記載の画像表示装置において、
トランクに荷物重量検出センサーを設け、該荷物の重量を前記搭乗者の総重量に含めることを特徴とする画像表示装置。
【請求項１１】
請求項７記載の画像表示装置において、
前記フレームメモリに描画された合成画像を取り込み、所定の２つの画像メモリから読み出して描画した２つの画像部分のつなぎ目における白線のズレ量を検出する画像処理部、
を備え、前記マッピングテーブル決定制御部は前記白線ズレ量に基づいて総重量を補正し、補正総重量に応じて使用マッピングテーブルを決定する、
ことを特徴とする画像表示装置。
【請求項１２】
車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を合成して車両上方の視点から眺めた合成画像をフレームメモリに描画し、該フレームメモリより画像データを読み出して合成画像を表示する画像表示装置において、
各カメラで撮影された車両前方の風景、車両後方の風景、車両右側の風景、車両左側の風景のそれぞれを記憶する画像メモリ、
車体と車軸の間隔である所定車高毎に設けられ、前記各画像メモリの画素位置とフレームメモリの画素位置との対応関係を示すマッピングテーブルを保存するマッピングメモリ、
前記車高を検出して使用するマッピングテーブルを決定するマッピングテーブル決定部、
前記車高に応じたマッピングテーブルを用いて前記各画像メモリから画像データを読み出し、前記フレームメモリにマッピングするマッピング部、
を備えたことを特徴とする画像表示装置。
【請求項１３】
請求項１２記載の画像表示装置において、
前記マッピングテーブル決定部は、
車体と車軸の間隔である車高を検出する検出部、
車高範囲に対応させて使用するマッピングテーブルを記憶する記憶部、
車高に応じて使用マッピングテーブルを決定して前記マッピング部に通知するマッピングテーブル決定制御部、
を備えたことを特徴とする画像表示装置。
【請求項１４】
車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を合成して車両上方の視点から眺めた合成画像をフレームメモリに描画し、該フレームメモリより画像データを読み出して合成画像を表示する画像表示装置において、
各カメラで撮影された車両前方の風景、車両後方の風景、車両右側の風景、車両左側の風景のそれぞれを記憶する画像メモリ、
前記各画像メモリの画素位置とフレームメモリの画素位置との対応関係を示すマッピングテーブルを複数保存するマッピングメモリ、
所定のマッピングテーブルを用いて前記各画像メモリから画像データを読み出し、前記フレームメモリにマッピングするマッピング部、
前記フレームメモリに描画された合成画像を取り込み、所定の２つの画像メモリから読み出して描画した２つの画像部分のつなぎ目における白線のズレ量を検出する画像処理部、
前記白線ズレ量に基づいて使用するマッピングテーブルを決定して前記マッピング部に通知するマッピングテーブル決定部、
を備えたことを特徴とする画像表示装置。
【請求項１５】
請求項１４記載の画像表示装置において、
前記マッピングテーブル決定部は、
前記白線ズレ量に対応させて使用するマッピングテーブルを記憶する記憶部、
白線ズレ量に応じて使用マッピングテーブルを決定して前記マッピング部に通知するマッピングテーブル決定部、
を備えたことを特徴とする画像表示装置。
【請求項１６】
請求項１４記載の画像表示装置において、
前記画像処理部は、車両が所定速度以上で直進しているときに、前記白線ズレ量の検出処理を行なう、
ことを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像表示装置に係わり、特に、車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を合成して車両上方の視点から眺めた合成画像をフレームメモリに描画し、該フレームメモリより画像データを読み出して合成画像を表示する画像表示装置に関する。
【背景技術】
【０００２】
車庫入れや駐車等に際して運転手を支援するため支援システムが研究され、実用化されている。かかる支援システムとして車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を合成して車両上方の視点から眺めた合成画像(トップビュー画像)をフレームメモリに描画し、該フレームメモリより画像データを読み出してモニターに表示するトップビューシステムが知られている(特許文献1参照)。
このトップビューシステムは、図２１（A），（B)に示すように、車両周囲を撮影する複数の魚眼カメラ１a〜１dを車両２のフロント、両サイド、リアに装着し、画像合成処理部３が各カメラ１a〜１dから取り込んだ画像を用いて、図２１（C）に示す車両上方所定の位置（仮想視点）４から所定の方向を眺めた風景の合成画像を作成してモニター５に表示し、これにより駐車、車庫入れなどを支援する。
画像合成処理部３は合成に際して、マッピングテーブルを用いて各カメラで撮影した画像部分をフレームメモリにマッピングして表示する。図２２は各魚眼カメラ１a〜１dで撮影した魚眼図形IMa〜IMdを画面対応のフレームメモリ６にマッピングする場合の説明図である。魚眼図形IMa〜IMdはフレームメモリ６の対応する領域６a〜６dにそれぞれマッピングされ、また、予め撮影されて保存されている車両画像７はフレームメモリ６の中央部にマッピングされ、これによりフレームメモリ６に１画面のトップビュー画像が生成される。
【０００３】
図２３はマッピング法の詳細な説明図であり、車両２に取り付けた魚眼カメラ１a〜１dにより車両前方の風景、車両左側の風景、車両右側の風景、車両後方の風景を撮影する。各魚眼カメラ１a〜１dはそれぞれ魚眼レンズにより前方１８５0の範囲にわたって風景を撮影することができ、カメラ１aはラインＦＦより前方の風景を撮影し、カメラ１bはラインＬＬより左側の車両左側風景を撮影し、カメラ１cはラインＲＲより右側の車両右側風景を撮影し、カメラ１dはラインＢＢより後方の車両後方風景を撮影する。
図２３（Ｂ）に示すようにカメラ１bで車両左側の地面に描かれた矩形の格子模様を撮影すると図２３(Ｃ)示すように魚眼で見た図形（魚眼図形という）になる。
各カメラで撮影した魚眼図形を地面の平面上に投影することによりトップビュー画像を得ることができる。矩形図形６と魚眼図形７において同一番号を付した領域は対応しており、矩形図形６における領域１〜６は魚眼図形７では領域１〜６になる。したがって、矩形図形６の領域１〜６の画像を記憶すべきフレームメモリ位置に、該領域に対応する魚眼図形７の領域１〜６の画像を記憶し、同様に、全カメラで撮影した画像をフレームメモリに描画して読み出せば、魚眼カメラ１a〜１dで撮影した画像を地面の平面上に投影した図形に視点変換してモニターに表示することが可能になる。
【０００４】
以上のように、従来は複数のカメラ映像を地面の平面上に投影することによりトップビュー画像を発生している。しかし、搭乗者数により地面に対して車体が傾くと、カメラ位置が変化し、カメラと投影平面である地面の位置関係がずれ、結果としてトップビュー画像における複数カメラの撮影画像のつなぎ目がずれてしまう問題が発生する。図２４はかかる点を説明する図であり、(Ａ)は車体が傾いていない場合であり、(Ｂ)は後座席の搭乗者数が増えて車体がθ傾いた場合であり、カメラ１ｄの位置が下がる。この結果、車体が傾いていなければ、図２５（Ａ）に示すようにカメラ１ｂ，１ｃで撮影した画像IMb，IMcとカメラ１dで撮影した画像IMdのつなぎ目CNにおいてズレが発生しないが、車体が傾くと図２５（Ｂ）に示すよう画像のつなぎ目CNにおいて縦線にズレが発生する。なお、図２５(Ａ)は運転席と助手席に合計２名が乗車したときのトップビュー画像であり、（Ｂ）は運転席と助手席の２名のほかに後座席に５名、トータル７名が乗車したときのトップビュー画像である。２名乗車時は床の線のつなぎ目が概ね合っているが、７名乗車時には車両後側の荷重が増えて車体が傾いてカメラ位置が下がり、カメラと投影平面の位置関係がずれ、この結果、床の縦線が繋がらなくなっている。
【０００５】
従来技術として、複数台の車載カメラの撮像画像を合成して表示するときの画面表示を見やすくする技術がある(特許文献２参照)。この従来技術は、自車両の周り近傍を撮像する複数のカメラを車両に搭載し、各カメラ画像を合成して表示装置の画面に表示するに際し、隣接するカメラ画像の画素データ間の差が小さくなるように各カメラ画像の画素データを補正するものである。例えば、隣接するカメラ画像間の画素データの平均値が等しくなるように補正し、これにより、合成画像が見やすい画像とするものである。
【特許文献１】特許３３００３３４号
【特許文献２】特開２００２−３２４２３５号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記従来技術は、トップビュー画像において、車体の傾きに起因してカメラ画像のつなぎ目で発生するズレをなくすものではない。
以上からは、本発明の目的はトップビュー画像などの合成画像表示において、車体の傾きに起因してカメラ画像のつなぎ目で発生するズレをなくすことである。
本発明の別の目的はトップビュー画像などの合成画像において、車体の傾きに起因してカメラ画像のつなぎ目で発生するズレを簡単な構成でなくすことである。
本発明の別の目的はトップビュー画像などの合成画像において、車体の傾きに起因してカメラ画像のつなぎ目で発生するズレを精度良くなくすことである。
【課題を解決するための手段】
【０００７】
本発明は、車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を合成して車両上方の視点から眺めた合成画像をフレームメモリに描画し、該フレームメモリより画像データを読み出して合成画像を表示する画像表示装置である。
（１）第１態様の画像表示装置
本発明の第１態様の画像表示装置は、各カメラで撮影された車両前方の風景、車両後方の風景、車両右側の風景、車両左側の風景のそれぞれを記憶する画像メモリ、車両前座席を除いた席に乗っている所定搭乗者数毎に設けられ、前記各画像メモリの画素位置とフレームメモリの画素位置との対応関係を示すマッピングテーブルを保存するマッピングメモリ、前記搭乗者数を検出して使用するマッピングテーブルを決定するマッピングテーブル決定部、前記搭乗者数に応じたマッピングテーブルを用いて前記各画像メモリから画像データを読み出し、前記フレームメモリにマッピングするマッピング部を備えている。
前記第１態様の画像表示装置において、マッピングテーブル決定部は、車両前座席を除いた席に乗っている搭乗者数を検出する検出部、所定搭乗者数に対応させて使用するマッピングテーブルを記憶する記憶部、車両の搭乗者数に応じた使用マッピングテーブルを決定して前記マッピング部に通知するマッピングテーブル決定制御部を備えている。搭乗者数検出部は、(１)座席シートに搭乗者の着座を検出する感圧センサーを埋め込むことにより構成し、あるいは、(２)車室天井に車室内を撮影するカメラと、該カメラの撮影画像を画像処理して搭乗者数を検出する画像処理部で構成し、あるいは(３)する、搭乗者を検出する赤外線センサーで構成する。
前記第１態様の画像表示装置は、更に、前記フレームメモリに描画された合成画像を取り込み、所定の２つの画像メモリから読み出して描画した２つの画像部分のつなぎ目における白線のズレ量を検出する画像処理部を備え、前記マッピングテーブル決定制御部は前記白線ズレ量に基づいて搭乗者数を補正し、補正搭乗者数に応じて使用マッピングテーブルを決定する。
【０００８】
（２）第２態様の画像表示装置
本発明の第２態様の画像表示装置は、各カメラで撮影された車両前方の風景、車両後方の風景、車両右側の風景、車両左側の風景のそれぞれを記憶する画像メモリ、車両前座席を除いた席に乗っている搭乗者の総重量の所定範囲毎に設けられ、前記各画像メモリの画素位置とフレームメモリの画素位置との対応関係を示すマッピングテーブルを保存するマッピングメモリ、前記搭乗者の総重量を検出して使用するマッピングテーブルを決定するマッピングテーブル決定部、前記搭乗者の総重量に応じたマッピングテーブルを用いて前記各画像メモリから画像データを読み出し、前記フレームメモリにマッピングするマッピング部を備えている。
上記第２態様の画像表示装置における前記マッピングテーブル決定部は、車両前座席を除いた席に乗っている搭乗者の総重量を検出する検出部、搭乗者の総重量範囲に対応させて使用するマッピングテーブルを記憶する記憶部、搭乗者の総重量に応じた使用マッピングテーブルを決定して前記マッピング部に通知するマッピングテーブル決定制御部を備えている。総重量検出部は、座席シートに搭乗者の重量を検出する重量検出センサーを埋め込むことにより構成する。また、トランクに荷物重量検出センサーを設け、該荷物の重量を前記搭乗者の総重量に含める。
上記第２態様の画像表示装置は、更に、前記フレームメモリに描画された合成画像を取り込み、所定の２つの画像メモリから読み出して描画した２つの画像部分における白線のズレ量を検出する画像処理部を備え、前記マッピングテーブル決定制御部は前記白線ズレ量に基づいて総重量を補正し、補正総重量に応じて使用マッピングテーブルを決定する。
【０００９】
（３）第３態様の画像表示装置
本発明の第３態様の画像表示装置は、各カメラで撮影された車両前方の風景、車両後方の風景、車両右側の風景、車両左側の風景のそれぞれを記憶する画像メモリ、車体と車軸の間隔である車高毎に設けられ、前記各画像メモリの画素位置とフレームメモリの画素位置との対応関係を示すマッピングテーブルを保存するマッピングメモリ、前記車高を検出して使用するマッピングテーブルを決定するマッピングテーブル決定部、前記車高に応じたマッピングテーブルを用いて前記各画像メモリから画像データを読み出し、前記フレームメモリにマッピングするマッピング部を備えている。マッピングテーブル決定部は、車体と車軸の間隔である車高を検出する検出部、車高範囲に対応させて使用するマッピングテーブルを記憶する記憶部、車高に応じて使用マッピングテーブルを決定して前記マッピング部に通知するマッピングテーブル決定制御部  を備えている。
【００１０】
（４）第４態様の画像表示装置
本発明の第４態様の画像表示装置は、各カメラで撮影された車両前方の風景、車両後方の風景、車両右側の風景、車両左側の風景のそれぞれを記憶する画像メモリ、前記各画像メモリの画素位置とフレームメモリの画素位置との対応関係を示すマッピングテーブルを複数保存するマッピングメモリ、所定のマッピングテーブルを用いて前記各画像メモリから画像データを読み出し、前記フレームメモリにマッピングするマッピング部、前記フレームメモリに描画された合成画像を取り込み、所定の２つの画像メモリから読み出して描画した画像部分における白線のズレ量を検出する画像処理部、前記白線ズレ量に基づいて使用するマッピングテーブルを決定して前記マッピング部に通知するマッピングテーブル決定部を備えている。画像処理部は、車両が所定速度以上で直進しているときに、前記白線ズレ量の検出処理を行なう。マッピングテーブル決定部は、前記白線ズレ量に対応させて使用するマッピングテーブルを記憶する記憶部、白線ズレ量に応じて使用マッピングテーブルを決定して前記マッピング部に通知するマッピングテーブル決定部を備えている。
【発明の効果】
【００１１】
本発明によれば、後座席搭乗者数、あるいは、後座席搭乗者の総重量、あるいは車高に応じてマッピングテーブルを切り替えて合成画像を生成して表示するようにしたから、車体の傾きに起因してカメラ画像のつなぎ目で発生するズレをなくすことができる。
本発明によれば、後座席搭乗者数検出部あるいは後座席搭乗者の総重量検出部あるいは車高検出部と、後座席搭乗者数あるいは後座席搭乗者の総重量あるいは車高に応じてマッピングテーブルを用意するだけの簡単な構成で車体の傾きに起因してカメラ画像のつなぎ目で発生するズレをなくすことができる。
本発明によれば、所定の２つのカメラ画像を合成したつなぎ部分における白線のズレ量を検出し、該白線ズレ量に基づいて搭乗者数あるいは総重量を補正し、補正搭乗者数あるいは補正総重量に応じて使用マッピングテーブルを決定するようにしたから、車体の傾きに起因してカメラ画像のつなぎ目で発生するズレを精度良くなくすことができる。
本発明によれば、所定の２つのカメラ画像を合成したつなぎ部分における白線のズレ量を検出し、該白線ズレ量に基づいて使用マッピングテーブルを決定するようにしたから、車体の傾きに起因してカメラ画像のつなぎ目で発生するズレを精度良くなくすことができる。
【発明を実施するための最良の形態】
【００１２】
（Ａ）第１実施例
図１は本発明の第１実施例の画像表示装置の構成図である。
車両２の前部、左右側部及び後部にカメラ１a，１b，１c，１dを取り付け（図２１参照）、車両前方の風景、車両左側の風景、車両右側の風景、車両後方の風景をそれぞれ撮影し、カメラ対応の画像メモリ２１Ａ〜２１Ｄに記憶する。各カメラ１a〜１dはそれぞれ魚眼レンズにより前方１８５0の範囲にわたって風景を撮影することができる。画像読出し部２２Ａ〜２２Ｄはそれぞれ指示された画像メモリのアドレスより画像データを読み出して出力する。
マッピングメモリ２３は、画像メモリ２１Ａ〜２１Ｄに記憶されている魚眼図形IMa〜IMｄ(図２２参照)を画面対応のフレームメモリ２５にマッピングするための多数のマッピングテーブルMPT0〜MPT5を保存する。マッピングテーブルMPT0〜MPT5は例えば後座席搭乗者数が０〜５人に対応してそれぞれ設けられている。後座席搭乗者数に応じて車体の傾き量が変化するから、画像のつなぎ目でズレが生じないように予め搭乗者数に対応させて作成したマッピングテーブルを用意してマッピングメモリ２３に保存する。
【００１３】
使用マッピングテーブル決定部２４は後座席の搭乗者数に基づいて使用するマッピングテーブルを決定してマッピング部２６に通知する。マッピング部２４は通知されたマッピングテーブルMTBをラスタース方向にスキャンし、順番に画素毎に、カメラ対応画像メモリとそのアドレスを読み出し、該画像メモリの該アドレスから画像データを読み出してフレームメモリ２５に書き込む。全画素について上記の書き込み処理が完了すれば、フレームメモリ２５に周辺画像データがマッピングされたことになる。車両画像保持部２７は予め車両画像を保存しているから、画像合成部２８は該車両画像と画面対応のフレームメモリ２５の周辺画像を合成してモニター２９に表示する。なお、マッピング部２６はマッピングに際して、マッピングテーブルを用いて車両画像保持部２７が保持する車両画像をフレームメモリに書き込むようにすることもできる。
車両重量に応じたマッピングテーブルMPTを用いることにより、後座席搭乗者数が５人でも図２に示すように、カメラ１b，１cで撮影した画像IMb，IMcとカメラ１dで撮影した画像IMdのつなぎ目CNにおいてズレが発生しなくなる。なお、従来は、図２５（Ｂ）に示すよう画像のつなぎ目CNにおいて縦線にズレが発生している。
【００１４】
図３は使用マッピングテーブル決定部２４の構成図であり、後座席の搭乗者数を検出する検出部２４a、後座席の搭乗者数に対応させて使用するマッピングテーブルのID(MPT0〜MPT5)を記憶する記憶部２４ｂ、後座席搭乗者数に応じた使用マッピングテーブルのIDを求めてマッピング部２６に通知するマッピングテーブル決定制御部２４cを有している。車両は図４に示すように７人乗りの場合、点線より前は前座席、後は後座席である。後座席の搭乗者により車体が傾き、傾き角は搭乗者数に依存する。検出部２４aは後座席に搭乗者の着座を検出する感圧センサーSc１〜Sc3，Sr１〜Sr2を埋め込むことにより構成される。マッピングテーブル決定制御部２４cは感圧センサーSc１〜Sc3，Sr１〜Sr2のオン/オフにより搭乗者数を検出し、該搭乗者数に応じたマッピングテーブルIDを記憶部２４ｂより求めてマッピング部２６に通知する。
以上では後座席の搭乗者数に対応させてマッピングテーブルを設けたが、全搭乗者数に対応させてマッピングテーブルを設けることもできる。また、以上では搭乗者数毎にマッピングテーブルを設けたが、１〜２人、３〜４人、５人に対応させてマッピングテーブルを設けることもできる。
【００１５】
・使用マッピングテーブル決定部の別の構成
図５は使用マッピングテーブル決定部の別の構成図であり、図３と同一部分には同一符号を付している異なる点は、後座席の搭乗者数を検出する検出部２４aの構成である。
搭乗者数検出部２４aは、車室天井に設けられ車室内を撮影するカメラ３１と、該カメラの撮影画像を画像処理して搭乗者数を検出する画像処理部３２で構成される。マッピングテーブル決定制御部２４cは画像処理部３２が検出した搭乗者数に応じたマッピングテーブルIDを記憶部２４ｂより求めてマッピング部２６に通知する。
また、後座席の搭乗者数を検出する検出部２４aを図６に示すように赤外線センサーの発光素子３３と受光素子３４で構成することもできる。すなわち、各後座席の背もたれ部に受光素子３４を設け、前座座席の後部に発光素子３３を設けることにより、感圧センサーと同様に搭乗者数を検出することができる。
以上第１実施例では、７人乗り車両について説明しているが搭乗者数に関係なく本発明を適用できるものであり以降の実施例においても同様である。
以上第１実施例によれば、車体の傾きに起因してカメラ画像のつなぎ目で発生するズレをなくすことができる。また、後座席搭乗者数検出部と後座席搭乗者数に応じた複数のマッピングテーブルを用意するだけの簡単な構成で車体の傾きに起因してカメラ画像のつなぎ目で発生するズレをなくすことができる。
【００１６】
（Ｂ）第２実施例
図７は本発明の第２実施例の画像表示装置の構成図であり、図１の第１実施例と同一部分には同一符号を付している。異なる点は、マッピングメモリ４１が、後座席搭乗者の総重量Wに対応させてマッピングテーブルMPT0〜MPT5を保存し、使用マッピングテーブル決定部４２が後座席搭乗者の総重量に応じて使用マッピングテーブルを決定してマッピング部２６に通知する点である。後座席搭乗者の総重量Wに応じて車体の傾き量が変化するから、画像のつなぎ目でズレが生じないように予め搭乗者総重量Wに対応させて作成したマッピングテーブルを複数用意してマッピングメモリ４１に保存する。
図８は使用マッピングテーブル決定部４２の構成図であり、後座席搭乗者の総重量を検出する検出部４２a、後座席搭乗者の総重量に対応させて使用するマッピングテーブルのID(MPT0〜MPT5)を記憶する記憶部４２ｂ、後座席搭乗者の総重量Wに応じた使用マッピングテーブルのIDを求めてマッピング部２６に通知するマッピングテーブル決定制御部４２cを有している。車両２は７人乗りの場合、点線より前は前座席、後は後座席である。後座席の搭乗者により車体が傾き、傾き角は搭乗者の総重量に依存する。検出部４２aは後座席のそれぞれに搭乗者の重量を検出する歪式の重量センサー（電子秤と同じ原理）wt１〜wt5を埋め込むことにより構成される。マッピングテーブル決定制御部４２cは重量センサーwt1〜wt5から入力する重量を加算して搭乗者の総重量Wを検出し、該総重量Wに応じたマッピングテーブルのIDを記憶部４２ｂより求めてマッピング部２６に通知する。
【００１７】
以上では後座席搭乗者の総重量に対応させてマッピングテーブルを設けたが、トランクに乗せた荷物の重量を検出するセンサーwt6を設け、荷物重量を含めて総重量とすることができる。
第２実施例によれば、車体の傾きに起因してカメラ画像のつなぎ目で発生するズレをなくすことができる。また、搭乗者総重量検出部と搭乗者総重量に応じた複数のマッピングテーブルを用意するだけの簡単な構成で車体の傾きに起因してカメラ画像のつなぎ目で発生するズレをなくすことができる。
また、第２実施例によれば、重量を検出するものであるため、搭乗者が大人と子供であるかを検出できなくても所定のマッピングテーブルを用いて画像つなぎ部でズレのないトップビュー画像を発生することができる。また、荷物重量を含めて総重量とすることができるため正しいマッピングテーブルを用いて画像つなぎ部でズレのないトップビュー画像を発生することができる。
【００１８】
（Ｃ）第３実施例
図９は本発明の第３実施例の画像表示装置の構成図であり、図１の第１実施例と同一部分には同一符号を付している。異なる点は、マッピングメモリ５１が、画像のつなぎ目でズレが生じないように車体と車軸間の距離である車高に対応させて予め作成したマッピングテーブルを複数保存し、使用マッピングテーブル決定部５２が車高に応じた使用マッピングテーブルを決定してマッピング部２６に通知する点である。後座席搭乗者や荷物に応じて車体の傾き量が変化し、車高が変化する。そこで、画像のつなぎ目でズレが生じないように予め車高に対応させて作成した複数のマッピングテーブルを用意してマッピングメモリ５１に保存する。
図１０は使用マッピングテーブル決定部５２の構成図であり、車高を検出する周知の車高検出部５２a、後座席搭乗者および荷物の総重量に対応させて、使用するマッピングテーブルのID(MPT0〜MPT5)を記憶する記憶部５２ｂ、車高に応じて使用マッピングテーブルのIDを求めてマッピング部２６に通知するマッピングテーブル決定制御部５２cを有している。
車高検出部５２ａは車高に対して図１１に示す出力電圧を発生して車高を検出し、マッピングテーブル決定制御部５２cは該車高に応じたマッピングテーブルのIDを記憶部５２ｂより求めてマッピング部２６に通知する。
第３実施例によれば、車体の傾きに起因してカメラ画像のつなぎ目で発生するズレをなくすことができる。また、車高検出部と車高に応じた複数のマッピングテーブルを用意するだけの簡単な構成で車体の傾きに起因してカメラ画像のつなぎ目で発生するズレをなくすことができる。
【００１９】
（Ｄ）第４実施例
図１２は本発明の第４実施例の画像表示装置の構成図であり、図１の第１実施例と同一部分には同一符号を付している。第４実施例では、車体が傾いていない場合に使用するマッピングテーブルを基準マッピングテーブルとするとき、該基準マッピングテーブルを使用したときの画像つなぎ部における白線のズレ量を検出し、該ズレ量に基づいて使用マッピングテーブルを決定する。
マッピングメモリ６１は、基準マッピングテーブルを使用したときの画像つなぎ部における白線ズレのズレ量に応じて、該ズレがなくなるように作成された複数のマッピングテーブルMP0〜MP3を保存している。車体が傾いていると、図１３に示すように道路のセンターラインCLあるいはレーン区分け線LLなどの白線が画像つなぎ部でずれ、車体の傾きが大きいほどズレ量が大きくなる。なお図１３（Ｂ）は図１３（Ａ）の画像接続部ＣＮの一部拡大図である。
【００２０】
そこで、白線ズレ量検出画像処理部６２は該画像つなぎ部における白線のズレ量を検出する。白線のズレ量は所定速度以上、たとえば３０ｋｍ/ｈ以上の直線走行している際に検出すると精度良く検出できる。したがって、直進運転検出部６３はハンドル舵角センサー６４、車速センサー６５の検出出力に基づいて、車両が３０ｋｍ/ｈ以上の直線走行している状態を検出して白線ズレ量検出画像処理部６２に入力する。白線ズレ量検出画像処理部６２は車両が３０ｋｍ/ｈ以上の直線走行している状態になれば、フレームメモリ２５に保存されているトップビュー画像を読出し、画像処理して所定の２つの画像部分のつなぎ目における白線のズレ量を検出して使用マッピングテーブル決定部６６に入力する。
使用マッピングテーブル決定部６６は、ズレ量とマッピングテーブルのIDの対応を記憶する内蔵の記憶部よりマッピングテーブルIDを求めてマッピング部２６に通知する。マッピング部２６は以後、通知されたマッピングテーブルを用いてトップビュー画像をフレームメモリ２５に描画する。
【００２１】
図１４は第４実施例のトップビュー画像表示の処理フローである。
白線ズレ量検出画像処理部６２は車両が３０ｋｍ/ｈ以上の直線走行をしているかチェックし（ステップ１０１）、「YES」であれば、フレームメモリ２５からトップビュー画像を取り込み（ステップ１０２）、道路のセンターラインあるいはレーン区分け線の白線を抽出できるかチェックする（ステップ１０３）。抽出できなければはじめに戻り、抽出できれば白線を抽出し、所定の２つの画像部分のつなぎ目における白線のズレ量をドット数で検出し（ステップ１０５）、該ズレ量を所定回数検出してその平均ズレ量を求めて使用マッピングテーブル決定部６６に入力する（ステップ１０６）。使用マッピングテーブル決定部６６は、入力されたズレ量に基づいて、ズレ量とマッピングテーブルのIDの対応を記憶する記憶部６７よりマッピングテーブルIDを求めてマッピング部２６に通知する（ステップ１０６）。マッピング部２６は通知されたマッピングテーブルを用いてトップビュー画像をフレームメモリ２５に描画する（ステップ１０７）。
第４実施例によれば、車体の傾きに起因してカメラ画像のつなぎ目で発生するズレをなくすことができる。
【００２２】
（Ｄ）第５実施例
図１５は本発明の第５実施例の画像表示装置の構成図であり、図１の第１実施例及び図１２の第４実施例と同一部分には同一符号を付している。
図１の第１実施例と異なる点は、画像つなぎ部における白線のズレ量を検出し、該ズレ量に基づいて後座席搭乗者数を補正し、補正した搭乗者数に基づいて使用マッピングテーブルを決定する点である。搭乗者が大人であるか子供であるかにより、搭乗者数の信頼度が変化する。例えば、搭乗者数として大人の搭乗者数を想定しているとすれば、実際に子供が搭乗すると正しい搭乗者数を検出できないことになり、子供が小さいほど、子供が多いほど搭乗者数の信頼度が低下する。また、トランクに荷物が存在する場合にも信頼度が低下する。そこで、第５実施例では、検出した搭乗者数に応じたマッピングテーブルを使用してトップビュー画像を発生し、白線ズレがあれば搭乗者数を補正し、補正後の搭乗者数に基づいて使用マッピングテーブルを決定する。
【００２３】
図１６は第５実施例の使用マッピングテーブル決定部２４の構成図であり、図３の第１実施例の使用マッピングテーブル決定部と同一部分には同一符号を付している。異なる点は、白線ズレ量検出画像処理部６２で検出した白線ズレ量をマッピングテーブル決定制御部２４cに入力している点である。
白線ズレ量検出画像処理部６２は車両が３０ｋｍ/ｈ以上の直線走行をしているとき、所定の２つの画像部分のつなぎ目における白線のズレ量を検出してマッピングテーブル決定制御部２４cに入力する。マッピングテーブル決定制御部２４cは白線ズレがなければ、あるいは設定値以下であれば、測定された搭乗者人数は正しいと判断する。しかし、白線ズレがあれば、白線ズレの方向により搭乗者人数を補正（増加あるいは減少）し、補正後の搭乗者数に応じたマッピングテーブルIDを求めてマッピング部２６に通知する。
【００２４】
図１７はマッピングテーブル決定制御部２４cの制御フローである。
マッピングテーブル決定制御部２４cは、感圧センサーのオン/オフにより搭乗者数を決定し（ステップ２０１）、該搭乗者数に基づいて使用マッピングテーブルを決定し（ステップ２０２）、マッピング部２６に通知する（ステップ２０３）。マッピング部２６は通知された搭乗者数に応じたマッピングテーブルでトップビュー画像を発生し、白線ズレ量検出画像処理部６２は白線ズレを検出し、白線ずれ量をマッピングテーブル決定制御部２４cに入力する。マッピングテーブル決定制御部２４cは白線ズレ量が設定値以上であるかチェクし（ステップ２０４）、設定値以下であれば検出した搭乗者人数は正しいと判断し、処理を終了する。しかし、白線ズレ量が設定値以上であれば、白線ズレの方向に基づいて検出した搭乗者数を補正し（ステップ２０５）、以後ステップ２０２以降の処理を行なう。これにより、以後、補正後の搭乗者数に基づいて使用マッピングテーブルを決定して処理を繰り返す。
第５実施例によれば、正しく搭乗者数を決定して画像つなぎ目でのズレを正確に失くすことができる。
【００２５】
（E）第６実施例
図１８は本発明の第６実施例の画像表示装置の構成図であり、図７の第２実施例及び図１２の第４実施例と同一部分には同一符号を付している。
図７の第２実施例と異なる点は、画像つなぎ部における白線のズレ量を検出し、該ズレ量に基づいて搭乗者総重量を補正し、補正した総重量に基づいて使用マッピングテーブルを決定する点である。車室内やトランクに持ち込んだ荷物の重量が重いほど測定した総重量の信頼度が低下する。そこで、第６実施例では、検出した搭乗者総重量に応じたマッピングテーブルを使ってトップビュー画像を発生し、白線ズレがあれば搭乗者総重量を補正し、補正後の搭乗者総重量に基づいて使用マッピングテーブルを決定する。
図１９は第５実施例の使用マッピングテーブル決定部４２の構成図であり、図３の第１実施例の使用マッピングテーブル決定部と同一部分には同一符号を付している。異なる点は、白線ズレ量検出画像処理部６２で検出した白線ズレ量をマッピングテーブル決定制御部４２cに入力している点である。
白線ズレ量検出画像処理部６２は車両が３０ｋｍ/ｈ以上の直線走行をしているとき、所定の２つの画像部分のつなぎ目における白線のズレ量を検出してマッピングテーブル決定制御部４２cに入力する。マッピングテーブル決定制御部４２cは白線ズレがなければ、あるいは設定値以下であれば、測定された搭乗者総重量は正しいと判断する。しかし、白線ズレがあれば、白線ズレの方向により搭乗者総重量を補正（所定量増加あるいは減少）し、補正後の搭乗者総重量に応じたマッピングテーブルIDを求めてマッピング部２６に通知する。
【００２６】
図２０はマッピングテーブル決定制御部４２cの制御フローである。
マッピングテーブル決定制御部４２cは、重量センサーの測定重量を加算して搭乗者総重量を決定し（ステップ３０１）、該搭乗者総重量に基づいて使用マッピングテーブルを決定し（ステップ３０２）、マッピング部２６に通知する（ステップ３０３）。マッピング部２６は通知された搭乗者総重量に応じたマッピングテーブルでトップビュー画像を発生し、白線ズレ量検出画像処理部６２は白線ズレを検出し、白線ずれ量をマッピングテーブル決定制御部４２cに入力する。マッピングテーブル決定制御部４２cは白線ズレ量が設定値以上であるかチェクし（ステップ３０４）、設定値以下であれば測定された搭乗者総重量は正しいと判断して処理を終了する。しかし、設定値以上であれば、白線ズレの方向に基づいて測定した搭乗者総重量を補正し（ステップ３０５）、以後ステップ３０２以降の処理を行なう。これにより、以後、補正後の搭乗者総重量に基づいて使用マッピングテーブルを決定して処理を繰り返す。
第６実施例によれば、正しく搭乗者総重を決定して画像つなぎ目でのズレを正確になくすことができる。
以上の実施例ではトップビュー画像を表示する場合について説明したが、本発明は複数のカメラで撮影した画像を合成して合成画像を表示する場合に適用できるものである
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施例の画像表示装置の構成図である。
【図２】本発明により画像のつなぎ目においてズレが発生しなくなったトップビュー画像例である。
【図３】使用マッピングテーブル決定部の構成図である。
【図４】車両の座席説明図である。
【図５】使用マッピングテーブル決定部の別の構成図である。
【図６】赤外線センサーを用いて搭乗者を検出する原理説明図である。
【図７】本発明の第２実施例の画像表示装置の構成図である。
【図８】第２実施例の使用マッピングテーブル決定部の構成図である。
【図９】本発明の第３実施例の画像表示装置の構成図である。
【図１０】第３実施例の使用マッピングテーブル決定部の構成図である。
【図１１】車高検出部の出力特性である。
【図１２】本発明の第４実施例の画像表示装置の構成図である。
【図１３】画像つなぎ部における白線ズレ説明図である。
【図１４】第４実施例のトップビュー画像表示の処理フローである。
【図１５】本発明の第５実施例の画像表示装置の構成図である。
【図１６】第５実施例の使用マッピングテーブル決定部の構成図である。
【図１７】マッピングテーブル決定制御部の制御フローである。
【図１８】本発明の第６実施例の画像表示装置の構成図である。
【図１９】第５実施例の使用マッピングテーブル決定部の構成図である。
【図２０】マッピングテーブル決定制御部の制御フローである。
【図２１】従来のトップビューシステムの説明図である。
【図２２】魚眼カメラで撮影した魚眼図形を画面対応のフレームメモリにマッピングする場合の説明図である。
【図２３】マッピング法の詳細な説明図である。
【図２４】車体の傾斜説明図である。
【図２５】従来の問題点（画像ズレ）の説明図である。
【符号の説明】
【００２８】
１a，１b，１c，１d  カメラ
２  車両
２１Ａ〜２１Ｄ  画像メモリ
２２Ａ〜２２Ｄ  画像読出し部
２３  マッピングメモリ
２４  使用マッピングテーブル決定部
２５  フレームメモリ
２６  マッピング部
２７  車両画像保持部
２８  画像合成部
２９  モニター
【図１】
2008152424.tif 000003
【図２】
2008152424.tif 000004
【図３】
2008152424.tif 000005
【図４】
2008152424.tif 000006
【図５】
2008152424.tif 000007
【図６】
2008152424.tif 000008
【図７】
2008152424.tif 000009
【図８】
2008152424.tif 000010
【図９】
2008152424.tif 000011
【図１０】
2008152424.tif 000012
【図１１】
2008152424.tif 000013
【図１２】
2008152424.tif 000014
【図１３】
2008152424.tif 000015
【図１４】
2008152424.tif 000016
【図１５】
2008152424.tif 000017
【図１６】
2008152424.tif 000018
【図１７】
2008152424.tif 000019
【図１８】
2008152424.tif 000020
【図１９】
2008152424.tif 000021
【図２０】
2008152424.tif 000022
【図２１】
2008152424.tif 000023
【図２２】
2008152424.tif 000024
【図２３】
2008152424.tif 000025
【図２４】
2008152424.tif 000026
【図２５】
2008152424.tif 000027