(57)【特許請求の範囲】
【請求項１】
車両の後部に、その長手方向の中心線からずらして設置されており、車両の後方を撮影するカメラと、
前記カメラの撮影画像を入力とし、入力したカメラ画像から、車両の後方を映す後方画像を生成し、表示装置に表示させる画像処理部とを備え、
前記画像処理部は、
前記後方画像における縦の中心が、車両の長手方向の中心線とほぼ一致するように、画像処理を行うものである
ことを特徴とする監視システム。
【請求項２】
請求項１において、
前記画像処理部は、
少なくとも、カメラ画像に対して、平行移動の処理を行うものである
ことを特徴とする監視システム。
【請求項３】
請求項２において、
前記画像処理部は、
カメラ画像に対して、レンズ歪みの補正処理を行うものである
ことを特徴とする監視システム。
【請求項４】
請求項１において、
前記画像処理部は、
カメラ画像を、前記車両の後部中央の上方に設定した仮想視点から見た画像に、変換する処理を行うものである
ことを特徴とする監視システム。
【請求項５】
車両後方を撮影したカメラ画像を入力する入力ステップと、
入力したカメラ画像から、車両の後方を映す後方画像を生成する画像処理ステップと、
生成した後方画像を出力する出力ステップとを備え、
前記カメラ画像は、車両の後部にその長手方向の中心線からずらして設置されたカメラで撮影された画像であり、
前記画像処理ステップは、前記後方画像における縦の中心が、車両の長手方向の中心線とほぼ一致するように、画像処理を行うものである
ことを特徴とする監視方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両に設置したカメラによって撮影した車両周囲の画像を、画像処理して表示することによって、安全な運転操作環境を提供する監視システムに関する技術に属する。
【０００２】
【従来の技術】
従来、車両の周囲をカメラを用いて監視する装置として、カメラを車のリアトランク部などに後ろ向きに設置し、それから得られた画像をドライバーに提示することにより、車両後方の様子を知ることができるシステムが知られている。最近では、単にカメラ画像を提示するだけでなく、カメラ画像にタイヤの予想移動軌跡を重ねて提示することによって車両の進む先をドライバーに知らせることにより、駐車を支援するシステムも知られつつある。
【０００３】
図８を用いて従来例を説明する。同図中、（ａ）はカメラ設置態様を示す模式図、（ｂ）は（ａ）のカメラ設置態様に従ったカメラの画像の例、（ｃ）は（ｂ）の画像から車両が２５ｃｍだけ直進後退した場合の画像である。図８（ｂ）の画像では、自車両の真後ろに他の車両が停車しており、真ん中の一点鎖線Ａは、自車が直進後退することによって後の車両の中心が画面上でどのように近づくかを示し、また左右の実線Ｂ１，Ｂ２は、自車が直進後退することによって後の車両の左右の角が画面上でどのように近づくかを示している。
【０００４】
図８の例では、自車が直進後退することよって、自車の真後ろにある物体（この例では車両）が画面上で縦方向に上から下に向かって近づいてくるため、自車の中心が後の物体の中心と合っているか否かが一目でわかる。
【０００５】
【発明が解決しようとする課題】
上述した従来の監視システムでは、カメラの設置態様として、向きが車両の直進後退方向とほぼ一致しており、かつ、位置が車両後部の概ね中央である場合には、利用者にとって非常に有用なシステムとなる。なぜなら、車両が直進後退したとき、画面上で垂直方向に動く物体が車両の中心線上にある物体であると認識できるため、後退時に自車が動いていく方向が直感的に分かるからである。
【０００６】
しかしながら、この従来方式では、カメラが車両後部の概ね中央に設置されていない場合に、問題が生じる。
【０００７】
例えば、車両の後部中央には、ナンバープレート、リアワイパー、トランク等のロック機構、または補助タイヤなどが設置されており、カメラを設置する場所を確保することが困難な場合がある。また運転席から見えにくい助手席側をより大きく撮影するために、カメラを助手席側にずらすなど、特定の方向や領域を撮影しやすくするためにカメラの位置をずらす場合などがある。
【０００８】
図２はカメラ設置態様として、カメラの向きが直進後退方向であるが、設置位置が車両後部の中央から横に約５０ｃｍずれている場合を示したものである。また図９（ａ）は図２のカメラ設置態様に従ったカメラ画像の例、図９（ｂ）は図９（ａ）から車両が約２５ｃｍだけ直進後退したときの画像である。図９（ａ）でも、一点鎖線Ａおよび実線Ｂ１，Ｂ２が、図８（ｂ）と同じ意味合いで描かれている。
【０００９】
この場合、自車両の真後ろにある他の車両は、画面の端の方に映されるので、自車両と他の車両との位置関係が画面上で把握しにくい。また、自車両が直進後退した場合、自車両の真後ろにある他の車両が、画面上で垂直方向ではなく斜め方向に近づいてくる。
【００１０】
図６は他のカメラ設置態様として、カメラの向きが直進後退方向に対して少し中央側に向けられ、設置位置が車後部の中央から横に約５０ｃｍずれている場合を示したものである。また図１０（ａ）は図６に示すカメラ設置態様に従ったカメラ画像の例、図１０（ｂ）は図１０（ａ）から車両が約２５ｃｍだけ直進後退したときの画像である。図１０（ａ）でも、一点鎖線Ａおよび実線Ｂ１，Ｂ２が、図８（ｂ）および図９（ａ）と同じ意味合いで描かれている。
【００１１】
カメラを車両後部の中央からずらして設置した場合、図２のようにカメラの向きを車両の直進後退方向に一致させると、図９（ａ）からも判るよう、カメラの取り付け位置と反対側の車両後側方の視野範囲が狭くなる。車両の左右の状況がバランス良く見えるようにするためには、カメラの向きを車両の中央方向に向けた方が良い。図１０（ａ）と図９（ａ）とを比べると、図１０（ａ）では、車両左後方の領域がより大きく見えていることが判る。
【００１２】
この場合、自車両が直進後退した場合、自車両の真後ろにある他の車両が、画面上で、図９（ａ）に比べても、より斜め方向に近づいてくることが判る。
【００１３】
このように従来の方式では、実際には自車両の真後ろにある物体が、画面の端の方に映されたり、自車両の直進後退時に画面上で斜め方向に移動したりする。このため、利用者に違和感を与えることになり、自車両が直進後退しているか否かの判断や、目標物に自車両の中心が合っているか否かの判断が困難になる。ひいては、運転の誤操作を招くおそれが生じる。
【００１４】
前記の問題に鑑み、本発明は、監視システムおよび監視方法として、車両後方を撮影するカメラが車両後部の中央からずらして設置されていても、利用者に違和感を与えないような後方画像を提示可能にすることを課題とする。
【００１５】
【課題を解決するための手段】
前記課題を解決するために、請求項１の発明が講じた解決手段は、監視システムとして、車両の後部にその長手方向の中心線からずらして設置されており、車両の後方を撮影するカメラと、前記カメラの撮影画像を入力とし、入力したカメラ画像から車両の後方を映す後方画像を生成し、表示装置に表示させる画像処理部を備え、前記画像処理部は、車両の長手方向の中心線が、前記後方画像における縦の中心にほぼ一致するように画像処理を行うものである。
【００１６】
請求項１の発明によると、表示装置に表示された後方画像では、車両の長手方向の中心線が縦の中心線にほぼ一致する。このため、車両が直進後退した場合に、車両の中心線上にある物体は、ほぼ画面の中央を垂直方向に移動するので、利用者に違和感を与えない。すなわち、カメラが車両後部の中央から横にずらして設置されていても、あたかも車両後部中央に真後ろ方向に向いて設置されたカメラによって撮影されたかのような後方画像を、利用者に提示することできる。この結果、監視システム用カメラの設置位置や向きの制約条件が緩和され、カメラ設置の自由度が高くなる。
【００１７】
そして、請求項２の発明では、前記請求項１の監視システムにおける画像処理部は、少なくとも、カメラ画像に対して、平行移動の処理を行うものとする。
【００１８】
さらに、請求項３の発明では、前記請求項２の監視システムにおける画像処理部は、カメラ画像に対して、レンズ歪みの補正処理を行うものとする。
【００１９】
また、請求項４の発明では、前記請求項１の監視システムにおける画像処理部は、カメラ画像を、前記車両の後部中央の上方に設定した仮想視点から見た画像に変換する処理を行うものとする。
【００２０】
また、請求項５の発明が講じた解決手段は、監視方法として、車両後方を撮影したカメラ画像を入力する入力ステップと、入力したカメラ画像から、車両の後方を映す後方画像を生成する画像処理ステップと、生成した後方画像を出力する出力ステップとを備え、前記カメラ画像は、車両の後部にその長手方向の中心線からずらして設置されたカメラで撮影された画像であり、前記画像処理ステップは、前記後方画像における縦の中心が、車両の長手方向の中心線とほぼ一致するように、画像処理を行うものである。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。まずそれぞれの実施形態を実現するために必要な、本発明に係る監視システムの全体構成について説明し、つづいて、各種表示画面態様例について詳細を説明する。
【００２２】
図１は本発明に係る監視システムの構成を示すブロック図である。図１に示す監視システムにおいて、画像処理部２０は、カメラ１１を有する撮影手段１０から出力された複数のカメラ画像を入力とし、これらを変形・合成して新たな画像を生成する。この合成画像は表示装置３０によって表示される。画像処理部２０によって、本発明に係る画像処理装置が構成される。
【００２３】
本発明の表示装置３０は、典型的には液晶ディスプレイであるが、プラズマディスプレイ等の他の表示デバイスを用いることもできる。また、本発明のディスプレイは、車両搭載型のＧＰＳ端末ディスプレイ（いわゆるカーナビゲーションシステムのディスプレイ）と共用したものであってもよいし、これとは別に準備されたものであってもよい。
【００２４】
撮影手段１０は、典型的にはＣＣＤ，ＣＭＯＳデバイス等の固体撮像素子をもつ、カラーまたはモノクロのデジタルカメラである。また、撮影手段１０は、たとえばレンズと、プリズムまたはミラーとの組み合わせにより構成され、レンズ、プリズムまたはミラーへの入射光が、所定光路を通って撮影手段１０から離れた位置にある撮像素子に伝達されるように構成されていてもよい。
【００２５】
画像処理部２０は、少なくとも１台のカメラ画像を変形・合成し、例えば入力画像を左右方向にシフトした画像や、車両上方から鉛直下方、斜め下方に見下ろしたような合成画像を生成する。合成画像の生成のためには、画像変形処理や変形された画像の必要な部分を切り取った部分画像の合成処理（複数台のカメラ画像を使う場合は、それぞれの部分画像が重なり合う境界部分のスムージングなどの処理（以下、境界処理）を含む）が必要になるが、図１の構成では、マッピングテーブル参照部２１を備え、撮像画像の加工を一つの工程で行うために、マッピングテーブルを利用する。
【００２６】
画像合成部２２はカメラ１〜Ｎからの撮影画像を入力し、これら撮影画像を加工する。ここでの加工は、(1)画像変形切り出し処理、(2)切り出された部分画像の合成処理（境界処理を含む）である。これらの(1)と(2)の処理は、それぞれ別々になされてもよいし、全部または一部が１つの工程によりなされてもよい。図１では、撮影画像の加工を一つの工程で行うために、マッピングテーブルを備えた構成をなしている。
【００２７】
マッピングテーブルとは、合成画像の画素と、各カメラ画像の画素データとの対応関係が記述されたテーブルのことをいい、合成画像の生成処理を高速に行うために用いられる。このようなマッピングテーブルを、幾何変換などを用いた計算や手作業などによってあらかじめ作成しておくことによって、所望の合成画像を高速に生成することができる。
【００２８】
マッピングテーブルは具体的には、例えばＲＯＭ（ＥＥＰＲＯＭなどの書きこみ・消去可能なＲＯＭを含む）、またはＲＡＭに格納されている。マッピングテーブルの格納は、例えば、画像処理部内のプロセッサが計算で求めたマッピングデータをＲＯＭまたはＲＡＭに書きこむことによって実現してもよいし、ファームウェアとして提供されるマッピングテーブルデータを、通信回線やディスクドライブなどのデータ転送手段を用いて、ＲＡＭまたはＲＯＭに書きこむようにしてもよい。
【００２９】
次に、本発明に係る各種表示画面態様例について詳細を説明する。
【００３０】
（第１の実施形態）
第１の実施形態では、カメラ設置態様として、図２に示すような、カメラ２の向きが車両１の直進後退方向であり、設置位置が車両１後部の中央から横にずれている場合における処理の一例を示すものである。この処理の内容を、カメラ画像と処理後の表示画面態様とを用いて説明する。
【００３１】
図３（ａ）は図２に示すカメラ設置態様で撮影したカメラ画像、図３（ｂ）の画像は、横ずれによる画面の見にくさを解消するために、図３（ａ）の画像に対して、点線で囲んだ矩形領域ＲＣ１のみを左にシフトさせた後方画像である。矩形領域ＲＣ１は、矩形の縦の中央線が、実際の車両１の長手方向の中心線ＣＬ１（太一点鎖線で表示）に概ね一致するように設定する。
【００３２】
この場合は、カメラ２の位置が車両１の中心から少しずれているだけなので、自車の中心線ＣＬ１上の真後ろにある物体は、車両１の直進後退時に、画面上で上からほぼ垂直方向に移動する。しかしながら、カメラ２の設置位置のずれによって、路面上での自車両の中心線ＣＬ１がモニタ画面上ではかなり右にずれているため、その分を、元の画像の矩形切り出しとシフトによって補正している。
【００３３】
図３（ｂ）の画像から分かるように、カメラ画像を横にシフトさせるだけでも、モニタ画面の後方画像の縦の中心線と車両の中心線ＣＬ２とを概ね一致させることができる。これにより、車両１が直進後退した場合に、少なくとも車両１のの中心線ＣＬ１上にある物体は、ほぼ画面の中央を上から下へと流れるように移動するので、ドライバーは、ある目標をねらって自車を後退させる時に、その目標に向かっているか否かを画面中央における画像の動きによって簡単に確認することができる。
【００３４】
次に適切なシフト量を見積もる最も簡単な方法の一例を説明する。まず、車の真後ろの路面上に車の中心線を引く。線の長さはカメラの後方視野範囲にもよるが５ｍもあれば十分である。次に、その中心線を引いた状態の画像をカメラで撮影し、中心線の左右の平均位置と画像の中心とのずれ量を計算する。そのずれ量がシフト量となる。
【００３５】
一方、カメラが車中央に設置されている場合は、車中央の移動軌跡は直線となるが（図８（ｂ）参照）、カメラ取付位置が中央からずれると、レンズ歪みのため、曲線となってしまう。レンズ歪みは撮影された画像の中心から離れるほど大きくなるので、取付位置がずれるほど、曲がりが大きくなる。この曲がりは、画像の平行移動だけでは解決できない。
【００３６】
レンズ歪みは、カメラのレンズの特性に基づき画像の各画素の位置を移動する２次元画像変形により補正できる。たとえば予め正方格子の模様をカメラで撮影し、各格子点がレンズ歪みでどのように変形するかを計測し、その変形量を逆向きに補正することにより補正できる。
【００３７】
図３（ａ）の画像に対し、レンズ歪みを補正し、カメラの位置ずれを平行移動により補正した画像を図３（ｃ）に示す。図３（ｃ）に示すような画像によると、自車の後退にしたがって、車両の中心線上にある物体が、画面中央を縦方向に真っ直ぐに移動するため、自車の動きの方向、周囲との位置関係が、より簡単に確認できる。
【００３８】
（第２の実施形態）
上述の画像シフトおよび歪み補正処理では、カメラ設置態様として、カメラの位置が車両の中心線から大きくずれている場合や、カメラの向きが直進後退方向を向いていない場合、またはその両方の場合に、利用者にとって見やすい画像を作ることが困難になる場合がある。
【００３９】
第２の実施形態は、上述したようなカメラ設置態様の場合でも、利用者にとって見やすい画像を作ることを可能にするものである。以下、処理の内容をカメラ画像と処理後の表示画面態様とを用いて説明する。
【００４０】
まず、第１のカメラ設置態様として、図２に示すような、カメラの取り付け位置だけが車両中心に対して大きくずれた場合を示す。
【００４１】
図４（ａ）は図２に示すカメラ設置態様で撮影したカメラ画像、図４（ｂ）〜（ｄ）の画像は、横ずれによる画面の見にくさを解消するために、図４（ａ）の画像に対して視点変換処理を施すことによりあたかも仮想的な場所から見たような画像に変換したものである。図５（ａ）〜（ｃ）はそれぞれ、図４（ｂ）〜（ｄ）の後方画像に係る仮想視点を示す図である。すなわち、
図５（ａ）…仮想視点位置：車両後部中央の上方  向き：車の真後ろ向きで路面に対して３０度の角度をなす。
【００４２】
図５（ｂ）…仮想視点位置：車両後部中央の上方  向き：車の真後ろ向きで路面に対して６０度の角度をなす。
【００４３】
図５（ｃ）…仮想視点位置：車両後部中央の上方  向き：真下見下ろし。
【００４４】
図４（ｂ）〜（ｄ）はいずれも仮想視点変換処理によって、路面上での自車の長手方向の中心線ＣＬ１が画面上で縦の中心線に一致するように変換されている。しかも２５ｃｍの直進後退によって、自車の中心線ＣＬ１上にある物体が、画面上で上から真っ直ぐ垂直方向に移動する様子が分かる。
【００４５】
さらに、図５（ａ）〜（ｃ）に示すように、実際のカメラの俯角とは独立に、仮想視点の俯角を与えることができるので、より上方から見下ろしたような画像を生成することによって、路面上の特徴（白線など）との位置関係を把握しやすい画像を提示できる。
【００４６】
次に、第２のカメラ設置態様として、図６に示した場合、すなわち取り付け位置が車中心に対して大きくずれ、さらにカメラの向きが車の真後ろ方向に対して少し斜めになった場合を示す。
【００４７】
図７（ａ）は図６に示すカメラ設置態様で撮影したカメラ画像、図７（ｂ）〜（ｄ）の画像は、横ずれによる画面の見にくさを解消するために、図７（ａ）の画像に対して視点変換処理を施すことによって、あたかも仮想的な位置から見たような画像に変換したものである。図７（ｂ）〜（ｄ）の画像の仮想視点も、図５（ａ）〜（ｃ）に示したものにそれぞれ対応している。
【００４８】
第１のカメラ設置態様と比較すると、そもそものカメラの撮影範囲が異なるため、変換画像における死角部分の領域や立体物の歪み方に相違はあるものの、白線など路面部分に関しては、第１のカメラ設置態様で撮影し仮想視点変換した画像とほぼ同様の画像が得られていることが分かる。
【００４９】
なお、各実施形態に係る後方画像を実現するための装置構成としては、表示する画像の分に相当するマッピングテーブルを備えておくようにしても良いし、状況に応じて、マッピングテーブルを自動で作成してもかまわない。
【００５０】
また、各実施例では１台のカメラ画像に対して処理を行う例のみを示したが、もちろん複数の画像を入力とし、それに処理を施して一枚の画像に変換しても構わない。
【００５１】
なお、本発明において車両とは、普通自動車、軽自動車、貨物自動車、バス等を含む。特に、車両後面部にスペアタイヤ等を置くため、またはデザイン上の都合などにより、車両後部の中央にカメラを設置することができない車両に対して本発明は非常に有効である。なお、本発明の技術思想が適用されうるものであれば、クレーン車、シャベルカー等の特殊車両も、本発明の車両とすることができる。
【００５２】
【発明の効果】
以上のように本発明によると、カメラが車両後部の中央から横にずらして設置されていても、あたかも車両後部中央に真後ろ方向に向いて設置されたカメラによって撮影されたかのような後方画像を、利用者に提示することできる。この結果、監視システム用カメラの設置位置や向きの制約条件が緩和され、カメラ設置の自由度が高くなる。
【図面の簡単な説明】
【図１】  本発明に係る監視システムの構成例を示すブロック図である。
【図２】  カメラの設置態様の一例を示す図である。
【図３】  本発明の第１の実施形態に係る画像処理を表す画像例である。
【図４】  本発明の第２の実施形態に係る画像処理を表す画像例である。
【図５】  図４および図７の画像における仮想視点の設定を示す図である。
【図６】  カメラの設置態様の他の例を示す図である。
【図７】  本発明の第２の実施形態に係る画像処理を表す画像例である。
【図８】  （ａ）は従来例におけるカメラの設置態様を表す図、（ｂ）および（ｃ）は（ａ）のカメラ設置態様による画像例である。
【図９】  図２のカメラ設置態様による従来の画像例である。
【図１０】  図６のカメラ設置態様による従来の画像例である。
【符号の説明】
１  車両
２，３  カメラ
１１  カメラ
２０  画像処理部
３０  表示装置
ＣＬ１  車両の長手方向の中央線
【図１】
0004512293.tif 000002
【図２】
0004512293.tif 000003
【図３】
0004512293.tif 000004
【図４】
0004512293.tif 000005
【図５】
0004512293.tif 000006
【図６】
0004512293.tif 000007
【図７】
0004512293.tif 000008
【図８】
0004512293.tif 000009
【図９】
0004512293.tif 000010
【図１０】
0004512293.tif 000011