(57)【特許請求の範囲】
【請求項１】
車両に搭載されている一のカメラを用いて撮像された画像と車両に搭載されている他のカメラを用いて撮像された画像との間のつなぎ目部の違和感を解消するために距離マーカを意味し、且つつなぎ目部に沿って延びる画像パターンを重畳させたことを特徴とする画像合成の際のつなぎ目部処理方法。
【請求項２】
車両に搭載されている一のカメラを用いて撮像された画像と車両に搭載されている他のカメラを用いて撮像された画像との間のつなぎ目部の違和感を解消するためにつなぎ目部に沿って延びる半透明の画像パターンを重畳させたことを特徴とする画像合成の際のつなぎ目部処理方法。
【請求項３】
請求項１又は請求項２に記載のつなぎ目部処理方法を実行するための画像信号処理装置であって、
車両に搭載されている一のカメラを用いて撮像された画像と車両に搭載されている他のカメラを用いて撮像された画像とをＡ／Ｄ変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換部によりデジタル化された各画像データに基づき画像処理を実行すると共に画像処理された各画像データを合成する画像合成部と、
前記画像合成部から出力された画像合成信号をＤ／Ａ変換するＤ／Ａ変換部と、
請求項１又は請求項２に記載の画像パターンを保存する重畳パターンメモリ部と、
前記Ｄ／Ａ変換部から出力されるＤ／Ａ変換後の画像合成信号と重畳パターンメモリ部から読み出された画像パターンとを重畳して該画像パターンがつなぎ目部に重畳された画像を出力する画像重畳部とを備えていることを特徴とする画像信号処理装置。
【請求項４】
請求項１又は請求項２に記載のつなぎ目部処理方法を実行するための画像信号処理装置であって、
車両に搭載されている一のカメラを用いて撮像された画像と車両に搭載されている他のカメラを用いて撮像された画像とをＡ／Ｄ変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換部によりデジタル化された各画像データに基づき画像処理を実行すると共に画像処理された各画像データを合成する画像合成部と、
前記画像合成部から出力された画像合成信号をＤ／Ａ変換するＤ／Ａ変換部とを備え、
前記Ｄ／Ａ変換部から出力されるＤ／Ａ変換後の画像合成信号に画像パターンが重畳された画像を出力することを特徴とする画像信号処理装置。
【請求項５】
請求項３又は請求項４に記載の画像信号処理装置と画像表示用のモニターとを備え、前記モニターには車両に搭載されている一のカメラを用いて撮像された画像と車両に搭載されている他のカメラを用いて撮像された画像との間のつなぎ目部の違和感を解消するためにつなぎ目部に沿って延びる画像パターンが重畳して表示されることを特徴とする車両周囲監視表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両に搭載されている一のカメラを用いて撮像された画像と車両に搭載されている他のカメラを用いて撮像された画像との合成画像間のつなぎ目部の違和感を解消するためのつなぎ目部処理方法及びその画像信号処理装置及びこれを用いた車両周囲監視表示装置に関する。
【０００２】
【従来の技術】
従来から、車両に搭載されている一のカメラを用いて撮像された画像と車両に搭載されている他のカメラを用いて撮像された画像とを合成して、合成画像としての俯瞰図又はパノラマ画像を作成する際に生じる合成画像間のつなぎ目部の違和感を解消する試みが行われている。
【０００３】
例えば、一のカメラを用いて撮像された一の画像と他のカメラで撮像された他の画像とのつなぎ目部周辺の明るさが異なるとき、その一の画像と他の画像とを何らの画像処理を施さずにつなげると、つなぎ目部で違和感が生じる。これは、各カメラの明度をそれぞれ独立に調整した場合に生じ得る。
【０００４】
模式図を用いて説明すると、一のカメラと他のカメラとの明度調整が異なる場合には、図１に示すように、モニター装置の画面に表示される一の画像１と他の画像２との明るさが、つなぎ目部３を境にはっきりと認識され、違和感を生じる。その図１においては、画像１の明るさが画像２の明るさに較べて低い状態が示されている。
【０００５】
また、例えば、一のカメラを用いて撮像された一の画像と他のカメラで撮像された他の画像とのつなぎ目部間での幾何学的不整合が生じ、これによる違和感が生じる場合もある。これは、一のカメラと他のカメラとの位置関係にズレがある場合に生じ、例えば、俯瞰図を合成表示する場合に、車両が地面に対して傾いたときに生じ得る。
【０００６】
模式図を用いて説明すると、一のカメラと他のカメラとの位置関係が何らかの理由によりズレたときには、図２に示すように、一の画像１と他の画像２とが上下方向にずれて、つなぎ目部３に違和感が生じる。また、車両が地面に対して斜めに傾いたときには、図３に示すように一の画像１と他の画像２とのつなぎ目部３に幾何学的不整合を生じ、違和感が生じる。
【０００７】
従来、合成画像間のつなぎ目部３をできる限り自然に連続してつなげることにより、この種の違和感を解消するために、画像合成する際に明るさの変化やカメラの位置ズレをリアルタイムに検出して、各画像データを補正処理して画像合成処理を行っている。
【０００８】
【発明が解決しようとする課題】
しかしながら、この従来の合成画像間のつなぎ目部の処理方法では、画像データの補正処理のために多量の情報を必要とし、処理手順が煩雑でかつコストが嵩み、つなぎ目部間の違和感の解消を簡便に実現するのが難しい。
【０００９】
本発明は、上記の事情に鑑みて為されたもので、その目的とするところは、合成画像間のつなぎ目部の違和感を簡便に解消することのできるつなぎ目部処理方法及びその画像信号処理装置及びこれを用いた車両周囲監視表示装置を提供することにある。
【００１０】
【課題を解決するための手段】
請求項１に記載のつなぎ目部処理方法は、車両に搭載されている一のカメラを用いて撮像された画像と車両に搭載されている他のカメラを用いて撮像された画像との間のつなぎ目部の違和感を解消するために距離マーカを意味し、且つつなぎ目部に沿って延びる画像パターンを重畳させたことを特徴とする。
【００１２】
請求項２に記載のつなぎ目部処理方法は、車両に搭載されている一のカメラを用いて撮像された画像と車両に搭載されている他のカメラを用いて撮像された画像との間のつなぎ目部の違和感を解消するためにつなぎ目部に沿って延びる半透明の画像パターンを重畳させたことを特徴とする。
【００１４】
請求項３に記載の画像信号処理装置は、請求項１又は請求項２に記載のつなぎ目部処理方法を実行するための画像信号処理装置であって、
車両に搭載されている一のカメラを用いて撮像された画像と車両に搭載されている他のカメラを用いて撮像された画像とをＡ／Ｄ変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換部によりデジタル化された各画像データに基づき画像処理を実行すると共に画像処理された各画像データを合成する画像合成部と、
前記画像合成部から出力された画像合成信号をＤ／Ａ変換するＤ／Ａ変換部と、
請求項１又は請求項２に記載の画像パターンを保存する重畳パターンメモリ部と、
前記Ｄ／Ａ変換部から出力されるＤ／Ａ変換後の画像合成信号と重畳パターンメモリ部から読み出された画像パターンとを重畳して該画像パターンがつなぎ目部に重畳された画像を出力する画像重畳部とを備えていることを特徴とする。
【００１５】
請求項４に記載の画像信号処理装置は、請求項１又は請求項２に記載のつなぎ目部処理方法を実行するための画像信号処理装置であって、
車両に搭載されている一のカメラを用いて撮像された画像と車両に搭載されている他のカメラを用いて撮像された画像とをＡ／Ｄ変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換部によりデジタル化された各画像データに基づき画像処理を実行すると共に画像処理された各画像データを合成する画像合成部と、
前記画像合成部から出力された画像合成信号をＤ／Ａ変換するＤ／Ａ変換部とを備え、
前記Ｄ／Ａ変換部から出力されるＤ／Ａ変換後の画像合成信号に画像パターンが重畳された画像を出力することを特徴とする。
【００１６】
請求項５に記載の車両周囲監視表示装置は、請求項３又は請求項４に記載の画像信号処理装置と画像表示用モニターとを備え、前記モニターには車両に搭載されている一のカメラを用いて撮像された画像と車両に搭載されている他のカメラを用いて撮像された画像との間のつなぎ目部の違和感を解消するためにつなぎ目部に沿って延びる画像パターンが重畳して表示されることを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明に係わる画像合成のつなぎ目部処理方法を車両周囲監視表示装置に適用した実施例を説明する。
【００１８】
図４は車両に搭載されたカメラを模式的に示す図であって、ここでは、車両１０の後部１１に一のカメラ１２と他のカメラ１３とが搭載されている。カメラ１２、１３は地面１４を撮像するように向けられ、説明の模式化を図るため、地面１４には格子線１５が描かれているものとする。
【００１９】
車両１０には、図５に示すように、画像信号処理装置１５Ａが設けられている。この画像信号処理装置１５Ａは、Ａ／Ｄ変換器１６、画像合成部１７、Ｄ／Ａ変換器１８、画像重畳装置１９、画像重畳パターンメモリ部２０、モニター装置２１を備えている。
【００２０】
Ａ／Ｄ変換器１６には、一のカメラ１２からアナログ信号として一の画像信号と他のカメラ１３からアナログ信号として他の画像信号とが入力され、Ａ／Ｄ変換器１６は一の画像信号と他の画像信号とをアナログデジタル変換して一の画像データと他の画像データとを出力する。
【００２１】
画像合成部１７には、デジタル信号に変換された一の画像データと他の画像データとが入力されて、画像合成部１７は各画像データを画像処理して合成して、デジタル信号としての画像合成信号をＤ／Ａ変換器１８に出力する。
【００２２】
Ｄ／Ａ変換器１８はその画像合成信号を画像重畳装置１９に向けて出力する。その画像重畳装置１９には画像重畳パターンメモリ部２０に保存されている画像パターン２２が入力される。その画像パターン２２は例えば図６（ａ）に示すような塗りつぶしパターンとしての黒色パターン、図６（ｂ）に示すような距離マーカーパターンである。
【００２３】
画像重畳装置１９はアナログ変換された画像合成信号と画像パターン信号とが入力され、画像重畳装置１９は、つなぎ目部３の延びる方向に沿って画像パターン２２を合成画像に重畳し、画像パターンが合成された合成画像信号はモニター装置２１に向けて出力される。モニター装置２１の画面２１ａには、車両１０に搭載されている一のカメラ１２を用いて撮像された画像１と車両１０に搭載されている他のカメラ１３を用いて撮像された画像２とを合成した合成画像２３が表示される。
【００２４】
図７は図６（ａ）に示す画像パターン２２をつなぎ目部３に重畳させた合成画像２３を示し、図８は図６（ｂ）に示す画像パターン２２をつなぎ目部３に重畳させた合成画像２３を示し、図６（ｂ）に示すように画像パターン２２としての距離マーカーパターンをつなぎ目部３に重畳して合成画像２３を表示させた場合には、距離マーカーパターンが車両１０から物体までの距離を表すという積極的な意味を有しているので、つなぎ目部３間の違和感を解消するためにつなぎ目部３に画像パターン２２を重ね合わせたとしてもドライバーに不自然さを与えにくいというメリットがある。
【００２５】
この距離マーカーパターンをつなぎ目部３間に設ける場合には、距離に応じて色を徐々に変化させる等のグラディエーション表示（例えば、車両の後部近傍を赤色とし、後部近傍から遠くなるに従って黄色、青と変化する色表示）とすれば、車両から物体までの距離を直感的に認識させやすい表示とすることができる。
【００２６】
実際には、図９に示すように、モニター装置２１の画面２１ａに表示される合成画像２３は、変化に富んでいるので、距離マーカーパターンを設けてつなぎ目部３を隠すようにすると、より一層違和感なく合成画像２３を表示できる。
【００２７】
以上の発明の実施の形態では、一の画像と他の画像とを重ね合わせてそのつなぎ目部に画像パターンを重ねて塗りつぶすことにしたが、一の画像１と他の画像２との間の明るさのズレのみを問題とする場合には、図１０に示すように、つなぎ目部を半透明にして重ね合わせる構成とすることもできる。
【００２８】
また、以上の実施例では、二つの画像を画像合成して表示する場合について説明したが、三つの画像２４〜２６を画像合成して表示する場合には、図１１に示すように、各画像間のつなぎ目部３に距離マーカーパターンを表示させるようにしても良い。
【００２９】
【発明の効果】
本発明は、以上説明したように構成したので、合成画像間のつなぎ目部の違和感を簡便に解消することができるという効果を奏する。
【図面の簡単な説明】
【図１】  明度調整の異なる一のカメラで撮像された画像と他のカメラで撮像された画像とのつなぎ目部間の不整合の説明図である。
【図２】  一のカメラと他のカメラとに位置ズレがある場合の一の画像と他の画像とのつなぎ目部間の不整合の説明図である。
【図３】  車両が斜めに傾いた場合の一の画像と他の画像とのつなぎ目部間の不整合の説明図である。
【図４】  本発明に係わる車両周囲監視装置の斜視図である。
【図５】  本発明に係わる画像信号処理装置の一例を示すブロック図である。
【図６】  本発明に係わる画像パターンの一例を示し、（ａ）は塗りつぶしパターン、（ｂ）は距離マーカーパターンを示す。
【図７】  合成画像のつなぎ目部を塗りつぶしパターンで表示した例を示す模式図である。
【図８】  合成画像のつなぎ目部を距離マーカーパターンで表示した例を示す模式図である。
【図９】  実際の合成画像のつなぎ目部を距離マーカーパターンで表示した一例を示す図である。
【図１０】  一の画像と他の画像との合成画像のつなぎ目部を半透明パターンで重ね合わした状態を示す模式図である。
【図１１】  ３つ以上の画像による合成画像のつなぎ目部の一例を示す模式図である。
【符号の説明】
１、２…画像
３…つなぎ目部
１０…車両
１２…カメラ
１３…カメラ
２２…画像パターン
【図１】
0004641125.tif 000002
【図２】
0004641125.tif 000003
【図３】
0004641125.tif 000004
【図４】
0004641125.tif 000005
【図５】
0004641125.tif 000006
【図６】
0004641125.tif 000007
【図７】
0004641125.tif 000008
【図８】
0004641125.tif 000009
【図９】
0004641125.tif 000010
【図１０】
0004641125.tif 000011
【図１１】
0004641125.tif 000012