(57)【要約】【課題】複数のカメラの撮影画像により１枚の画像を合成するシステムにおいて、調整板を用いてカメラの調整をするに際して、容易に、短時間で、且つ正確に調整を行うことができる「複数カメラ撮影画像合成システム用カメラ調整方法及び装置」とする。【解決手段】複数のカメラの画像を画像合成ラインで合成して表示するシステムにおいて、調整を行うカメラと、該調整を行うカメラの撮影画像と画像合成ラインで合成する画像を撮影する正常な他のカメラとの両カメラの撮影画像範囲について、画像合成ラインと交差するように調整板配置枠を画像表示する。その後調整板配置枠における正常なカメラの撮影画像範囲内の調整板配置枠に沿って調整板を配置し、調整を行うカメラの撮影画像範囲における調整板の画像が、所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算し、補正値を用いて画像調整し、表示する。【選択図】図１
2010200054.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ異なる方向を撮影するカメラの画像を画像合成ラインで合成して表示しする複数カメラ撮影画像合成システム用カメラ調整方法において、
調整を行うカメラと、該調整を行うカメラの撮影画像と画像合成ラインで合成する画像を撮影する他のカメラとの両カメラの撮影画像範囲について、前記画像合成ラインと交差するように調整板配置枠を画像表示し、
前記調整板配置枠における前記他のカメラの撮影画像範囲内の調整板配置枠に沿って調整板を配置し、
前記調整を行うカメラの撮影画像範囲における前記調整板の画像が、所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算し、
前記補正値を用いて、調整するカメラの調整板撮影画像を調整して表示することを特徴とする複数カメラ撮影画像合成システム用カメラ調整方法。
【請求項２】
前記調整を行うカメラの画像と画像合成ラインで合成する画像を撮影する他のカメラを複数指示し、
前記指示した複数の他のカメラのそれぞれについて、画像合成ラインと交差するように調整板配置枠を画像表示し、
前記調整板配置枠における前記他のカメラの撮影画像範囲内の各調整板配置枠に沿って調整板を配置することを特徴とする請求項１記載の複数カメラ撮影画像合成システム用カメラ調整方法。
【請求項３】
前記複数の調整板配置枠についてそれぞれ調整板を配置し、
調整するカメラによる複数の調整板の画像が同時に所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算することを特徴とする請求項２記載の複数カメラ撮影画像合成システム用カメラ調整方法。
【請求項４】
前記複数の調整板配置枠について、一つずつ調整板を配置し、
各調整板の配置毎に、前記調整するカメラによる調整板の画像が、所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算することを特徴とする請求項２記載の複数カメラ撮影画像合成システム用カメラ調整方法。
【請求項５】
前記画像合成ラインの状態によって、調整板配置枠を変更することを特徴とする請求項１記載の複数カメラ撮影画像合成システム用カメラ調整方法。
【請求項６】
前記画像合成ラインの状態は、画像合成ラインの平面内の角度であることを特徴とする請求項５記載の複数カメラ撮影画像合成システム用カメラ調整方法。
【請求項７】
前記画像合成ラインと交差する調整板配置枠は、調整するカメラの撮影画像範囲側が広くなるように設定していることを特徴とする請求項１記載の複数カメラ撮影画像合成システム用カメラ調整方法。  
【請求項８】
前記画像合成ラインと交差する調整板配置枠を調整板と同形状の長方形とし、調整を行わない前記他のカメラの撮影画像範囲内に、２つの頂点が含まれるように配置することを特徴とする請求項１記載の複数カメラ撮影画像合成システム用カメラ調整方法。
【請求項９】
前記調整カメラと前記他のカメラの画像合成ラインを、カメラ調整時に変更することを特徴とする請求項１記載の複数カメラ撮影画像合成システム用カメラ調整方法。
【請求項１０】
それぞれ異なる方向を撮影するカメラの画像を画像合成ラインで合成して表示する複数カメラ撮影画像合成システム用カメラ調整装置において、
調整を行うカメラと、該調整を行うカメラの撮影画像と画像合成ラインで合成する画像を撮影する他のカメラとの両カメラの撮影画像範囲について、前記画像合成ラインと交差するように調整板配置枠を画像表示する調整板配置枠表示手段と、
前記調整板配置枠における前記他のカメラの撮影画像範囲内の調整板配置枠に沿って調整板を配置した状態で、前記調整を行うカメラの撮影画像範囲における前記調整板の画像が、所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算して出力する調整値出力手段と、
前記補正値を用いて、調整するカメラの調整板撮影画像を調整して表示する画像表示出力手段とを備えたことを特徴とする複数カメラ撮影画像合成システム用カメラ調整装置。
【請求項１１】
前記調整を行うカメラの画像と画像合成ラインで合成する画像を撮影する他のカメラを複数指示するカメラ指示手段と、
前記指示した複数の他のカメラのそれぞれについて、画像合成ラインと交差するように調整板配置枠を複数画像表示する調整板配置枠表示手段とを備えたことを特徴とする請求項１０記載の複数カメラ撮影画像合成システム用カメラ調整装置。
【請求項１２】
前記複数の調整板配置枠についてそれぞれ調整板を配置した状態で、調整するカメラによる複数の調整板の画像が同時に所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算して出力する調整値出力手段を備えたことを特徴とする請求項１１記載の複数カメラ撮影画像合成システム用カメラ調整装置。
【請求項１３】
前記複数の調整板配置枠について、一つずつ調整板を配置し、各調整板の配置毎に、前記調整するカメラによる調整板の画像が、所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算して出力する調整値出力手段を備えたことを特徴とする請求項１１記載の複数カメラ撮影画像合成システム用カメラ調整装置。
【請求項１４】
前記画像合成ラインの状態によって、調整板配置枠を変更する調整板配置枠選択手段を備えたことを特徴とする請求項１０記載の複数カメラ撮影画像合成システム用カメラ調整装置。
【請求項１５】
前記画像合成ラインの状態は、画像合成ラインの平面内の角度であることを特徴とする請求項１４記載の複数カメラ撮影画像合成システム用カメラ調整装置。
【請求項１６】
前記調整板配置枠表示手段は、前記画像合成ラインと交差する調整板配置枠は、調整するカメラの撮影画像範囲側が広くなるように設定することを特徴とする請求項１０記載の複数カメラ撮影画像合成システム用カメラ調整装置。
【請求項１７】
前記調整板配置枠表示手段は、前記画像合成ラインと交差する長方形の調整板配置枠を、調整を行わない前記他のカメラの撮影画像範囲内に、２つの頂点が含まれるように配置することを特徴とする請求項１０記載の複数カメラ撮影画像合成システム用カメラ調整装置。
【請求項１８】
前記調整カメラと前記他のカメラの画像合成ラインを、カメラ調整時に変更する画像合成ライン変更手段を備えたことを特徴とする請求項１０記載の複数カメラ撮影画像合成システム用カメラ調整装置。
【請求項１９】
前記調整板は長方形をなし、表面に複数の円を形成していることを特徴とする請求項１０記載の複数カメラ撮影画像合成システム用カメラ調整装置。
【請求項２０】
前記複数カメラ撮影画像合成システム用カメラ調整装置を、上方に視点のある１つの画像に合成するシステムに適用したことを特徴とする請求項１０記載の複数カメラ撮影画像合成システム用カメラ調整装置。
【請求項２１】
前記複数カメラ撮影画像合成システム用カメラ調整方法を、１つのカメラ撮影画像を複数の態様で表示するシステムに適用したことを特徴とする請求項１０記載の複数カメラ撮影画像合成システム用カメラ調整装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は例えば車両周囲を複数のカメラで撮影して車両上方に視点のある１枚の画像に合成して表示する際、各カメラについて予め設定してある状態から車の振動や衝撃によって特定のカメラの撮影方向がずれてしまい適正な画像が得られなくなった時に、容易に調整を行うことができるようにした、複数カメラ撮影画像合成システム用カメラ調整方法及び装置に関する。
【背景技術】
【０００２】
車両を狭い車庫や駐車場に入れるとき、運転者は細心の注意を必要とし、時には周囲の物体と自車両をこする等の事故を発生することもある。また、車両を車庫や駐車場から出すときも、周囲の物体や人間には十分注意する必要がある。更に、車庫や駐車場の出入り以外にも、極めて狭い道路の走行時や狭い道路での対向車とのすれ違いにおける周囲の物体との接触や、溝に車輪が落ちないようにする、等の車両の周囲に十分注意を要する場合も多い。
【０００３】
その対策として、近年車両に広く搭載されるようになっている、車両の後方を撮影してモニタに表示し、車庫入れや駐車を容易にする後方撮影用カメラ、車両の前方両側を撮影して車両が見通しの悪い狭い道路から出るときに、先方の道路を走行する車両等を確認する車両側方撮影用カメラ等の、車外撮影カメラを利用し、車両周囲の状況を監視し、充分確認しながら運転することも行われている。
【０００４】
しかしながら、このような車外撮影カメラとして超広角カメラを用いたとしても、例えば車両を後退させながら車庫入れ等を行うとき、車両後側方周囲に障害物があるときには、車両の後退とともに後方撮影用カメラの視界外になり、その障害物の状態を知ることができなくなる。その対策として、車両の両側にも超広角カメラを設け、前記のような後方撮影用カメラの視界外部分を側方撮影カメラによって見ることができるようにすることも考えられる。
【０００５】
しかし上記のような超広角カメラの画像では、撮影画像の中心部と周辺部とでは物体の見え方が大きく異なり、単に撮影画像を見ているだけでは、その物体と車両との位置関係が明確ではなく、予期しない衝突や接触事故を生じることがある。特に後方撮影用カメラでの画像から側方撮影用カメラの画像に切り換えたとしても、そのときに画面に表示される障害物等の物体の画像はその大きさや形状及び位置が大きく異なり、実際の物体の状態を把握することは容易ではない。
【０００６】
そのため、車両に複数の車外撮影用カメラを搭載し、それらのカメラで撮影した画像を合成し、あたかも車両の上方に設置したカメラから車両の周囲を撮影しているような画像を形成してモニタに表示することが提案されている。そのような複数のカメラを用いる際には例えば図８に示すように、車両の右側を撮影する車両右側撮影用カメラＣＲ、車両の左側を撮影する車両左側撮影用カメラＣＬ、車両の後方を撮影する車両後方撮影用カメラＣＢ、車両の前側を撮影する車両前方撮影用カメラＣＦの合計４個のカメラを搭載して、これらのカメラの全ての画像を合成し、例えば図８（ｃ）に略示するように、あたかも車両の真上に設けた１つのカメラにより車両の全周囲を撮影しているような画像をモニタに表示することが提案されている。
【０００７】
この方式はトップビューシステムともいわれ、車両の外部を撮影するカメラは必要に応じて２個、３個と適宜選択され、また設置位置も種々の位置に選択して設置される。また、車両に搭載した前記のような種々のカメラの撮影画像は、前記のようなトップビューによる画像表示を行う以外に、個々のカメラによって従来のように後視用カメラ、側方監視用カメラとして個々の撮影画像を表示させるために切り替え表示を行う等、種々の画像表示を行うことができるため、マルチビューシステムと呼ばれることもある。
【０００８】
上記のようなトップビューシステムにおいて、車両に搭載した各カメラは予め決められた位置に設置され、その撮影方向は上下方向及び左右方向において所定の角度となるように設置される。このことを前提にして画像合成部では各撮影画像を特定の平面の画像に変換するためのマッピングテーブル等を用いて所定の座標変換を行い、最終的に各カメラの画像の表示領域を決めて１つの平面画像とする。
【０００９】
したがって、車両に搭載した各カメラの設置状態が変われば、撮影した画像は所定の座標と異なるため、座標変換に際しては正規の画像を得ることができなくなり、最終的に各カメラの撮影画像を組み合わせるとき、結合部分での画像が連続的ではなくなって、全体として正しい１枚の平面画像を得ることができなくなる。そのためこのようなトップビューシステムによる画像表示ではユーザにとって極めて見にくい画像とならざるを得ない。
【００１０】
特に、このようなトップビューシステムを備えた車両を工場の生産ラインから出荷するときには、生産ラインにおいて各カメラは精密に取り付けることができ、また大型の精密な装置によって正しいトップビューの画像が得られているかの検査を行い、適切でないときにはカメラの取り付け調整、及び画像処理システムにおける調整部を調整して適正なトップビュー画像を得ることができる。
【００１１】
しかしながら、このようにして生産ラインから出荷されてユーザの手に渡った車両でも、例えばサイドミラー先端に取り付けられたカメラ等では、車両の側部に突出していることもあり、サイドミラーの各種物体との接触等によって撮影方向がずれてしまうことがある。また、車両に設置する他のカメラにおいても、車両の接触事故や衝撃等によりカメラの設置状態が変化することもある。このような撮影方向のずれは、トップビュー画像における大きなずれとなり、見にくい画像とならざるを得ない。
【００１２】
また、このようなトップビューシステムは必ずしも工場の出荷時に車両に搭載されるとは限らず、自動車メーカーのディーラーにおいてオプションで取り付けられることも考えられる。その際にはディーラーの工場においてカメラの取り付け、システムの調整を行うこととなるが、ディーラーでこのような調整を行うときには大がかりな調整装置を備えることはできず、カメラを取り付けた後、トップビュー画像を実際に見ながら、画像合成部分の調整を行い、取り付けたカメラの位置及び撮影角度に合った調整を、各カメラ毎に行わなければならず、その作業には多くの時間と手間を要することが推定される。
【００１３】
ディーラーによる前記のような調整作業は、ディーラーオプションとしてこのトップビューシステムを取り付けるとき以外に、前記のように実際に車両に搭載して使用しているとき、次第にカメラの撮影方向が変化し、或いは事故により大きく変化し、或いは特定のカメラ等を取り付け直しをしなければならなくなることもある。その際にも各ディーラ等で前記作業を行わなければならず、したがってこのような調整を容易に行うことができるようにすることがこのシステムの普及にとって大きな問題となる。
【００１４】
なお、車外撮影カメラの調整に際して、後部バンパの輪郭を調整パターンとして含む画像を撮影して、予め設定した所定の輪郭画像と重ね合わせることによって調整する技術は特開２００７−２５６０３０号公報に開示されている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００７−２５６０３０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
前記のようなトップビューシステムでの各カメラの調整手法としては種々のものが提案されているが、その一つとして例えば図９に示すような調整手法が提案されている。即ちこの調整手法は同図（ａ）に示すような車両Ｃの前後左右に設けたカメラＣＦ、ＣＬ、ＣＢ、ＣＲによって撮影した画像を所定の画像合成ラインで合成し、それぞれの撮影画像範囲ＳＦ、ＳＬ、ＳＢ、ＳＲによって１枚のトップビュー画像を形成している時、図９（ｂ）に示すような、平板状の調整板ＢＤの表面に、Ｐ１〜Ｐ８で示す図中８個の黒丸で示す円形マークＰＭを付与すると共に、調整板ＢＤの周囲に枠取りマークＦＭを付与している。
【００１７】
これらの円形マークＰＭはこれをカメラで撮影する時、その撮影画像から各円の中心点を演算することができ、それによりこの調整板ＢＤにおける各円の中心点の位置座標を特定することができる。また枠取りマークＦＭはこれをカメラで撮影する時、その４隅の点Ａ、Ｂ、Ｃ、Ｄの位置座標を特定することができる。図示の調整板ＢＤにおいては横の長さがａ、縦がｂであり、各円形マークＰＭの横方向中心間距離がｃで、各円形マークＰＭの両脇に枠取りマークＦＭ迄それぞれ距離ｄになるように形成した例を示している。また、各円形マークＰＭの縦方向中心間距離はｃで、各円形マークＰＭの両脇に枠取りマークＰＭ迄それぞれ距離ｄになるように形成している。
【００１８】
例えば車両のサービス工場等において各カメラの調整を行うに際しては、上記のような調整板ＢＤを、車両が停止している状態の所定位置に配置する。その際の所定位置の設定手法には種々の手法が考えられるが、例えば図９（ｃ）のようにして、調整板ＢＤの設置位置を予め規定しておくことができる。即ち同図の例においては、フロントカメラＣＦの調整のために、フロントカメラ撮影画像範囲ＳＦ内の所定位置ＹＢＤＦに、調整板ＢＤの４隅に対応する位置であるＦＡ、ＦＢ、ＦＣ、ＦＤの位置を設定する。なお、これらの位置の設定に際しては、車両の特定部分の位置、カメラに対する位置等によって種々の態様で設定することができる。
【００１９】
同様に、左側カメラＣＬの調整のために、左側カメラ撮影画像範囲ＳＬ内の所定位置ＹＢＤＬに、調整板ＢＤの４隅に対応する位置であるＬＡ、ＬＢ、ＬＣ、ＬＤの位置を設定し、後部カメラＣＢの調整のために、後部カメラ撮影画像範囲ＳＢ内の所定位置ＹＢＤＢに、調整板ＢＤの４隅に対応する位置であるＢＡ、ＢＢ、ＢＣ、ＢＤの位置を設定し、右側カメラＣＲの調整のために、右側カメラ撮影画像範囲ＳＲ内の所定位置ＹＢＤＲに、調整板ＢＤの４隅に対応する位置であるＲＡ、ＲＢ、ＲＣ、ＲＤの位置を設定しておく。
【００２０】
実際のカメラの調整に際しては図９（ｄ）に示すように、調整すべきカメラの撮影範囲の前記所定位置に調整板ＢＤを設置し、調整板ＢＤ上に表示されている前記のようなマークを撮影して、マークの写る状態が所定の状態とどのように、またどの程度異なっているかを演算することによって、現在のカメラの取り付け状態で、本来のカメラの取り付け状態の画像とするための補正値を演算して記憶する。図９（ｄ）には全てのカメラの調整を行う時の図を示しているが、調整すべきカメラに対してのみ前記の手法によって調整を行えばよい。以降は撮影画像にその補正値を用いて補正することにより、各カメラの撮影画像にひずみが無く、特に各カメラの撮影画像の合成部において、適正に画像が合成されるようにしている。
【００２１】
前記のような従来の調整板ＢＤを用いた調整は、調整板ＢＤを所定の位置に設置する際には、車両に対して、或いは特定のカメラに対して精密な距離を測定して設定しなければならず、数十分にわたって神経を集中した作業を継続する必要があり、極めて手数の必要な作業となっていた。そのため、この作業を簡素化する手法の開発が求められている。
【００２２】
したがって本発明は、それぞれ異なる方向を撮影する複数のカメラの撮影画像により、１枚の画像を合成するシステムにおいて、カメラの撮影方向等を調整板を用いて調整するに際して、容易に、短時間で、且つ正確に調整を行うことができるようにした複数カメラ撮影画像合成システム用カメラ調整方法及び装置を提供することを主たる目的とする。
【課題を解決するための手段】
【００２３】
本発明に係る複数カメラ撮影画像合成システム用カメラ調整方法は、前記課題を解決するため、それぞれ異なる方向を撮影するカメラの画像を画像合成ラインで合成して表示する複数カメラ撮影画像合成システム用カメラ調整方法において、調整を行うカメラと、該調整を行うカメラの撮影画像と画像合成ラインで合成する画像を撮影する他のカメラとの両カメラの撮影画像範囲について、前記画像合成ラインと交差するように調整板配置枠を画像表示し、前記調整板配置枠における前記他のカメラの撮影画像範囲内の調整板配置枠に沿って調整板を配置し、前記調整を行うカメラの撮影画像範囲における前記調整板の画像が、所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算し、前記補正値を用いて、調整するカメラの調整板撮影画像を調整して表示することを特徴とする。
【００２４】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整方法は、前記複数カメラ撮影画像合成システム用カメラ調整方法において、前記調整を行うカメラの画像と画像合成ラインで合成する画像を撮影する他のカメラを複数指示し、前記指示した複数の他のカメラのそれぞれについて、画像合成ラインと交差するように調整板配置枠を画像表示し、前記調整板配置枠における前記他のカメラの各撮影画像範囲内の調整板配置枠に沿って調整板を配置することを特徴とする。
【００２５】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整方法は、前記複数カメラ撮影画像合成システム用カメラ調整方法において、前記複数の調整板配置枠についてそれぞれ調整板を配置し調整するカメラによる複数の調整板の画像が同時に所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算することを特徴とする。
【００２６】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整方法は、前記複数カメラ撮影画像合成システム用カメラ調整方法において、前記複数の調整板配置枠について、一つずつ調整板を配置し、  各調整板の配置毎に、前記調整するカメラによる調整板の画像が、所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算することを特徴とする。
【００２７】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整方法は、前記複数カメラ撮影画像合成システム用カメラ調整方法において、前記画像合成ラインの状態によって、調整板配置枠を変更することを特徴とする。
【００２８】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整方法は、前記複数カメラ撮影画像合成システム用カメラ調整方法において、前記画像合成ラインの状態は、画像合成ラインの平面内の角度であることを特徴とする。
【００２９】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整方法は、前記複数カメラ撮影画像合成システム用カメラ調整方法において、前記画像合成ラインと交差する調整板配置枠は、調整するカメラの撮影画像範囲側が広くなるように設定していることを特徴とする。  
【００３０】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整方法は、前記複数カメラ撮影画像合成システム用カメラ調整方法において、前記画像合成ラインと交差する調整板配置枠を調整板と同形状の長方形とし、調整を行わない前記他のカメラの撮影画像範囲内に、２つの頂点が含まれるように配置することを特徴とする。
【００３１】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整方法は、前記複数カメラ撮影画像合成システム用カメラ調整方法において、前記調整カメラと前記他のカメラの画像合成ラインを、カメラ調整時に変更することを特徴とする。
【００３２】
また、本発明に係る複数カメラ撮影画像合成システム用カメラ調整装置は、前記課題を解決するため、それぞれ異なる方向を撮影するカメラの画像を画像合成ラインで合成して表示する複数カメラ撮影画像合成システム用カメラ調整装置において、調整を行うカメラと、該調整を行うカメラの撮影画像と画像合成ラインで合成する画像を撮影する他のカメラとの両カメラの撮影画像範囲について、前記画像合成ラインと交差するように調整板配置枠を画像表示する調整板配置枠表示手段と、前記調整板配置枠における前記他のカメラの撮影画像範囲内の調整板配置枠に沿って調整板を配置した状態で、前記調整を行うカメラの撮影画像範囲における前記調整板の画像が、所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算して出力する調整値出力手段と、前記補正値を用いて、調整するカメラの調整板撮影画像を調整して表示する画像表示出力手段とを備えたことを特徴とする。
【００３３】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整装置は、前記複数カメラ撮影画像合成システム用カメラ調整装置において、前記調整を行うカメラの画像と画像合成ラインで合成する画像を撮影する他のカメラを複数指示するカメラ指示手段と、前記指示した複数の他のカメラのそれぞれについて、画像合成ラインと交差するように調整板配置枠を複数画像表示する調整板配置枠表示手段とを備えたことを特徴とする。
【００３４】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整装置は、前記複数カメラ撮影画像合成システム用カメラ調整装置において、前記複数の調整板配置枠についてそれぞれ調整板を配置した状態で、調整するカメラによる複数の調整板の画像が同時に所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算して出力する調整値出力手段を備えたことを特徴とする。
【００３５】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整装置は、前記複数カメラ撮影画像合成システム用カメラ調整装置において、前記複数の調整板配置枠について、一つずつ調整板を配置し、各調整板の配置毎に、前記調整するカメラによる調整板の画像が、所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算して出力する調整値出力手段を備えたことを特徴とする。
【００３６】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整装置は、前記複数カメラ撮影画像合成システム用カメラ調整装置において、前記画像合成ラインの状態によって、調整板配置枠を変更する調整板配置枠選択手段を備えたことを特徴とする。
【００３７】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整装置は、前記複数カメラ撮影画像合成システム用カメラ調整装置において、前記画像合成ラインの状態は、画像合成ラインの平面内の角度であることを特徴とする。
【００３８】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整装置は、前記複数カメラ撮影画像合成システム用カメラ調整装置において、前記調整板配置枠表示手段は、前記画像合成ラインと交差する調整板配置枠は、調整するカメラの撮影画像範囲側が広くなるように設定することを特徴とする。
【００３９】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整装置は、前記複数カメラ撮影画像合成システム用カメラ調整装置において、前記調整板配置枠表示手段は、前記画像合成ラインと交差する長方形の調整板配置枠を、調整を行わない前記他のカメラの撮影画像範囲内に、２つの頂点が含まれるように配置することを特徴とする。
【００４０】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整装置は、前記複数カメラ撮影画像合成システム用カメラ調整装置において、前記調整カメラと前記他のカメラの画像合成ラインを、カメラ調整時に変更する画像合成ライン変更手段を備えたことを特徴とする。
【００４１】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整装置は、前記複数カメラ撮影画像合成システム用カメラ調整装置において、前記調整板は長方形をなし、表面に複数の円を形成していることを特徴とする。
【００４２】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整装置は、前記複数カメラ撮影画像合成システム用カメラ調整装置において、前記複数カメラ撮影画像合成システム用カメラ調整装置を、上方に視点のある１つの画像に合成するシステムに適用したことを特徴とする。
【００４３】
また、本発明に係る他の複数カメラ撮影画像合成システム用カメラ調整装置は、前記複数カメラ撮影画像合成システム用カメラ調整装置において、前記複数カメラ撮影画像合成システム用カメラ調整方法を、１つのカメラ撮影画像を複数の態様で表示するシステムに適用したことを特徴とする。
【発明の効果】
【００４４】
本発明に係る複数カメラ撮影画像合成調整方法及び装置は、それぞれ異なる方向を撮影する複数のカメラの撮影画像により、１枚の画像を合成するシステムにおいて、カメラの撮影方向等の調整を調整板を用いて調整するに際して、容易に、短時間で、且つ正確に調整を行うことができる。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施例の機能ブロック図である。
【図２】同実施例の作動フロー図である。
【図３】本発明による調整板配置枠表示と、この枠画像を利用して調整板を所定位置に配置し、その時の調整板画像の表示例を示す図である。
【図４】本発明による調整板配置枠の各種態様を示す図である。
【図５】本発明による更に他の調整板配置枠の各種態様を示す図である。
【図６】本発明の調整板配置枠表示と、その枠を利用して調整板を配置する時の基本的な態様を示す図である。
【図７】本発明の調整板配置枠表示に沿って調整板を配置する各種態様を示す図である。
【図８】従来から用いられているトップビューシステムの説明図である。
【図９】複数カメラの撮影画像を合成して１つの画像を表示する時、所定の調整がなされていないカメラについて、調整板を用いて調整を行う従来の手法を説明する図である。
【発明を実施するための形態】
【００４６】
本発明は、複数のカメラの撮影画像により１枚の画像を合成するシステムにおいて、カメラの撮影方向等の調整を調整板を用いて調整するに際して、容易に、短時間で、且つ正確に調整を行うことができるようにするという課題を、それぞれ異なる方向を撮影するカメラの画像を画像合成ラインで合成して表示する複数カメラ撮影画像合成システム用カメラ調整方法において、調整を行うカメラと、該調整を行うカメラの撮影画像と画像合成ラインで合成する画像を撮影する他のカメラとの両カメラの撮影画像範囲について、前記画像合成ラインと交差するように調整板配置枠を画像表示し、前記調整板配置枠における前記他のカメラの撮影画像範囲内の調整板配置枠に沿って調整板を配置し、前記調整を行うカメラの撮影画像範囲における前記調整板の画像が、所定の調整板の画像となるように、調整を行うカメラの画像に対して補正を行う補正値を演算し、前記補正値を用いて、調整するカメラの調整板撮影画像を調整して表示することにより実現した。
【実施例１】
【００４７】
本発明の実施例を図面に沿って説明する。図１は本発明による複数カメラ撮影画像合成調整方法を実施する装置を、マルチ画像表示装置に組み込んだ例を示している。即ち図１に示す例においては前記図８に示すように車両の前後左右に設けた４個のカメラ１１の撮影画像を、マルチ画像処理部１０における、各カメラに対応したカメラ画像入力部１２で入力し、各カメラ画像に対してカメラ画像処理部１３で画像処理を行い、表示画像種別選択表示処理部１４に入力している。
【００４８】
表示画像種別選択表示処理部１４では、車両の前後左右に設けたカメラについて、例えば後視カメラによって車両の後退時に車両後部の画像を表示する処理を行い、或いは車両側部のカメラによって側溝のある細い道路でのすれ違いのために、車両側部下方の画像を表示する処理を行う等、それぞれのカメラ単独の撮影画像を表示する機能の他、例えばトップビューシステムのように、車両の上方に視点のある平面画像を、複数のカメラの撮影画像を合成して表示する機能のように、各種画像合成処理を行う機能等、種々の合成画像表示を行う機能を選択して画像表示処理を行うことができるようにしている。
【００４９】
図１に示す表示画像種別選択表示処理部１４には、その機能の一つとして少なくとも画像合成処理部１５を備え、前記トップビューのような複数カメラの撮影画像を合成処理することができる機能を備えている。その画像合成処理部１５には画角調整部１６を備えており、各カメラの画像が連続し、且つ全体として画像の変形が存在しないように合成するため、各カメラの画像に対して、カメラの設置のずれ等に応じて補正を行うことができるようにしている。
【００５０】
特にこの画角調整部１６には後述する複数画像合成調整部２０からの調整値によって画角が調整できるようにし、それにより例えば自動車メーカーのディーラーの工場において、適正に各カメラの画角が調整されているか否かをチェックし、調整が適正に行われていない時には、任意の調整値が出力されることによって実質的に画角が変更し、その変更した画角によって得られた合成画像を、画像表示出力部１７からモニタの画面に表示可能としている。それにより、未だ調整が適切に行われていない時には、更に画角調整が行われ、最終的に適切な校正画像が得られるようになる。したがってこの画角調整部１６には、各カメラ毎の最新の画角データを記憶しておき、これを用いることができるようにする。
【００５１】
画像表示出力部１７からは、表示画像種別選択表示処理部１４で処理された各種画像をモニタに出力するものであるが、特に合成画像表示出力部１８は、前記画像合成処理部１５で処理された合成画像をモニタに出力し、図示の例ではトップビューシステムによる合成画像の表示例を示している。
【００５２】
また、本発明においては特に調整板配置枠表示出力部１９を備え、合成画像を表示する画面内において、図９に示すような調整板を配置する位置を示す調整板配置枠を表示する。それにより後述するようにこの調整板配置枠における、正常なカメラで撮影している枠部分に沿って調整板を配置することにより、容易に、且つ正確に調整板を所定位置に配置することができるようにしている。
【００５３】
図１に示す例においては複数画像を合成して表示するに際して、前記のようにディーラーの工場等で、各カメラが適正に設置されているかをチェックしながら、各カメラの設置のずれによって生じる撮影方向のずれ等を、そのカメラの撮影画像に対して所定の補正を行うための補正値を出力することによって、適正な画像出力を行うことができるようにしている。
【００５４】
そのため複数画像合成調整部２０には調整指示入力部２１を備え、カメラの調整を行う作業者の各種指示信号を入力できるようにしており、図示の例では後述するような調整値の自動演算以外に、作業者が調整つまみ等の調整データ出力部の操作によって、調整角度を手動指示できるようにした例を示している。また、調整指示入力部２１には調整すべきカメラを指示する調整カメラ指示部２３と、調整すべきカメラの撮影画像と合成されることとなる正常なカメラを指示するための、調整用正常カメラ指示部２４を備えた例を示している。
【００５５】
調整板配置枠選択部２６においては、調整指示入力部２１で入力した調整カメラ指示部２３の指示、及び調整用正常カメラ指示部２４の指示の両指示によって、後述するような態様の適切な調整板配置枠を表示できるように、予め各種調整板配置枠の態様を記憶している調整板配置枠記憶部２７のデータを読み出して、適切な調整板配置枠を選択することができるようにしている。調整板配置枠出力部２８はこのように選択した調整板配置枠を、前記画像表示出力部１７の特に調整板配置枠表示出力部１９に出力している。
【００５６】
調整値演算部２９においては、図中の調整板配置枠使用例において、モニタに表示された調整板配置枠の、正常カメラの撮影画像表示範囲における調整板配置枠に一致するように調整板を配置した後、調整例にその一部を示すように、調整前の状態では調整板画像がゆがんでいる時、そのゆがみの程度を算出し、その算出結果によって画角調整値を調整値出力部２５に出力する。それにより、単に調整板をモニタに表示された調整板配置枠の所定位置に配置するだけで、自動的に画角調整用の補正値を得ることができる。また、画像合成ライン変更部３０は、後述するように、カメラの調整を行う時、必要に応じて各カメラの撮影画像の合成ラインを変更可能とする。
【００５７】
図１に示すような複数カメラ撮影画像合成調整方法を実施する装置によって、例えば図３に示すような調整板配置枠の表示と、その調整板配置枠にしたがった調整板の配置が行われる。即ち図３（ａ）に示す例においては、左側カメラＣＬの調整を行う時の例を示しており、このとき、車両前方のフロントカメラＣＦ、或いは後部カメラＣＢの少なくとも１つのカメラで適正な撮影画像が得られていることを前提としており、図示の例では両方とも適正な画撮影画像が得られている状態を示している。
【００５８】
図３（ａ）の例ではフロントカメラ撮影画像範囲ＳＦと左側カメラ撮影画像範囲ＳＬの両方にまたがって表示される第１調整板配置枠Ｗ１と、後部カメラ撮影画像範囲ＳＢと左側カメラ撮影画像範囲ＳＬの両方にまたがって表示される第２調整板配置枠Ｗ２とを表示している。この第１調整板配置枠Ｗ１は、調整を行うカメラの撮影画像範囲である左側カメラ撮影画像範囲ＳＬ内に主として表示されており、図示の例では第１調整板配置枠Ｗ１の４隅の頂点の内、頂点ＬＦＡ、ＬＦＣ、ＬＦＤが含まれ、フロントカメラ撮影画像範囲ＳＦ内には頂点ＬＦＢのみが含まれている。
【００５９】
同様に、第２調整板配置枠Ｗ２も調整を行うカメラの撮影画像範囲である左側カメラ撮影画像範囲ＳＬ内に主として表示されており、図示の例では第２調整板配置枠Ｗ２の４隅の頂点の内、頂点ＬＢＢ、ＬＢＣが含まれ、後部カメラ撮影画像範囲ＳＢには頂点ＬＢＡ、ＬＢＤが含まれており、全体として調整を行うカメラの撮影画像範囲である左側カメラ撮影画像範囲ＳＬの面積が充分広くなるように配置している。
【００６０】
上記のような第１及び第２調整板配置枠は、図１の例においては調整板配置枠記憶部２７に記憶されており、調整板配置枠選択部２６が調整指示入力部２１において指示される調整カメラ指示部２３で左側カメラＣＬを指定し、調整用正常カメラ指示部２４でフロントカメラＣＦと後部カメラＣＢとを指示した時、その条件に合う調整板配置枠を調整板配置枠記憶部２７から選択し取り込んで、調整板配置枠出力部２８から出力することによって行っている。
【００６１】
上記のような調整板配置枠がモニタに表示されている状態で、そのモニタが移動式である時には、調整作業者がこの調整板配置枠における正常カメラ撮影画像範囲内に表示されている枠に一致するように調整板を配置する。このときのモニタが車両に搭載しているモニタしか存在しない時には、そのモニタを見ながら、調整板を配置する他の作業者に調整板の移動を指示することによって作業を行うこともできる。
【００６２】
図３（ｂ）には第１調整板配置枠Ｗ１に第１調整板ＢＤ１を配置し、第２調整板配置枠Ｗ２に第２調整板ＢＤ２を配置した時、左側カメラＣＬが適正に設置されていることにより、適正画像が表示され、したがって第１調整板ＢＤ１の４隅であるＡ、Ｂ、Ｃ、Ｄが第１調整板配置枠の４隅であるＬＦＡ、ＬＦＢ、ＬＦＣ、ＬＦＤと一致している。また同様に、第２調整板ＢＤ２の４隅であるＡ、Ｂ、Ｃ、Ｄが第２調整板配置枠の４隅であるＬＢＡ、ＬＢＢ、ＬＢＣ、ＬＢＤと一致している。
【００６３】
図３（ｃ）には左カメラＣＬが適正に設置されていないことにより、不適正画像が表示され、第１調整板ＢＤ１の画像については、正常に設置されているカメラであるフロントカメラＣＦの撮影画像範囲であるフロントカメラ撮影画像範囲ＳＦについては変形していないのに対して、左側カメラＣＬの撮影画像範囲である左側カメラ撮影画像範囲ＳＬについては本来ＬＦＡの位置にあるべき角がＺＡの位置に移動し、本来ＬＦＤの位置にあるべき角がＺＤの位置に移動し、本来ＬＦＣの位置にあるべき角がＺＣの位置に移動している例を示している。
【００６４】
同様に第２調整板ＢＤ２の画像については、正常に設置されているカメラである後部カメラＣＢの撮影画像範囲である後部カメラ撮影画像範囲ＳＢについては変形していないのに対して、左側カメラＣＬの撮影画像範囲である左側カメラ撮影画像範囲ＳＬについては、本来ＬＢＢの位置にあるべき角がＺＢの位置に移動し、本来ＬＢＣの位置にあるべき角がＺＣの位置に移動している例を示している。
【００６５】
それにより、第１調整板ＢＤ１の画像については、角Ｂ、画像合成ラインＧＬＦとの交点ＫＣ、角ＺＣ、角ＺＤ、角ＺＡ、画像合成ラインＧＬＦとの交点ＫＡの多角形をなす。同様に第２調整板ＢＤ２の画像については、角Ａ、画像合成ラインＧＬＢとの交点ＫＡ、角ＺＢ、角ＺＣ、画像合成ラインＧＬＢとの交点ＫＤ、角Ｄの多角形をなす。このような画像の変形と共に、表面に形成している円形マークの中心位置もずれていることを画像処理によって知ることができ、その変形量によって適正な画像を表示するための調整値である画角調整用補正値を、図１の調整値演算部２９で自動演算することができる。
【００６６】
前記のような調整板表示枠は種々の態様で表示することができ、特にその表示態様で調整板を調整板配置枠のとおりに配置するときの作業のし易さ、配置した後の調整板の変形状態を正確に検出するし易さ、等を考慮して任意に設定することができる。図４（ａ）には、左側カメラＣＬ、或いは右側カメラＣＲを調節するとき、全調整板を横長に配置して調整を行うように、調整板配置枠を全て横長に表示した例を示しており、左側カメラＣＬの調整、及び右側カメラＣＲの調整を、フロントカメラＣＦ、後部カメラＣＢの少なくとも一つが正常であることを前提に調整を行う例を示している。
【００６７】
図４（ａ）（ｂ）の例においては、同様に調整板を全て横長に配置して調整を行うように、調整板配置枠を全て横長に表示した例において、フロントカメラＣＦ及び後部カメラＣＢの調整を、左側カメラＣＬ、右側カメラＣＲの少なくとも一つが正常であることを前提に調整を行う例を示している。
【００６８】
図示の例において、フロントカメラ撮影画像範囲ＳＦと、左側カメラ撮影画像範囲ＳＬとの画像合成ラインＧＬＦ、及び右側カメラ撮影画像範囲ＳＲとの画像合成ラインＧＲＦが、フロントカメラ撮影画像範囲が狭くなるように、図中平面視で比較的急な勾配であるのに対して、後部カメラ撮影画像範囲ＳＢと、左側カメラ撮影画像範囲ＳＬとの画像合成ラインＧＬＢ、及び右側カメラ撮影画像範囲ＳＲとの画像合成ラインＧＲＢが、後部カメラ撮影画像範囲が広くなるように、図中平面視で比較的緩やかな勾配となっている。
【００６９】
そのため、図４（ａ）（ｂ）に示す例において、全ての調整板配置枠を横長にすると、画像合成ラインが比較的急なＧＬＦ及びＧＲＦにおいては、これと交差するように配置する調整板表示枠は、正常なカメラがいずれであっても正常カメラの画像表示範囲に調整板の角部を２個配置することが容易であり、したがって調整板を調整板配置枠に沿って正確に、且つ容易に配置することができる。それに対して、画像合成ラインが比較的緩やかなＧＬＢ及びＧＲＢにおいては、これと交差するように配置する調整板表示枠は、正常なカメラがいずれであっても、正常カメラの画像表示範囲に調整板の角部を２個配置することは困難である。
【００７０】
一方、図４（ｃ）（ｄ）の例においては、全ての調整板配置枠を縦長にした例を示しており、このときには（ｃ）の側部カメラを調整するための調整枠表示においても、（ｄ）の前後カメラを調整するための調整枠表示においても、比較的緩やかな画像合成ラインであるＧＬＢ、ＧＲＢと交差する調整板表示枠部分では、正常カメラの画像表示範囲に調整板の角部を２個配置することが容易であり、したがって調整板を調整板配置枠に沿って正確に、且つ容易に配置することができる。それに対して、比較的急な画像合成ラインであるＧＬＦ、ＧＲＦと交差する調整板配置枠部分では、正常カメラの画像表示範囲に調整板の角部を２個配置することは困難である。
【００７１】
そのため、例えば図５（ａ）（ｂ）に示すように、図中平面視で比較的急な画像合成ラインであるＧＬＦ、ＧＲＦを交差する調整板配置枠は全て横長とし、逆に比較的緩やかな画像合成ラインであるＧＬＢ、ＧＲＢを交差する調整板配置枠は全て縦長とすることが好ましい。また、図５（ｃ）に示すように、フロントカメラ撮影画像範囲ＳＦと、左右カメラ撮影画像範囲ＳＬ、ＳＲとの画像合成ラインであるＧＬＦ、ＧＲＦが比較的緩やかな時には、全ての調整板表示枠を縦長にすることにより、調整板の配置を正確に、且つ容易に配置することができるようになる。このことは逆に、全ての画像合成ラインが比較的急な時、全ての調整板配置枠を横長にすることが適切であることがわかる。
【００７２】
このように、画像合成ラインの平面視の角度によって調整板表示枠を縦長に表示するか、横長に表示するかを選択することが好ましく、図１の調整板配置枠記憶部２７には、調整を行うカメラと正常なカメラの指示に対応して、前記のような画像合成ラインに関するデータを加味して、適切な調整板配置枠を設定することができるようにしている。
【００７３】
図５（ｄ）には、通常は例えば同図（ａ）〜（ｃ）のような画像合成ラインに設定している時、カメラの調整を行う時の信号によって、調整を行うために必要となる画像合成ラインを図中平面視で水平になるように設定し、その画像合成ラインと交差するように縦長の調整板配置枠を表示するようにしても良い。それにより、通常表示している画像合成ラインがどのような場合でも、縦長の調整板配置枠の表示によって適切に処理することができる。このような画像合成ラインの変更は、図１における画像合成ライン変更部３０の指示により、画像合成処理部１５が処理を行うことによって実施することができる。
【００７４】
調整板配置枠表示時の画像合成ラインは、前記のような平面視水平以外に、垂直を含めて任意の傾斜にしても良く、その角度に対応して調整板配置枠の表示を任意に選択できるようにする。このとき、前記のように画像合成ラインが平面視垂直の時には、調整板配置枠は横長にする。また、調整板配置枠は必ずしも縦長とそれに直角な横長に表示する以外に、傾斜している画像合成ラインに直角になるように、傾斜した調整板配置枠を表示するようにしても良い。
【００７５】
図４、図５に示すような各種の調整板配置枠表示、或いは画像合成ラインの変更と共に行う調整板配置枠表示を行った後は、その枠における正常カメラ撮影画像範囲部分に調整板を配置する。その時の最も基本的な態様を図６に示している。図６（ａ）は左側カメラＣＬの調整を行うために、正常カメラとしてフロントカメラＣＦのみを選択し、画像合成ラインＧＬＦと交差するように表示している調整板配置枠を、横長に表示した例を示している。このような表示状態において、同図（ｂ）に示すように、調整板配置枠の正常カメラ撮影画像範囲であるフロントカメラ撮影画像範囲ＳＦに表示されている枠に沿って調整板ＢＤを配置する。それにより、調整するカメラの調整ずれに応じた画像の変形が調整するカメラの撮影画像範囲に表示され、この画像処理によって調整するカメラの調整値である画角補正値を演算して得ることができる。
【００７６】
図６（ｃ）に示す例は、調整するカメラが左側カメラＣＬであるとき、正常カメラとして後部カメラＣＢを選択した時の処理例であり、両カメラの画像合成ラインＧＬＢを交差するように調整板配置枠を表示する。以降は同様にこの調整板配置枠の正常カメラ撮影画像範囲の枠に沿って調整板を配置し、同図（ｄ）の例では左カメラの調整ずれにより、調整板が変形して表示され、以降は前記と同様の作動を行い、最終的に適正な画像表示が行われるようになる。
【００７７】
前記図６に示す例は最も基本的な調整手法である、１つの正常カメラ撮影画像による調整例を示したが、そのほか例えば図７に示すように、複数の正常カメラを利用して調整を行うようにしても良い。即ち図７（ａ）の例においては、前記図５（ａ）に示す調整板配置枠の表示手法により、左側カメラＣＬの調整に際して、フロントカメラＣＦと、後部カメラＣＢとを利用した例を示している。また、画像合成ラインの図中平面視の角度によって、横長の調整板配置と、縦長の調整板に配置とを行った例を示している。このような複数の調整を行う際には、両調整板配置枠にそれぞれ調整板Ｗ１、Ｗ２を配置した状態で調整作業を行うことができるが、そのほか、それぞれの正常カメラを順に選択して、調整を行うようにしても良い。
【００７８】
図７（ｂ）はフロントカメラＣＦの調整を行うため、正常カメラとして選択した左側カメラＣＬの撮影画像範囲ＳＬと、右側カメラＣＲの撮影画像範囲ＳＬとにそれぞれ調整板配置枠Ｗ１、Ｗ２を表示し、その調整板配置枠における各々正常カメラの撮影画像範囲に存在する調整板配置枠に沿って調整板を設置した状態を示している。この例においては、画像合成ラインの角度を考慮し、左右両方とも調整板配置枠を横置き配置した例を示している。
【００７９】
図７（ｃ）は後部カメラＣＢを調整するため、正常カメラとして選択した左右の側部カメラの撮影画像範囲ＳＬ及びＳＲと後部カメラ撮影画像範囲ＳＢとの間に調整板配置枠を表示し、各々正常カメラの撮影画像範囲に存在する調整板配置枠に沿って調整板を設置した状態を示している。この例においては、画像合成ラインの角度を考慮し、左右両方とも調整板配置枠を縦置き配置した例を示している。
【００８０】
図７（ｄ）の例においては、前記図５（ｄ）の画像合成ラインを水平に変更した時に、その画像合成ラインを直交するように調整板配置枠Ｗ１、Ｗ２を表示した状態で、正常カメラとして指定したフロントカメラＣＦと後部カメラＣＢについて、フロントカメラ撮影画像範囲ＳＦと後部カメラ撮影画像範囲ＳＢに表示されている調整板配置枠に沿って調整板を設置した状態を示し、左側カメラ撮影画像範囲ＳＬに変形して表示されている調整板の画像に基づき、調整が行われる。
【００８１】
上記のような種々の態様で調整板配置枠が選択され、その調整板配置枠における正常カメラの撮影画像範囲に表示されている調整板配置枠に沿って調整板を配置し、そのとき調整するカメラによる調整板の撮影画像を画像処理することにより、調整するカメラの画角調整用の補正値を演算することによって、容易に、且つ正確に調整を行うことができる。
【００８２】
図１に示すような各種機能ブロックから構成される複数カメラ撮影画像合成システム用カメラ調整装置は、前記各種態様の作動を行うため、例えば図２に示すような作動フローにしたがって順に操作し、また作動することによって実施することができる。図２に示す調整板配置枠画像表示によるカメラ撮影画像調整処理の例においては、最初調整するカメラとそのカメラに撮影画像領域が隣接するカメラを選択する（ステップＳ１）。このとき、例えば図６に示すように正常カメラを１つのみ選択して調整作業を行うほか、図７に示すように、調整するカメラに隣接する複数カメラを選択しても良い。
【００８３】
次いで調整するカメラと選択した正常カメラに対応した、調整板配置枠画像を表示する（ステップＳ２）。その後正常カメラ撮影画像範囲の調整板配置枠に沿って調整板を配置する（ステップＳ３）。この作業はディーラーの整備工場等で、モニタ調整用出力端子にモニタを接続し、そのモニタを見ながら正常カメラ撮影画像範囲に表示されている調整板配置枠に沿って調整板を配置することにより行うことができ、またこのようなモニタの接続が行えない時には、作業者の一人が車両に搭載しているモニタを見ながら指示を行い、他の作業者がその指示に従って調整板を移動することによっても行うことができる。  
【００８４】
次いで正常カメラ撮影画像範囲の調整板画像と、調整するカメラ撮影画像範囲の調整板画像が連続した所定の調整板画像になるように、調整用カメラ撮影画像の補正値を演算する（ステップＳ４）。この演算は図９に示すように従来の調整板使用によるカメラ調整において、既に使用されている調整手法を用いることができる。
【００８５】
その後前記のようにして演算された補正値を用いて調整するカメラの撮影画像の調整を行い、調整板の画像を表示する（ステップＳ５）。次いでこのようにして表示された調整板の画像について、所定の調整板画像が得られたか否かを判別する（ステップＳ６）。ここで未だ所定の調整板画像が得られていないと判別した時にはステップＳ３に戻って、調整板表示枠に正確に調整板が配置されているかをチェックし、必要に応じて調整板の配置のし直しを行い、その後ステップＳ４で前記補正値演算を行って前記作動を繰り返す。
【００８６】
なお、所定の調整板画像が得られたか否かの判別に際しては、作業者がモニタの画面を見て判断する以外に、所定の画像が得られているか否かを調整装置が判断し、その旨をモニタに表示する等によって判別することもできる。また、前記調整作業を自動的に行っても所定の調整板画像が得られない時には、別途手動操作式の調整値入力手段を用い、所定の画像になるように手動で調節することもできる。ステップＳ６で所定の調整画像が得られたと判別した時には、この調整処理を終了する（ステップＳ７）。
【００８７】
前記作動フローは本発明の実施例の一例を示したに過ぎず、例えば複数の調整板配置枠を表示して調整を行う時の態様、画像合成ラインの変更手法を用いた態様等、種々の態様に応じてこの作動フローを変更して作動させることができる。  
【符号の説明】
【００８８】
１１  カメラ
１２  カメラ画像入力部
１３  カメラ画像処理部
１４  表示画像種別選択表示処理部
１５  画像合成処理部
１６  画角調整部
１７  画像表示出力部
１８  合成画像表示出力部
１９  調整板配置枠表示出力部
２０  複数画像合成調整部
２１  調整指示入力部
２２  調整角度指示部
２３  調整カメラ指示部
２４  調整用正常カメラ指示部
２５  調整値出力部
２６  調整板配置枠選択部
２７  調整板配置枠記憶部
２８  調整板配置枠出力部
２９  調整値演算部
３０  画像合成ライン変更部
【図１】
2010200054.tif 000003
【図２】
2010200054.tif 000004
【図３】
2010200054.tif 000005
【図４】
2010200054.tif 000006
【図５】
2010200054.tif 000007
【図６】
2010200054.tif 000008
【図７】
2010200054.tif 000009
【図８】
2010200054.tif 000010
【図９】
2010200054.tif 000011