(57)【特許請求の範囲】
【請求項１】
車両の所定位置にて固定され、内部パラメータが既知であるカメラに対して、該カメラで撮像されるカメラ画像内に設けられた校正指標を基にして、前記カメラの校正を回転成分（ロール角、チルト角、パン角）の調整により行う車載カメラの校正装置において、
平面に配置された平面状の校正指標と、
前記カメラ画像内にある前記校正指標を表示可能な表示手段と、
該表示手段に所定のウィンドウを表示するウィンドウ表示手段と、
前記ウィンドウの位置を変化させる調整手段と、
該調整手段により前記校正指標の中の２点が前記ウィンドウ内に入るよう前記ウィンドウの位置関係を調整し、前記校正指標が前記ウィンドウ内に収まったときのロール角、チルト角、パン角を、前記カメラのカメラパラメータとして設定するパラメータ設定手段と、
を備えたことを特徴とする車載カメラの校正装置。
【請求項２】
前記校正指標は直線形状を呈し、前記ウィンドウの大きさは前記校正指標がウィンドウ内に納まる大きさに設定されていることを特徴とする請求項１に記載の車載カメラの校正装置。
【請求項３】
車両の所定位置に固定され、内部パラメータが既知であるカメラに対して、該カメラで撮像されるカメラ画像内に設けられた校正指標を基にして、前記カメラの校正を回転成分（ロール角、チルト角、パン角）の調整により行う車載カメラの校正方法において、
平面に配置された平面状の校正指標と、前記カメラ画像内にある前記校正指標を表示可能な表示手段と、該表示手段に所定のウィンドウを表示するウィンドウ表示手段と、前記ウィンドウの位置を変化させる調整手段とを用いて、
前記表示手段に前記校正指標を表示させ、前記校正指標が前記ウィンドウ内に入るように前記ウィンドウの位置関係を調整し、前記校正指標の中の２点が前記ウィンドウ中に収まったときのロール角、チルト角、パン角を、前記カメラのカメラパラメータとして設定することを特徴とする車載カメラの校正方法。
【請求項４】
前記調整手段は、モード遷移ボタンとウィンドウ移動ボタンを備え、モード遷移ボタンによりロール角の調整、チルト角の調整、パン角の調整の切換えを行い、ウィンドウ移動ボタンにより前記ウィンドウの移動が成されることを特徴とする請求項３に記載の車載カメラの校正方法。
【請求項５】
前記校正指標は、前記車両の製造現場、工場、生産ラインのいずれかで床面に固定されるかまたは貼り付けられ、前記校正指標と前記車両との距離を所定距離として前記カメラの校正が成されることを特徴とする請求項３に記載の車載カメラの校正方法。
【請求項６】
前記校正指標は直線であり、前記２点は前記校正指標の両端であることを特徴とする請求項３に記載の車載カメラの校正方法。
【請求項７】
前記校正指標は直線であり、前記校正指標と前記車両の中心を通る長手方向の車両主軸を垂直状態として、前記カメラの校正が成されることを特徴とする請求項３に記載の車載カメラの校正方法。
【請求項８】
前記車両の中心を通る長手方向の車両主軸に対して、左右対称の校正指標を用いて、前記カメラの校正が成されることを特徴とする請求項３に記載の車載カメラの校正方法。
【請求項９】
ロール角、チルト角、パン角のカメラパラメータが順番に調整され、該調整に従い前記ウィンドウの大きさが可変と成ることを特徴とする請求項３に記載の車載カメラの校正方法。
【請求項１０】
前記校正指標が表示されるカメラ画像に対して、前記車両から所定距離だけ離れた位置を示す距離線を有する前記車両の走行予想軌跡が重ねて表示され、前記距離線と前記校正指標の表示とが一致することを特徴とする請求項３に記載の車載カメラの校正方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車載カメラを車両に取り付ける場合におけるカメラの校正、或いは、車載カメラの取付位置が規定位置よりずれた場合にカメラの校正を行う校正装置およびそのときの校正方法に関するものである。
【０００２】
【従来の技術】
従来、カメラの校正に関しては、さまざまな企業および研究機関によってアルゴリズムを確立させる研究がなされており、この中の一つの方法としては、形状が予め既知であって特徴ある立体物を、校正用の指標として３次元空間上に置き、その立体物の特徴点がカメラの画像座標系でどのように表示されるかによって、カメラパラメータを算出する方法が知られている。例えば、このようにカメラパラメータを設定する方法は、ＩＮＲＩＡ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  ｗｉｔｈｏｕｔ  Ｆｅａｔｕｒｅ  Ｅｘｔｒａｃｔｉｏｎ  Ｒｅｓｅａｒｃｈ  Ｒｅｐｏｒｔ  Ｎｏ．  ２２０４  （  Ｆｅｂ．  １９９４  ）の１〜２１頁に開示されており、ここに開示される校正方法では、特徴ある立体物校正指標を用いて、１１自由度のカメラパラメータを算出している。
【０００３】
また、車両後方を撮像するカメラと、距離スケールの図形や文字を発生させる信号発生装置を備え、モニタ上に写し出される後方の風景の中で、距離スケールを上下任意に動かして距離スケールを実画面上に正確な位置に合わせる車載カメラの校正に関しては、特開平４−１０３４４４号公報に開示されている。
【０００４】
【本発明が解決しようとする課題】
前者に示されるカメラの校正方法では、カメラパラメータを決定するために、特徴ある立体物をカメラで撮像可能な位置に置き、立体物がカメラの画像座標系において、どの点に表示されるかを幾何学的に算出し、３次元空間からカメラパラメータを決定する方法を取っている。このように、車両にカメラを取付けた後、カメラの校正を行う場合にあっては、校正を行う対象物が車両に取り付けられたカメラである場合においては、工場等の車両組立ラインで校正を行うことになるが、このような生産現場では作業性が良いことが条件となる。生産現場では、特徴ある立体物を置いて校正を行う方法を取ると、校正指標として立体物をその都度置くことは効率が悪く、しかも、災害防止の面から言って、校正のために足元に３次元的な立体物を置くことは避け、カメラの校正を行う校正指標は、工場の床面に描画された模様のように、作業者が踏みつけても良い指標であることが望まれる。
【０００５】
また、後者の校正方法では、モニタ上に写し出される後方の風景の中で、距離スケールを上下任意に動かして距離スケールを実画面上の正確な位置に合わせ、車両後方の距離感を把握するものであり、カメラパラメータの設定は行ってはいない。従って、車両のカメラによって撮像されたモニタ画面上に、駐車操作時にドライバーの操作をアシストする走行予想軌跡を、ステアリング操作によって可変表示できるよう、後方画像の中に電気的に重畳表示する場合には、カメラパラメータを求めていないので、ディスプレィ画面上の任意の位置へ走行予想軌跡を描画することができないものとなる。
【０００６】
よって、本発明は上記の問題点に鑑みてなされたものであり、車両の製造現場等でカメラの校正を行う場合であっても、簡単な方法で校正が行える装置および方法を提供することを技術的課題とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するために講じた第１の技術的手段は、車両の所定位置にて固定され、内部パラメータが既知であるカメラに対して、該カメラで撮像されるカメラ画像内に設けられた校正指標を基にして、前記カメラの校正を回転成分（ロール角、チルト角、パン角）の調整により行う車載カメラの校正装置において、平面に配置された平面状の校正指標と、前記カメラ画像内にある前記校正指標を表示可能な表示手段と、該表示手段に所定のウィンドウを表示するウィンドウ表示手段と、前記ウィンドウの位置を変化させる調整手段と、該調整手段により前記校正指標の中の２点が前記ウィンドウ内に入るよう前記ウィンドウの位置関係を調整し、前記校正指標が前記ウィンドウ内に収まったときのロール角、チルト角、パン角を、前記カメラのカメラパラメータとして設定するパラメータ設定手段と、を備えたことである。
この場合、前記校正指標は直線形状を呈し、前記ウィンドウの大きさは前記校正指標がウィンドウ内に納まる大きさに設定されると良い。
【０００８】
第１の技術的手段によれば、校正には平面（例えば、地面または床面）に配置した平面状の校正指標を用いて、その校正指標の中の２点を、カメラ画像を表示手段に表示させ、そこに所定のウィンドウを表示させる。ウィンドウの位置をカメラによって撮像される画像座標内で変化させ、校正指標の中の２点がウィンドウ内に入るよう位置関係を調整手段により調整し、校正指標がウィンドウ内に収まったときのロール角、チルト角、パン角を、カメラのカメラパラメータとして設定するようにしたので、カメラパラメータの設定は調整手段の調整だけで設定が可能となる。この場合、校正指標は平面状であることから、校正指標は床面に置くか貼り付ければ校正を行う場合にあっては邪魔にならず、車両の製造現場等においても、簡単な方法でカメラの校正が行える装置が提供される。
【０００９】
また、上記の課題を解決するために講じた第２の技術的手段は、車両の所定位置にて固定され、内部パラメータが既知であるカメラに対して、該カメラで撮像されるカメラ画像内に設けられた校正指標を基にして、前記カメラの校正を回転成分（ロール角、チルト角、パン角）の調整により行う車載カメラの校正方法において、平面に配置された平面状の校正指標と、前記カメラ画像内にある前記校正指標を表示可能な表示手段と、該表示手段に所定のウィンドウを表示するウィンドウ表示手段と、前記ウィンドウの位置を変化させる調整手段とを用いて、前記表示手段に前記校正指標を表示させ、前記校正指標の中の２点が前記ウィンドウ内に入るように前記ウィンドウの位置関係を調整し、前記校正指標の中の２点が前記ウィンドウ中に収まったときのロール角、チルト角、パン角を、前記カメラのカメラパラメータとして設定したことである。
【００１０】
第２の技術的手段によれば、校正には平面に配置した平面状の校正指標を用い、カメラ画像内にある校正指標を表示手段に表示させ、そこに、所定のウィンドウを表示させる。ウィンドウの位置をカメラに投影される画像座標系で変化させ、校正指標の中の２点がウィンドウ内に入るよう位置関係を調整手段により調整し、校正指標の中の２点がウィンドウ内に収まったときのロール角、チルト角、パン角を、カメラのカメラパラメータとして設定することにより、カメラパラメータの設定は調整手段による調整だけで可能となる。この場合、校正指標は平面状であることから、校正を行う場合、工場等においては床面に固定されるか、貼り付ければ良く、従来の如く立体物ではないことから、作業者の邪魔にはならず、車両の製造現場等において、簡単な方法でカメラの校正が行える。
【００１１】
この場合、調整手段によって、カメラ画像に表示されるウィンドウを校正指標に対して回転または移動させて調整を行うようにすれば、ウィンドウの位置を調整手段の調整で回転または移動させ、簡単な方法でカメラパラメータを設定することが可能となる。よって、カメラパラメータの設定が行えるので、画面上の任意の点に描画が可能となる。
好ましくは、以下に示す方法を行うと良い。即ち、
モード遷移ボタンとウィンドウ移動ボタンを備え、モード遷移ボタンによりロール角の調整、チルト角の調整、パン角の調整の切換えを行い、ウィンドウ移動ボタンによりウィンドウの移動が成されると良い。
校正指標は、車両の製造現場、工場、生産ラインのいずれかで床面に固定されるかまたは貼り付けられ、校正指標と車両との距離を所定距離としてカメラの校正が成されると良い。
校正指標は直線であり、２点は前記校正指標の両端であると良い。
校正指標は直線であり、校正指標と車両の中心を通る長手方向の車両主軸を垂直状態として、カメラの校正が成されると良い。
車両の中心を通る長手方向の車両主軸に対して、左右対称の校正指標を用いて、前記カメラの校正が成されると良い。
ロール角、チルト角、パン角のカメラパラメータが順番に調整され、この調整に従いウィンドウの大きさが可変と成ると良い。
校正指標が表示されるカメラ画像に対して、車両から所定距離だけ離れた位置を示す距離線を有する車両の走行予想軌跡が重ねて表示され、距離線と校正指標の表示とが一致すると良い。
【００１２】
一方、車両に取付けられて車両の一方向を撮像して表示する表示手段に、車両の走行に係る可動画像を重畳表示させ、該可動画像の一部（３次元空間上の２点）をカメラパラメータの設定確認に用いても良い。
【００１３】
更に、可動画像は、ステアリング舵角によって変化する走行予想軌跡とすれば、走行予想軌跡の一部からカメラパラメータを求めることが可能となり、正確なカメラパラメータが設定されているかの確認が瞬時にして行える。
【００１４】
この場合、走行予想軌跡は、はしご状に表示させ、所定の距離間隔で距離線が表示されるようにすると良い。
【００１５】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【００１６】
図１は、本発明の校正装置を車両において駐車を補助する装置（以下、駐車アシスト装置と称す）１に適用した図である。本装置１は、ドライバーが駐車操作を意図する場合（駐車操作時）にディスプレィ上に車両がバック時に通過するであろう走行予想軌跡２０を後方画像に電気的に重畳表示させるものである。コントローラ１６には車両の後方を撮影するＣＣＤカメラ（以下、カメラと称す）１７、ステアリングホイール（以下、ステアリングと称す）２１の操舵角を検出するステアリングセンサ２、トランスミッションのシフトレバーのリバース（後退）状態を検出するシフトレバーリバーススイッチ３、駐車操作時に駐車アシスト機能を動作させる駐車スイッチ４、および、従動輪の左右の車輪速度を検出する車輪速センサ５，６からの信号が入力される。これらの信号を基にコントローラ１６は、ディスプレィ１３上に車両の後方画像と走行予想軌跡２０を電気的に重ねて表示する。コントローラ１６には、更に、車両の製造出荷時にカメラ位置を補正する場合や、車両衝突、或いは車両走行時の振動によりカメラ１７の取付位置が正規位置よりずれてしまった場合等に、外部からの校正が外部装置を取り付けて可能となるように、コネクタ８が設けられている。このコネクタ８に外部から調整ボタン７を接続し、調整ボタン７を操作することによって、カメラ１７の正規位置での予め設定されたカメラパラメータの値を変更させて、カメラ１７の校正を行うことが可能となっている。
【００１７】
コントローラ内部には制御を司るＣＰＵ１１、ディスプレィ１３にグラフィックスを描画するグラフィックス描画回路１２、グラフィックス信号とカメラ１７からの後方画像を重ね合わせるスーパーインポーズ回路９、カメラ画像から同期信号を抽出してグラフィックス描画回路１２へ供給する同期分離回路１０等を備える。
【００１８】
図２は、本装置１を車両に取り付けた場合の取付図を示す。後方を撮像するカメラ１７は車両後方のナンバープレートの上の中心より多少ずれた位置に取り付けられ、光軸を下方に向けて設置され、車両後方の中央に下方（約３０度）に向けて取り付けられ、カメラ自体は広角レンズにより水平方向に左右１１３度の視野を確保し、後方８ｍ程度までの領域を撮像可能である。
【００１９】
車両の室内においては、センターコンソールにはパネル面にドライバーにとって視認性が良い角度でディスプレィ１３が備え付けられ、グローブボックス上方にはコントローラ１６が内部に取り付けられている。また、駐車操作時に駐車補助を要求する駐車スイッチ４は、ドライバーが操作し易いセンターコンソール近傍に設けられる。
【００２０】
駐車アシスト装置１は、シフトリバーススイッチ３がリバース状態になったときに、ドライバーによって駐車を補助する駐車スイッチ４が押されたとき（ドライバーが駐車を意図している場合であって、駐車アシストを必要とする場合）、右車輪速センサ５、左車輪速センサ６からの情報を基にしてステアリング舵角の中立点を求め、それを舵角基準点として、その基準点から右ないし左にステアリング２１がどれだけ切られたかをステアリングセンサ２からのパルス信号を情報を基にて、どれだけ転舵されているのかを検知し、車両がバックを行うときに、車両が走行するであろう車両の走行予想軌跡２０を、ディスプレィ上に後方画像に合わせて重畳表示させるものである。この走行予想軌跡２０は可動画像であり、車両データを基にして表示幅および後方の所定距離（例えば、車両後方が０．５，１，３ｍの位置）に距離線がはしご状で表示され（図１参照）、ステアリング舵角に応じて、転舵された方向および転舵量に応じて軌跡の表示が動くようになっている。この走行予想軌跡２０により、駐車スイッチ４を押せば、駐車に不慣れなドライバーでも駐車操作時に車両がどの軌跡をたどるのかと言った軌跡２０が表示され、距離間隔がわかるので駐車操作が容易となる。尚、この走行予想軌跡２０の表示方法および表示形態は公知（例えば、特開平１１−３３４４７０号公報参照）であり、幾何学的な演算により算出し、表示させることが可能であるので、ここではその詳細な説明を割愛する。
【００２１】
このように、駐車操作をアシストする場合に表示される走行予想軌跡２０は、ドライバーが後方の距離感を把握するためのものであるが、走行予想軌跡を正確にディスプレィ画面上に表示させるには、カメラ１７の取り付け誤差から、カメラ１７の校正が必要となる。
【００２２】
そこで、次に、カメラ１７の校正について説明する。カメラ１７の校正は生産ライン等で車両にカメラ１７が取り付けられるとき、或いは、衝突や車両走行時の振動等によってカメラ１７の取り付け位置が正規位置よりずれたときに、修理工場等で行われるものである。
【００２３】
以下、一例として工場での生産ラインにおけるカメラ１７の校正方法について述べる。生産ラインでは車両を予め定まった所定位置（規定位置）に停止させた状態で行われる。所定位置に車両を停止させる場合、車両をバックまたは前進させ、タイヤ溝に車輪が嵌まるようにすれば、正確な位置で停止させることが可能である。このように、所定位置に車両を停止させた状態で、車両後方（例えば、車両のバンパーから１ｍ後方）の位置に、車幅と略平行になるようにカメラ校正時に指標となる平面状の調整用ターゲットバー（校正指標）ＴＢが、予め生産ラインの平面状の床面に固定または貼り付けられている。この調整用ターゲットバー（以下、ターゲットバーと称す）ＴＢは、生産ラインの床面に固定される方法を取らず、地面に直接配置させても良く、固定方法はこれに限定されない。本実施形態において使用するターゲットバーＴＢは大きさが例えば、２００ｃｍ×５ｃｍ×０．２ｃｍの白色のプラスチック板を使用し、板厚が厚くなく、２次元空間で扱っても問題がない厚さとする。よって、ターゲットバーＴＢは立体物ではないことから、校正を行う生産ラインの作業者には邪魔にはならず、作業途中で足で踏まれても問題はない。
【００２４】
カメラ１７の校正に関して、図４を参照して、ワールド座標系をカメラ座標系および画像座標系に変換する透視投影変換について説明する。この図で定義を行うと、世間一般の空間をワールド座標系：（Ｘ，Ｙ，Ｚ）、カメラ取付け位置での座標系をカメラ座標系：（Ｘ’，Ｙ’，Ｚ’）、ディスプレィ画面上にカメラ画像が撮像される座標系を画像座標系：（ｘ，ｙ）とすると、画像座標系（画像空間）と３次元座標系（３次元空間）との対応は、次式により表現できる。
【００２５】
【数１】
0003551920.tif 000002
この式を、具体的に表わすと次式となる。
【００２６】
【数２】
0003551920.tif 000003
Ｐｐは斉次行列のため定数倍の不定性があり、パラメータ（本実施形態では、これがカメラパラメータとなる）の数は１２であるが、自由度は１１である。また、Ｐｐは、
【数３】
0003551920.tif 000004
そこで、透視投影変換について述べると、例えば、（Ｔｘ，Ｔｙ，Ｔｚ）だけ平行移動後、Ｙ軸の廻りにθｙ（パン角）だけ回転した後、Ｘ軸の廻りにθｘ（チルト角）、Ｚ軸の廻りにθｚ（ロール角）だけ順次回転したとすると、並進と回転の各変換の成分は、次式の如く表現される。
【００２７】
【数４】
0003551920.tif 000005
【数５】
0003551920.tif 000006
一方、ワールド座標系（Ｘ，Ｙ，Ｚ）に対するカメラ座標系（Ｘ’，Ｙ’，Ｚ’）は、次式で表現される。
【００２８】
【数６】
0003551920.tif 000007
【数７】
0003551920.tif 000008
また、［Ｒ］は数８の式で表現され、［ＥＸＴ］は、数９の式で表現される。
【００２９】
【数８】
0003551920.tif 000009
【数９】
0003551920.tif 000010
よって、この式は、即ち、数１０の右辺の第１行列式となる。
【００３０】
【数１０】
0003551920.tif 000011
これらのパラメータ（Ｐ１１，Ｐ１２，Ｐ１３・・・Ｐ３４）の内、どれだけを未知として校正するかにより具体的な算出方法は異なるが、１２個全てのパラメータ要素を未知として校正するためには、数２の式に関して１１元以上の連立方程式を解けば良い。
【００３１】
しかし、実用上ではいくつかを既知として扱って差し支えない場合や、所定数ｎのパラメータを未知として、数２の式に関してｎ元以上の連立方程式を解けば良いことになる。
【００３２】
実際、カメラを校正するには、既知の３次元上の複数の位置と、その各点に対応する画像上の点群から行列を算出する。このとき、複数のサンプル点に対してワールド座標系およびカメラ座標系での３次元座標と画像座標系の２次元画像座標との対応を取り、連立方程式を解いて要素を求めることができる。以降、３次元上の点：３次元点、２次元画像上の点：画像点と称す。
【００３３】
３次元点Ｘｉと画像点Ｘｉとの対応は、
【数１１】
0003551920.tif 000012
で表現され、１個の対応点から２つの線形方程式が得られるため、Ｐの自由度（＝１１）：未知数に対して６個以上の対応点に関する連立方程式を解けば、全パラメータが求まりカメラ１７が校正される。よって、カメラ１７にどのようなカメラを採用するかが決まればカメラの内部パラメータＣは車両に搭載する前に測定しておけば既知となり、しかも、並進成分Ｔは車両のカメラ取付け場所により設計値を用いれば既知であることから、ロール角θｒ、チルト角θｔ、パン角θｐがわかればカメラ１７の校正が行える。即ち、未知のロール角θｒ、チルト角θｔ、パン角θｐを求めるのに、数１１の式から２つの対応点が得られた場合、未知のパラメータの校正ができることになる。
【００３４】
そこで、車両における車載カメラ１７の校正について、手順を説明する。本実施形態ではターゲットバーＴＢを床面上の指定した位置に配置する。ターゲットバーＴＢの両端の２点が校正上重要となる。
【００３５】
校正では、図３に示されるようにターゲットバーＴＢが、車両後方の所定位置（例えば、バンパーの後端から１ｍはなれた位置）に車両主軸（車両の中心を通る長手方向の軸）に対して、左右対称且つ垂直になるようにした状態から校正を始める。
【００３６】
この場合、校正時にはコネクタ８を介して調整ボタン７がＣＰＵ１１の信号入力端子に接続される。調整ボタン７は、図５に示される構成を取り、Ａボタン７ａ、Ｂボタン７ｂ、Ｃボタン７ｃの３つのボタンを備える。Ａボタン７ａはダイオードＤ１，Ｄ２を介して、Ｂボタン７ｂ，Ｃ７ｃの信号端子ＦＣＳ１，ＦＣＳ２とワイヤードオアになっており、一端がＧＮＤ共通で接地されている。また、調整ボタン７の他端はＣＰＵ１１のＦＣＳ１，ＳＣＦ２の入力端子に入力される。例えば、Ａボタン７ａを押すとＦＣＳ１，ＦＣＳ２が共に低電位（Ｌｏ）となる。一方、Ｂボタン７ｂのみを押すとＦＣＳ１が低電位となり、Ｃボタン７ｃのみを押すとＦＣＳ２が低電位となる。尚、Ａボタン７ａはワイヤードオアの構成を必ずしも取らなくても良い。
【００３７】
このＡボタン７ａを押すことで、図６の（ａ）〜（ｃ）に示されるように、ディスプレィ１３の画面上にウィンドウＷＤ（ＷＤｒ，ＷＤｔ，ＷＤｐのいずれか）が表示される。このウィンドウＷＤは、ターゲットバーＴＢが中に入る大きさで後方画像に対して電気的に重畳表示される。Ａボタン７ａによりモードの切換が可能となり、Ａボタン７ａを所定時間（例えば、０．５ｓｅｃ毎に連続して押すこと）により、ロール角調整モード、チルト角調整モード、パン角調整モード、調整終了モードと状態が遷移する。一方、Ｂボタン７ｂおよびＣボタン７ｃは表示されるウィンドウＷＤ（ＷＤｒ，ＷＤｔ，ＷＤｐ）位置を調整するためのボタンである。
【００３８】
尚、本実施形態では、チルト角＜±５．５度、パン角＜±５．５度、ロール角＜±６．０度以内であればターゲットバーＴＢがウインドウ内に完全に納まるよう設定されている。
【００３９】
調整方法に関して説明を図７に示すが、最初モードであるロール角調整モードではＢボタン７ｂを１回押す毎に、図６の（ａ）に示されるウィンドウＷＤｒ（表示色：黄色、ｘ方向の大きさ：（ｘｒｂ−ｘｒｓ）ドット、ｙ方向の大きさ：（ｙｒｂ−ｙｒｓ）ドット）を所定角度（例えば、０．５度だけ）画像中心に対して左回転させ、Ｃボタン７ｃを１回押す毎に、ウィンドウＷＤｒを所定角度（例えば、０．５度だけ）画像中心に対して右回転させる。
【００４０】
ここで、Ｂボタン７ｂ或いはＣボタン７ｃを１回操作ごとにロール角設定値を０．５度づつ移動させ、ロール角調整時のウインドウＷＤｒがターゲットバーＴＢと平行になるまで、Ｂボタン７ｂ（左回転用）、Ｃボタン７ｃ（右回転用）を操作する。尚、このモードではウィンドウＷＤｒの大きさがターゲットバーＴＢに対していくらか余裕がある。
【００４１】
ターゲットバーＴＢにウィンドウＷＤｒが回転操作を行って平行になったら、次に、Ａボタン７ａを所定時間（０．５ｓｅｃ）押し、今度はチルト角調整モードにする（図６の（ｂ）参照）。
【００４２】
このモードではチルト調整用のウインドウＷＤｔ（表示色：赤色）がディスプレィ画面上に表示される。このモードでのウィンドウＷＤｔの大きさは、ｘ方向ではウインドウＷＤｒと同じあるが、ｙ方向ではロール角調整用のウィンドウＷＤｒより小さくなり、１ｍ後方で±２ｃｍの許容誤差を含むように８ドットで表示される。このモードでも同様な操作を行うが、今度はＢボタン７ｂ、Ｃボタン７ｃを１回押す毎にチルト設定値を所定角度（例えば、０．５度）づつ変え、ウインドウＷＤｔの上下境界がターゲットバーＴＢに略外接するまで、Ｂボタン７ｂ（下方向移動用），Ｃボタン７ｃ（上方向移動用）を操作し、ウィンドウＷＤｔをｙ方向に動かしならが調整を行う。
【００４３】
その後、Ａボタン７ａを所定時間（例えば、０．５ｓｅｃ）押し続けると、今度はパン角調整モードになる（図６の（ｃ）参照）。このモードでは、ウインドウＷＤｐ（表示色：青色）が表示される。このウィンドウＷＤｐはｘ方向の大きさ：ロール角調整用のウィンドウＷＤｒより幅が狭くなる（ｘｐｂ−ｘｒｓ）ドット、ｙ方向の大きさ：１ｍ後方で左右方向±３ｃｍの許容誤差を含む。調整に関しては同様であるが、今度はＢボタン７ｂ，Ｃボタン７ｃを１回操作する毎にパン角設定値を所定角度（０．５度）づつ変え、ウインドウＷＤｐの左右境界がターゲットバーに略外接するまで、Ｂボタン７ｂ（左方向移動用）、Ｃボタン７ｃ（右方向移動用）を操作することでウィンドウＷＤｐがｘ方向に動き、ターゲットバーＴＢの両端が略外接する位置まで調整を行う。
【００４４】
このようにして、ロール角、チルト角、パン角の調整を行い、ターゲットバーＴＢがウィンドウＷＤｐと略一致した状態になった後、再び、Ａボタン７ａを所定時間（０．５ｓｅｃ）以上連続して押すと、調整モード終了となり、そのときのウィンドウ状態に基づく角度が決定される。この場合、３つのモードの調整によって得られた角度情報がそのときのカメラ１７のカメラパラメータとしてＣＰＵ内部のＥＥＰＲＯＭに書き込み、調整モードを終了する。
【００４５】
このような調整により、調整を終了すると、調整により設定されたカメラパラメータを基にして、ディスプレィ画面上に走行予想軌跡２０が表示される。
【００４６】
この場合、図８に示すように走行予想軌跡２０を所定距離線（０．５，１，２，３ｍ間隔ではしご状に表示させると良い。例えば、その軌跡上の１つの距離線（例えば、車両後方１ｍのライン）をターゲットバーＴＢとして用いれば、走行予想軌跡２０の一部（距離線（１ｍ）の両端の点ＴＢＲ，ＴＢＬ）から、正確なカメラパラメータが設定されているかの確認が同じ走行予想軌跡２０を用いて瞬時にして行える。一方、後方の所定距離の位置にターゲットバーＴＢを固定する場合、カメラパラメータを設定した後、走行予想軌跡２０を表示させると、校正によって得られたカメラパラメータが正確に設定されているのか否かを、走行予想軌跡２０の距離線（車両後方１ｍのライン）により容易に確認が行える。
【００４７】
このようにして、カメラパラメータの設定を行えば、駐車操作時にディスプレィ上に可変表示される走行予想軌跡２０は、カメラ１７の公差や車体への取付け公差の影響を受けなくなる。
【００４８】
本発明によれば、校正に平面に配置した平面状の校正指標を用いて、カメラ画像内に校正指標をディスプレィ上に表示させ、そこに所定のウィンドウを表示させる。ウィンドウの位置をカメラによって撮像される画像座標内で変化させ、校正指標の中の２点がウィンドウ内に入るよう位置関係を調整手段により調整し、校正指標がウィンドウ内に収まったときのロール角、チルト角、パン角を、カメラのカメラパラメータとして設定するようにしたので、カメラパラメータの設定は調整手段の調整だけで設定できる。この場合、校正指標は平面状であることから、校正指標は床面に置くか貼り付ければ校正を行う場合にあっては邪魔にならず、車両の製造現場等においても、簡単な方法でカメラの校正が行える装置が提供されると共に、カメラの校正が簡単に行える。
【００４９】
この場合、調整手段によって、カメラ画像に表示されるウィンドウを校正指標に対して回転または移動させて調整を行うようにすれば、ウィンドウの位置を調整手段の調整で回転または移動させ、簡単な方法でカメラパラメータを設定することが可能となる。よって、カメラパラメータの設定が行えるので、画面上の任意の点への描画が可能となる。
【００５０】
一方、車両に取付けられて車両の一方向を撮像して表示する表示手段に、車両の走行に係る可動画像を重畳表示させ、該可動画像の一部に対応する３次元空間上の２点を用いれば、その２点を用いてカメラパラメータの設定確認に用いることができる。
【００５１】
更に、可動画像は、ステアリング舵角によって変化する走行予想軌跡とすれば、走行予想軌跡の一部を用いて、正確なカメラパラメータが設定されているかの確認が瞬時にでき、設定確認が容易となる。
【図面の簡単な説明】
【図１】本発明の一実施形態における車載カメラの校正装置を駐車アシスト装置を例にとって説明する場合のシステム構成図である。
【図２】図１に示す駐車アシスト装置を車両へ取付けた場合の取付図である。
【図３】図１に示す車両に取り付けられたカメラとターゲットバーとの関係を示した図である。
【図４】本発明の３次元座標（ワールド座標系、カメラ座標系）から２次元座標（画像座標系）に変換する透視投影変換を説明するための説明図である。
【図５】図１に示す調整ボタンの構成図である。
【図６】図１に示すディスプレィ画面上で表示される表示画面であり、校正時のターゲットバーに対するウィンドウの移動を示しており、（ａ）はロール角調整モード、（ｂ）はチルト角調整モード、（ｃ）はパン角調整モードにおける表示画面を示す。
【図７】図１に示す調整ボタンの操作によって、モード遷移した場合のウィンドウ移動を示した説明図である。
【図８】本発明の一実施形態におけるターゲットバーを走行予想軌跡の一部とした例を示す。
【符号の説明】
１  駐車アシスト装置
７（７ａ，７ｂ，７ｃ）  調整ボタン（調整手段）
９  スーパーインポーズ回路
１１  ＣＰＵ
１３  ディスプレィ（表示手段）
２０  走行予想軌跡（可動画像）
ＴＢ  ターゲットバー（校正指標）
ＷＤ（ＷＤｒ，ＷＤｔ，ＷＤｐ）  ウィンドウ（ウィンドウ表示手段）
【図１】
0003551920.tif 000013
【図２】
0003551920.tif 000014
【図３】
0003551920.tif 000015
【図４】
0003551920.tif 000016
【図５】
0003551920.tif 000017
【図６】
0003551920.tif 000018
【図７】
0003551920.tif 000019
【図８】
0003551920.tif 000020