(57)【要約】【課題】車両を直進させなくてもカメラの姿勢パラメータの値を算出することができる技術を提供する。【解決手段】車両が走行した少なくとも２地点で撮影された各撮影画像において、共通して含まれる校正ターゲットを特定する手段と、車両の走行距離及び向き変化を特定可能な情報を入力する手段と、校正ターゲットについての各撮影画像を鳥瞰変換し、変換した各画像を、各画像の撮影位置及び撮影方向を反映させて世界座標系上に配置させた場合に、変換した各画像の位置差及び回転差が少なくなるようカメラの姿勢パラメータの値を算出する手段とを備えるように画像処理装置を構成する。【選択図】図３
2014048803.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラより撮影画像を入力する撮影画像入力手段（２６，Ｓ１３５）と、
前記撮影画像入力手段により入力された、車両が走行した少なくとも２地点で撮影された各撮影画像において、共通して含まれる校正ターゲットを特定する校正ターゲット特定手段と、
前記車両の走行距離及び向き変化を特定可能な情報を入力する車両情報入力手段（２６，Ｓ１４０）と、
前記校正ターゲット特定手段が特定した前記校正ターゲットについての各撮影画像を鳥瞰変換し、変換した各画像を、前記車両情報入力手段が入力した情報より特定される各画像の撮影位置及び撮影方向を反映させて世界座標系上に配置させた場合に、変換した各画像の位置差及び回転差が少なくなるよう前記カメラの姿勢パラメータの値を算出する第一算出手段（２６，Ｓ１６０）と、
前記第一算出手段により算出された前記姿勢パラメータの値を記憶手段（２５）に記憶させる記憶制御手段（２６，Ｓ１６５）と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記校正ターゲット特定手段は、地表面近傍に存在する物体であって路面と区別可能な物体を前記校正ターゲットとして特定すること、
を特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記第一算出手段が算出する前記姿勢パラメータの値は、前記カメラの水平方向の取付位置、又は、前記カメラの取付ヨー角（水平方向の首振角）の少なくともいずれか一つであること、
を特徴とする画像処理装置。
【請求項４】
請求項１〜請求項３のいずれかに記載の画像処理装置において、
既定の校正ターゲットの本来の形状を特定可能な形状情報を記憶する既定校正ターゲット記憶手段（２５）と、
既定の校正ターゲットが撮影された撮影画像を前記撮影画像入力手段により入力して鳥瞰変換し、その鳥瞰変換した画像に含まれる前記既定の校正ターゲットの形状と、前記既定校正ターゲット記憶手段に記憶されている前記形状情報により特定される既定の校正ターゲットの本来の形状との相違が少なくなるよう、前記第一算出手段が算出する前記姿勢パラメータ以外の種類の姿勢パラメータの値を算出する第二算出手段（２６，Ｓ１１５）と、
をさらに備え、
前記記憶制御手段は、前記第二算出手段により算出された前記姿勢パラメータの値も前記記憶手段に記憶させること、
を特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記第二算出手段が算出する前記姿勢パラメータの値は、前記カメラの取付ピッチ角（鉛直方向の首振角）、取付ロール角、又は、鉛直方向の取付位置の少なくともいずれか一つであること、
を特徴とする画像処理装置。
【請求項６】
請求項４又は請求項５に記載の画像処理装置において、
前記第一算出手段は、前記第二算出手段によって算出されて前記記憶手段に記憶された前記姿勢パラメータの値に基づいて前記鳥瞰変換を行うこと、
を特徴とする画像処理装置。
【請求項７】
コンピュータを、
車両に搭載されたカメラより撮影画像を入力する撮影画像入力手段（Ｓ１３５）と、
前記撮影画像入力手段により入力された、車両が走行した少なくとも２地点で撮影された各撮影画像において、共通して含まれる校正ターゲットを特定する校正ターゲット特定手段と、
前記車両の走行距離及び向き変化を特定可能な情報を入力する車両情報入力手段（Ｓ１４０）と、
前記校正ターゲット特定手段が特定した前記校正ターゲットについての各撮影画像を鳥瞰変換し、変換した各画像を、前記車両情報入力手段が入力した情報より特定される各画像の撮影位置及び撮影方向を反映させて世界座標系上に配置させた場合に、変換した各画像の位置差及び回転差が少なくなるよう前記カメラの姿勢パラメータの値を算出する第一算出手段（Ｓ１６０）と、
前記第一算出手段により算出された前記姿勢パラメータの値を記憶手段（２５）に記憶させる記憶制御手段（Ｓ１６５）と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両において使用されるカメラの設置に関するキャリブレーションを行う技術に関する。
【背景技術】
【０００２】
従来、車に搭載されたカメラの設置に関するキャリブレーションを行う技術として、次の技術が知られている。すなわち、カメラで撮影した二つの画像フレームから同じ地点を表す特徴点を抽出し、その特徴点が表す地点の世界座標系上の移動量の、自車の車速から算出した自車の移動量に対する誤差が最小になるようにカメラの姿勢を算出する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２１７２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、上述した技術は二つの点で問題がある。一つ目は、上述した技術は車両のヨー方向の移動を考慮していないため、測定者は正確に車両を直進させなければならず、測定者に負担を強いるという問題である。二つ目は、キャリブレーションを実行する場所として十分な直線距離が取れる場所でなければならないため、キャリブレーションを実行できる場所に制限があるという問題である。
【０００５】
本発明はこれらの問題に鑑みなされたものであり、車両を直進させなくてもカメラの姿勢パラメータの値を算出することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するためになされた請求項１に記載の画像処理装置は、撮影画像入力手段と、校正ターゲット特定手段と、車両情報入力手段と、第一算出手段と、記憶制御手段と、を備える。撮影画像入力手段は、車両に搭載されたカメラより撮影画像を入力する。校正ターゲット特定手段は、撮影画像入力手段により入力された、車両が走行した少なくとも２地点で撮影された各撮影画像において、共通して含まれる校正ターゲットを特定する。車両情報入力手段は、車両の走行距離及び向き変化を特定可能な情報を入力する。第一算出手段は、校正ターゲット特定手段が特定した校正ターゲットについての各撮影画像を鳥瞰変換し、変換した各画像を、車両情報入力手段が入力した情報より特定される各画像の撮影位置及び撮影方向を反映させて世界座標系上に配置させた場合に、変換した各画像の位置差及び回転差が少なくなるようカメラの姿勢パラメータの値を算出する。記憶制御手段は、第一算出手段により算出された姿勢パラメータの値を記憶手段に記憶させる。
【０００７】
このような画像処理装置によれば、車両の移動に回転が含まれていても、それが反映されたカメラの姿勢パラメータ値が算出される。すなわち、測定の際に車両を旋回させても良い（直進させなくても良い）。このため測定が容易にできる。
【０００８】
なお、校正ターゲット特定手段は、測定を目的として車両の周辺に設置されたマーカやパネル等（既定校正ターゲット）を第一算出手段が用いる校正ターゲットとして特定してもよいが、測定に用いることを目的として配置されたものではない物体、すなわち、地表面近傍に存在する物体であって路面と区別可能な物体（疑似校正ターゲット）を第一算出手段が用いる校正ターゲットとして特定するようになっているとよい（請求項２）。
【０００９】
このような画像処理装置であれば、マーカ等の既定の校正ターゲットを測定前に用意することなくカメラの姿勢パラメータ値を算出することができる。
なお、請求項３に記載の画像処理装置のように、第一算出手段が算出する姿勢パラメータの値は、カメラの水平方向の取付位置、又は、カメラの取付ヨー角（水平方向の首振角）の少なくともいずれか一つであると特に良い。「カメラの水平方向の取付位置」としては、例えば、水平面上における直交座標軸の一方（Ｘ又はＹ）又は両方（Ｘ及びＹ）の方向が挙げられる。
【００１０】
このような姿勢パラメータであれば、その値を第一算出手段により精度良く算出できる。
ところで、請求項４に記載の画像処理装置のように、既定の校正ターゲットの本来の形状を特定可能な形状情報を記憶する既定校正ターゲット記憶手段と、既定の校正ターゲットが撮影された撮影画像を撮影画像入力手段により入力して鳥瞰変換し、その鳥瞰変換した画像に含まれる既定の校正ターゲットの形状と、既定校正ターゲット記憶手段に記憶されている形状情報により特定される既定の校正ターゲットの本来の形状との相違が少なくなるよう、第一算出手段が算出する姿勢パラメータ以外の種類の姿勢パラメータの値を算出する第二算出手段と、をさらに備えるように構成する。そして、記憶制御手段は、第二算出手段により算出された姿勢パラメータの値も記憶手段に記憶させる。「形状の相違」とは、例えば、大きさやゆがみなどが挙げられる。
【００１１】
このような画像処理装置によって算出されたパラメータの値を利用することにより、より適切にキャリブレーションを実現することができる。
なお、請求項５に記載の画像処理装置のように、第二算出手段が算出する姿勢パラメータの値は、カメラの取付ピッチ角（鉛直方向の首振角）、取付ロール角、又は、鉛直方向の取付位置の少なくともいずれか一つであるとよい。
【００１２】
このような姿勢パラメータであれば、その値を第二算出手段により精度良く算出できる。
【図面の簡単な説明】
【００１３】
【図１】実施形態の画像処理システムの概略構成を示すブロック図である。
【図２】（Ａ）車両へのカメラの取付位置を示す説明図である。（Ｂ）カメラの取付位置の座標及びカメラの光軸の方向を説明するための説明図である。
【図３】姿勢パラメータ決定処理を説明するためのフローチャートである。
【図４】（Ａ）撮影された既定校正ターゲットの鳥瞰画像である。（Ｂ）理想的な既定校正ターゲットである。
【図５】（Ａ）第一の時点の疑似校正ターゲットの鳥瞰画像である。（Ｂ）第二の時点の疑似校正ターゲットの鳥瞰画像である。（Ｃ）第一の時点の疑似校正ターゲットの鳥瞰画像と第二の時点の疑似校正ターゲットの鳥瞰画像とを世界座標系上に配置した画像である。
【発明を実施するための形態】
【００１４】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明は、下記の実施形態によって何ら限定して解釈されない。また、下記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、下記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
【００１５】
［構成の説明］
図１に示すように、実施形態の画像処理システム５は、車載カメラ１１と画像処理装置２１と表示装置３１とを備える。
【００１６】
車載カメラ１１は、車両に搭載されたＣＣＤやＣＭＯＳ等の撮像素子を有するカメラであり、車両周辺を撮影してその撮影画像を所定頻度（例えば、１秒間に６０フレーム。）で画像処理装置２１へ出力するカメラである。本実施形態では、図２（Ａ）に示すように車両７の後端の上部に設置され、車両の後方周辺を撮影できるように設置されている。後述するが、車両の前方周辺を撮影するカメラや側方周辺を撮影するカメラを追加又は置換して設置しても良い。
【００１７】
ここで、本実施形態で用いる世界座標系について、図２（Ａ）を用いて説明する。本実施形態における世界座標系の原点は、以下で説明する姿勢パラメータ決定処理のＳ１５０で選択された２つの撮影画像のうち古い時間に撮影された撮影画像の撮影時点における車載カメラ１１の位置を基準とする。すなわち、その撮影時点における車載カメラ１１の図示しない撮像素子の中央位置Ｒ（カメラ視点Ｒ）より地表面に下ろした垂線と地表面との交点を原点Ｑとし、車両後方をｙ方向、車両上方をｚ方向、車両中央から車両後方を見た場合に右方向をｘ方向として設定する。
【００１８】
次に、車載カメラ１１の姿勢パラメータについて、図２（Ｂ）を用いて説明する。上述したカメラ視点Ｒを原点Ｒとするカメラ座標系（ｘ”，ｙ”，ｚ”）を設定し、そのカメラ座標系について、世界座標のｘ軸回りの回転角をτｘとし、世界座標のｙ軸回りの回転角をτｙとし（図示せず）、世界座標のｚ軸回りの回転角をτｚとする（図示せず）。なお、τｘがピッチ角に対応し、τｙがロール角、τｚがヨー角に対応する。
【００１９】
すなわち、車載カメラ１１の姿勢パラメータは、世界座標系を基準とした、カメラ座標系の原点Ｒの座標（測定開始時点では（０，０，Ｈ））と、ピッチ角τｘと、ロール角τｙと、ヨー角τｚとである。そして、過去の測定によって明らかになっているこれらの値（座標及び角度）を用いて以下に説明する処理を行いこれらの値を校正する。
【００２０】
説明を図１に戻し、表示装置３１は、液晶ディスプレイや有機ＥＬディスプレイからなり、車載カメラ１１で撮影された撮影画像に基づいて画像処理装置２１で処理された画像を表示することができる。
【００２１】
画像処理装置２１は、画像記憶部２２、センサ情報入力部２３、操作部２４、姿勢パラメータ等記憶部２５、及び、制御部２６を備える。
画像記憶部２２は、ＤＲＡＭ等の記憶デバイスからなり、車載カメラ１１より逐次出力される撮影画像を所定時間分（例えば、過去１０秒分）記憶する。
【００２２】
センサ情報入力部２３は、車速パルスセンサ等から得られる車両の移動距離を把握可能な移動距離情報と、ステアリング角度センサやジャイロスコープ等から得られる車両の回転角を把握可能な回転情報とを入力する入力インターフェースである。これらの情報は、対応するセンサから直接入力してもよいし、別の情報処理装置（ＥＣＵ）等から取得してもよい。
【００２３】
操作部２４は、表示装置３１の表示面に設けられたタッチパネルや、表示装置３１の周囲等に設置されたメカニカルなキースイッチからなり、運転者等から各種操作指示を入力することができるデバイスである。
【００２４】
姿勢パラメータ等記憶部２５は、フラッシュメモリ等の不揮発性の記憶デバイスからなり、車載カメラ１１の上述した姿勢パラメータ、制御部２６が実行するプログラム、後述する既定校正ターゲットの色彩情報及び形状情報を記憶するためのデバイスである。なお、姿勢パラメータ等記憶部２５に記憶された姿勢パラメータが用いられて、車載カメラ１１が撮影した映像の処理（例えば、鳥瞰画像への変換）が行われる。また、この姿勢パラメータは、車両の振動等の理由によって車載カメラ１１の取付位置や取付角度が異常になっていることを警告する際の判断にも用いられる。
【００２５】
制御部２６は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＩ／Ｏ等からなるマイコンから構成され、姿勢パラメータ等記憶部２５が記憶するプログラムを読み込んで各種処理を実行する。
［動作の説明］
次に画像処理装置２１の動作について説明する。以下では、本発明に関する処理を中心に説明し、従来より知られたこの手の車載カメラが撮影した撮影画像を表示装置に表示させるための処理（例えば、車庫入れを補助するために撮影画像を鳥瞰画像に変換し車輪の予測軌跡などを合成して表示装置に表示させる処理等）については、説明を省略する。
【００２６】
画像処理装置２１の制御部２６が実行する姿勢パラメータ決定処理について、図３を用いて説明する。姿勢パラメータ決定処理は、車両が停止した状態において測定者が操作部２４を操作して姿勢パラメータの更新を意味する指示を入力した際に、姿勢パラメータ等記憶部２５からプログラムが制御部２６に読み込まれて実行が開始される。なお、測定者が指示する際には、姿勢パラメータの全てを更新（完全更新）するか、一部を更新（一部更新）するかを選択することができるが、全て更新することを選択する場合は、事前に車載カメラ１１の撮影範囲に既定校正ターゲットを設置した上で実行指示を入力しなければならない。既定校正ターゲットとしては、測定に用いることを目的としたターゲットであり、例えば、数１０センチメートル角の正方形状のパネルが挙げられる。
【００２７】
制御部２６は、姿勢パラメータ決定処理の実行を開始すると、まず姿勢パラメータ決定処理の開始に際し、測定者より完全更新が指示されたか否かによって処理を分岐する（Ｓ１０５）。完全更新が指示されていた場合はＳ１１０へ処理を移行し、一部更新が指示されていた場合はＳ１２５へ処理を移行する。
【００２８】
完全更新が指示されていた場合に進むＳ１１０では、制御部２６は、車載カメラ１１が撮影した撮影画像であって画像記憶部２２が記憶している最新の撮影画像を１フレーム入力する。
【００２９】
続いて、制御部２６は、Ｓ１１０で読み込んだ撮影画像に含まれる既定校正ターゲットの変形が少なく（望ましくは最小と）なるように、上述した姿勢パラメータのうち、ピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）を決定する（Ｓ１１５）。この決定に関して詳細に説明する。
【００３０】
制御部２６は、まず、Ｓ１１０で入力した画像を鳥瞰画像に変換する。この変換方法は周知であり、例えば特開平１０−２１１８４９号に詳しい。すなわち、図２（Ｂ）におけるスクリーン平面Ｔ上の座標を、地表面上の座標に変換する。なお、図２（Ｂ）の例では、世界座標系の軸回りの回転について、ｘ軸回りのみとなっているが、ｙ軸回りやｚ軸回りの回転も考慮して変換を行う。また、変換は、姿勢パラメータ等記憶部２５に記憶されている姿勢パラメータの値を用いて行う。
【００３１】
制御部２６は、鳥瞰画像への変換を終えると、その鳥瞰画像に含まれる既定校正ターゲットを特定する。既定校正ターゲットの特定は姿勢パラメータ等記憶部２５に記憶されている既定校正ターゲットの色彩情報及び形状情報を用いて行う。
【００３２】
続いて、制御部２６は、姿勢パラメータのうちの、ピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）について、撮影画像中の既定校正ターゲットの鳥瞰変換後の形状が、理想的な形状（姿勢パラメータ等記憶部２５に記憶されている既定校正ターゲットの形状情報によって特定される形状）に最も近づく数値を探索する。探索方法は、例えば、姿勢パラメータ等記憶部２５に記憶されている前回実行時の姿勢パラメータの値を中心値として各パラメータの値を順に増減させ、撮影画像を鳥瞰変換して理想的な形状と比較することにより探索する方法が考えられるが、これに限らない。
【００３３】
すなわち、図４（Ａ）に例示する、撮影された２つの既定校正ターゲット６１ａ，６１ｂの鳥瞰画像が、図４（Ｂ）に例示する、理想的な形状の既定校正ターゲット６２（鳥瞰視したもの）に近づくように、姿勢パラメータのうちの、ピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）を探索する。なお、正方形状の既定校正ターゲットが台形に歪む場合や、既定校正ターゲットの面積が相違する場合は、ピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）の影響が大きい。
【００３４】
説明を図３のフローチャートに戻し、制御部２６は、Ｓ１１５において、姿勢パラメータの、ピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）を決定すると、これら決定した値によって、姿勢パラメータ等記憶部２５に記憶されている姿勢パラメータの値を更新する（Ｓ１２０）。すなわち、姿勢パラメータのうち、ピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）が最新の値に更新される。
【００３５】
続いて、制御部２６は、車両を移動させることを知らせることを報知する（Ｓ１２５）。具体的には、表示装置３１に文字を表示させることによってそれを実現する。
続いて、制御部２６は、車載カメラ１１が撮影した撮影画像であって画像記憶部２２が記憶している最新の撮影画像の逐次入力を開始する（Ｓ１３５）。
【００３６】
続いて、制御部２６は、センサ情報入力部２３を介して車速パルスセンサから車両の移動距離情報、及びステアリング角度センサから車両の回転情報の逐次入力を開始する（Ｓ１４０）。入力したこれら情報は、Ｓ１３５で入力した各撮影画像と対応付けて制御部２６内のＲＡＭに記憶する。例えば、等間隔で連続する各撮影画像について、それぞれ直前の撮影画像が撮影された場所からの車両の移動距離及び回転角を対応付ける。なお、ナビゲーション装置等の車両の位置及び回転角を把握している装置から移動距離及び回転角を表す情報を取得してもよい。
【００３７】
続いて、制御部２６は、Ｓ１３５で入力した撮影画像を解析して画像中から疑似校正ターゲットを決定する（Ｓ１４５）。疑似校正ターゲットは、測定に用いることを目的として配置された物体ではなく、車両の走行路の周辺の地表面付近にある固定物体（白線等も含む移動しない物体）であって、一定以上の大きさを有し、且つ、回転具合を識別可能な物体（上方からみた場合に真円でない物体）である。具体例としては、道路上の白線、黄線、縁石、反射板、路面の模様、歩道の点字ブロック等、地表付近に存在する様々なものが考えられる。また、疑似校正ターゲットは、撮影画像中から一つのみ選択して決定してもよいし複数選択してもよい。なお、制御部２６は、適当な疑似校正ターゲットを決定できるまで、本ステップ（Ｓ１４５）を実行する。
【００３８】
続いて、制御部２６は、Ｓ１３５で入力した撮影画像の中から、Ｓ１４５で決定した疑似校正ターゲットが含まれる二時点の画像（異なる二地点から撮影した画像）を選択する（Ｓ１５０）。二時点の間隔としては、数メートル車両が移動する程度の間隔が適当である。
【００３９】
続いて、制御部２６は、Ｓ１５０で選択した画像を撮影した二時点間（２地点間）の車両の移動距離及び回転角を、Ｓ１４０で入力して各画像に対応付けた、車両の移動距離情報及び回転情報に基づいて算出する（Ｓ１５５）。
【００４０】
続いて、制御部２６は、世界座標系上における二時点の疑似校正ターゲットの位置差及び回転差が少なく（望ましくは最小と）なるように、上述した姿勢パラメータのうち、カメラ視点の座標のｘ、ｙ、及びヨー角を決定する（Ｓ１６０）。この決定に関して詳細に説明する。
【００４１】
制御部２６は、まず、Ｓ１５０で選択した二時点の撮影画像のそれぞれを鳥瞰画像に変換する。この際、姿勢パラメータ等記憶部２５に記憶されている姿勢パラメータの値を用いて変換を行う。
【００４２】
続いて、制御部２６は、変換した２つの鳥瞰画像中にそれぞれ含まれる疑似校正ターゲットの位置及び回転の相違（ずれ）が世界座標系上で少なくなるように、姿勢パラメータのうち、カメラ視点の座標のｘ、ｙ、及びヨー角を探索する。探索方法は、例えば、姿勢パラメータ等記憶部２５に記憶されている前回実行時の姿勢パラメータの値を中心値として各パラメータの値を順に増減させ、撮影画像を鳥瞰変換して上記相違を評価することにより探索する方法が考えられるが、これに限らない。
【００４３】
ここで、図５を用い、疑似校正ターゲットの位置差（位置のずれ）及び回転差（回転のずれ）について例示する。図５（Ａ）は、Ｓ１５０で選択した第一の時点の撮影画像を鳥瞰画像に変換した画像であり、疑似校正ターゲット７１，７２付近の画像である。この図では、正方形状の２つの疑似校正ターゲット７１，７２が左右に並び、後述する図５（Ｂ）と比較して時計と反対回りにわずかに回転した状態に変換されている。
【００４４】
図５（Ｂ）は、Ｓ１５０で選択した第二の時点の撮影画像を鳥瞰画像に変換した画像であり、図５（Ａ）の疑似校正ターゲットと同一の疑似校正ターゲット７１，７２付近の画像である。この図では、正方形状の２つの疑似校正ターゲット７１，７２が左右に並び、図５（Ａ）と比較して時計回りにわずかに回転した状態（図面上では整列した状態）に変換されている。
【００４５】
図５（Ｃ）は、図５（Ａ）と図５（Ｂ）とを座標系を揃えて配置した画像である。この図からわかるように、第一の時点の疑似校正ターゲット７１，７２と第二の時点の疑似校正ターゲット７１，７２とには、位置の相違（ずれ）と回転の相違（ずれ）とが存在する。この相違ができるだけ小さくなるように、姿勢パラメータのうちの、カメラ視点の座標のｘ、ｙ、及びヨー角を探索する。なお、疑似校正ターゲットの位置の相違や回転の相違は、カメラ視点の座標のｘ、ｙ、及びヨー角の影響によるものが大きい。
【００４６】
説明を図３のフローチャートに戻し、Ｓ１６０において、姿勢パラメータのうちの、カメラ視点の座標のｘ，ｙ及びヨー角を決定すると、これら決定した値によって、姿勢パラメータ等記憶部２５に記憶されている姿勢パラメータの値を更新する（Ｓ１６５）。すなわち、姿勢パラメータのうち、カメラ視点の座標のｘ，ｙ及びヨー角が最新の値に更新される。
【００４７】
続いて制御部２６は、姿勢パラメータの更新が完了したことを測定者に報知する（Ｓ１７０）。具体的には、表示装置３１に文字を表示させることによってそれを実現する。制御部２６は、報知を終えると、本処理（姿勢パラメータ決定処理）を終了する。
【００４８】
［実施形態の効果］
以上のような画像処理装置２１は、要するに、異なる２地点より撮影された同一の疑似校正ターゲットを、車両の移動及び回転を反映して世界座標系上の地平面にそれぞれ配置する。そして、その配置した疑似校正ターゲットを上方から見た場合の位置ずれや回転ずれが少なくなるように、車載カメラ１１の姿勢パラメータのうちの、カメラ視点の座標のｘ，ｙ及びヨー角の値を見直す。したがって、車両の回転移動も反映して姿勢パラメータの値を算出するため、測定の際に車両を旋回させてもよい。
【００４９】
また、画像処理装置２１は、疑似校正ターゲットを、車両の周辺の地表付近に存在する様々なものから選択して決定する。このため、マーカ等の既定校正ターゲットを測定前に車両の周囲に配置することなく、車両を、疑似校正ターゲットの近傍を走行させることによって、姿勢パラメータのうちの、カメラ視点の座標のｘ，ｙ及びヨー角の値を見直すことができる。
【００５０】
また、車載カメラ１１の姿勢パラメータのうちの、カメラ視点の座標のｘ，ｙ及びヨー角の値を算出することに先立ち、鳥瞰画像中に含まれる既定校正ターゲット（疑似校正ターゲットではない校正ターゲット）の歪み具合によって、姿勢パラメータのうちのピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）の値を見直すこともできる。このため、姿勢パラメータのうちの、カメラ視点の座標のｘ，ｙ及びヨー角の値を算出する際の精度を高めることができるし、結果として車載カメラ１１の全ての種類の姿勢パラメータ（ｘ、ｙ、ｚ、ピッチ角、ロール角、及びヨー角）を算出することができる。
【００５１】
［他の実施形態］
（１）上記実施形態では、同一の疑似校正ターゲットが含まれる二時点の画像（異なる二地点から撮影した画像）を選択するようになっていたが（Ｓ１５０）、同一の疑似校正ターゲットが含まれる三以上の時点の画像（異なる三地点から撮影した画像）を選択して、以降の処理を行うようになっていてもよい。このようになっていれば、より精度の高い姿勢パラメータを算出できる。
【００５２】
（２）上記実施形態は車両７の後方周辺を撮影するカメラとして車載カメラ１１が１台設置されたものであったが、車両７には複数台のカメラが設置されていてもよい。それらの複数台のカメラは、それぞれ車両の前方、後方、又は側方を撮影可能なように設置されているとよい。複数台のカメラが設置されている場合は、上述した姿勢パラメータ決定処理をカメラ毎に行うようになっているとよい。
【００５３】
（４）上記実施形態では、画像処理装置２１の制御部２６が姿勢パラメータ決定処理の全てのステップを行うようになっていたが、一部のステップを他の情報処理装置に行わせるようになっていてもよい。すなわち、一部のステップの実行に必要なデータを制御部２６が他の情報処理装置へ送信し、結果のデータをその情報処理装置から制御部２６が受信することによって姿勢パラメータ決定処理を実現してもよい。なお、他の情報処理装置は、車載の情報処理装置であってもよいし、通信ネットワークを介して通信可能な非車載の情報処理装置であってもよい。このように一部のステップを他の情報処理装置に行わせるようになっていれば、画像処理装置２１の処理負荷を抑えることができ、ハードウェア構成を簡易なものにすることも可能になる。
【００５４】
（５）上記実施形態の姿勢パラメータ決定処理では、Ｓ１４５〜Ｓ１６０にかけて疑似校正ターゲットを用いたが、既定校正ターゲット（測定を目的として車両の周辺に設置するパネル等）を用いてもよい。すなわち、事前に車両の走行路の周囲に既定校正ターゲットを配置しておき、その付近を車両に走行させ、制御部２６はそれを用いてＳ１４５〜Ｓ１６０の処理を行うようにしてもよい。
【符号の説明】
【００５５】
５…画像処理システム、７…車両、１１…車載カメラ、２１…画像処理装置、２２…画像記憶部、２３…センサ情報入力部、２４…操作部、２５…姿勢パラメータ等記憶部、２６…制御部、３１…表示装置。
【図１】
2014048803.tif 000003
【図２】
2014048803.tif 000004
【図３】
2014048803.tif 000005
【図４】
2014048803.tif 000006
【図５】
2014048803.tif 000007