(57)【要約】【課題】移動体の姿勢変化によるカメラの位置や角度の変動の影響を抑制することができる技術を提供する。【解決手段】キャリブレーション装置は、移動体に取り付けられたカメラの取付けに関わる第１データの補正を行う。キャリブレーション装置は、前記補正の対象となる前記カメラとは別に前記移動体に取り付けられた別装置の取付けに関わる第２データの自動校正の情報を取得する自動校正情報取得部と、前記自動校正の情報に基づき前記移動体の姿勢変化を推定する姿勢変化推定部と、推定された前記姿勢変化に基づき前記第１データに対する補正量を算出する補正量算出部と、を備える。【選択図】図１
2020162040.tif 000002
【特許請求の範囲】
【請求項１】
移動体に取り付けられたカメラの取付けに関わる第１データの補正を行うキャリブレーション装置であって、
前記補正の対象となる前記カメラとは別に前記移動体に取り付けられた別装置の取付けに関わる第２データの自動校正の情報を取得する自動校正情報取得部と、
前記自動校正の情報に基づき前記移動体の姿勢変化を推定する姿勢変化推定部と、
推定された前記姿勢変化に基づき前記第１データに対する補正量を算出する補正量算出部と、
を備える、キャリブレーション装置。
【請求項２】
前記補正量の算出前に、前記第１データの補正の可否を判断する補正可否判断部を更に備える、請求項１に記載のキャリブレーション装置。
【請求項３】
前記自動校正情報取得部は、複数の前記別装置から前記自動校正の情報を取得する、請求項１又は２に記載のキャリブレーション装置。
【請求項４】
前記別装置には、前記補正の対象となる前記カメラとは別のカメラが含まれる、請求項１から３のいずれか１項に記載のキャリブレーション装置。
【請求項５】
前記姿勢変化推定部は、前記移動体の傾きを検出可能とするセンサ部からの情報に更に基づき前記姿勢変化を推定する、請求項１から４のいずれか１項に記載のキャリブレーション装置。
【請求項６】
前記移動体は車両であり、
前記センサ部は、車高の変位を検出する複数の車高センサを有する、請求項５に記載のキャリブレーション装置。
【請求項７】
装置を用いて、移動体に取り付けられたカメラの取付けに関わる第１データの補正を行うキャリブレーション方法であって、
前記補正の対象となる前記カメラとは別に前記移動体に取り付けられた別装置の取付けに関わる第２データの自動校正の情報を取得する自動校正情報取得工程と、
前記自動校正の情報に基づき前記移動体の姿勢変化を推定する姿勢変化推定工程と、
推定された前記姿勢変化に基づき前記第１データに対する補正量を算出する補正量算出工程と、
を備える、キャリブレーション方法。
【請求項８】
移動体に取り付けられたカメラの取付けに関わるデータの補正を行うキャリブレーション装置であって、
前記移動体の姿勢を制御する複数の制御モードを有する姿勢制御装置から前記制御モードの情報を取得する制御モード情報取得部と、
取得された前記制御モードの情報に基づき前記データに対する補正量を決定する補正量決定部と、
を備える、キャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キャリブレーション装置およびキャリブレーション方法に関する。
【背景技術】
【０００２】
従来、自動車などの車両に搭載されるカメラで得られた車両の周辺の画像を、車載モニタにより表示する車載装置が知られている。車載カメラは、設計に基づいた位置および姿勢で車両に取り付けられる。ただし、通常は、取付けに誤差が生じる。取付け誤差が生じると、例えば複数の車載カメラで撮影された撮影画像を合成して俯瞰画像等の合成画像を生成する場合に、被写体の像が分断される等の不自然な合成画像が生成される可能性がある。また、取付け誤差が生じると、例えば車載カメラにより撮影された撮影画像を用いて距離計算を行う場合に、距離精度の低下が懸念される。
【０００３】
このために、従来においては、例えば特許文献１に開示されるように、例えば工場やディーラーにて取付け誤差による不具合の発生を抑制するためのキャリブレーション処理が行われている。例えば、所定の校正用指標を決められた位置に設置し、車載カメラにより得られた撮影画像に対し、校正指標に基づく所定の演算処理を施すことで、車載モニタに表示される画像を適正に校正（キャリブレーション）することが行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開２０１５／０２９９３４号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、車両に搭載されるカメラは、乗員数の変化、荷物の積載量の変化、路面の傾斜変化等により、路面との相対位置や相対角度が変化する。このために、車両の走行時に、工場出荷時等において求めたキャリブレーション値（カメラの取付けに関わるデータ）を用いて校正しても適切な合成画像が得られないこと等があった。
【０００６】
本発明は、上記の課題に鑑み、移動体の姿勢変化によるカメラの位置や角度の変動の影響を抑制することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明のキャリブレーション装置は、移動体に取り付けられたカメラの取付けに関わる第１データの補正を行うキャリブレーション装置であって、前記補正の対象となる前記カメラとは別に前記移動体に取り付けられた別装置の取付けに関わる第２データの自動校正の情報を取得する自動校正情報取得部と、前記自動校正の情報に基づき前記移動体の姿勢変化を推定する姿勢変化推定部と、推定された前記姿勢変化に基づき前記第１データに対する補正量を算出する補正量算出部と、を備える構成（第１の構成）になっている。
【０００８】
また、上記第１の構成のキャリブレーション装置において、前記補正量の算出前に、前記第１データの補正の可否を判断する補正可否判断部を更に備える構成（第２の構成）であることが好ましい。
【０００９】
また、上記第１又は第２の構成のキャリブレーション装置において、前記自動校正情報取得部は、複数の前記別装置から前記自動校正の情報を取得する構成（第３の構成）であってよい。
【００１０】
また、上記第１から第３のいずれかの構成のキャリブレーション装置において、前記別装置には、前記補正の対象となる前記カメラとは別のカメラが含まれる構成（第４の構成）であってよい。
【００１１】
また、上記第１から第４のいずれかの構成のキャリブレーション装置において、前記姿勢変化推定部は、前記移動体の傾きを検出可能とするセンサ部からの情報に更に基づき前記姿勢変化を推定する構成（第５の構成）であってよい。
【００１２】
また、上記第５の構成のキャリブレーション装置において、前記移動体は車両であり、前記センサ部は、車高の変位を検出する複数の車高センサを有する構成（第６の構成）であってよい。
【００１３】
上記目的を達成するために本発明のキャリブレーション方法は、装置を用いて、移動体に取り付けられたカメラの取付けに関わる第１データの補正を行うキャリブレーション方法であって、前記補正の対象となる前記カメラとは別に前記移動体に取り付けられた別装置の取付けに関わる第２データの自動校正の情報を取得する自動校正情報取得工程と、前記自動校正の情報に基づき前記移動体の姿勢変化を推定する姿勢変化推定工程と、推定された前記姿勢変化に基づき前記第１データに対する補正量を算出する補正量算出工程と、を備える構成（第７の構成）になっている。
【００１４】
上記目的を達成するために本発明のキャリブレーション装置は、移動体に取り付けられたカメラの取付けに関わるデータの補正を行うキャリブレーション装置であって、前記移動体の姿勢を制御する複数の制御モードを有する姿勢制御装置から前記制御モードの情報を取得する制御モード情報取得部と、取得された前記制御モードの情報に基づき前記データに対する補正量を決定する補正量決定部と、を備える構成（第８の構成）になっている。
【発明の効果】
【００１５】
本発明によれば、移動体の姿勢変化によるカメラの位置や角度の変動の影響を抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態に係るカメラシステムの構成を示すブロック図
【図２】４つのカメラが配置された車両を示す模式図
【図３】画像合成部が合成画像を生成する手法を説明するための図
【図４】第１実施形態に係るキャリブレーション装置による第１データの校正フローを示すフローチャート
【図５】第２実施形態に係るカメラシステムの構成を示すブロック図
【図６】第３実施形態に係るカメラシステムの構成を示すブロック図
【図７】第４実施形態に係るカメラシステムの構成を示すブロック図
【図８】第４実施形態に係るキャリブレーション装置によるカメラデータの校正フローを示すフローチャート
【発明を実施するための形態】
【００１７】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、本発明が適用される移動体が車両である場合を例にとり説明するが、本発明が適用される移動体は車両に限定される趣旨ではない。本発明は、ロボット等の他の移動体に適用されてもよい。車両には、例えば自動車等の車輪を有する乗り物が広く含まれてよい。
【００１８】
また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。なお、前後左右の方向は、単に説明のために用いられる名称であって、実際の位置関係及び方向を限定する趣旨ではない。
【００１９】
＜１．第１実施形態＞
（１−１．カメラシステムの概要）
図１は、本発明の第１実施形態に係るカメラシステム１００の構成を示すブロック図である。本実施形態において、カメラシステム１００は、車両に搭載されるシステムである。以下、カメラシステム１００が搭載される車両のことを「自車両」と表現することがある。
【００２０】
図１に示すように、カメラシステム１００は、撮影部１と、第１車載装置２と、第２車載装置３とを備える。
【００２１】
撮影部１は、車両の周辺を撮影する。撮影部１は、複数のカメラ１１〜１４を備える。本実施形成では、カメラの数は４つである。ただし、撮影部１が備えるカメラの数は適宜変更されてよく、カメラの数は単数であってもよい。ただし、カメラの数が単数である場合には、第１車載装置２は後述の合成画像を生成しない構成となる。各カメラ１１〜１４は、撮影画像を第１車載装置２に出力する。
【００２２】
図２は、４つのカメラ１１〜１４が配置された車両５を示す模式図である。詳細には、車両５は自動車である。図２に示すように、カメラ１１は車両５の前端に固定した状態で配置される。このため、カメラ１１をフロントカメラ１１とも呼ぶ。フロントカメラ１１の光軸１１ａは平面視で車両５の前後方向に沿っている。フロントカメラ１１は車両５の前方向を撮影する。カメラ１４は車両５の後端に固定した状態で配置される。このため、カメラ１４をバックカメラ１４とも呼ぶ。バックカメラ１４の光軸１４ａは平面視で車両５の前後方向に沿っている。バックカメラ１４は車両５の後方向を撮影する。フロントカメラ１１及びバックカメラ１４の取付け位置は、車両５の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００２３】
カメラ１２は車両５の左側ドアミラー５１に固定した状態で配置される。このため、カメラ１２を左サイドカメラ１２とも呼ぶ。左サイドカメラ１２の光軸１２ａは平面視で車両５の左右方向に沿っている。左サイドカメラ１２は車両５の左方向を撮影する。カメラ１３は車両５の右側ドアミラー５２に固定した状態で配置される。このため、カメラ１３を右サイドカメラ１３とも呼ぶ。右サイドカメラ１３の光軸１３ａは平面視で車両５の左右方向に沿っている。右サイドカメラ１３は車両５の右方向を撮影する。なお、左サイドカメラ１２および右サイドカメラ１３は、ドアミラー５１、５２以外の車両５のボディ等に設けられてもよい。
【００２４】
各カメラ１１〜１４のレンズとしては、例えば魚眼レンズが使用される。各カメラ１１〜１４の水平方向の画角θは１８０度以上である。このため、４つのカメラ１１〜１４を利用することで、車両５の水平方向における全周囲を撮影することが可能になっている。なお、本実施形態では、各カメラ１１〜１４の光軸は、水平面に対して所定角度下方に向けられている。
【００２５】
第１車載装置２は、撮影部１で撮影された撮影画像の画像処理を行う。本実施形態では、第１車載装置２は、複数のカメラ１１〜１４で撮影された複数の撮影画像を合成して合成画像を生成する。生成された合成画像は、不図示の車載ディスプレイに出力されて車室内で表示される。
【００２６】
なお、第１車載装置２は、合成画像を生成する機能に加えて、或いは、合成画像を生成する機能に替えて、撮影画像に基づいて駐車位置の認識や距離の算出を行う機能を有してよい。撮影画像に基づいて得られた駐車位置や距離は、不図示の車両制御ＥＣＵ（Electronic Control Unit）に出力されてよい。車両制御ＥＣＵは、例えば自動駐車を制御するＥＣＵであってよい。
【００２７】
本実施形態では、第１車載装置２はキャリブレーション装置２０を含む。キャリブレーション装置２０は、移動体に取り付けられたカメラの取付けに関わる第１データの補正を行う。詳細には、キャリブレーション装置２０は、自車両５に取り付けられた各カメラ１１〜１４の第１データの補正を行う。
【００２８】
第１データは、路面（地面）に対するカメラの取付位置および取付角度に関する情報を含むデータ（カメラパラメータ）であり、各カメラ１１〜１４に対して工場やディーラーにおいて所定のテストパターン（校正指標）を用いて設定される。第１データは、例えば、車両座標系におけるＸＹＺ方向の各座標位置、パン角、チルト角およびロール角を含む。
【００２９】
詳細には、第１車載装置２は、画像取得部２１と、画像合成部２２と、制御部２３と、記憶部２４とを備える。
【００３０】
画像取得部２１は、４つのカメラ１１〜１４のそれぞれで得られた撮影画像を取得する。画像取得部２１は、取得した撮影画像がアナログの場合には、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部２１は、取得した撮影画像に対して所定の画像処理を行い、処理後の撮影画像を画像合成部２２および制御部２３に出力する。
【００３１】
画像合成部２２は、例えばハードウェア回路であり、所定の画像処理を実行する。画像合成部２２は、４つのカメラ１１〜１４でそれぞれ取得された４つの撮影画像を用いて、任意の仮想視点から見た車両５の周辺の様子を示す合成画像を生成する。合成画像の生成方法については後述する。
【００３２】
制御部２３は、例えばマイクロコンピュータであり、第１車載装置２の全体を統括的に制御する。制御部２３は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を備える。制御部２３の各種の機能は、例えば記憶部２４に記憶されるコンピュータプログラムに従ってＣＰＵが演算処理を行うことによって実現される。本実施形態では、制御部２３の機能には、記憶部２４に記憶される第１データ２４１の補正を行うキャリブレーション機能が含まれる。キャリブレーション機能に関する詳細については後述する。
【００３３】
記憶部２４は、例えばフラッシュメモリ等の不揮発性メモリであり、各種の情報を記憶する。記憶部２４は、ファームウェアとしてのプログラムや、合成画像を生成するために用いる各種のデータ等を記憶する。本実施形態では、記憶部２４に記憶されるデータには、上述のように第１データ２４１が含まれる。詳細には、第１データ２４１には、フロントカメラ１１用の第１データと、バックカメラ１４用の第１データと、左サイドカメラ１２用の第１データと、右サイドカメラ１３用の第１データとが含まれる。
【００３４】
図３は、画像合成部２２が合成画像を生成する手法を説明するための図である。フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、及び、バックカメラ１４によって、自車両５の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１１〜Ｐ１４が同時に取得される。これら４つの撮影画像Ｐ１１〜Ｐ１４には、自車両５の全周囲のデータが含まれている。画像合成部２２は、これら４つの撮影画像Ｐ１１〜Ｐ１４を取得する。
【００３５】
画像合成部２２は、これら４つの撮影画像Ｐ１１〜Ｐ１４に含まれるデータ（画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は自車両５の位置となる車両領域Ｒ０として定められている。投影面ＴＳでは、車両領域Ｒ０には撮影画像のデータは投影されず、車両領域Ｒ０の外側の領域（投影対象領域）に撮影画像のデータが投影される。
【００３６】
撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められている。この対応関係を示すテーブルデータは、記憶部２４に記憶されている。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の値とに基づいて決定できる。
【００３７】
なお、撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の位置と、投影面ＴＳの各画素の位置との対応関係は、各カメラ１１〜１４に設定されたカメラの取付けに関わる第１データ２４１を考慮して決定される。本実施形態では、制御部２３のキャリブレーション機能により第１データ２４１が補正される。第１データ２４１が補正されると、当該補正にしたがって、撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の位置と、投影面ＴＳの各画素の位置との対応関係も補正される。
【００３８】
画像合成部２２は、投影対象領域において、自車両５の前方に相当する部分ＰＦに、フロントカメラ１１の撮影画像Ｐ１１のデータを割り当てる。画像合成部２２は、投影対象領域において、自車両５の後方に相当する部分ＰＢに、バックカメラ１４の撮影画像Ｐ１４のデータを割り当てる。画像合成部２２は、投影対象領域において、自車両５の左側方に相当する部分ＰＬに、左サイドカメラ１２の撮影画像Ｐ１２のデータを割り当てる。画像合成部２２は、投影対象領域において、自車両５の右側方に相当する部分ＰＲに、右サイドカメラ１３の撮影画像Ｐ１３のデータを割り当てる。
【００３９】
このように投影面ＴＳの投射対象領域の各部分に撮影画像のデータを割り当てると、次に、画像合成部２２は、自車両５の三次元形状を示すポリゴンのモデルを仮想的に構成する。自車両５のモデルは、投影面ＴＳが設定される三次元空間における自車両５の位置である車両領域Ｒ０に配置される。
【００４０】
次に、画像合成部２２は、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像合成部２２は、任意の視点位置、かつ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。仮想視点ＶＰは、例えばユーザからの指令に基づき設定される。画像合成部２２は、設定された仮想視点ＶＰに応じて投影面ＴＳにおける必要な領域を切り出す。また、画像合成部２２は、設定された仮想視点ＶＰに応じて自車両５のモデルに関してレンダリングを行い、その結果となる二次元の車両像５０を、切り出した画像に対して重畳する。これにより、仮想視点ＶＰから見た自車両５および自車両５の周辺の領域を示す合成画像ＣＰが生成される。
【００４１】
例えば、図３に示すように、視点位置を自車両５の真上、視線方向を直下とした仮想視点ＶＰａを想定した場合、自車両５及び自車両５の周辺を俯瞰する合成画像（俯瞰画像）ＣＰａを生成できる。また、視点位置を自車両５の左後方、視線方向を自車両５の前方とした仮想視点ＶＰｂを想定した場合、自車両５の左後方から見た自車両５及び自車両５の周辺を示す合成画像ＣＰｂを生成できる。
【００４２】
図１に戻って、第２車載装置３は、補正の対象となるカメラ１１〜１４とは別に移動体（本実施形態では車両５）に取り付けられた別装置３０と組になって用いられる装置である。第２車載装置３は、第１車載装置２との間で情報の送受信を可能に設けられる。第２車載装置３は、別装置３０内に組み込まれた装置であってもよい。別装置３０は、例えば、ミリ波レーダ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、撮影部１のカメラ１１〜１４とは別の目的で自車両５に搭載されたカメラ等のセンサであってよい。
【００４３】
第２車載装置３は、制御部３１と記憶部３２とを備える。制御部３１は、例えばマイクロコンピュータであり、第２車載装置３の全体を統括的に制御する。制御部３１は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を備える。制御部３１の各種の機能は、例えば記憶部３２に記憶されるコンピュータプログラムに従ってＣＰＵが演算処理を行うことによって実現される。記憶部３２は、例えばフラッシュメモリ等の不揮発性メモリであり、各種の情報を記憶する。記憶部３２は、ファームウェアとしてのプログラムや各種のデータ等を記憶する。
【００４４】
本実施形態では、制御部３１は、機能部として自動校正部３１１を備える。自動校正部３１１は、別装置３０の取付けに関わる第２データの自動校正を行う。なお、記憶部３２に記憶されるデータに、第２データ３２１が含まれる。第２データ３２１は、路面（地面）に対する別装置３０の取付位置および取付角度に関する情報を含むデータである。例えば、第２データ３２１は、路面（地面）に対するレーダアンテナの取付位置および取付角度に関する情報を含むデータである。第２データ３２１は、例えば、車両座標系におけるＸＹＺ方向の各座標位置、パン角、チルト角およびロール角を含む。
【００４５】
別装置３０もカメラ１１〜１４と同様に、自車両５の走行状態に応じて路面との相対位置や相対角度が変化する。自動校正部３１１は、このような路面との相対位置や相対角度の変動による影響を抑制するために、例えば自車両５の姿勢変化情報に基づき第２データ３２１を校正する。自動校正部３１１は、自動校正を行った場合には、自動校正の結果を記憶部３２に記憶する。例えば、工場出荷時等に設定された第２データ３２１のデフォルト値とは別に、自動校正後の第２データ３２１が記憶部３２に記憶される。なお、第２データ３２１の自動校正には公知の手法が利用されればよい。第２データ３２１の自動校正にあたって、自車両５の姿勢変化情報は例えばジャイロセンサや車高センサ等を用いて得られてよい。
【００４６】
（１−２．キャリブレーション装置）
図１に破線で示すように、キャリブレーション装置２０は、第１車載装置２の制御部２３と記憶部２４とを備える。制御部２３は、機能部として、自動校正情報取得部２３１と、姿勢変化推定部２３２と、補正可否判断部２３３と、補正量算出部２３４と、第１データ校正部２３５とを備える。換言すると、キャリブレーション装置２０は、自動校正情報取得部２３１と、姿勢変化推定部２３２と、補正可否判断部２３３と、補正量算出部２３４と、第１データ校正部２３５とを備える。
【００４７】
なお、制御部２３が備える各部２３１〜２３５は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。
【００４８】
自動校正情報取得部２３１は、第２データ３２１の自動校正の情報を取得する。詳細には、自動校正情報取得部２３１は、所定条件の下、一定の周期で第２車載装置３から第２データ３２１を取得する。自動校正情報取得部２３１は、取得される第２データ３２１の値の変化により、自動校正が行われたことを検出し、自動校正に関する情報を取得する。
【００４９】
姿勢変化推定部２３２は、自動校正情報取得部２３１で取得された自動校正の情報に基づき移動体（本実施形態では車両５）の姿勢変化を推定する。詳細には、姿勢変化推定部２３２は、第２データ３２１の自動校正の情報により、自車両５の姿勢変化の検出と、姿勢変化が検出された場合に姿勢変化の変化量の推定とを行う。
【００５０】
補正可否判断部２３３は、補正量算出部２３４による補正量の算出前に、第１データ２４１の補正の可否を判断する。本実施形態では、自車両５の姿勢変化が検出された場合において、第１データ２４１の補正が行われる場合と、行われない場合が発生する。本実施形態によれば、例えば不適切なタイミングで補正が行われることを防止することができる。不適切なタイミングとしては、例えば、車載モニタに合成画像ＣＰが表示中である場合等が挙げられる。車載モニタに表示される合成画像ＣＰの見え方が急に変わることを防止することができる。
【００５１】
補正量算出部２３４は、推定された姿勢変化に基づき第１データ２４１に対する補正量を算出する。本実施形態では、４つのカメラ１１〜１４のそれぞれに対して補正量が求められる。なお、補正量の算出は、予め実験またはシミュレーションにより得た姿勢変化と補正量との関係式を利用して行われてよい。また、自車両５の姿勢変化としては、Ｚ方向（高さ方向）と、チルト角と、ロール角との３つの変化が想定される。このために、姿勢変化を複数のパターンに分類してパターンごとに補正量を求めた補正テーブルを作成し、当該補正テーブルを利用して補正量を求める構成としてもよい。
【００５２】
第１データ校正部２３５は、補正量算出部２３４で算出された補正量により、第１データ２４１を補正する。本実施形態では、４つのカメラ１１〜１４のそれぞれに対して第１データ２４１の補正が行われる。制御部２３は、補正後の第１データ２４１を用いて画像合成部２２に撮影画像の合成処理を行わせる。第１車載装置２が撮影画像に基づき距離の算出を行う距離算出部を備える場合には、制御部２３は、補正後の第１データ２４１を用いて撮影画像のデータ補正を行って距離算出部に距離の算出処理を行わせる。
【００５３】
本実施形態によれば、自車両５に搭載される別装置（センサ）３０の自動校正の情報を利用して車両姿勢を推定し、推定された車両姿勢の変化量に応じてカメラ１１〜１４の取付けに関わるデータを自動的に校正することができる。本実施形態によれば、自車両５の乗員数、自車両５の荷物の積載量、路面状況等に応じてカメラ１１〜１４の取付けに関わるデータを適切に補正することができる。すなわち、本実施形態によれば、自車両５の姿勢変化に対応してカメラ１１〜１４の取付けに関わるデータを適切な値に修正して合成画像ＣＰの生成等を行うことができる。本実施形態によれば、違和感の少ない合成画像ＣＰの表示を安定して行うことができる。また、撮影画像を用いた距離算出の精度を向上することができる。また、本実施形態によれば、自車両５が既に備える設備を利用してカメラ１１〜１４の取付けに関わるデータを補正することができ、車両の製造コストの増加を抑制することができる。
【００５４】
図４は、第１実施形態に係るキャリブレーション装置２０による第１データ２４１の校正フローを示すフローチャートである。例えば、キャリブレーション装置２０は、自車両５のイグニッションがオン（電気自動車の場合には電源がオン）された場合に、動作を開始する。
【００５５】
自動校正情報取得部２３１は、まず、自車両５の速度が所定速度範囲内であるか否かを確認する（ステップＳ１）。本実施形態では、カメラシステム１００を用いた撮影画像の車載モニタによる表示は、自車両５が低速走行を行っているときか、停車中にのみ可能になっている。所定速度範囲は、カメラシステム１００を用いた撮影画像のモニタ表示を行うことが可能な速度範囲と同じに設定される。これにより、カメラ１１〜１４の第１データ２４１の補正を適切なタイミングで行うことができる。
【００５６】
自動校正情報取得部２３１は、自車両５の速度が所定速度範囲内でない場合（ステップＳ１でＮｏ）、ステップＳ１の確認を繰り返し行う。自動校正情報取得部２３１は、自車両５の速度が所定速度範囲内である場合（ステップＳ１でＹｅｓ）、自動校正があったか否かの確認を行う（ステップＳ２）。詳細には、自動校正情報取得部２３１は、一定の周期で第２データ３２１を取得し、取得される第２データ３２１の変化（差分）を監視することにより自動校正があったか否かを判断する。
【００５７】
自動校正がなかった場合（ステップＳ２でＮｏ）、ステップＳ１に戻る。自動校正があった場合（ステップＳ２でＹｅｓ）、姿勢変化推定部２３２は、姿勢変化が検出された否かを確認する（ステップＳ３）。詳細には、姿勢変化推定部２３２は、第２データ３２１の変化が所定の第１変化量より小さく、所定の第２変化量より大きい場合に、自車両５の姿勢変化を検出する。すなわち、姿勢変化推定部２３２は、第２データ３２１の変化が所定の第１変化量以上である場合には、自車両５の姿勢変化を検出しない。また、第２データ３２１の変化が所定の第２変化量以下である場合には、自車両５の姿勢変化を検出しない。
【００５８】
姿勢変化が検出されなかった場合（ステップＳ３でＮｏ）、ステップＳ１に戻る。姿勢変化が検出された場合、姿勢変化推定部２３２は姿勢変化を推定する（ステップＳ４）。詳細には、姿勢変化推定部２３２は、第２データ２３１の変化の仕方に応じて、姿勢変化の大きさや姿勢変化の方向を推定する。
【００５９】
姿勢変化の推定が行われると、補正可否判断部２３３は、推定された姿勢変化に基づき第１データ２４１の補正を行って良いか否かを判断する（ステップＳ５）。補正可否判断部２３３は、例えば、補正対象となるカメラ１１〜１４で撮影された撮影画像を利用した画像表示（合成画像等）が車載モニタで表示されている場合に、補正を不可と判断し、その他の場合には補正を可能と判断する。なお、補正の可否判断は、姿勢変化の検出後、姿勢変化の推定（ステップＳ４）が行われる前に実施されてもよい。
【００６０】
補正を行うことが認められない場合（ステップＳ５でＮｏ）、ステップＳ１に戻る。補正を行って良い場合（ステップＳ５でＹｅｓ）、補正量算出部２３４は、第１データ２４１に対する補正量を算出する（ステップＳ６）。本実施形態では、各カメラ１１〜１４に対して補正量が算出される。補正量算出部２３４は、第１データ２４１を設定した時点（工場出荷時等）の車両姿勢に対する姿勢変化の方向および大きさに基づき、第１データ２４１のデフォルト値（工場出荷時等の値）に対する補正量を算出する。
【００６１】
補正量が算出されると、第１データ校正部２３５は、補正量算出部２３４で算出された補正量により、第１データ２４１のデフォルト値を補正する（ステップＳ７）。本実施形態では、各カメラ１１〜１４の第１データ２４１に対して補正が行われる。例えば、補正した第１データ２４１の値により、画像合成部２２による合成画像ＣＰの生成が行われる。
【００６２】
＜２．第２実施形態＞
次に、第２実施形態について説明する。第２実施形態の説明にあたって、第１実施形態と重複する内容については、特に必要でない場合には、その説明を省略する。
【００６３】
図５は、本発明の第２実施形態に係るカメラシステム１００Ａの構成を示すブロック図である。カメラシステム１００Ａは、車両５に搭載されるシステムである。図５に示すように、カメラシステム１００Ａは、撮影部１Ａと、第１車載装置２Ａとを備える。なお、第２実施形態では、第１実施形態における第２車載装置３と同様の装置は備えられない。また、撮影部１Ａは、第１実施形態の撮影部１と同様の構成であり、４つのカメラ１１Ａ、１２Ａ、１３Ａ、１４Ａを備える。
【００６４】
第１車載装置２Ａは、画像取得部２１Ａと、画像合成部２２Ａと、制御部２３Ａと、記憶部２４Ａとを備える。画像取得部２１Ａおよび画像合成部２２Ａは、第１実施形態の画像取得部２１および画像合成部２２とそれぞれ同様の構成である。
【００６５】
制御部２３Ａは、例えばマイクロコンピュータで構成され、第１実施形態と同様に第１車載装置２Ａの全体を統括的に制御する。制御部２３Ａの各種の機能は、記憶部２４Ａに記憶されるコンピュータプログラムに従ってＣＰＵが演算処理を行うことによって実現される。制御部２３Ａは、画像合成部２２の制御機能の他、キャリブレーション機能を有する。記憶部２４Ａは、例えばフラッシュメモリ等の不揮発性メモリであり、第１実施形態と同様に各種の情報を記憶する。本実施形態では、記憶部２４Ａに記憶されるデータには、第１データ２４１Ａと、第２データ２４２とが含まれる。
【００６６】
第１実施形態と同様に、制御部２３Ａと記憶部２４Ａとは、キャリブレーション装置２０Ａを構成する。キャリブレーション装置２０Ａは、記憶部２４Ａに記憶される第１データ２４１Ａの補正を行う。本実施形態において、第１データ２４１Ａには、左サイドカメラ１２Ａ用の第１データ２４１Ａａと、右サイドカメラ１３Ａ用の第１データ２４１Ａｂとが含まれる。すなわち、キャリブレーション装置２０Ａによる取付けに関わるデータの補正対象となるカメラは、左サイドカメラ１２Ａと右サイドカメラ１３Ａである。
【００６７】
フロントカメラ１１Ａとバックカメラ１４Ａとは、キャリブレーション装置２０Ａによる補正対象となるカメラではない。フロントカメラ１１Ａとバックカメラ１４Ａとは、キャリブレーション装置２０Ａによる補正の対象となるカメラ１２Ａ、１３Ａとは別に自車両５に取り付けられた別装置３０Ａである。すなわち、本実施形態では、別装置３０Ａには、キャリブレーション装置２０Ａによる補正の対象となるカメラ１２、１３とは別のカメラ１１、１４が含まれる。本実施形態によれば、同種の装置の自動校正の情報を利用しデータの補正を行うことができるために、情報の利用を行い易い。
【００６８】
なお、記憶部２４Ａに含まれる第２データ２４２には、フロントカメラ１１Ａ用の第２データ２４２ａと、バックカメラ１４Ａ用の第２データ２４２ｂとが含まれる。また、制御部２３Ａは、フロントカメラ１１Ａ用の第２データ２４２ａと、バックカメラ１４Ａ用の第２データ２４２ｂとを自動校正する装置としての機能も有する。すなわち、制御部２３Ａと記憶部２４Ａとは、第１実施形態における第２車載装置３の機能も備える。
【００６９】
制御部２３Ａは、機能部として、自動校正情報取得部２３１Ａと、姿勢変化推定部２３２Ａと、補正可否判断部２３３Ａと、補正量算出部２３４Ａと、第１データ校正部２３５Ａ、自動校正部２３６とを備える。自動校正部２３６は、キャリブレーション装置２０Ａとしての機能とは異なる。
【００７０】
自動校正部２３６は、第１実施形態の第２車載装置３が備える自動校正部３１１と同様に第２データ２４２の自動校正を行う。詳細には、自動校正部２３６は、フロントカメラ１１Ａ用の第２データ２４２ａと、バックカメラ１４Ａ用の第２データ２４２ｂとを自動校正する。自動校正部２３６は、自動校正を行った場合には、自動校正の結果を記憶部２４Ａに記憶する。例えば、工場出荷時等に設定された第２データ２４２のデフォルト値とは別に、自動校正後の第２データ２４２が記憶部２４Ａに記憶される。
【００７１】
なお、フロントカメラ１１Ａ用の第２データ２４２ａと、バックカメラ１４Ａ用の第２データ２４２ｂとの自動校正は別々に行われる。自動校正は、公知の白線検知等を利用した自動光軸調整技術等を利用することができる。例えば、白線検知を利用した自動光軸調整では、白線の交差する点である消失点を検出してカメラの向きを検出する。フロントカメラ１１Ａおよびバックカメラ１４Ａの撮影画像では消失点を検出することが比較的容易である。しかし、左サイドカメラ１２Ａおよび右サイドカメラ１３Ａの撮影画像では消失点を検出できない可能性が高い。この点を考慮して、本実施形態では、フロントカメラ１１Ａおよびバックカメラ１４Ａの取付けに関わるデータ（第２データ２４２）は、他の自動校正の結果を利用することなく自動校正を行う構成としている。また、左サイドカメラ１２Ａおよび右サイドカメラ１３Ａの取付けに関わるデータ（第１データ２４１Ａ）は、フロントカメラ１１Ａおよびバックカメラ１４Ａの第２データ２４２の自動校正の情報を利用して補正を行う構成としている。
【００７２】
自動校正情報取得部２３１Ａは、第２データ２４２の自動校正の情報を取得する。本実施形態では、自動校正情報取得部２３１Ａは、フロントカメラ１１Ａ用の第２データ２４２ａの自動校正の情報と、バックカメラ１４Ａ用の第２データ２４２ｂの自動校正の情報とを別々に取得する。自動校正情報取得部２３１Ａは、２つの自動校正の情報のうちの少なくとも一方の情報を取得することにより自動校正があったことを認識する。
【００７３】
姿勢変化推定部２３２Ａは、自動校正情報取得部２３１Ａで取得された自動校正の情報の基づき自車両５の姿勢変化を推定する。本実施形態では、姿勢変化推定部２３２Ａは、フロントカメラ１１Ａ用の第２データ２４２ａの自動校正の情報と、バックカメラ１４Ａ用の第２データ２４２ｂの自動校正の情報とをそれぞれ別々に用いて、自車両５の姿勢変化の検出と、姿勢変化が検出された場合に姿勢変化の変化量の推定とを行う。すなわち、姿勢変化推定部２３２Ａは、２つの姿勢変化の推定結果を得る。
【００７４】
補正可否判断部２３３Ａは、第１実施形態と同様に、補正対象となるカメラ１２Ａ、１３Ａで撮影された撮影画像を利用した画像表示（合成画像等）が車載モニタで表示されている場合に、補正を不可と判断する。また、補正可否判断部２３３Ａは、フロントカメラ１１Ａ用の第２データ２４２ａの自動校正の情報から得られた姿勢推定の結果と、バックカメラ１４Ａ用の第２データ２４２ｂの自動校正の情報から得られた姿勢推定の結果とを比較する。補正可否判断部２３３Ａは、２つの姿勢推定の結果が一致しないと判断される場合には、補正不可と判断する。
【００７５】
補正量算出部２３４Ａは、推定された姿勢変化に基づき第１データ２４１Ａに対する補正量を算出する。本実施形態では、２つのカメラ１２、１３のそれぞれに対して補正量が求められる。また、本実施形態では、２つの姿勢変化の推定結果から確からしい姿勢変化（例えば平均値や代表値）を選択して補正量の算出が行われる。
【００７６】
第１データ校正部２３５Ａは、補正量算出部２３４Ａで算出された補正量により、第１データ２４１Ａを補正する。本実施形態では、２つのカメラ１２Ａ、１３Ａのそれぞれに対して第１データ２４１Ａの補正が行われる。制御部２３Ａは、補正後の第１データ２４１Ａを用いて画像合成部２２Ａに撮影画像の合成処理を行わせる。
【００７７】
本実施形態でも第１実施形態と同様の効果が得られる。また、本実施形態では、自動校正情報取得部２３１Ａは、複数の別装置３０Ａ（フロントカメラ１１Ａとバックカメラ１４Ａ）から自動校正の情報を取得する。このために、自車両５の姿勢変化の推定結果の信頼性を向上することができる。すなわち、カメラ１２Ａ、１３Ａの取付けに関わるデータの補正をより適切に行うことができる。
【００７８】
＜３．第３実施形態＞
次に、第３実施形態について説明する。第３実施形態の説明にあたって、第１実施形態および第２実施形態と重複する内容については、特に必要でない場合には、その説明を省略する。
【００７９】
図６は、本発明の第３実施形態に係るカメラシステム１００Ｂの構成を示すブロック図である。カメラシステム１００Ｂは、車両５に搭載されるシステムである。第３実施形態のカメラシステム１００Ｂは、概ね、第１実施形態のカメラシステム１００と、第２実施形態のカメラシステム１００Ａとを組み合わせた構成である。ただし、センサ部４が追加されている点が、単純に第１実施形態と第２実施形態とを組み合わせた構成とは異なる。なお、第３実施形態の組合せ方は例示であり、例えば、第２車載装置３Ｂとセンサ部４とのうち、いずれか一方はなくてもよい。
【００８０】
図６に示すように、カメラシステム１００Ｂは、撮影部１Ｂと、第１車載装置２Ｂと、第２車載装置３Ｂとを備える。撮影部１Ｂは、第１実施形態の撮影部１と同様の構成であり、４つのカメラ１１Ｂ、１２Ｂ、１３Ｂ、１４Ｂを備える。第２車載装置３Ｂは、第１実施形態の第２車載装置３と同様の構成である。第２車載装置３Ｂは、制御部３１Ｂが備える自動校正部３１１Ｂに機能により、別装置３０Ｂ１の取付けに関わる第２データ３２１Ｂの自動校正を行う。なお、第２データ３２１Ｂは、第２車載装置３Ｂが備える記憶部３２Ｂに記憶される。
【００８１】
第１車載装置２Ｂの構成は、概ね第２実施形態の第１車載装置２Ａの構成と同様である。すなわち、第１車載装置２Ｂは、第２実施形態と同様に、画像取得部２１Ｂと、画像合成部２２Ｂと、制御部２３Ｂと、記憶部２４Ｂとを備える。
【００８２】
制御部２３Ｂと記憶部２４Ｂとは、キャリブレーション装置２０Ｂを構成する。キャリブレーション装置２０Ｂは、記憶部２４Ｂに記憶される第１データ２４１Ｂの補正を行う。本実施形態においても、第１データ２４１Ｂには、左サイドカメラ１２Ｂ用の第１データ２４１Ｂａと、右サイドカメラ１３Ｂ用の第１データ２４１Ｂｂとが含まれる。
【００８３】
フロントカメラ１１Ｂとバックカメラ１４Ｂとは、キャリブレーション装置２０Ｂによる補正の対象となるカメラ１２Ｂ、１３Ｂとは別に自車両５に取り付けられた別装置３０Ｂ２である。記憶部２４Ｂに含まれる第２データ２４２Ｂには、フロントカメラ１１Ｂ用の第２データ２４２Ｂａと、バックカメラ１４Ｂ用の第２データ２４２Ｂｂとが含まれる。また、制御部２３Ｂは、フロントカメラ１１Ｂ用の第２データ２４２Ｂａと、バックカメラ１４Ｂ用の第２データ２４２Ｂｂとを自動校正する装置としての機能も有する。
【００８４】
制御部２３Ｂは、機能部として、自動校正情報取得部２３１Ｂと、姿勢変化推定部２３２Ｂと、補正可否判断部２３３Ｂと、補正量算出部２３４Ｂと、第１データ校正部２３５Ｂ、自動校正部２３６Ｂとを備える。自動校正部２３６Ｂは、キャリブレーション装置２０Ｂとしての機能とは異なる。自動校正部２３６Ｂは、第２実施形態と同様に、フロントカメラ１１Ｂ用の第２データ２４２Ｂａと、バックカメラ１４Ｂ用の第２データ２４２Ｂｂとを自動校正する。
【００８５】
自動校正情報取得部２３１Ｂと、姿勢変化推定部２３２Ｂと、補正可否判断部２３３Ｂと、補正量算出部２３４Ｂと、第１データ校正部２３５Ｂとは、概ね第２実施形態と同様の構成であるが、第２車載装置３Ｂと、センサ部４が追加されているために、若干機能が異なる。
【００８６】
センサ部４は、移動体（本実施形態では車両５）の傾きを検出可能とする。本実施形態では、センサ部４は、車高の変位を検出する複数の車高センサ４１〜４４を備える。車高は、路面（地面）からの車体の高さである。本実施形態では、センサ部４は４つの車高センサ４１〜４４を有する。第１車高センサ４１は、自車両５の前方左側に配置される。第２車高センサ４２は、自車両５の前方右側に配置される。第３車高センサ４３は、自車両５の後方左側に配置される。第４車高センサ４４は、自車両５の後方右側に配置される。４つの車高センサ４１〜４４で得られた車高情報は、制御部２３Ｂに送信される。なお、センサ部４は、傾斜センサで構成されてもよい。また、センサ部４が有する車高センサの数は４つに限らず、例えば３つ等であってよい。
【００８７】
自動校正情報取得部２３１Ｂは、別装置３０Ｂ１の第２データ３２１Ｂと、別装置３０Ｂ２の第２データ２４２Ｂとの自動校正の情報を取得する。別装置３０Ｂ２には、フロントカメラ１１Ｂとバックカメラ１４Ｂとが含まれる。すなわち、自動校正情報取得部２３１Ｂは、３つの別装置３０Ｂから自動校正の情報を取得する。自動校正情報取得部２３１Ｂは、３つの自動校正の情報のうちの少なくとも１つの情報を取得することにより自動校正があったことを認識する。
【００８８】
姿勢変化推定部２３２Ｂは、自動校正情報取得部２３１Ｂで取得された自動校正の情報の基づき自車両５の姿勢変化を推定する。なお、本実施形態では、姿勢変化推定部２３２Ｂは、センサ部４からの情報に更に基づき姿勢変化を推定する。このために、姿勢変化の推定精度を向上することができる。また、本実施形態では、姿勢変化の検出可能とするセンサとして、カメラ１２Ｂ、１３Ｂのキャリブレーションとは異なる目的で備えられた車高センサ４１〜４４を利用することができる。このために、カメラ１２Ｂ、１３Ｂのキャリブレーションを行う構成を安価に実現することができる。
【００８９】
本実施形態では、姿勢変化推定部２３２Ｂは、３つの別装置３０Ｂからの自動校正の情報と、センサ部４からの情報とをそれぞれ別々に用いて、自車両５の姿勢変化の検出と、姿勢変化が検出された場合に姿勢変化の変化量の推定とを行う。すなわち、姿勢変化推定部２３２Ｂは、４つの姿勢変化の推定結果を得る。センサ部４からの情報に基づく姿勢変化の推定は、別装置３０における自動校正の有無にかかわらず一定の周期で実行されてよい。
【００９０】
補正可否判断部２３３Ｂは、第１実施形態と同様に、補正対象となるカメラ１２Ｂ、１３Ｂで撮影された撮影画像を利用した画像表示（合成画像等）が車載モニタで表示されている場合に、補正を不可と判断する。また、補正可否判断部２３３Ｂは、４つの姿勢変化の推定結果を比較し、４つの姿勢変化の推定結果が一致しないと判断される場合には、補正不可と判断する。なお、４つの姿勢変化の推定結果が一致しない場合には、自動校正されたフロントカメラ１１Ｂおよびバックカメラ１４Ｂの第２データ２４２Ｂも自動校正前の値に戻してもよい。また、補正可否判断部２３３Ｂは、センサ部４から得られる情報に基づく姿勢変化の推定結果により、自車両５の姿勢が安定していないと判断される場合に、補正不可と判断してもよい。
【００９１】
補正量算出部２３４Ａは、推定された姿勢変化に基づき第１データ２４１Ｂに対する補正量を算出する。本実施形態では、２つのカメラ１２Ｂ、１３Ｂのそれぞれに対して補正量が求められる。また、本実施形態では、４つの姿勢変化の推定結果から確からしい姿勢変化（例えば平均値や代表値）を選択して補正量の算出が行われる。
【００９２】
第１データ校正部２３５Ｂは、補正量算出部２３４Ｂで算出された補正量により、第１データ２４１Ｂを補正する。本実施形態では、２つのカメラ１２Ｂ、１３Ｂのそれぞれに対して第１データ２４１Ｂの補正が行われる。制御部２３Ｂは、補正後の第１データ２４１Ｂを用いて画像合成部２２Ｂに撮影画像の合成処理を行わせる。
【００９３】
本実施形態でも第１実施形態および第２実施形態と同様の効果が得られる。また、本実施形態では、センサ部４からの情報も加味してキャリブレーション装置２０Ｂによるカメラの取付けに関わるデータの補正が行われるために、キャリブレーションの精度を更に向上することができる。
【００９４】
＜４．第４実施形態＞
次に、第４実施形態について説明する。第４実施形態の説明にあたって、第１から第３実施形態と重複する内容については、特に必要でない場合には、その説明を省略する。
【００９５】
図７は、本発明の第４実施形態に係るカメラシステム１００Ｃの構成を示すブロック図である。カメラシステム１００Ｃは、車両５に搭載されるシステムである。図７に示すように、カメラシステム１００Ｃは、撮影部１Ｃと、車載装置２Ｃと、姿勢制御装置６とを備える。なお、撮影部１Ｃは、第１実施形態の撮影部１と同様の構成であり、４つのカメラ１１Ｃ、１２Ｃ、１３Ｃ、１４Ｃを備える。
【００９６】
車載装置２Ｃは、撮影部１Ｃで撮影された撮影画像の画像処理を行う。また、本実施形態では、車載装置２Ｃはキャリブレーション装置２０Ｃを含む。キャリブレーション装置２０Ｃは、移動体に取り付けられたカメラの取付けに関わるデータの補正を行う。詳細には、キャリブレーション装置２０Ｃは、自車両５に取り付けられた各カメラ１１Ｃ〜１４Ｃの取付けに関わるデータ（以下、カメラデータと記載する）の補正を行う。なお、カメラデータは、路面（地面）に対するカメラの取付位置および取付角度に関する情報を含むデータ（カメラパラメータ）であり、各カメラ１１Ｃ〜１４Ｃに対して工場やディーラーにおいて所定のテストパターン（校正指標）を用いて設定される。カメラデータは、例えば、車両座標系におけるＸＹＺ方向の各座標位置、パン角、チルト角およびロール角を含む。
【００９７】
詳細には、車載装置２Ｃは、画像取得部２１Ｃと、画像合成部２２Ｃと、制御部２３Ｃと、記憶部２４Ｃとを備える。画像取得部２１Ｃおよび画像合成部２２Ｃは、第１実施形態の画像取得部２１および画像合成部２２とそれぞれ同様の構成である。制御部２３Ｃは、第１実施形態と同様に車載装置２Ｃの全体を統括的に制御する。制御部２３Ｃの各種の機能は、記憶部２４Ｃに記憶されるコンピュータプログラムに従ってＣＰＵが演算処理を行うことによって実現される。記憶部２４Ｃは、例えばフラッシュメモリ等の不揮発性メモリであり、第１実施形態と同様に各種の情報を記憶する。記憶部２４Ｃに記憶されるデータには、カメラデータ２４３が含まれる。
【００９８】
姿勢制御装置６は、移動体の姿勢を制御する複数の制御モードを有する。姿勢制御装置６は、車載装置２Ｃとの間で情報の送受信を可能に設けられる。本実施形態では、姿勢制御装置６は、自車両５の車高を制御する複数の制御モードを有する。姿勢制御装置６は制御部６１を備える。制御部６１は、例えばマイクロコンピュータであり、姿勢制御装置６の全体を統括的に制御する。制御部６１は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を備える。制御部６１の各種の機能は、例えばＲＯＭに記憶されるコンピュータプログラムに従ってＣＰＵが演算処理を行うことによって実現される。
【００９９】
本実施形態では、制御部６１は、機能部として制御モード決定部６１１を備える。制御モード決定部６１１は、例えばユーザからの指示や走行環境に応じて複数の制御モードの中から１つの制御モードを選択する。例えば、複数の制御モードは、標準車高モードと、標準車高モードより車高を高くする高車高モードと、標準車高モードより車高を低くする低車高モードとを有する。制御モード決定部６１１は、この３つのモードから１つのモードを適宜選択する。
【０１００】
図７に破線で示すように、キャリブレーション装置２０Ｃは、車載装置２Ｃの制御部２３Ｃと記憶部２４Ｃとを備える。制御部２３Ｃは、機能部として、制御モード情報取得部２３７と、補正可否判断部２３３Ｃと、補正量決定部２３８と、データ校正部２３９とを備える。換言すると、キャリブレーション装置２０Ｃは、制御モード情報取得部２３７と、補正可否判断部２３３Ｃと、補正量決定部２３８と、データ校正部２３９とを備える。
【０１０１】
制御モード情報取得部２３７は、姿勢制御装置６から制御モードの情報を取得する。本実施形態では、制御モード情報取得部２３７は、姿勢制御装置６において設定される制御モードの監視を行う。制御モード情報取得部２３７は、例えば、一定の周期で姿勢制御装置６における制御モードを確認する。
【０１０２】
補正可否判断部２３３Ｃは、補正量決定部２３８による補正量の決定前に、カメラデータ２４３の補正の可否を判断する。例えば、補正可否判断部２３３Ｃは、補正対象となるカメラ１１Ｃ〜１４Ｃで撮影された撮影画像を利用した画像表示（合成画像等）が車載モニタで表示されている場合に、補正を不可と判断し、その他の場合には補正を可能と判断する。
【０１０３】
補正量決定部２３８は、取得された制御モードの情報に基づきカメラデータ２４３に対する補正量を決定する。本実施形態では、４つのカメラ１１Ｃ〜１４Ｃのそれぞれに対して補正量が決定される。本実施形態では、制御モードにより車両姿勢が決まるために、各制御モードに応じて補正量が決まる。例えば、補正量は、記憶部２４Ｃにテーブル化して記憶される。
【０１０４】
データ校正部２３９は、補正量決定部２３８で決定された補正量により、カメラデータ２４３を補正する。本実施形態では、４つのカメラ１１Ｃ〜１４Ｃのそれぞれに対してカメラデータ２４３の補正が行われる。制御部２３Ｃは、補正後のカメラデータ２４３を用いて画像合成部２２に撮影画像の合成処理を行わせる。
【０１０５】
本実施形態によれば、制御モードの変更に対応してカメラ１１Ｃ〜１４Ｃの取付けに関わるデータ（カメラデータ２４３）を自動的に校正することができる。すなわち、本実施形態によれば、自車両５の姿勢変化に対応してカメラ１１Ｃ〜１４Ｃの取付けに関わるデータを適切な値に修正して合成画像ＣＰの生成等を行うことができる。本実施形態によれば、例えば、違和感のある合成画像ＣＰが表示される可能性を低減することができる。また、車載装置２Ｃが撮影画像を用いた距離算出の機能を有する場合には、距離算出の精度を向上することができる。
【０１０６】
図８は、第４実施形態に係るキャリブレーション装置２０Ｃによるカメラデータ２４３の校正フローを示すフローチャートである。例えば、キャリブレーション装置２０Ｃは、自車両５のイグニッションがオン（電気自動車の場合には電源がオン）された場合に、動作を開始する。
【０１０７】
制御モード情報取得部２３７は、まず、自車両５の速度が所定速度範囲内であるか否かを確認する（ステップＳ１１）。本実施形態では、カメラシステム１００Ｃを用いた撮影画像の車載モニタによる表示は、自車両５が低速走行を行っているときか、停車中にのみ可能になっている。所定速度範囲は、カメラシステム１００Ｃを用いた撮影画像の表示を行うことができる速度範囲と同じに設定される。これにより、カメラデータ２４３の補正を適切なタイミングで行うことができる。
【０１０８】
制御モード情報取得部２３７は、自車両５の速度が所定速度範囲内でない場合（ステップＳ１１でＮｏ）、ステップＳ１１の確認を繰り返し行う。制御モード情報取得部２３７は、自車両５の速度が所定速度範囲内である場合（ステップＳ１１でＹｅｓ）、制御モードの変更があったか否かの確認を行う（ステップＳ１２）。
【０１０９】
制御モードの変更がない場合（ステップＳ１２でＮｏ）、ステップＳ１１に戻る。制御モードの変更があった場合（ステップＳ１２でＹｅｓ）、補正可否判断部２３３Ｃは、カメラデータ２４３の補正を行って良いか否かを判断する（ステップＳ１３）。補正可否判断部２３３Ｃは、例えば、補正対象となるカメラ１１Ｃ〜１４Ｃで撮影された撮影画像を利用した画像表示（合成画像等）が車載モニタで表示されている場合に、補正を不可と判断し、その他の場合には補正を可能と判断する。
【０１１０】
補正を行うことが認められない場合（ステップＳ１３でＮｏ）、ステップＳ１１に戻る。補正を行って良い場合（ステップＳ１３でＹｅｓ）、補正量決定部２３８は、カメラデータ２４３に対する補正量を算出する（ステップＳ１４）。本実施形態では、各カメラ１１Ｃ〜１４Ｃに対して補正量が決定される。補正量決定部２３８は、現在の制御モードに基づき、例えば、カメラデータ２４３のデフォルト値（工場出荷時等の値）に対する補正量を決定する。
【０１１１】
補正量が決定されると、データ校正部２３９は、補正量決定部２３８で決定された補正量により、カメラデータ２４３のデフォルト値を補正する（ステップＳ１５）。本実施形態では、各カメラ１１Ｃ〜１４Ｃのカメラデータ２４３に対して補正が行われる。例えば、補正後のカメラデータ２４３の値により、画像合成部２２Ｃによる合成画像ＣＰの生成が行われる。
【０１１２】
＜５．留意点＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。
【０１１３】
以上においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよい。また、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、１つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。
【符号の説明】
【０１１４】
４・・・センサ部
５・・・車両（移動体）
６・・・姿勢制御装置
１１、１１Ａ、１１Ｂ、１１Ｃ・・・フロントカメラ
１２、１２Ａ、１２Ｂ、１２Ｃ・・・左サイドカメラ
１３、１３Ａ、１３Ｂ、１３Ｃ・・・右サイドカメラ
１４、１４Ａ、１４Ｂ、１４Ｃ・・・バックカメラ
２０、２０Ａ、２０Ｂ、２０Ｃ・・・キャリブレーション装置
３０、３０Ａ、３０Ｂ・・・別装置
４１・・・第１車高センサ
４２・・・第２車高センサ
４３・・・第３車高センサ
４４・・・第４車高センサ
２３１、２３１Ａ、２３１Ｂ・・・自動校正情報取得部
２３２、２３２Ａ、２３２Ｂ・・・姿勢変化推定部
２３３、２３３Ａ、２３３Ｂ・・・補正可否判断部
２３４、２３４Ａ、２３４Ｂ・・・補正量算出部
２３７・・・制御モード情報取得部
２３８・・・補正量決定部
２４１、２４１Ａ、２４１Ｂ・・・第１データ
２４２、２４２Ｂ、３２１、３２１Ｂ・・・第２データ
２４３・・・カメラデータ
【図１】
2020162040.tif 000003
【図２】
2020162040.tif 000004
【図３】
2020162040.tif 000005
【図４】
2020162040.tif 000006
【図５】
2020162040.tif 000007
【図６】
2020162040.tif 000008
【図７】
2020162040.tif 000009
【図８】
2020162040.tif 000010