(57)【要約】【課題】適切なタイミングでキャリブレーションを行うことができる技術を提供する。【解決手段】情報処理装置である画像処理部２３の備える実行部４４は、車両に搭載されて当該車両の周囲を撮影するカメラ１１のキャリブレーションを、カメラ１１の撮影画像６１に基づいて実行するように構成される。画像処理部２３の備える判断部４５は、所定の条件を満たしているか否かを判断するように構成される。実行部４４は、判断部４５が所定の条件を満たしていると判断しているときに、キャリブレーションを実行可能に構成されている。【選択図】図２
2020127164.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載して用いられる情報処理装置（２３）であって、
前記車両に搭載されて当該車両の周囲を撮影するカメラ（１１ａ、１１ｂ、１１ｃ、１１ｄ）のキャリブレーションを、前記カメラの撮影画像（６１）に基づいて実行するように構成された実行部（４４）と、
所定の条件を満たしているか否かを判断するように構成された判断部（４５）と、を備え、
前記実行部は、前記判断部が前記所定の条件を満たしていると判断しているときに、前記キャリブレーションを実行可能に構成されている、情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記所定の条件とは、前記カメラにより取得された撮影画像、及び、前記車両に搭載されたセンサの出力、のうちの少なくとも一方に基づいて判断される条件である、情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記判断部は、前記車両の周囲の環境が暗いこと、前記車両の走行中の道路が凸凹路であること、及び、前記カメラに汚れがあること、のうちの少なくとも１つの要件が満たされたときには、前記所定の条件を満たしていないと判断する、情報処理装置。
【請求項４】
請求項２又は請求項３に記載の情報処理装置であって、
前記判断部は、少なくとも、前記カメラにより取得された前記撮像画像に前記キャリブレーションの基準として用いることができるターゲット（６２、６３）が含まれることを、前記所定の条件を満たすと判断するための要件とする、情報処理装置。
【請求項５】
請求項２から請求項４のいずれか１項に記載の情報処理装置であって、
前記判断部は、少なくとも前記センサの出力に基づいて取得される前記車両の状態が所定の状態であることを、前記所定の条件を満たすと判断するための要件とする、情報処理装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の情報処理装置であって、
前記判断部は、少なくとも当該情報処理装置の処理負荷が小さいことを、前記所定の条件を満たすと判断するための要件とする、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両に搭載して用いられる情報処理装置に関する。
【背景技術】
【０００２】
車両に搭載される複数のカメラにより取得された複数の撮像画像を合成する場合には、カメラ姿勢の補正（以下、キャリブレーションとも記載する）を行うことで、合成画像の品質を向上させることができる。特許文献１には、キャリブレーションのための特定のマーカを用いずに、走行中にキャリブレーションを行う技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１０１０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、発明者の詳細な検討の結果、特定のマーカを用いない特許文献１のキャリブレーション手法では、車両の置かれる状況によってはキャリブレーションの精度が低くなってしまう場合があるという課題が見出された。また、発明者の詳細な検討の結果、キャリブレーションの実行に伴う処理負荷の増加によって他の制御に影響を及ぼしてしまう場合があるという課題が見出された。
【０００５】
本開示の１つの局面は、適切なタイミングでキャリブレーションを行うことができる技術を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様は、車両に搭載して用いられる情報処理装置であって、実行部と、判断部と、を備える。実行部は、車両に搭載されて当該車両の周囲を撮影するカメラのキャリブレーションを、カメラの撮影画像に基づいて実行するように構成される。判断部は、所定の条件を満たしているか否かを判断するように構成される。実行部は、判断部が所定の条件を満たしていると判断しているときに、キャリブレーションを実行可能に構成されている。
【０００７】
このような構成によれば、キャリブレーションの実行を、一定の状況に限定することができる。そのため、例えば、キャリブレーションの精度が低い蓋然性の高い状況でキャリブレーションを行わないことで、キャリブレーションの精度の低下を抑制できる。また例えば、キャリブレーションによる処理負荷の増加によって他の制御に影響が出てしまう蓋然性の高い状況にてキャリブレーションを行わないことで、他の制御に悪い影響を与えてしまうことを抑制できる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態の情報処理装置に相当する画像処理部の構成を示すブロック図である。
【図２】画像処理部の機能ブロック図である。
【図３】キャリブレーションの概要を説明する図である。
【図４】第１実施形態の実行判断処理のフローチャートである。
【図５】画像処理に基づく複数の制御と走行速度との関係を説明する図である。
【図６】第２実施形態の実行判断処理のフローチャートである。
【図７】第３実施形態の実行判断処理のフローチャートである。
【図８】メモリ使用量と処理速度低下の関係を説明する図である。
【図９】その他の実施形態の実行判断処理のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、本開示の実施形態を説明する。
［１．第１実施形態］
［１−１．構成］
図１に示す表示システム１は、車両に搭載して用いられるシステムであって、フロントカメラ（以下、Ｆカメラ）１１ａ，リアカメラ（以下、Ｒカメラ）１１ｂ，レフトサイドカメラ（以下、ＬＳカメラ）１１ｃ，ライトサイドカメラ（以下、ＲＳカメラ）１１ｄの４つのカメラと、ディスプレイ１３と、ＥＣＵ１５と、を備える。以下、上述した各カメラ全てを指す場合には、単にカメラ１１と記載する場合がある。
【００１０】
カメラ１１は、車両に搭載された撮像装置であって、例えば公知のＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。カメラ１１は所定の時間間隔（一例として１／１５ｓ）で車両の周囲を撮影し、撮影した撮影画像をＥＣＵ１５に出力する。Ｆカメラ１１ａ，Ｒカメラ１１ｂ，ＬＳカメラ１１ｃ，ＲＳカメラ１１ｄは、それぞれ、車両の前方、後方、左方、右方を撮影するように配置されている。
【００１１】
ディスプレイ１３は、画像を表示する液晶ディスプレイなどの表示装置であって、ＥＣＵ１５から入力される信号に従って、ＥＣＵ１５にて生成された合成画像を表示する。
ＥＣＵ１５は、映像信号入力部２１と、通信インターフェース（Ｉ／Ｆ）２２と、画像処理部２３と、映像信号出力部２４と、電源部２５と、を備える。
【００１２】
映像信号入力部２１は、カメラ１１により撮影された撮影画像を示す映像信号をカメラ１１から入力して、画像処理部２３に出力する。
通信Ｉ／Ｆ２２は、車両に搭載された図示しない１つ以上の制御装置やセンサ等から車載通信バス１７に出力された信号を取得して画像処理部２３に出力する。例えば、車両の走行速度（以下、車速）、タイヤの舵角、シフトレンジなどの車両に関する情報を取得する。
【００１３】
画像処理部２３は、ＣＰＵ３１と、ＲＡＭ３２ａ、ＲＯＭ３２ｂ、フラッシュメモリ３２ｃ等の半導体メモリ（以下、メモリ３２）と、を有するマイクロコンピュータを備える。画像処理部２３の各種機能は、ＣＰＵ３１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ３２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理部２３は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。この画像処理部２３が、情報処理装置に相当する。
【００１４】
画像処理部２３は、ＣＰＵ３１がプログラムを実行することで実現される機能の構成として、図２に示すように、画像生成部４１と、画像認識部４２と、描画部４３と、実行部４４と、判断部４５と、を備える。
【００１５】
画像生成部４１は、４つのカメラ１１のうちの２つ以上のカメラにより撮影された撮影画像に基づいて、１つ以上の合成画像を生成する。合成画像とは、複数の撮影画像を組み合わせた画像であり、少なくとも１つの撮影画像の視点が変更されていてもよい。例えば、カメラ１１により実際に撮影された撮影画像とは異なる視点の画像や、１つのカメラの撮影画像よりも広い範囲を含む画像であってもよい。
【００１６】
合成画像を生成するためには、撮影画像それぞれの視点を特定する必要がある。視点を特定するためには、カメラ１１それぞれの設置される位置や角度などを含むカメラの姿勢のパラメータが用いられる。メモリ３２が構成する記憶領域には、カメラ１１それぞれの上述したパラメータが記憶されており、画像生成部４１によって必要なときに読み出され、使用される。
【００１７】
画像認識部４２は、画像生成部４１により生成された合成画像から、所定の対象物を認識する。ここでいう所定の対象物とは、例えば、白線などの区画線、人，自動車，自転車などの移動体、信号や標識などの固定されたものなどが含まれうる。画像から対象物を認識する方法は特に限定されず、公知の様々な方法を用いることができる。例えば、パターンマッチングや、学習モデルを用いた計算処理によって対象物を認識してもよい。検出された対象物は、様々な制御に利用されてもよい。
【００１８】
描画部４３は、合成画像の輝度や色を補正し、ディスプレイ１３に出力したときに車両の搭乗者が見易い画像を生成する。
実行部４４は、車両の走行中に、カメラ１１のキャリブレーションを、カメラ１１の撮影画像に基づいて実行する。
【００１９】
キャリブレーションとは、上述したカメラ１１の位置や角度などのカメラ姿勢のパラメータを補正することである。具体的には、カメラ１１の車両に対する設置位置を推定して、メモリ３２の記憶領域に記憶されるパラメータと置き換えるか、或いは、従来のパラメータと新たに推定されたパラメータとを用いて新たにパラメータを再計算する。本実施形態では、キャリブレーション専用のマーカを用いることなくキャリブレーションを実行する。キャリブレーション方法の概要を、図３を用いて簡単に説明する。
【００２０】
撮影画像６１には、あるタイミングｔ１にて車両７１に固定されたカメラ７２により撮影された道路上のターゲット７３を示す画像として、第１ターゲット画像６２が示される。車両が走行して車両の位置が変化すると、ターゲット７３の撮影画像上の位置は変化する。タイミングｔ１より後のタイミングｔ２にて撮影されたターゲット７３を撮影画像６１に模式的に重畳した画像を、第２ターゲット画像６３とする。これら第１ターゲット画像６２及び第２ターゲット画像６３の画像上の位置の変化等と、タイミングｔ１からタイミングｔ２までの期間の車両７１の移動量と、に基づいて、カメラ姿勢のパラメータを推定することができる。
なお、具体的なキャリブレーションの方法は特に限定されず、例えば、特開２０１４−１０１０７５に開示される手法を用いてもよい。
【００２１】
判断部４５は、所定の条件を満たしているか否かを判断する。所定の条件とは、キャリブレーションを実行することに適した条件である。実行部４４は、判断部４５が所定の条件を満たしていると判断しているときに、キャリブレーションを実行可能に構成されている。
【００２２】
本実施形態において、所定の条件とは、（ｉ）悪環境でないこと、かつ、（ｉｉ）白線を認識していること、が該当する。
悪環境とは、撮影画像の品質が低いことにより、キャリブレーションを実行するとその精度が低くなる蓋然性が高いと考えられる環境である。例えば、車両の周囲の環境が暗いこと、車両の走行中の道路が凸凹路であること、及び、カメラ１に汚れがあること、などが例示される。凸凹路の例としては、路面に多数の凹凸が存在する道路や、小石などの小さな障害物が多数存在する道路などが該当する。
【００２３】
悪環境を検出する具体的な手法は特に限定されない。車両の周囲の環境が暗いことは、例えば、カメラ１１の撮影画像に基づいて判定したり、車両に搭載される図示しない照度センサの出力に基づいて判定したりすることができる。また、車両の走行中の道路が凸凹路であることは、例えば、撮影画像を画像処理することで石や凹みの存在を検出して判定したり、車両に搭載される図示しない振動センサや加速度センサの出力に基づいて判定したりすることができる。また、カメラ１１に汚れがあることは、例えば、カメラ１１により取得される撮影画像の経時変化から判断することができる。
【００２４】
白線は、画像認識部４２により認識することができる。白線はキャリブレーションを実行するためのターゲットとして好適であるため、白線の検出を良好なキャリブレーションを実行するための要件としてもよい。
【００２５】
説明を図１に戻る。映像信号出力部２４は、画像処理部２３により生成された合成画像を、ディスプレイ１３に出力する。電源部２５は、画像処理部２３のほか、ＥＣＵ１５を構成する各要素に電力を供給する。
【００２６】
［１−２．処理］
次に、画像処理部２３のＣＰＵ３１が実行する実行判断処理について、図４のフローチャートを用いて説明する。
【００２７】
まず、Ｓ１では、ＣＰＵ３１は、車両が走行中であるか否かを判定する。ＣＰＵ３１は、例えば、図示しない車速センサから取得される車速情報に基づき、所定速度（例えば、５ｋｍ／ｈ）以上のときに、車両が走行中であると判定する。
【００２８】
ＣＰＵ３１は、Ｓ１で車両が走行中であると判定した場合には、Ｓ２へ移行し、カメラ１１から車両の周囲の撮像画像を取得する。一方、ＣＰＵ３１は、Ｓ１で車両が走行中でないと判定した場合には、図４の処理を終了する。
【００２９】
続くＳ３及びＳ４において、ＣＰＵ３１は、キャリブレーションの実行を許可するための所定の条件が満たされているか否かを判断する。
具体的には、Ｓ３では、ＣＰＵ３１は、車両の環境が悪環境であるか否かを判定する。ここでは、車両の周囲の環境が暗いこと、車両の走行中の道路が凸凹路であること、及び、カメラに汚れがあること、のいずれか１つの要件でも満たされていれば、悪環境であると判定される。ＣＰＵ３１は、Ｓ３で悪環境であると判定した場合には、Ｓ１に戻る。一方、ＣＰＵ３１は、Ｓ３で悪環境でないと判定した場合には、Ｓ４へ移行する。
【００３０】
続くＳ４では、ＣＰＵ３１は、白線を検知しているか否かを判定する。白線の検知自体は、画像認識部４２の機能として実現される。ＣＰＵ３１は、Ｓ４で白線を検知していると判定した場合には、Ｓ５へ移行する。一方、ＣＰＵ３１は、Ｓ４で白線を検知していないと判定した場合には、Ｓ１へ戻る。
【００３１】
このように、ＣＰＵ３１は、上述した判断部４５として機能し、所定の条件を満たさない場合には、Ｓ１に戻り、所定の条件を満たす場合には、Ｓ５へ移行する。
次に、Ｓ５では、ＣＰＵ３１は、キャリブレーションを実行する。ここでは、ＣＰＵ３１は上述した実行部４４として機能し、上述したキャリブレーションを実行する。
【００３２】
次に、Ｓ６では、ＣＰＵ３１は、メモリ３２に記憶されるカメラパラメータを、Ｓ５のキャリブレーションにより推定されたパラメータに更新する。このＳ６後、処理がＳ１に戻る。
【００３３】
［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果を奏する。
（１ａ）表示システム１の画像処理部２３は、キャリブレーションを好適に実行できる蓋然性の高い場合において、キャリブレーションを実行することができる。そのため、キャリブレーションの精度が低い蓋然性の高い状況でキャリブレーションを行わないことで、キャリブレーションの精度が低下してしまうことを抑制できる。
【００３４】
（１ｂ）画像処理部２３は、キャリブレーションを行う所定の条件を満たしたか否かを、カメラ１１の撮影画像、及び、車両に搭載されたセンサの出力の少なくともいずれか一方に基づいて実行することができる。
【００３５】
（１ｃ）判断部４５は、車両の周囲の環境が暗いこと、車両の走行中の道路が凸凹路であること、及び、カメラ１１に汚れがあること、のうちの少なくとも１つの要件が満たされたときには、キャリブレーションを実行するための条件を満たしていないと判断する。上記の要件が満たされる場合にはキャリブレーションの精度が低くなり易いが、上記の要件を満たしていないときにはキャリブレーションを許可しないので、低い精度のキャリブレーションを実行してしまうことを抑制できる。
【００３６】
（１ｄ）判断部４５は、少なくとも、カメラ１１により取得された撮影画像に白線が含まれることを、所定の条件を満たすと判断するための要件とする。よって、白線をキャリブレーションのターゲットとすることができ、キャリブレーションの精度を高めることができる。
【００３７】
［１−４．第１実施形態の変形例］
第１実施形態では、白線をキャリブレーションのターゲットとして用いる構成を例示したが、ターゲットは白線以外の物であってもよい。例えば、白線以外の区画線や、道路標示物、縁石など、道路上の様々な物をターゲットとして用いることができる。ターゲットに白線以外の物を用いる場合は、図４のＳ４の処理では、白線に代えて、当該対象物が検出されているか否かを判断してもよい。
【００３８】
［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
【００３９】
前述した第１実施形態では、キャリブレーションを行うか否かを判断するための要件として、悪環境であること、及び、白線を認識していることを例示した。これに対し、第２実施形態では、車両の走行速度を所定の条件を満たすか否かの判断の要件とする点で第１実施形態と相違する。また第２実施形態では、図５に示されるように、車速に応じて、撮影画像を画像処理した結果を用いる様々な制御を実行する。本実施形態では、３０ｋｍ／ｈ未満の低速域にて複数の制御を実行するが、３０ｋｍ／ｈ〜５０ｋｍ／ｈの中速域ではそれらの制御を実行せず、５０ｋｍ／ｈ以上の高速域では車線検知を実行する。
【００４０】
［２−２．処理］
第２実施形態の２３のＣＰＵが、第１実施形態の実行判断処理（図４）に代えて実行する実行判断処理について、図６のフローチャートを用いて説明する。なお、図６におけるＳ１１，Ｓ１２，Ｓ１４，及びＳ１５の処理は、図におけるＳ１，Ｓ２，Ｓ５，及びＳ６の処理と同様であるため、説明を一部簡略化している。
【００４１】
図６の実行判断処理では、ＣＰＵ３１は、Ｓ１２にて撮影画像６１を取得した後、Ｓ１３へ移行する。
Ｓ１３では、ＣＰＵ３１は、車速が中速域以上であるか否かを判定する。車速は、例えば、図示しない車速センサの出力信号に基づいて検出することができる。画像処理部２３は、低速域では複数の制御を実行しているため、画像処理部２３の処理負荷が高い。ここでさらにキャリブレーションを実行すると、他の制御に遅延が生じる可能性が高くなってしまう。よってＣＰＵ３１は、低速域で走行中はキャリブレーションの実行を許可しない。一方、３１は、中速域及び高速域で走行中は、処理負荷が小さいため、キャリブレーションの実行を許可する。
【００４２】
ＣＰＵ３１は、Ｓ１３で車速が中速域以上でないと判定した場合には、Ｓ１１に戻る。一方、ＣＰＵ３１は、Ｓ１３で車速が中速域以上であると判定した場合には、Ｓ１４へ移行し、キャリブレーションを実行する。
【００４３】
［２−３．効果］
以上詳述した第２実施形態によれば、以下の効果を奏する。
（２ａ）表示システム１の画像処理部２３は、キャリブレーションによる処理負荷が他の制御に影響を及ぼす蓋然性の低い場合にキャリブレーションを実行することができる。そのため、キャリブレーションの実行が他の制御に悪影響を与えてしまうことを抑制できる。
【００４４】
［２−４．第２実施形態の変形例］
第２実施形態では、車速が中速域以上である場合に限りキャリブレーションの実行を許可する構成を例示した。しかしながら、キャリブレーションの実行を許可する速度域は、上記の例に限定されない。例えば、一定の速度範囲においてのみキャリブレーションの実行を許可する構成としてもよい。一例として、低速域、中速域、及び高速域のいずれか１つの場合にのみキャリブレーションの実行を許可してもよい。また、キャリブレーションの実行の可否を判断するための速度の閾値は、第２実施形態にて開示した速度の例に限定されず、様々な値としてもよい。
【００４５】
［３．第３実施形態］
［３−１．第１実施形態との相違点］
第３実施形態は、基本的な構成は第１実施形態及び第２実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
【００４６】
第３実施形態では、画像処理部２３の処理負荷が小さいこと、具体的には画像処理部２３のメモリ使用量を、所定の条件を満たすか否かの判断の要件とする点で、第１実施形態と相違する。第３実施形態において「メモリ使用量」とは、ＲＡＭ３２ａの使用量のことを指す。画像処理部２３は、メモリ使用量を計測するソフトウェアを備えている。また第３実施形態では、第２実施形態と同様に、撮影画像を画像処理した結果を用いる様々な制御を実行する。
【００４７】
［３−２．処理］
第３実施形態の２３のＣＰＵが、第１実施形態の実行判断処理（図４）に代えて実行する実行判断処理について、図７のフローチャートを用いて説明する。なお、図７におけるＳ２１，Ｓ２２，Ｓ２４，及びＳ２５の処理は、図におけるＳ１，Ｓ２，Ｓ５，及びＳ６の処理と同様であるため、説明を一部簡略化している。
【００４８】
図７の実行判断処理では、ＣＰＵ３１は、Ｓ２２にて撮影画像６１を取得した後、Ｓ２
３へ移行する。
Ｓ２３では、ＣＰＵ３１は、キャリブレーション実施前のメモリ使用量が基準値以上であるか否かを判定する。ここでの基準値とは、例えば図８に示されるように、処理速度の低下が生じていると推定される、キャリブレーション実施前のメモリ使用量の値である。図８のパターンＡは、処理速度に影響がない範囲のメモリ使用量の例である。よって、この場合には、キャリブレーションの実行が許可される。一方、図８のパターンＢは、処理速度の低下が推定されるメモリ使用量の例である。この場合には、キャリブレーションの実行が許可されない。
【００４９】
ＣＰＵ３１は、Ｓ２３でメモリ使用量が基準値以上であると判定した場合には、Ｓ２１に戻る。一方、ＣＰＵ３１は、Ｓ２３でメモリ使用量が基準値以上でないと判定した場合には、Ｓ２４へ移行し、キャリブレーションを実行する。
【００５０】
［３−３．効果］
以上詳述した第３実施形態によれば、以下の効果を奏する。
（３ａ）表示システム１の画像処理部２３は、メモリ使用量が基準値以上でない場合にキャリブレーションを実行することができる。そのため、キャリブレーションの実行が他の制御に悪影響を与えてしまうことを抑制できる。
【００５１】
［３−４．第３実施形態の変形例］
第３実施形態では、基準値とは、画像処理部２３の処理速度の低下が生じていると推定されるメモリ使用量である構成を例示した。しかしながら、基準値は、上記の構成に限定されない。例えば、キャリブレーションを実行することによりメモリ使用量が増加することを考慮して、基準値は、上記増加量を当該基準値に加算すると、処理速度の低下が顕著となるメモリ使用量の閾値を超えることとなるメモリ使用量の値としてもよい。
【００５２】
また、メモリ使用量以外の基準に基づいて、画像処理部２３の処理負荷が小さいことを検出してもよい。例えば、処理負荷が大きい特定の制御が実行されていないことや、実行されている制御が所定数以下であるときなどに、画像処理部２３の処理負荷が小さいと判断してもよい。
【００５３】
［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【００５４】
（４ａ）上記第１実施形態ではキャリブレーションの精度が低下しないタイミングでキャリブレーションを実行できるように所定の条件が設定されており、また上記第２及び第３実施形態ではキャリブレーションによる他の制御への影響を抑制してキャリブレーションを実行できるように所定の条件が設定されていた。しかしながら、上述した両方の効果を得られるように所定の条件が設定されていてもよい。例えば、図９のフローチャートに示される実行判断処理のように、上述したＳ３、Ｓ４、Ｓ１３、及びＳ２３の全ての判断を行うように構成されていてもよい。このような構成であれば、キャリブレーションの精度の低下抑制と、他の制御への影響の抑制と、を同時に実現することができる。
【００５５】
（４ｂ）上述した第２実施形態では、車両の走行速度に基づいて、キャリブレーションの実行を許可するための所定の条件を満たすと判断する構成を例示したが、車速以外の車両の走行状態に基づいて、所定の条件を満たすか否かを判断してもよい。例えば、前照灯などのライトが点灯していない状態、車両の外部における少なくとも一定の範囲に移動体を検出していない状態、などが検出されることを、所定の条件を満たすための要件としてもよい。車両の走行速度が所定の範囲であること、ライトを点灯せずに走行すること、及
び、所定範囲に移動体が存在しないことが、車両の状態が所定の状態であることの例に相当する。
【００５６】
（４ｃ）本開示に記載の画像処理部２３及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の画像処理部２３及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の画像処理部２３及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。画像処理部２３に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
【００５７】
（４ｄ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
【００５８】
（４ｅ）上述した画像処理部２３の他、当該画像処理部２３を構成要素とするシステム、当該画像処理部２３としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、キャリブレーション実行方法など、種々の形態で本開示を実現することもできる。
【符号の説明】
【００５９】
１…表示システム、１１，１１ａ，１１ｂ，１１ｃ，１１ｄ…カメラ、２３…画像処理部、４４…実行部、４５…判断部、６１…撮影画像
【図１】
2020127164.tif 000003
【図２】
2020127164.tif 000004
【図３】
2020127164.tif 000005
【図４】
2020127164.tif 000006
【図５】
2020127164.tif 000007
【図６】
2020127164.tif 000008
【図７】
2020127164.tif 000009
【図８】
2020127164.tif 000010
【図９】
2020127164.tif 000011