(57)【要約】【課題】カメラの組み付け精度による認識性能の誤差を吸収することができる画像認識補正方法および車載システムを提供する。【解決手段】車両に搭載されたドライブレコーダ１０において、車両に取り付けられドライブレコーダ１０に接続された車載カメラ３１，３２から出力される画像を用いた画像認識を行う際に、前記画像の四隅のそれぞれにおいて、ケラレの有無を検出し、四隅のうち、検出した少なくとも二か所のケラレの位置および大きさから、カメラ内の撮像素子の中心とレンズの中心とのずれ量を求め、求めたずれ量を用いて、画像認識の結果について座標補正を行う。【選択図】図１
2020022046.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された車載器において、前記車両に取り付けられ前記車載器に接続されたカメラから出力される画像を用いた画像認識を行う際に、
前記画像の四隅のそれぞれにおいて、ケラレの有無を検出し、
前記四隅のうち、検出した少なくとも二か所の前記ケラレの位置および大きさから、前記カメラ内の撮像素子の中心とレンズの中心とのずれ量を求め、
求めた前記ずれ量を用いて、前記画像認識の結果について座標補正を行う、
ことを特徴とする画像認識補正方法。
【請求項２】
前記少なくとも二か所のケラレの面積をそれぞれ算出し、
前記ずれ量と前記ケラレの位置および面積との対応を示すテーブルを参照して、前記ずれ量を求める、
ことを特徴とする請求項１に記載の画像認識補正方法。
【請求項３】
前記少なくとも二か所のケラレの面積をそれぞれ算出し、
前記ずれ量と前記ケラレの面積との関係を示す数式を用いて前記ずれ量を求める、
ことを特徴とする請求項１に記載の画像認識補正方法。
【請求項４】
車両に搭載された車載器において、前記車両に取り付けられ前記車載器に接続されたカメラから出力される画像を用いた画像認識を行う車載システムであって、
前記画像の四隅のそれぞれにおいて、ケラレの有無を検出する検出部と、
前記四隅のうち、検出した少なくとも二か所の前記ケラレの位置および大きさから、前記カメラ内の撮像素子の中心とレンズの中心とのずれ量を求める算出部と、
求めた前記ずれ量を用いて、前記画像認識の結果について座標補正を行う補正部と、
を備えることを特徴とする車載システム。
【請求項５】
前記算出部は、
前記少なくとも二か所のケラレの面積をそれぞれ算出し、
前記ずれ量と前記ケラレの位置および面積との対応を示すテーブルを参照して、前記ずれ量を求める、
ことを特徴とする請求項４に記載の車載システム。
【請求項６】
前記算出部は、
前記少なくとも二か所のケラレの面積をそれぞれ算出し、
前記ずれ量と前記ケラレの面積との関係を示す数式を用いて前記ずれ量を求める、
ことを特徴とする請求項４に記載の車載システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され、車両に取り付けられたカメラが接続された車載器において、カメラが出力した画像に対する画像認識を行う技術に関する。
【背景技術】
【０００２】
車両に取り付けられたカメラで車両の前方や後方を撮影し、撮影した画像を自動的に記録する車載器として、ドライブレコーダやデジタルタコグラフ（運行記録計）などが知られている。また、この種の車載器において、記録した画像に対して画像処理を行うものもある（例えば、特許文献１および特許文献２参照。）。特許文献１に記載された車載用画像処理装置は、車両前方の映像と車両周辺の映像とを１フレームの画面内に同時に撮像するカメラを備え、車両の速度に応じて、車両前方の映像領域および／又は車両周辺の映像領域に画像処理を行う。また、特許文献２に記載された車両用周辺監視装置は、車両周辺の情景を撮影した広域撮影データを、車両内の表示装置に表示させるための広域表示データに変換する処理と、広域撮影データの中の一部領域を拡大して表示させるための拡大表示データに変換する処理と、を実施可能であり、拡大して表示される一部領域の面積を変化させながら広域表示データと拡大表示データとを切り替えて表示する。
【０００３】
ところで、車両に取り付けられたカメラで撮影した画像を使用した画像認識によって、移動体検出や白線検出等を行い、運転を支援する技術が提案されている。一般的に、カメラから移動体や白線といった認識対象までの距離を計測する場合、画面（画像）上の座標を距離に換算する。この距離の算出に際しては、カメラの「画素数・画角・レンズの歪係数」といった内部パラメータ、および、カメラの「取付位置・取付姿勢」といった外部パラメータを考える必要がある。内部パラメータは、カメラ種類ごとに固有の固定値を持っており、カメラレンズが正規の位置に組み付けられていることを前提として定められる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１０３８９４号公報
【特許文献２】特開２００８−３０１０９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、実際には組み付け時の精度により、レンズ中心の、実際の位置と設計上の位置（画面中心）との間に若干の位置ずれ（光軸ずれ）が発生する。光軸ずれが大きいカメラをそのまま車両に取り付けて画像認識機能を使用した場合、認識性能に影響し、精度不足や不具合の原因になる場合がある。特に180度カメラ等の広角カメラの場合、撮影画素１ドットが何度に相当するかが画像の中心と端とで大きく異なる。このため、撮像素子中心（画面中心）と実際のレンズ中心とが位置ずれしてしまうと、カメラから認識対象までの距離の算出誤差が大きくなり、精度不足や不具合の原因になりやすい。
【０００６】
本発明は、上述した事情に鑑みてなされたものであり、その目的は、カメラの組み付け精度による認識性能の誤差を吸収することができる画像認識補正方法および車載システムを提供することにある。
【課題を解決するための手段】
【０００７】
前述した目的を達成するために、本発明に係る画像認識補正方法および車載システムは、下記（１）〜（６）を特徴としている。
（１）  車両に搭載された車載器において、前記車両に取り付けられ前記車載器に接続されたカメラから出力される画像を用いた画像認識を行う際に、
前記画像の四隅のそれぞれにおいて、ケラレの有無を検出し、
前記四隅のうち、検出した少なくとも二か所の前記ケラレの位置および大きさから、前記カメラ内の撮像素子の中心とレンズの中心とのずれ量を求め、
求めた前記ずれ量を用いて、前記画像認識の結果について座標補正を行う、
ことを特徴とする画像認識補正方法。
【０００８】
（２）  前記少なくとも二か所のケラレの面積をそれぞれ算出し、
前記ずれ量と前記ケラレの位置および面積との対応を示すテーブルを参照して、前記ずれ量を求める、
ことを特徴とする上記（１）の構成の画像認識補正方法。
【０００９】
（３）  前記少なくとも二か所のケラレの面積をそれぞれ算出し、
前記ずれ量と前記ケラレの面積との関係を示す数式を用いて前記ずれ量を求める、
ことを特徴とする上記（１）の構成の画像認識補正方法。
【００１０】
（４）  車両に搭載された車載器において、前記車両に取り付けられ前記車載器に接続されたカメラから出力される画像を用いた画像認識を行う車載システムであって、
前記画像の四隅のそれぞれにおいて、ケラレの有無を検出する検出部と、
前記四隅のうち、検出した少なくとも二か所の前記ケラレの位置および大きさから、前記カメラ内の撮像素子の中心とレンズの中心とのずれ量を求める算出部と、
求めた前記ずれ量を用いて、前記画像認識の結果について座標補正を行う補正部と、
を備えることを特徴とする車載システム。
【００１１】
（５）  前記算出部は、
前記少なくとも二か所のケラレの面積をそれぞれ算出し、
前記ずれ量と前記ケラレの位置および面積との対応を示すテーブルを参照して、前記ずれ量を求める、
ことを特徴とする上記（４）の構成の車載システム。
【００１２】
（６）  前記算出部は、
前記少なくとも二か所のケラレの面積をそれぞれ算出し、
前記ずれ量と前記ケラレの面積との関係を示す数式を用いて前記ずれ量を求める、
ことを特徴とする上記（４）の構成の車載システム。
【００１３】
上記（１）の構成の画像認識補正方法によれば、カメラから出力される画像から少なくとも二か所のケラレを検出し、検出したケラレの面積から、撮像素子の中心とレンズの中心とのずれ量を求め、求めたずれ量を用いて補正した座標情報を画像認識で使用することにより、カメラ組み付け精度による認識性能の誤差を吸収できる。
【００１４】
上記（２）の構成の画像認識補正方法によれば、既知のテーブルを予め用意しておくことにより、検出したケラレの面積から、ずれ量を容易に求めることができる。
【００１５】
上記（３）の構成の画像認識補正方法によれば、数式を用いることにより、テーブルを保持することなく、ずれ量を容易に求めることができる。
【００１６】
上記（４）の構成の車載システムによれば、カメラから出力される画像から少なくとも二か所のケラレを検出し、検出したケラレの面積から、撮像素子の中心とレンズの中心とのずれ量を求め、求めたずれ量を用いて補正した座標情報を画像認識で使用することにより、カメラ組み付け精度による認識性能の誤差を吸収できる。尚、車載システムとは、車載器単体が座標補正の実行に必要な機能を実現するすべての構成を備える場合だけでなく、例えば、一部の構成が車両外部の設定用ＰＣに組み込まれている場合も意味する。
【００１７】
上記（５）の構成の車載システムによれば、既知のテーブルを予め用意しておくことにより、検出したケラレの面積から、ずれ量を容易に求めることができる。
【００１８】
上記（６）の構成の車載システムによれば、数式を用いることにより、テーブルを保持することなく、ずれ量を容易に求めることができる。
【発明の効果】
【００１９】
本発明によれば、カメラ組み付け精度による認識性能の誤差を吸収できる。
【００２０】
以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
【図面の簡単な説明】
【００２１】
【図１】図１は、本実施形態におけるドライブレコーダの構成を示す図である。
【図２】図２は、撮像素子とレンズのイメージサークルとの位置関係を示す図である。
【図３】図３は、レンズ光軸中心と撮像素子中心とのずれを説明する図である。
【図４】図４は、レンズ光軸中心と撮像素子中心とのずれ検出および座標補正の流れを示す図である。
【図５】図５は、レンズ光軸中心と撮像素子中心とのずれ量を検出する流れを示す図である。
【図６】図６は、レンズ光軸中心と撮像素子中心とのずれ量の算出方法を説明するための図である。
【図７】図７は、レンズ光軸中心と撮像素子中心とのずれ量を座標上に示す図である。
【発明を実施するための形態】
【００２２】
本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。
【００２３】
図１は、本発明の実施形態におけるドライブレコーダ１０の構成を示す図である。図１に示したドライブレコーダ１０は、車両に搭載されるものであり、マイクロコンピュータ（ＣＰＵ）１１、画像処理部１２、通信モジュール１３、インタフェース（Ｉ／Ｆ）１４、１６、３０、ＧＰＳ受信機１５、時計回路１７、信号処理部１８、加速度センサ１９、メモリ（ＲＯＭ）２０、メモリ（ＲＡＭ）２１、カードインタフェース２２、メモリーカード２３、音声信号処理部２４、スピーカ２５、マイク２６、ドライバ２７、表示部２８、および操作部２９を備えている。また、画像処理部１２の入力には複数の車載カメラ３１、３２が接続され、通信モジュール１３にはアンテナ３３が接続され、ＧＰＳ受信機１５にはアンテナ３４が接続され、インタフェース３０には設定用のＰＣ３５が例えばＵＳＢケーブルを介して接続されている。
【００２４】
マイクロコンピュータ１１は、予め組み込まれているプログラムに従って動作し、ドライブレコーダ１０に必要とされる各種機能を実現するための処理を実行する。
【００２５】
車載カメラ３１および３２は、例えば魚眼レンズを通して撮像される撮像面に例えば３０万画素、１００万画素、２００万画素が配置されたイメージセンサ（撮像素子）を有する。イメージセンサは、ＣＭＯＳ（相補性金属酸化膜半導体）センサやＣＣＤ（電荷結合素子）センサなど公知のセンサで構成されている。車載カメラ３１は、例えば自車両の進行方向前方に映る路面、先行車両、対向車両、風景等を被写体として撮影できるように車両上に固定されて取り付けられる。また、車載カメラ３２は、例えば車室内で自車両を運転する乗務員の様子を撮影できるように車室内に固定するか、あるいは自車両の後方の風景等を撮影できるように車両上に固定されて取り付けられる。車載カメラ３１および３２の種類は、用途に応じて、数種類のカメラから選択される。数種類のカメラのそれぞれに関する、画素数・カメラ画角・レンズの歪係数といった内部パラメータは、設定用のソフトウェアとともにＰＣ３５内の記憶部に格納される。車載カメラ３１および３２のいずれかに、画角が１８０度である１８０度カメラを使用する場合、画角が８０〜１６０度等の他のカメラとは内部パラメータが大きく異なるため、後述する画像処理部１２によって実行される画像認識機能の設定作業において、カメラ種類を切り替える必要がある。１８０度カメラ専用の認識機能を使用する際、ＰＣ３５に格納される設定用のソフトウェアによって１８０度カメラ用の内部パラメータを呼び出してドライブレコーダ１０に設定する。ＰＣ３５の設定画面上では、ＰＣ３５に接続された車載カメラ３１または３２から出力された映像をリアルタイムで確認できる。また、設定用のソフトウェアはＰＣ３５でなされた設定をドライブレコーダ１０に送信できる。すなわち、ドライブレコーダ１０およびＰＣ３５は、車両に搭載されたドライブレコーダ１０において、車両に取り付けられドライブレコーダ１０に接続された車載カメラ３１，３２から出力される画像を用いた画像認識を行う車載システムを構成する。なお、ドライブレコーダ１０に接続する車載カメラの数は１つでもよいし、３以上に増やしてもよい。
【００２６】
画像処理部１２は、車載カメラ３１および３２の各々が出力する映像信号を取り込んでデジタル信号に変換し、画像のデータを例えばフレーム単位で生成する。画像処理部１２が生成した画像のデータはマイクロコンピュータ１１に入力される。
【００２７】
また、画像処理部１２は各画像フレームの内容を解析し画像認識を行う。画像処理部１２は、例えば、画像中の道路の各白線や、自車両の位置を認識することができる。更に、認識した各白線と自車両との位置関係に基づいて自車両の車線逸脱を表す警報を出力することができる。また、画像処理部１２は、道路上の交差点を認識したり、道路の進路上に存在する人物などの移動体を含む障害物を認識することができる。
【００２８】
通信モジュール１３は、アンテナ３３を経由して車両外部のデータセンタ等に配置されたサーバとの間でデータ通信するための無線通信機能を提供する。通信モジュール１３は、インタフェース１４を経由してマイクロコンピュータ１１と接続されている。
【００２９】
ＧＰＳ受信機１５は、ＧＰＳ（Global Positioning System）衛星からの電波をアンテナ３４を介して受信し、複数のＧＰＳ衛星からの受信信号の時刻に基づいて所定の計算を実施することにより、車両の現在位置を表す緯度／経度の情報を取得できる。ＧＰＳ受信機１５は、インタフェース１６を経由してマイクロコンピュータ１１と接続されている。
【００３０】
時計回路１７は、周期が一定のクロックパルス信号を常時計数しており、現在の日付および時刻に関する情報を必要に応じて出力することができる。また、経過時間などを計数するためのタイマー機能も時計回路１７に備わっている。マイクロコンピュータ１１は、時計回路１７を制御することにより、現在の日付および時刻の情報を取得したり、経過時間などの情報を取得できる。
【００３１】
信号処理部１８は、車両側から出力される車速パルス信号ＳＧ１、ブレーキ信号ＳＧ２、ウインカー信号ＳＧ３、およびバック信号ＳＧ４のそれぞれを、マイクロコンピュータ１１の処理に適した信号に変換する。
【００３２】
車速パルス信号ＳＧ１に現れる各パルスは、例えばトランスミッションの出力軸が所定量回動したことを表す。したがって、マイクロコンピュータ１１は車速パルス信号ＳＧ１のパルス数やパルス周期に基づいて、自車両の走行距離や走行速度を算出できる。
【００３３】
ブレーキ信号ＳＧ２は、ストップランプのオンオフを表す二値信号である。ウインカー信号ＳＧ３は、左右それぞれの方向指示器（ウインカー）の動作のオンオフを表す二値信号である。バック信号ＳＧ４は、自車両のトランスミッションの接続状態が後退する状態であるか否かを表す二値信号である。
【００３４】
加速度センサ１９は、交通事故などの異常な状況において自車両に加わる前後方向や左右方向の非常に大きな加速度を検出するために利用される。
【００３５】
メモリ（ＲＯＭ）２０は、マイクロコンピュータ１１によって実行される動作プログラム等を格納する。メモリ（ＲＡＭ）２１は、マイクロコンピュータ１１のアクセスにより、データの書き込みおよび読み出しを自在に行うことができる。メモリ（ＲＡＭ）２１上の記憶領域は、様々なデータを一時的に格納するために利用される。
【００３６】
メモリーカード２３は、比較的記憶容量の大きい不揮発性メモリを内蔵している。このメモリーカード２３は、カードインタフェース２２のスロットに装着することにより、マイクロコンピュータ１１と接続することができる。マイクロコンピュータ１１は、画像処理部１２から入力される画像のデータ（録画映像）や、信号処理部１８から入力される車両の運行に関する運行記録のデータや、音声信号処理部２４から入力される音声等のデータを、メモリーカード２３上に順次に書き込み、記録することができる。
【００３７】
本実施形態では、マイクロコンピュータ１１が画像のデータをメモリーカード２３に書き込む際のフレームレート（画像フレーム数／秒）は、２種類又はそれ以上の中から選択することが可能であり、状況に応じてマイクロコンピュータ１１がフレームレートを自動的に切り替える。フレームレートを大きくすれば高品質の画像記録が可能になり、フレームレートを小さくすれば長時間の画像記録が可能になる。
【００３８】
音声信号処理部２４は、案内や警報などに関する様々なメッセージを表す疑似音声信号を生成してこの信号を増幅し、スピーカ２５から音声として出力するための音声出力機能を備えている。また、マイク２６から入力される音声などの電気信号をデジタル信号に変換してマイクロコンピュータ１１に出力するための音声入力機能も備えている。
【００３９】
表示部２８は、液晶などの表示デバイスにより構成されており、文字や数字などの可視情報を表示する機能を備えている。マイクロコンピュータ１１は、ドライバ２７を介して表示部２８を制御し、表示部２８の表示内容を必要に応じて変更できる。
【００４０】
操作部２９は、運転者が操作可能な複数のボタンのそれぞれの操作状態に応じてオンオフする複数のスイッチを内蔵している。マイクロコンピュータ１１は、操作部２９内の各スイッチの状態を読み取ることにより、ボタン操作の有無を識別すると共に、操作されたボタンを特定することができる。
【００４１】
次に、図２〜図７を参照して、車載カメラ３１として画角が１８０度となる１８０度カメラを使用する場合において、レンズの光軸ずれを自動で判別し画像認識結果を補正する方法について説明する。
【００４２】
図２は、撮像素子とレンズのイメージサークルとの位置関係を示す図である。図２（ａ）は、画面の横幅のみ１８０度撮影するカメラの場合を示し、図２（ｂ）は、画面の横幅・縦幅とも１８０度撮影するカメラの場合を示し、図２（ｃ）は、画面の横幅のみ１８０度撮影するカメラによる実際の映像（画像）を示す。図２（ａ）および図２（ｂ）において、矩形領域は撮像素子が配置されている範囲を示し、円形領域はレンズのイメージサークル（撮影可能な範囲）を示す。１８０度カメラで撮影された画像には、図２（ａ）〜（ｃ）に示すように、四隅に「ケラレ」という黒い部分がある。
【００４３】
図３は、レンズ光軸中心と撮像素子中心とのずれを説明する図である。図３（ａ）はレンズ光軸中心（レンズ中心）と撮像素子（画面）中心とが一致している例を示し、図３（ｂ）はレンズ光軸中心と撮像素子中心とがずれている例を示す。図３（ａ）に示すように、レンズ光軸中心と撮像素子中心とが一致する場合、画面（画像）の四隅にある四つのケラレは大きさ（面積）が等しくバランスが取れている。一方、図３（ｂ）に示すように、レンズ光軸中心と撮像素子中心とがずれている場合、画面の四隅にある四つのケラレの大きさが異なりバランスが取れていない。図３（ｂ）では、右側の上下二か所のケラレがつながっており、左側の上下二つを比較すると下のケラレの方が小さくなっている。
【００４４】
図４は、レンズ光軸中心と撮像素子中心とのずれ検出および座標補正の流れを示す図である。車載カメラ３１として１８０度カメラを用いて、１８０度カメラ専用の画像認識機能を使用する場合、ドライブレコーダ１０のインタフェース３０にＵＳＢケーブルを介してＰＣ３５を接続し、ＰＣ３５上で設定用のソフトウェアを起動する。ＰＣ３５の表示部には車載カメラ３１（１８０度カメラ）が撮影した画像を表示できる。車載カメラ３１によって撮影された画像がＰＣ３５に入力されると、設定用のソフトウェア（検出部）が、画像の四隅のそれぞれにおいて、ケラレの有無を検出する（Ｓ１）。ステップＳ１において、設定用のソフトウェアは、検出した各ケラレの面積を認識する。４つのケラレの大きさのバランスが取れていない場合、光軸ずれ（レンズ光軸中心の位置と撮像素子中心の位置とがずれている）と判定する。次に、設定用のソフトウェア（算出部）は、ケラレの状態（位置および大きさ）から、車載カメラ３１から出力された画像における、レンズ光軸中心の位置と撮像素子中心の位置とのずれをドット（ｄｏｔ）単位で検出する（Ｓ２）。ずれ量を検出する処理の詳細については後述する。検出したずれ量は、画像認識用の設定として、設定用のソフトウェアからドライブレコーダ１０のマイクロコンピュータ１１に送られ、ＲＯＭ２０に格納される。その後、ドライブレコーダ１０にて画像処理部１２が画像認識を行う際、画像処理部１２（補正部）は、レンズずれ量を補正した座標情報を各種画像認識で使用する（Ｓ３）。すなわち、画像処理部１２は、車載カメラ３１のレンズ歪テーブルを参照し、ずれ量に応じて座標をシフトすることにより、座標情報を補正する。レンズ歪テーブルは、撮像素子の撮像面に投影されたレンズ上の一点（一ドット）がカメラ画角の何度に相当するかを示す。
【００４５】
図５は、レンズ光軸中心と撮像素子中心とのずれ量を検出する流れを示す図である。ＰＣ３５において、設定用のソフトウェアは、車載カメラ３１から出力された画像の四隅においてケラレの有無を検出し、各ケラレの面積を位置とともに認識する（Ｓ１１）。次に、設定用のソフトウェアは、左側または右側のケラレが上下でつながっているか判断する（Ｓ１２）。画像の左側又は右側において上下のケラレがつながっている場合、設定用のソフトウェアは、つながっている側の上下のケラレの面積を算出し、ＰＣ３５の格納部にあらかじめ保持している既知のテーブルまたは数式からＸ方向Ｙ方向（図７参照）それぞれのずれ量（ドット数）を決定する（Ｓ１３）。一方、上下のケラレがつながっていない場合、設定用のソフトウェアは、左右どちらかの上下のケラレの面積をそれぞれ算出し、ステップＳ１３の場合と同様に、Ｘ方向Ｙ方向それぞれのずれ量を決定する（Ｓ１４）。
【００４６】
図５のステップＳ１３の処理について、図６および図７を参照して説明する。図６は、レンズ光軸中心と撮像素子中心とのずれ量の算出方法を説明するための図である。図７は、レンズ光軸中心と撮像素子中心とのずれ量を座標上に示す図である。図７に示すように、車載カメラ３１から出力される画像の左上の頂点を原点（Ｘ＝０，Ｙ＝０）として、右方向を＋Ｘ、下方向を＋Ｙとする。図７は、画像サイズが６４０×４８０の場合、撮像素子中心の座標（３２０，２４０）と、レンズ光軸中心（レンズ中心）の座標（３２０＋Ｘ，２４０＋Ｙ）と、のずれ量が（Ｘ，Ｙ）（ｄｏｔ）であることを示す。図６において、画像の左上隅部に存在するケラレ１、左下隅部に存在するケラレ２、右上隅部に存在するケラレ３、および右下隅部に存在するケラレ４が示される。画像の右側において上下隅部に存在するケラレ３およびケラレ４はつながっており、画像の左側において上下隅部に存在するケラレ１およびケラレ２は分断されている。ケラレ３とケラレ４とは、撮像素子中心を左右方向に通過する中心線によって区分される。レンズ光軸中心と撮像素子中心とのずれ量の算出にあたり、まず、上下のケラレがつながっている、ケラレ３およびケラレ４の面積をそれぞれ算出し、ケラレ３およびケラレ４についての既知のテーブルを参照して各面積に対応するずれ量（Ｘ，Ｙ）を決定する。ここで、既知のテーブルについて説明する。既知のテーブルは、ずれ量（Ｘ，Ｙ）を変化させた場合のケラレ１〜４の各面積を示したものである。ずれ量（Ｘ，Ｙ）は、一つのケラレの面積から一意に決まるものではなく、ケラレ１〜４の各面積からずれ量（Ｘ，Ｙ）が決定される。また、上下二か所のケラレの各面積を算出し、各ケラレについての既知のテーブルを参照することにより、ずれ量（Ｘ，Ｙ）を決定できる。本実施形態のテーブルは１８０度カメラが用いられた場合を想定している。
【００４７】
または、既知のテーブルを用いてあらかじめ導き出した数式を用いて、ずれ量（Ｘ，Ｙ）を算出することもできる。ケラレ１〜４についての既知のテーブルから決定されるずれ量（Ｘ，Ｙ）の値は、例えば、ケラレ３の面積Ａ３がケラレ４の面積Ａ４より大きい場合、以下の式を満たす。以下の式（１）および（２）に、算出したケラレ３およびケラレ４の各面積Ａ３およびＡ４をあてはめることにより、ずれ量（Ｘ，Ｙ）を算出できる。
Ａ３＝ａＹ３＋ｂＹ２＋ｃＹ＋ｄＸ＋ｅ  （１）
Ａ４＝−ｆＹ３＋ｇＹ２＋ｈＹ＋ｉＸ＋ｊ  （２）
（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊは定数）
【００４８】
以上説明したように、本実施形態によれば、車載カメラ３１，３２から出力される画像から少なくとも二か所のケラレを検出し、検出した少なくとも二か所のケラレの面積から、撮像素子の中心とレンズの中心とのずれ量（Ｘ，Ｙ）を求め、求めたずれ量（Ｘ，Ｙ）を用いて補正した座標情報を画像認識で使用することにより、カメラ組み付け精度による認識性能の誤差を吸収できる。
【００４９】
なお、本発明の技術的範囲は、上述した実施形態に限定されるものではない。上述した実施形態は、本発明の技術的範囲内で種々の変形や改良等を伴うことができる。
【００５０】
例えば、上記実施形態では、設定用のソフトウェアがＰＣ３５に組み込まれる場合について説明したが、設定用のソフトウェアおよびカメラ種類別のパラメータ等の必要なデータをドライブレコーダ１０の内部に組み込むことにより、上述した画像認識補正方法をドライブレコーダ１０単体で実現できる。
【００５１】
また、上記実施形態では、車載器としてドライブレコーダ１０を用いた場合について説明したが、車載器は、デジタルタコグラフ（運行記録計）のように、ドライブレコーダと同様に映像データを記録する機能を有する他の車載器であってもよい。
【００５２】
ここで、上述した本発明に係る画像認識補正方法および車載システムの実施形態の特徴をそれぞれ以下［１］〜［６］に簡潔に纏めて列記する。
［１］  車両に搭載された車載器（ドライブレコーダ１０）において、前記車両に取り付けられ前記車載器に接続されたカメラ（車載カメラ３１，３２）から出力される画像を用いた画像認識を行う際に、
前記画像の四隅のそれぞれにおいて、ケラレの有無を検出し（ステップＳ１）、
前記四隅のうち、検出した少なくとも二か所の前記ケラレの位置および大きさから、前記カメラ内の撮像素子の中心とレンズの中心とのずれ量を求め（ステップＳ２）、
求めた前記ずれ量を用いて、前記画像認識の結果について座標補正を行う（ステップＳ３）、
ことを特徴とする画像認識補正方法。
［２］  前記少なくとも二か所のケラレの面積をそれぞれ算出し（ステップＳ１３，Ｓ１４）、
前記ずれ量と前記ケラレの位置および面積との対応を示すテーブルを参照して、前記ずれ量を求める（ステップＳ１３，Ｓ１４）、
ことを特徴とする上記［１］の構成の画像認識補正方法。
［３］  前記少なくとも二か所のケラレの面積をそれぞれ算出し（ステップＳ１３，Ｓ１４）、
前記ずれ量と前記ケラレの面積との関係を示す数式を用いて前記ずれ量を求める（ステップＳ１３，Ｓ１４）、
ことを特徴とする上記［１］の構成の画像認識補正方法。
［４］  車両に搭載された車載器（ドライブレコーダ１０）において、前記車両に取り付けられ前記車載器に接続されたカメラ（車載カメラ３１，３２）から出力される画像を用いた画像認識を行う車載システム（ドライブレコーダ１０、ＰＣ３５）であって、
前記画像の四隅のそれぞれにおいて、ケラレの有無を検出する検出部（ステップＳ１）と、
前記四隅のうち、検出した少なくとも二か所の前記ケラレの位置および大きさから、前記カメラ内の撮像素子の中心とレンズの中心とのずれ量を求める算出部（ステップＳ２）と、
求めた前記ずれ量を用いて、前記画像認識の結果について座標補正を行う補正部（ステップＳ３）と、
を備えることを特徴とする車載システム。
［５］  前記算出部は、
前記少なくとも二か所のケラレの面積をそれぞれ算出し（ステップＳ１３，Ｓ１４）、
前記ずれ量と前記ケラレの位置および面積との対応を示すテーブルを参照して、前記ずれ量を求める（ステップＳ１３，Ｓ１４）、
ことを特徴とする上記［４］の構成の車載システム。
［６］  前記算出部は、
前記少なくとも二か所のケラレの面積をそれぞれ算出し（ステップＳ１３，Ｓ１４）、
前記ずれ量と前記ケラレの面積との関係を示す数式を用いて前記ずれ量を求める（ステップＳ１３，Ｓ１４）、
ことを特徴とする上記［４］の構成の車載システム。
【符号の説明】
【００５３】
１０  ドライブレコーダ
１１  マイクロコンピュータ
１２  画像処理部
１３  通信モジュール
１４，１６，３０  インタフェース
１５  ＧＰＳ受信機
１７  時計回路
１８  信号処理部
１９  加速度センサ
２０  メモリ（ＲＯＭ）
２１  メモリ（ＲＡＭ）
２２  カードインタフェース
２３  メモリーカード
２４  音声信号処理部
２５  スピーカ
２６  マイク
２７  ドライバ
２８  表示部
２９  操作部
３１，３２  車載カメラ
３３，３４  アンテナ
３５  ＰＣ
ＳＧ１  車速パルス信号
ＳＧ２  ブレーキ信号
ＳＧ３  ウインカー信号
ＳＧ４  バック信号
【図１】
2020022046.tif 000003
【図２】
2020022046.tif 000004
【図３】
2020022046.tif 000005
【図４】
2020022046.tif 000006
【図５】
2020022046.tif 000007
【図６】
2020022046.tif 000008
【図７】
2020022046.tif 000009