(57)【特許請求の範囲】
【請求項１】
各々画像を取得する複数の画像取得部と、
車両の移動状態を示す車両情報を取得する車両情報取得部と、
前記複数の画像取得部のうち１つの画像取得部が取得した第１の画像と、他の画像取得部が取得した第２の画像との位置関係に基づき画像補正量を算出する画像補正量算出部と
を備え、
前記画像補正量算出部は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出する
ことを特徴とする画像処理装置。
【請求項２】
前記画像から特徴点を抽出する特徴点抽出部を備え、
前記画像補正量算出部は、前記位置関係として前記第１の画像の特徴点と前記第2の画像の特徴点の位置関係を算出すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像補正量算出部は、
前記第２の画像の特徴点を前記第１の画像の特徴点から予め定められた範囲内において探索することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置における画像処理方法において、
前記画像処理装置が、前記複数の画像取得部のうち１つの画像取得部が取得した第１の画像と、他の画像取得部が取得した第２の画像との位置関係を算出する第１の過程
を有し、
前記第１の過程は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理方法。
【請求項５】
各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置のコンピュータに、
前記画像処理装置が、前記複数の画像取得部のうち１つの画像取得部が取得した第１の画像と、他の画像取得部が取得した第２の画像との位置関係を算出する手順、
を実行させるための画像処理プログラムであって、
前記手順は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
車両の走行の安全を確保するために、車両に搭載されたカメラで撮影された画像に基づき、路面上に描かれた車線境界線や障害物を認識する技術や、撮影された画像を合成して、運転者に注意を促す技術が知られている。
例えば、特許文献１には、視覚センサを介して取込まれる時系列入力画像から抽出される特徴画像に基づき、時間の経過とともに直線的軌跡を描く点列状の車線を抽出する車線認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６０３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１記載の車線認識装置では、複数のカメラを車両に搭載し、各々撮影した画像を表示しようとすると、カメラ毎に認識、表示等、全ての機能を備える必要があり複数の画像を効率よく処理できないという問題がある。
【０００５】
本発明は上記の点に鑑みてなされたものであり、複数の画像を効率よく処理する画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部と、前記複数の画像取得部のうち１つの画像取得部が取得した第１の画像と、他の画像取得部が取得した第２の画像との位置関係に基づき画像補正量を算出する画像補正量算出部とを備え、前記画像補正量算出部は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理装置である。
【０００７】
（２）本発明のその他の態様は、前記画像から特徴点を抽出する特徴点抽出部を備え、前記画像補正量算出部は、前記位置関係として前記第１の画像の特徴点と前記第2の画像の特徴点の位置関係を算出することを特徴とする（１）の画像処理装置である。
【０００８】
（３）本発明のその他の態様は、前記画像補正量算出部は、前記第２の画像の特徴点を前記第１の画像の特徴点から予め定められた範囲内において探索することを特徴とする（２）の画像処理装置である。
【０００９】
（４）本発明のその他の態様は、各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置における画像処理方法において、前記画像処理装置が、前記複数の画像取得部のうち１つの画像取得部が取得した第１の画像と、他の画像取得部が取得した第２の画像との位置関係を算出する第１の過程を有し、前記第１の過程は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理方法である。
【００１０】
（５）本発明のその他の態様は、各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置のコンピュータに、前記画像処理装置が、前記複数の画像取得部のうち１つの画像取得部が取得した第１の画像と、他の画像取得部が取得した第２の画像との位置関係を算出する手順、を実行させるための画像処理プログラムであって、前記手順は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理プログラムである。
【発明の効果】
【００１１】
本発明によれば、車両情報と画像間の位置関係に基づき画像補正値を算出するので、算出した画像補正値に基づいて補正できる複数の画像を一括して管理し、これらの画像を使用するシステムの構築が容易になる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る画像処理システムを示す概念図である。
【図２】本実施形態においてカメラが撮影する画像の視界と光軸の方向の一例を示す平面図である。
【図３】本実施形態に係る画像処理装置の構成を示す概略図である。
【図４】本実施形態に係る画像処理部の構成を示す概略図である。
【図５】本実施形態に係るカメラ座標系と画像座標系の一例を示す。
【図６】本実施形態に係る世界座標系とカメラ座標系の一例を示す。
【図７】本実施形態において画像信号から特徴点を抽出する処理を示すフローチャートである。
【図８】本実施形態に係るマスタ画像と視界重複スレーブ画像の一例を示す概念図である。
【図９】本実施形態に係る特徴点の一例を示す概念図である。
【図１０】本実施形態に係るマスタ画像と視界分離スレーブ画像の一例を示す概念図である。
【図１１】本実施形態に係るマスタ画像から予測された画像の一例を示す概念図である。
【図１２】本実施形態に係る画像処理を示すフローチャートである。
【図１３】本実施形態に係る視界重複カメラ間特徴点ペア探索を示すフローチャートである。
【図１４】本実施形態に係る視界分離カメラ間特徴点ペア探索を示すフローチャートである。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の実施形態に係る画像処理システム１を示す概念図である。
画像処理システム１は、画像処理装置１０、複数のカメラ（撮影部）２１１〜２１７、車両ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）バス（車両情報伝送媒体）２４、複数の車両情報センサ（検出部）２４１、２４２、画像バス２７（画像情報伝送媒体）、及び補正画像利用部２７０を含んで構成される。補正画像利用部２７０は、一例として認識装置２７１、警告装置２７２及び表示装置２７３を含んで構成される。
【００１４】
カメラ２１１〜２１７は、車両２の各々異なる位置に取り付けられ、それぞれ異なる視界の画像を撮影する。例えば、前方監視カメラ２１１は、車両２のフロントガラス中央上の天板との境目に取り付けられ、車両２の前方（特に遠方の狭い範囲）の画像を撮影する。広角前方監視カメラ２１２も、車両２のフロントガラス中央上の天板との境目に取り付けられ、車両２の前方（特に遠方の広い範囲）の画像を撮影する。左右前方死角監視カメラ２３１は、車両２の先端中央上に取り付けられ、その左側及び右側の画像を撮影する。左後方監視カメラ２１４は、車両２の左サイドミラーの先端部に取り付けられ、車両２の左後方の画像を撮影する。右後方監視カメラ２１５は、車両２の右サイドミラーの先端部に取り付けられ、車両２の右後方の画像を撮影する。車室内監視カメラ２１６は、車両２の座席前列中央の天井に取り付けられ、車室後部の画像を撮影する。後方監視カメラ２１７は、車両２のリアガラス中央下の尾板との境目に取り付けられ、車両２の後方の画像を撮影する。
【００１５】
図２は、本実施形態においてカメラが撮影する画像の視界と光軸の方向の一例を示す平面図である。図２において、破線で示す扇形の円弧部分は、各カメラが撮影する画像の視界である。扇形の中心に示す一点破線は、各カメラの光軸を示す。
前方監視カメラ視界Ｖ１は、前方監視カメラ２１１が撮影する画像の視界を示す。広角前方監視カメラ視界Ｖ２は、広角前方監視カメラ２１２が撮影する画像の視界を示す。左前方死角監視カメラ視界Ｖ３Ｌ及び右前方死角監視カメラ視界Ｖ３Ｒは、左右前方死角監視カメラ２１３が撮影する画像の視界のうち、各々左側、右側を示す。左後方死角監視カメラ視界Ｖ４は、左後方死角監視カメラ２１４が撮影する画像の視界を示す。右後方死角監視カメラ視界Ｖ５は、右後方死角監視カメラ２１５が撮影する画像の視界を示す。車室内監視カメラ視界Ｖ６は、車室内監視カメラ２１６が撮影する画像の視界を示す。後方監視カメラ視界Ｖ７は、後方監視カメラ２１７が監視する画像の視界を示す。
【００１６】
図２は、前方監視カメラ視界Ｖ１と広角前方監視カメラ視界Ｖ２、左後方死角監視カメラ視界Ｖ４と後方監視カメラ視界Ｖ７、右後方死角監視カメラ視界Ｖ５と後方監視カメラ視界Ｖ７はそれぞれ、一方のカメラの視界と他方のカメラの視界の一部が重複することを示す。但し、その他のカメラ間の組み合わせについては、撮影された画像の視界は重複しない。
【００１７】
図１に戻り、カメラ２１１〜２１７は各々、撮影した画像を表す画像信号を画像処理装置１０に出力する。
ヨーレートセンサ２４１は、車両２のエンジンルームに取り付けられ、車両２の鉛直軸周りの回転速度（ヨーレート）を検出する。ヨーレートセンサ２４１は、検出したヨーレートを表すヨーレート情報を車両ＣＡＮバス２４に出力する。
速度センサ２４２は、車両２の車輪のハブベアリングを保持するハウジングに設けられ、速度を検出する。速度センサ２４２は、検出した速度を表す速度情報を車両ＣＡＮバス２４に出力する。
車両ＣＡＮバス２４は、車両２の移動状態を示す車両情報を各センサから入力され、入力された車両情報を画像処理装置１０に出力する。車両情報には、上述のヨーレート情報と速度情報が含まれる。
なお、ヨーレートセンサ２４１及び速度センサ２４２を含めて、車両情報を検出する機能部を車両情報検出部と総称する。
【００１８】
画像処理装置１０は、カメラ２１１〜２１７各々から入力された画像信号と、車両ＣＡＮバス２４から入力された車両情報と、に基づき画像補正量を算出する。画像処理装置１０は、入力された画像信号を圧縮符号化して圧縮画像信号を生成し、生成した圧縮画像信号と算出した画像補正量を記録する。また、画像処理装置１０は、生成した圧縮画像信号と算出した画像補正量を画像バス２７に出力する。
なお、画像処理装置１０の構成及び処理については後述する。
【００１９】
画像バス２７は、画像処理装置１０から入力された圧縮画像信号と画像補正量を補正画像利用部２７０の認識装置２７１及び表示装置２７３に出力する。
認識装置２７１は、画像バス２７から入力された圧縮画像信号を復号して画像信号を生成する。認識装置２７１は、生成した画像信号を入力された画像補正量に基づく補正して補正画像信号を生成する。認識装置２７１は生成した補正画像信号と障害物を表す画像の画像信号との相関を示す指標値を算出し、算出した指標値が予め設定された閾値を超えた場合に、障害物認識信号を生成する。この障害物認識信号は、当該障害物が撮影したカメラの視界にあることを表す信号である。認識装置２７１は、生成した障害物認識信号を警告装置２７２に出力する。
警告装置２７２は、認識装置２７１から障害物認識信号が入力され、障害物が存在することを表す警告情報（例えば、警告音、警告画面）を提示する。
表示装置２７３は、画像バス２７から入力された圧縮画像信号を復号して画像信号を生成する。認識装置２７１は、生成した画像信号を入力された画像補正量に基づいて補正して補正画像信号を生成する。表示装置２７３は生成した補正画像信号に基づく画像を表示する。
【００２０】
次に、本実施形態に係る画像処理装置１０の構成及び処理について説明する。
図３は、本実施形態に係る画像処理装置１０の構成を示す概略図である。
画像処理装置１０は、カメラインタフェース（画像取得部）１２１１〜１２１７、画像処理部１２２、車両ＣＡＮバスインタフェース（車両情報取得部）１２４、画像バスインタフェース１２７、サービスインタフェース１２９及び画像記録部１３０を含んで構成される。
【００２１】
カメラインタフェース１２１１〜１２１７は、カメラ１２１〜１２７から入力される画像信号を伝達する導線を画像処理装置１０に接続する。
例えば、前方監視カメラインタフェース１２１１は、前方監視カメラ１２１から画像信号を入力される。広角前方監視カメラインタフェース１２１２は、広角前方監視カメラ１２２から画像信号を入力される。左右前方死角監視カメラインタフェース１２１３は、左右前方死角監視カメラ１２３から画像信号を入力される。左後方監視カメラインタフェース１２１４は、左後方死角監視カメラ１２４から画像信号を入力される。右後方監視カメラインタフェース１２１５は、右後方死角監視カメラ１２５から画像信号を入力される。車室内監視カメラインタフェース１２１６は、車室内監視カメラ１２６から画像信号を入力される。後方監視カメラインタフェース１２１７は、後方監視カメラ１２７から画像信号を入力される。
カメラインタフェース１２１１〜１２１７は、カメラ１２１〜１２７から入力された画像信号を各々画像処理部１２２に出力する。
【００２２】
画像処理部１２２は、カメラインタフェース１２１１〜１２１７から各々入力された画像信号と車両ＣＡＮバスインタフェース１２４から入力された車両情報に基づいて画像信号毎の画像補正量を算出する。画像処理部１２２は、入力された画像信号を圧縮符号化して、より情報量の少ない圧縮画像信号を生成し、生成した圧縮画像信号と算出した画像補正量を同期して画像バスインタフェース１２７及び画像記録部１３０に出力する。このように、画像処理部１２２が圧縮画像信号を出力することで、出力先における容量の超過、輻輳又は伝送遅延を回避する。
また、画像処理部１２２は、サービスインタフェース１２９から入力されたイベント情報を画像記録部１３０に出力する
なお、画像処理部１２２の構成及び処理については後述する。
【００２３】
車両ＣＡＮバスインタフェース１２４は、車両ＣＡＮバス２４から入力される車両情報を伝達する導線を画像処理装置１０に接続し、当該車両情報を画像処理部１２２に出力する。
画像バスインタフェース１２７は、圧縮画像信号と画像補正量を画像バス２７に出力する導線を画像処理装置１０に接続し、その圧縮画像信号と画像補正量を画像処理部１２２から画像バス２７に出力する。
サービスインタフェース１２９は、イベント情報検出部（図示せず）からイベント情報を入力する導線を画像処理装置１０に接続し、そのイベント情報を画像処理部１２２に出力する。
ここで、イベント情報とは、車両２又はその周囲の状態を示す情報であり、例えば、ハンドル操舵角、シフトレバー位置、車両２の現在地、等の何れか又はその組み合わせである。イベント情報検出部は、イベント情報を検出する機能部を総称し、検出したイベント情報を各々サービスインタフェース１２９に出力する。
【００２４】
画像記録部１３０は、画像処理部１２２から入力された圧縮画像信号、画像補正量及びイベント情報を時刻毎に対応付けて記憶する。このように、画像記録部１３０は、いわゆるドライブレコーダとして機能する。また、画像処理部１２２から画像要求信号が入力されたときには、その画像要求信号が示す圧縮画像信号と対応する画像補正量を画像処理部１２２に出力する。
【００２５】
次に、本実施形態に係る画像処理部１２２の構成及び処理について説明する。
図４は、本実施形態に係る画像処理部１２２の構成を示す概略図である。
画像処理部１２２は、光軸補正部１２２１、光軸補正部１２２２−２〜１２２２−７、特徴点抽出部１２２３、特徴点ペア探索部（画像補正量算出部）１２２４、画像圧縮部１２２５及びデータ入出力部を含んで構成される。
以下、前方監視カメラ２１１をマスタカメラとして説明する。マスタカメラとは、その他のカメラが撮影した画像信号に係る画像補正量（後述）を算出するために基準とする画像信号を撮影するカメラである。マスタカメラ以外のカメラをスレーブカメラと呼ぶ。
【００２６】
光軸補正部１２２１は、マスタカメラである前方監視カメラ２１１から対応する前方監視カメラインタフェース１２１１を介して入力された画像信号（以下、マスタ画像）に対して前方監視カメラ２１１の光軸補正量を補償する。光軸補正部１２２１は、予めマスタ画像に対して既存の方式（例えば、消失点推定法、オプティカルフロー検出法、ダイレクトメソッド等）で光軸補正量を算出しておく。
光軸補正部１２２１は、算出した光軸補正量を用いてマスタ画像を座標変換して補正して、光軸補正マスタ画像を生成する。
これにより、車両の個体又は経年変化により異なる前方監視カメラ２１１の設置位置や光軸の方向による視界の差異を補償する。
光軸補正部１２２１は、更にカメラ座標系で表された光軸補正マスタ画像を世界座標系に座標変換し、座標変換した画像信号（後述する射影マスタ画像）を特徴点抽出部１２２３に出力する。
【００２７】
ここで、カメラ座標系（Ｏｃ−ＸｃＹｃＺｃ）と画像座標系（Ｏｐ−ＸｐＹｐ）との関係について説明する。カメラ座標系とは、カメラの光軸を基準とする座標系である。画像座標系とはカメラの撮影素子（イメージセンサ）を基準とする座標系である。
図５は、本実施形態に係るカメラ座標系と画像座標系の一例を示す。
図５において、Ｘｃ軸、Ｙｃ軸、Ｚｃ軸は各々カメラ座標系の座標軸を示し、Ｘｐ軸、Ｙｐ軸は各々画像座標系の座標軸を示す。Ｏｃはカメラ座標系の原点であり、Ｏｐは画像座標系の原点（前主点）である。
図５において、カメラが備えるレンズの焦点Ｏｃとイメージセンサの中心Ｐｃｅｎｔとを結ぶ軸が光軸であり、この方向がＺｃ軸方向である。イメージセンサの中心Ｐｃｅｎｔは、焦点Ｏｃから光軸の方向に焦点距離ｆだけ離れた位置にある。イメージセンサの受光面の法線方向は光軸に平行である。イメージセンサの水平方向に平行な方向がＸｃ軸方向である。イメージセンサの垂直方向に平行な方向がＹｃ軸方向である。
画像座標系では、原点Ｏｃはイメージセンサの右上端の画素であり、Ｘｐ座標は原点ＯｃからＸｃ軸方向への座標であり、Ｙｐ座標は原点ＯｃからＹｃ軸方向への座標である。
よって、原点Ｏｃから（Ｐｘｓ，Ｐｙｓ）番目における画素のカメラ座標系で表した座標は、（ｆ，Ｐｘｓ，Ｐｙｓ，１）Ｔとなる。但し、Ｐは、イメージセンサ上の画素間間隔を表す。Ｔは、ベクトル又は行列の転置を示す。
【００２８】
次に、世界座標系（Ｏｗ−ＸｗＹｗＺｗ）とカメラ座標系（Ｏｐ−ＸｐＹｐ）との関係について説明する。世界座標系とは、空間（本実施例では、カメラ２１１〜２１７の視界）全体を含む座標系である。
図６は、本実施形態に係る世界座標系とカメラ座標系の一例を示す。
図６において、Ｘｗ軸、Ｙｗ軸、Ｚｗ軸は各々世界座標系の座標軸を示し、Ｘｃ軸、Ｙｃ軸、Ｚｃ軸は各々カメラ座標系の座標軸を示す。Ｘｗ軸は水平面に沿って車体２の前方に向かう座標軸である。Ｙｗ軸は車体２の前方に対し水平面に沿って左方に向かう座標軸である。Ｚｗ軸は車体２の鉛直方向に向かう座標軸である。
ロール角θとはＸｗ軸を中心に回転する角度である。ピッチ角φとはＹｗ軸方向を中心に回転する角度である。パン角ρとはＺｗ軸を中心に回転する角度である。
また、世界座標系を基準としたカメラの光軸のロール角θをロール角ずれ量、ピッチ角φをピッチ角ずれ量、パン角ρをパン角ずれ量という。世界座標系を基準としたカメラの取り付け位置を（Ｘｃ，Ｙｃ，Ｚｃ）をカメラずれ量という。このＸｃを横ずれ量、Ｙｃを縦ずれ量、Ｚｃを高さという。即ち、光軸補正量とは、横ずれ量Ｘｃ、縦ずれ量Ｙｃ、高さＺｃ、パン角ずれ量ρ、ピッチ角ずれ量φ又はロール角ずれ量θの総称である。
【００２９】
従って、カメラ座標系で表されるイメージセンサ上の各画素の座標は、次式で与えられる行列Ｔｃｗを用いて世界座標系に変換することができる。
【００３０】
【数１】
0005663352.tif 000002
【００３１】
式（１）において、第１項はカメラずれ量（Ｘｃ，Ｙｃ，Ｚｃ）を補償する行列成分である。この行列成分は、カメラ座標系で表された座標にカメラずれ量を加算する成分である。  第２項はロール角ずれ量θを補償する行列成分である。この行列成分はＸｗ軸方向を中心にロール角θだけカメラ座標系で表された座標を回転する成分である。第３項はピッチ角ずれ量φを補償する行列成分である。この行列成分はＹｗ軸方向を中心にピッチ角φだけカメラ座標系で表された座標を回転する成分である。第４項はパン角ずれ量を補償する行列成分である。この行列成分はＺｗ軸方向を中心にパン角ρだけカメラ座標系で表された座標を回転する成分である。
さらに世界座標系においてＺｗ方向の座標（高さ）がゼロ（Ｚｗ＝０）の平面に座標を射影する行列Ｔｚ０は次式で与えられる。
【００３２】
【数２】
0005663352.tif 000003
【００３３】
図４に戻り、光軸補正部１２２１は、カメラ座標系で表された座標（ｆ，Ｐｘｓ，Ｐｙｓ，１）Ｔを、光軸補正量に基づく行列Ｔｚ１（Ｔｚ１＝Ｔｚ０Ｔｃｗ）を用いて世界座標系においてＺｗ方向の座標がゼロとなる座標（ｘ１，ｙ１，０，１）Ｔに射影する。
これにより、光軸補正部１２２１は、前方監視カメラ２１１の光軸ずれ量を補償する。このようにして補償された画像を射影マスタ画像と呼び、光軸補正部１２２は射影マスタ画像を特徴点抽出部１２２３に出力する。
光軸補正量が未設定の際には、光軸補正部１２２１は、上述の座標変換を行わずに、入力されたマスタ画像を特徴点抽出部１２２３に出力する。
【００３４】
光軸補正部１２２２−２〜１２２２−７は各々、スレーブカメラに対応するカメラインタフェース１２１２〜１２１７各々を介して入力された画像信号（以下、スレーブ画像）に対して各スレーブカメラ２１２〜２１７の光軸補正量を補償する。光軸補正量を補償するために、光軸補正部１２２２−２〜１２２２−７は、特徴点ペア探索部１２２４からスレーブカメラ２１２〜２１７毎の光軸補正量を入力され、入力された光軸補正量を用いてスレーブカメラ２１２〜２１６毎にスレーブ画像を座標変換する。
光軸補正部１２２２−２〜１２２２−７は、光軸補正量を補償したスレーブ画像（以下、射影スレーブ画像）を特徴点抽出部１２２３に各々出力する。
光軸補正量が未設定又は未入力の際には、光軸補正部１２２２−２〜１２２２−７は、上述の座標変換を行わずに、各スレーブ画像を特徴点抽出部１２２３に出力する。
【００３５】
特徴点抽出部１２２３は、光軸補正部１２２１から入力された射影マスタ画像及び光軸補正部１２２２−２〜７から入力された射影スレーブ画像各々から特徴点を抽出する。特徴点とは、画像信号を構成する輝度値の変化が周囲よりも著しい領域であって、その面積が極めて小さい領域又は特異点である。例えば、特徴点は、道路上に描かれたレーンマーク（白線）の頂点又は交点である。特徴点抽出部１２２３は、レーンマークに限らず、道路上に描かれた路面表示の特徴点を抽出してもよい。
【００３６】
特徴点抽出部１２２３は、射影マスタ画像又は射影スレーブ画像（例えば、横２０４８画素×縦６１４４画素）を小さい領域（セル、例えば、横４画素×縦４画素）に分割し、複数のセルからなるブロック毎に算出した特徴量、例えばＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量を用いて特徴点を抽出する。
ここで、特徴点抽出部１２２３が特徴点を抽出する処理について説明する。
図７は、本実施形態において画像信号から特徴点を抽出する処理を示すフローチャートである。
【００３７】
（ステップＳ１０１）特徴点抽出部１２２３は、ブロック毎にステップＳ１０２〜Ｓ１０７の処理を繰り返し、画像内の全ブロックについて処理が完了した後、終了する。
（ステップＳ１０２）特徴点抽出部１２２３は、セル毎にステップＳ１０３〜Ｓ１０４の処理を繰り返し、画像内の全セルについて処理が完了した後、ステップＳ１０５に進む。
（ステップＳ１０３）特徴点抽出部１２２３は、特徴点抽出部１２２３は、各セルに含まれる画素（ｉ，ｊ）毎に、輝度値Ｌ（ｉ，ｊ）の勾配の大きさｍ（ｉ，ｊ）とその勾配の方向ψ（ｉ，ｊ）を算出する。
【００３８】
【数３】
0005663352.tif 000004
【００３９】
【数４】
0005663352.tif 000005
【００４０】
式（３）、（４）において、ｆｘ（ｉ，ｊ）は、水平（ｘ）方向への輝度値の勾配Ｌ（ｉ＋１，ｊ）−Ｌ（ｉ−１，ｊ）、ｆｙ（ｉ，ｊ）は、垂直（ｙ）方向への輝度値の勾配Ｌ（ｉ，ｊ＋１）−Ｌ（ｉ，ｊ−１）である。
（ステップＳ１０４）特徴点抽出部１２２３は、勾配の方向θ（ｉ，ｊ）の区間（例えば、４５度間隔、計８区間）毎に、セルにおける勾配の大きさｍ（ｉ，ｊ）の累積値（総和）をヒストグラムｖｃの要素として算出する。このヒストグラムｖｃは８次元のベクトルである。特徴点抽出部１２２３は、ヒストグラムｖｃごとに、その要素の最大値で除算して規格化する。
（ステップＳ１０５）特徴点抽出部１２２３は、セル毎に算出し規格化したヒストグラムｖｃの各要素をブロック毎にとりまとめ、ＳＩＦＴ特徴量ｖｂを生成する。ここで、ブロックとは、複数のセル（例えば、横２セル×縦２セル；横８画素×縦８画素）から構成される画像の領域をいう。この例では、ＳＩＦＴ特徴量ｖｂは、３２次元（８×２×２）のベクトルである。
【００４１】
（ステップＳ１０６）特徴点抽出部１２２３は、自己が備える記憶領域から判定特徴量ａｂを読み出し、読み出した判定特徴量ａｂとＳＩＦＴ特徴量ｖｂに基づき識別値ｄｂを算出する。判定特徴量ａｂとは、ＳＩＦＴ特徴量ｖｂと同一の次元数のベクトルであって、検出しようとする特徴点の特性を示すベクトルである。特徴点抽出部１２２は、検出しようとする特徴点の形状や位置に応じた複数の判定特徴量ａｂを記憶しておいてもよい。識別値ｄｂは、判定特徴量ａｂとＳＩＦＴ特徴量ｖｂの類似度又は相関を示す変数、例えば、内積である。
（ステップＳ１０７）特徴点抽出部１２２３は、識別値ｄｂが予め設定された閾値よりも大きいブロックを特徴点が存在するブロックと判定し、そのブロックを代表する座標、例えば中心座標を特徴点の座標情報と定める。
【００４２】
図４に戻り、特徴点抽出部１２２３は、射影マスタ画像、射影スレーブ画像及びこれらの画像から抽出された特徴点の座標情報を特徴点ペア探索部１２２４に出力する。
【００４３】
特徴点ペア探索部１２２４は、特徴点抽出部１２２３から射影マスタ画像、射影スレーブ画像及びこれらの画像から抽出された特徴点の座標情報が入力される。
特徴点ペア探索部１２２４は、射影マスタ画像から抽出された特徴点と対応する射影スレーブ画像から抽出された特徴点とのペアを探索する。
【００４４】
まず、マスタ画像の特徴点と、そのマスタ画像の視界の一部が重複するスレーブ画像（視界重複スレーブ画像）の特徴点とのペアを探索する処理（視界重複カメラ間特徴点ペア探索）について説明する。
図８は、本実施形態に係るマスタ画像と視界重複スレーブ画像の一例を示す概念図である。本実施形態では、視界重複スレーブ画像は、広角前方監視カメラ２１２が撮影した画像である。
【００４５】
図８の左段は、路面上を走行する車両２が備える前方監視カメラ２１１の視界（破線）と広角前方監視カメラ２１２の視界（実線）を示す。横軸は、世界座標系のｘ座標、縦軸は同座標系のｙ座標を示す。
図８の中上段は、前方監視カメラ２１１が撮影した画像（マスタ画像）の一例を示す。図８の中下段は、広角前方監視カメラ２１２が撮影した画像（視界重複スレーブ画像）の一例を示す。
図８の右上段は、同図中段の一点破線で描かれた円（一点破線円）内の部分であって、マスタ画像に基づく射影マスタ画像において抽出された特徴点（星印）を含む部分を示す。図８の右下段は、同図中段の一点破線円内の部分であって、視界重複スレーブ画像に基づく射影スレーブ画像において抽出された特徴点（星印）を含む部分を示す。
【００４６】
ここで、特徴点ペア探索部１２２４は、視界重複スレーブ画像に基づく射影スレーブ画像において抽出された特徴点の座標と、射影マスタ画像から抽出された特徴点の座標との差分を算出する。この射影スレーブ画像は、視界重複スレーブ画像の各画素の座標値を、光軸補正量に基づく行列Ｔｚ１を用いて世界座標系に変換されて構成されたものである。
特徴点ペア探索部１２２４は、当該差分に基づく二乗誤差が最小となる特徴点ペア及び光軸補正量を画像補正量と決定する。
【００４７】
図９は、本実施形態に係る特徴点の一例を示す概念図である。図９において、実線は射影スレーブ画像を示し、破線は射影スレーブ画像を示す。また、図９は、各画像の特徴点を星印で示す。ここで、特徴点ペア探索部１２２４は、設計値に基づくスレーブカメラ（この例では、広角前方監視カメラ）の光軸補正量を初期値と設定し、射影マスタ画像から抽出された特徴点から各々予め設定した範囲の座標の視界重複スレーブ画像から抽出された特徴点が対向する特徴点の候補と設定する（図９、一点破線円参照）。このような候補が複数個存在する場合には、特徴点ペア探索部１２２４は、射影マスタ画像から抽出された特徴点からの距離が短い順に、特徴点の候補を探索する。なお、特徴点ペア探索部１２２４は、設計値から予め設定された範囲内で光軸補正量を探索してもよい。
【００４８】
次に、射影マスタ画像の特徴点と、そのマスタ画像の視界と重複しないスレーブ画像（視界分離スレーブ画像）に基づく射影スレーブ画像の特徴点とのペアを探索する処理（視界分離カメラ間特徴点ペア探索）について説明する。
図１０は、本実施形態に係るマスタ画像と視界分離スレーブ画像の一例を示す概念図である。本実施形態では、視界分離スレーブ画像は、左右前方死角監視カメラ２１３、左後方監視カメラ２１４、右後方監視カメラ２１５、及び後方監視カメラ２１７が各々撮影した画像である。但し、図１０は、視野分離スレーブ画像の一例として右後方死角監視カメラ２１５が撮影した画像を示す
なお、本実施形態では、車室内監視カメラ２１６が撮影した画像を視界分離カメラ間特徴点ペア探索の対象としない。
【００４９】
図１０の左段は、路面上を走行する車両２が備える前方監視カメラ２１１（マスタカメラ）の視界（破線）と右後方死角監視カメラ２１５（スレーブカメラ）の視界（実線）を示す。横軸は、世界座標系のｘ座標、縦軸は同座標系のｙ座標を示す。
図１０の中上段は、前方監視カメラ２１１が撮影した画像（マスタ画像）の一例を示す。図１０の中下段は、車室内監視カメラ２１６が撮影した画像（視界分離スレーブ画像）の一例を示す。
図１０の右上段は、同図中上段の一点破線円にマスタ画像に基づく射影マスタ画像から抽出された特徴点（星印）を含む部分を示す。図１０の右下段は、同図中下段の一点破線円内に視界重複スレーブ画像に基づく射影スレーブ画像から抽出された特徴点（星印）を含む部分を示す。
即ち、図１０は、前方監視カメラ２１１の視界は車両２の前方を向き、右後方死角監視カメラ２１５の視界は車両２の右後方を向いており、両者が重複しないことを示す。
【００５０】
しかし、車両２が移動すると、マスタ画像の一部が、遅れて視野分離スレーブ画像に含まれることがある。例えば、前方監視カメラ２１１がある時刻において車両２の右前方のレーンマークを撮影し、車両２が前方に進行した後に右後方死角監視カメラ２１５がそのレーンマークを撮影する。また、マスタ画像を撮影した時刻から、その画像の一部が視野分離スレーブ画像に含まれるまでの時間は、車両２の車両情報（速度情報、ヨーレート情報）に依存する。例えば、車両２の速度が高いほど、マスタ画像を撮影した時刻から、その画像の一部が視野分離スレーブ画像に現れるまでの時間（出現時間）が短くなる。
そこで、特徴点ペア検索部１２２４は、視界分離カメラ間特徴点ペア探索を行う前に、車両ＣＡＮバスインタフェース１２４から入力された車両情報に基づいてマスタ画像から抽出された特徴点の座標を予測する。
【００５１】
図１１は、本実施形態に係るマスタ画像から予測された画像の一例を示す概念図である。
図１１の左段は、路面上を走行する車両２が備える前方監視カメラ２１１（マスタカメラ）の視界（破線）と右後方死角監視カメラ２１５（スレーブカメラ）の視界（実線）を示す。横軸は、世界座標系のｘ座標、縦軸はｙ座標を示す。また、ｘ座標の右上から右下に向かう破線の矢印は、その起点から車両情報に基づき当該矢印の終点となる位置を予測位置と定めることを示す。
図１１の右段は、射影マスタ画像及び射影スレーブ画像であって、同図左段の一点破線で示される領域を拡大した部分を表す。同図右段において、白塗りの縦長の長方形は、射影マスタ画像が示すラインマーカを示し、当該底辺に特徴点を有することを示す。また、破線の縦長の長方形は、予測後の射影スレーブ画像が示すラインマーカを示し、当該底辺に特徴点を有することを示す。
そこで、特徴点ペア検索部１２２４は、射影マスタ画像から抽出された特徴点から予め定められた範囲内にある、予測後の射影スレーブ画像の特徴点を候補特徴点と定める。そして、特徴点ペア探索部１２２４は、当該抽出された特徴点の座標と候補特徴点の座標との差を最小とする、候補特徴点及び画像補正量を定める。
【００５２】
具体的には、特徴点ペア探索部１２２４は、現在から時間ΔＴ後の時刻における世界座標（ｘ’１，ｙ’１，１）Ｔを、現在の世界座標（ｘ１，ｙ１，１）Ｔ、速度情報が示す速度ｖ及びヨーレート情報が示すヨーレートηに基づいて推定する。
【００５３】
【数５】
0005663352.tif 000006
【００５４】
式（５）において、（ｔｘ，ｔｙ）は、速度ｖとヨーレートηに基づく移動量（ｖΔｔ・ｃｏｓ（Δｔ・θ’／２），ｖΔｔ・ｓｉｎ（Δｔ・θ’／２））である。θは、ヨーレートηに基づく回転角Δｔ・ηである。
【００５５】
特徴点ペア検索部１２２４は、補正された特徴点の座標と射影スレーブ画像から抽出された特徴点の座標との間で、特徴点のペアを探索し視野分離スレーブ画像の画像補正量を決定する。このとき、特徴点ペア探索部１２２４は、上述の視野重複カメラ間特徴点ペア探索と同様な処理を行う。
即ち、時間ΔＴ後の時刻における世界座標（ｘ’１，ｙ’１，１）Ｔは特徴点のペアを探索する際のカメラずれ量の初期値となる。ここで、特徴点ペア検索部１２２４は、補正された特徴点の座標と射影スレーブ画像から抽出された特徴点の座標が近似するように、時間ΔＴをカメラ毎の設計値に基づき速度ｖに反比例するように定めてもよい。これにより、特徴点のペアを探索するための特徴点の組み合わせ数や画像補正量の範囲を限定し、演算量を低減することができる。
特徴点ペア検索部１２２４は、他のスレーブカメラが撮影した画像信号に基づく視野分離スレーブ画像についても同様な処理を行う。
【００５６】
図４に戻り、特徴点ペア検索部１２２４は、決定したスレーブカメラ毎の画像補正量をデータ入出力部１２２６に出力する。特徴点ペア検索部１２２４は、カメラ毎の画像信号、即ち射影マスタ画像及び射影スレーブ画像を画像圧縮部１２２５に出力する。
また、特徴点ペア検索部１２２４は、決定したスレーブカメラ毎の画像補正量を各々対応する光軸補正部１２２２−２〜７に出力する。
【００５７】
画像圧縮部１２２５は、特徴点ペア探索部１２２４から入力されたカメラ毎の画像信号を公知の画像符号化技術（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ）を用いて各々圧縮符号化し、より情報量が少ない圧縮画像信号を生成する。
画像圧縮部１２２５は、生成した圧縮画像信号をデータ入出力部１２２６に出力する。
【００５８】
データ入出力部１２２６は、画像圧縮部１２２５から圧縮画像信号が入力され、特徴点ペア探索部１２２４から画像補正量が入力され、車両ＣＡＮバスインタフェース１２４から車両情報が入力され、サービスインタフェース１３０からイベント情報が入力される。
データ入出力部１２２６は、入力された圧縮画像信号及び画像補正量をカメラ毎に同期して画像バスインタフェース１２７へ出力する。
データ入出力部１２２６は、入力された圧縮画像信号、画像補正量、車両情報及びイベント情報を画像記憶部１２９へ出力する。データ入出力部１２２６は、画像記憶部１２９へ圧縮画像信号と画像補正量を出力する際、カメラ毎にこれらを同期させる。
データ入出力部１２２６は、画像記憶部１２９から、圧縮画像信号、画像補正量、車両情報及びイベント情報が入力される。
【００５９】
次に、本実施形態に係る画像処理装置１が行う画像処理について説明する。
図１２は、本実施形態に係る画像処理を示すフローチャートである。
（ステップＳ２０１）カメラインタフェース１２１１はマスタカメラ１２１から撮影した画像を表すマスタ画像が入力され、入力されたマスタ画像を光軸補正部１２２１に出力する。カメラインタフェース１２１１〜１２１７は、カメラ１２２〜１２７から撮影した画像を表すスレーブ画像が各々入力され、入力されたスレーブ画像を光軸補正部１２２２−２〜１２２２−７に出力する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）光軸補正部１２２１は、前方監視カメラインタフェース１２１１をから入力されたマスタ画像を構成する各画素の座標に対し、予め設定した光軸補正量に基づく行列Ｔｚ１を用いて光軸補正を行う。光軸補正部１２２１は、上述の光軸補正において入力された画像信号における各画素の座標をカメラ座標系から世界座標系に座標変換する。光軸補正部１２２１は、光軸補正を施した画像信号（射影マスタ画像）を特徴点抽出部１２２３に出力する。
光軸補正部１２２２−２〜１２２２−７は、カメラインタフェース１２１２〜１２１７から入力されたスレーブ画像を構成する各画素の座標に対し、特徴点ペア探索部１２２４から入力された光軸補正量に基づく行列Ｔｚ１を用いて光軸補正を行う。光軸補正部１２２２−２〜１２２２−７は、上述の光軸補正において入力された画像信号における各画素の座標をカメラ座標系から世界座標系に座標変換する。光軸補正部１２２２−２〜１２２２−７は、光軸補正を施したマスタ画像信号（射影マスタ画像）を特徴点抽出部１２２３に出力する。その後、ステップＳ２０２に進む。
【００６０】
（ステップＳ２０３）特徴点抽出部１２２３は、光軸補正部１２２１から入力された射影マスタ画像及び光軸補正部１２２２−２〜１２２２−７から入力された射影スレーブ画像各々から特徴点を抽出する。特徴点抽出部１２２は、特徴点を抽出するために例えば図５に示す処理を行う。
特徴点抽出部１２２３は、射影マスタ画像、射影スレーブ画像及びこれらの画像から抽出された特徴点の座標情報を特徴点ペア探索部１２２４に出力する。その後、ステップＳ２０４に進む。
【００６１】
（ステップＳ２０４）特徴点ペア探索部１２２４は、特徴点抽出部１２２３から入力された射影マスタ画像の特徴点と、視界重複スレーブ画像に基づく射影スレーブ画像の特徴点とのペアを探索する処理（視界重複カメラ間特徴点ペア探索）を行う。視界重複カメラ間特徴点ペア探索については後述する。その後、ステップＳ２０５に進む。
（ステップＳ２０５）特徴点ペア探索部１２２４は、特徴点抽出部１２２３から入力された射影マスタ画像の特徴点と、視界分離スレーブ画像に基づく射影スレーブ画像の特徴点とのペアを探索する処理（視界分離カメラ間特徴点ペア探索）を行う。視界分離カメラ間特徴点ペア探索については後述する。その後、ステップＳ２０６に進む。
【００６２】
（ステップＳ２０６）特徴点ペア検索部１２２４は、視野重複カメラ間特徴点ペア探索及び視野分離カメラ間特徴点ペア探索を行って決定したカメラ毎の画像補正量をデータ入出力部１２２６に出力する。また、特徴点ペア検索部１２２４は、その画像補正量を対応する光軸補正部１２２２−２〜１２２２−７に出力する。特徴点ペア検索部１２２４は、カメラ毎の画像信号、即ち補正マスタ画像及びスレーブ画像を画像圧縮部１２２５に出力する。
画像圧縮部１２２５は、特徴点ペア探索部１２２４から入力された画像信号を圧縮符号化し圧縮画像信号を生成する。画像圧縮部１２２５は、生成した圧縮画像信号をデータ入出力部１２２６に出力する。その後、ステップＳ２０７に進む。
【００６３】
（ステップＳ２０７）データ入出力部１２２６は、画像圧縮部１２２５から圧縮画像信号が、特徴点ペア探索部１２２４から画像補正量が、車両ＣＡＮバスインタフェース１２４から車両情報が、サービスインタフェース１３０からイベント情報が入力される。
データ入出力部１２２６は、入力された圧縮画像信号及び画像補正量をカメラ毎に同期して画像バスインタフェース１２７へ出力する。
データ入出力部１２２６は、入力された圧縮画像信号、画像補正量、車両情報及びイベント情報をカメラ毎に同期して画像記憶部１２９へ出力する。その後、一連の処理を終了する。
【００６４】
次に、本実施形態に係る視界重複カメラ間特徴点ペア探索（ステップＳ２０４）について説明する。
図１３は、本実施形態に係る視界重複カメラ間特徴点ペア探索を示すフローチャートである。
（ステップＳ３０１）特徴点ペア探索部１２２４は、設計値に基づくスレーブカメラの光軸補正量を初期値として設定する。また、特徴点ペア探索部１２２４は、マスタ画像から抽出された特徴点から予め設定された範囲内にあり、対向する特徴点の候補となる候補特徴点及び光軸補正量を探索する範囲を設定する。その後、ステップＳ３０２に進む。
【００６５】
（ステップＳ３０２）特徴点ペア探索部１２２４は、光軸補正量が設定した値の範囲内か否かを判断する。特徴点ペア探索部１２２４は、光軸補正量が設定した値の範囲ではないと判断したとき（ステップＳ３０２  Ｎ）、ステップＳ３０３に進む。特徴点ペア探索部１２２４は、光軸補正量が設定した値の範囲内と判断したとき（ステップＳ３０２  Ｙ）、ステップＳ３０６に進む。
【００６６】
（ステップＳ３０３）特徴点ペア探索部１２２４は、視界重複スレーブ画像に基づく射影スレーブ画像から抽出された特徴点の座標を、光軸補正量に基づく行列Ｔｚ１を用いて世界座標系に変換する。その後、ステップＳ３０４に進む。
（ステップＳ３０４）特徴点ペア探索部１２２４は、ステップＳ３０３において変換した座標と射影マスタ画像から抽出された特徴点の座標との差分を算出する。その後、ステップＳ３０５に進む。
（ステップＳ３０５）特徴点ペア探索部１２２４は、光軸補正量を更新する。その後、ステップＳ３０２に進む。
（ステップＳ３０６）特徴点ペア探索部１２２４は、ステップＳ３０４において算出した差分に基づく二乗誤差が最小となる特徴点ペア及び光軸補正量を画像補正量と決定する。
その後、ステップ２０５に進む。
【００６７】
次に、本実施形態に係る視界分離カメラ間特徴点ペア探索（ステップＳ２０５）について説明する。
図１４は、本実施形態に係る視界分離カメラ間特徴点ペア探索を示すフローチャートである。視界分離カメラ間特徴点ペア探索は、図１３に示す視界重複カメラ間特徴点ペア探索のステップＳ３０１の代わりに、ステップＳ３１０及びステップＳ３１１を有し、終了後にステップＳ２０６へ進む。
【００６８】
（ステップＳ３１０）特徴点ペア探索部１２２４は、車両ＣＡＮバスインタフェース１２４から車両情報として速度情報及びヨーレート情報が入力される。その後、ステップＳ３０２に進む。
（ステップＳ３１１）特徴点ペア探索部１２２４は、マスタ画像から抽出された特徴点の出現時間ΔＴ後における世界座標を、現在の世界座標、入力された速度情報及びヨーレート情報に基づいて例えば式（５）を用いて推定する。特徴点ペア探索部１２２４は、推定した特徴点に基づき、当該特徴点から予め設定された範囲内にあり、対向する特徴点の候補となる候補特徴点を定める。及び光軸補正量を探索する範囲を設定する。
また、特徴点ペア探索部１２２４は、設計値に基づくスレーブカメラの光軸補正量を、光軸補正量の初期値として設定し、光軸補正量を探索する範囲を設定する。その後、ステップＳ３０２に進む。ステップＳ３０２−Ｓ３０６において視野分離スレーブ画像に対して行う処理は、図１１においてステップＳ３０２−Ｓ３０６において視野重複スレーブ画像に対して行う処理と同様である。その後、ステップＳ２０６に進む。
【００６９】
本実施形態では、前方監視カメラ２１１の代わりに他のカメラをマスタカメラとしてもよい。
本実施形態では、光軸補正部１２２１は、上述の生成した光軸補正マスタ画像を画像圧縮部１２２５に出力し、光軸補正部１２２２−２〜１２２２−７は、入力されたスレーブ画像を各々画像圧縮部１２２５に出力してもよい。このとき、画像圧縮部１２２５は、入力された光軸補正マスタ画像及びスレーブ画像を各々、入力されたカメラ毎の画像信号として圧縮して圧縮画像信号を生成してもよい。
本実施形態では、特徴点抽出部１２２３は、ＳＩＦＴ特徴量を用いる方法の代わりに、エッジ抽出により抽出したエッジに基づき特徴点を抽出してもよい。
本実施形態では、画像処理装置１０は、さらに当該装置や車両２の外部との通信を可能にする通信インタフェースを備えてもよい。当該通信インタフェースは、外部からの要求信号を入力したとき、画像記録部１３０から画像信号と対応するイベント情報及び車両情報を読出し、外部に出力してもよい。これにより、本実施形態に係る画像処理装置１０は、サービス工場や車両所有者向けにモニタ画像と付随するイベント情報及び車両情報を提供する。
【００７０】
このように、本実施形態によれば、車両情報に基づいて推定し、１つの画像取得部が取得した画像と、他の画像取得部が取得した画像との位置関係に基づき画像補正量を算出する。これにより、複数の画像取得部が取得した画像と車両情報と、画像間の位置関係に基づき画像補正値を算出するので、算出した画像補正値に基づき画像を補正して複数の画像を一括して管理し、これらの画像を使用するシステムの構築が容易になる。
また、本実施形態によれば、１つの画像の特徴点と他の画像の特徴点の位置関係に基づき画像補正値を算出する。これらの特徴点により各画像の位置関係が代表されるため、画像補正値の算出が容易になる。
また、本実施形態によれば、他の画像の特徴点を１つの画像の特徴点から予め定められた範囲内において探索するため、探索にかかる演算量を低減することができる。
【００７１】
なお、上述した実施形態における画像処理装置１０の一部、例えば、光軸補正部１２２１、光軸補正部１２２２−２〜１２２２−７、特徴点抽出部１２２３、特徴点ペア探索部１２２４、画像圧縮部１２２５及びデータ入出力部１２２６をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像処理装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像処理装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
このような構成のもとで画像処理システム１が備えるカメラを少数（例えば前方監視カメラ２個）に制限することにより、経済的に本実施形態に係る画像処理システム１を構成することもできる。
【００７２】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００７３】
１…画像処理システム、２…車両、１０…画像処理装置、
１２１１…前方監視カメラインタフェース、
１２１２…広角前方監視カメラインタフェース、
１２１３…左右前方死角監視カメラインタフェース、
１２１４…左後方監視カメラインタフェース、
１２１５…右後方監視カメラインタフェース、
１２１６…車室内監視カメラインタフェース、１２１７…後方監視カメラインタフェース、
１２２…画像処理部、１２２１…光軸補正部、１２２２−２〜１２２２−７…光軸補正部、１２２３…特徴点抽出部、１２２４…特徴点ペア探索部、１２２５…画像圧縮部、
１２２６…データ入出力部
１２４…車両ＣＡＮバスインタフェース、１２７…画像バスインタフェース、
１２９…サービスインタフェース、１３０…画像記録部、
２１１…前方監視カメラ、２１２…広角前方監視カメラ、
２１３…左右前方死角監視カメラ、２１４…左後方監視カメラ、
２１５…右後方監視カメラ、２１６…車室内監視カメラ、２１７…後方監視カメラ、
２４…車両ＣＡＮバス、２４１…ヨーレートセンサ、２４２…速度センサ
２７…画像バス、２７０…画像補正利用部、
２７１…認識装置、２７２…警告装置、２７３…表示装置、
【図１】
0005663352.tif 000007
【図２】
0005663352.tif 000008
【図３】
0005663352.tif 000009
【図４】
0005663352.tif 000010
【図５】
0005663352.tif 000011
【図６】
0005663352.tif 000012
【図７】
0005663352.tif 000013
【図８】
0005663352.tif 000014
【図９】
0005663352.tif 000015
【図１０】
0005663352.tif 000016
【図１１】
0005663352.tif 000017
【図１２】
0005663352.tif 000018
【図１３】
0005663352.tif 000019
【図１４】
0005663352.tif 000020