(57)【要約】【課題】画像認識装置において、ユーザの負担を増加させずに車外画像に基づいて対象物を認識する機能を適切に発揮できる技術を提供する。【解決手段】画像認識装置は、車載カメラが撮影した車外画像中の対象領域に基づいて対象物を認識する。そして、画像認識装置は、カメラの光軸の位置の変化量に応じてその対象領域を変更する。このため、画像認識装置は、対象物の認識性能を向上させることができる。また、ユーザはカメラの光軸の位置がズレてもカメラの光軸を調整する必要がない。【選択図】図１０
2012093872.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されるカメラが撮影した車外画像に基づいて対象物を認識する画像認識装置であって、
前記車外画像中の対象領域に基づいて前記対象物を認識する認識手段と、
前記車外画像に基づいて、前記車両に対する前記カメラの光軸の位置の変化量を導出する導出手段と、
導出された前記変化量に応じて前記対象領域を変更する変更手段と、
を備えることを特徴とする画像認識装置。
【請求項２】
請求項１に記載の画像認識装置において、
前記変化量を累積して、前記車両に対する前記カメラの光軸の位置の初期位置からの移動量を導出する累積手段と、
前記移動量が所定値より大きい場合は、ユーザへ報知する報知手段と、
を更に備えることを特徴とする画像認識装置。
【請求項３】
請求項１に記載の画像認識装置において、
前記車両に搭載された前記カメラの位置を可動させる可動手段が前記カメラに備えられ、
前記変化量を累積して、前記車両に対する前記カメラの光軸の位置の初期位置からの移動量を導出する累積手段と、
前記移動量が所定値より大きい場合は、前記可動手段を制御してカメラの光軸の位置を補正する制御手段と、
を更に備えることを特徴とする画像認識装置。
【請求項４】
請求項１乃至３の何れかに記載の画像認識装置において、
前記変更手段は、前記カメラの光軸の位置の変化が第１方向の場合に、前記対象領域を前記車外画像中の前記第１方向とは逆の第２方向へ変更することを特徴とする画像認識装置。
【請求項５】
請求項１乃至４の何れかに記載の画像認識装置において、
前記導出手段は、前記車外画像に含まれる消失点に基づいて前記変化量を導出することを特徴とする画像認識装置。
【請求項６】
請求項５に記載の画像認識装置において、
前記対象領域は、前記車外画像中の前記消失点を含むことを特徴とする画像認識装置。
【請求項７】
請求項１乃至５の何れかに記載の画像認識装置において、
前記対象領域は、前記車外画像中の路面の区画線を含むことを特徴とする画像認識装置。
【請求項８】
請求項１乃至５の何れかに記載の画像認識装置において、
前記対象領域は、前記車外画像の左側及び右側のそれぞれに存在することを特徴とする画像認識装置。
【請求項９】
車両に搭載されるカメラが撮影した車外画像に基づいて対象物を認識する画像認識方法であって、
（ａ）前記車外画像中の対象領域に基づいて前記対象物を認識する工程と、
（ｂ）前記車外画像に基づいて、前記車両に対する前記カメラの光軸の位置の変化量を導出する工程と、
（ｃ）導出された前記変化量に応じて前記対象領域を変更する工程と、
を備えることを特徴とする画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラが撮影した車外画像に基づいて対象物を認識する技術に関する。
【背景技術】
【０００２】
近年、車両に搭載されたカメラが撮影した車外画像に基づいて対象物を認識する画像認識装置が開発されている。画像認識装置は、例えば、次のような用途で車両に用いられている。
【０００３】
車外画像に基づいて対象物を認識した場合にその旨を画像認識装置がユーザへ知らせる。このため、画像認識装置は、ユーザへ対象物を考慮した運転をさせることができる。また、車外画像に基づいて対象物を認識した場合にその旨を画像認識装置が車両を制御する制御装置へ伝達する。このため、画像認識装置は、制御装置へ対象物を考慮して車両を制御させることができる。
【０００４】
このような画像認識装置がその機能を適切に発揮するためには、車両に搭載されたカメラの光軸が予定された角度で設定されていなければならない。
【０００５】
従って、予定された角度で設定されたカメラの光軸が経年とともにズレてしまった場合などには、画像認識装置はそのズレを検知してユーザに知らせるとともにユーザにカメラの光軸を予定していた角度に再設定させる必要がある。
【０００６】
そのズレを検知する技術が、例えば、特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２１５１６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、画像認識装置が、そのズレを検知するたびにその旨をユーザへ知らせてユーザにカメラの光軸を再設定させるとなると、ユーザの負担が増加してしまうという問題が発生する。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、画像認識装置において、ユーザの負担を増加させずに車外画像に基づいて対象物を認識する機能を適切に発揮できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、車両に搭載されるカメラが撮影した車外画像に基づいて対象物を認識する画像認識装置であって、前記車外画像中の対象領域に基づいて前記対象物を認識する認識手段と、前記車外画像に基づいて、前記車両に対する前記カメラの光軸の位置の変化量を導出する導出手段と、導出された前記変化量に応じて前記対象領域を変更する変更手段とを備えることを特徴とする。
【００１１】
また、請求項２の発明は、請求項１に記載の画像認識装置において、前記変化量を累積して、前記車両に対する前記カメラの光軸の位置の初期位置からの移動量を導出する累積手段と、前記移動量が所定値より大きい場合は、ユーザへ報知する報知手段と、を更に備えることを特徴とする。
【００１２】
また、請求項３の発明は、請求項１に記載の画像認識装置において、前記車両に搭載された前記カメラの位置を可動させる可動手段が前記カメラに備えられ、前記変化量を累積して、前記車両に対する前記カメラの光軸の位置の初期位置からの移動量を導出する累積手段と、前記移動量が所定値より大きい場合は、前記可動手段を制御してカメラの光軸の位置を補正する制御手段とを更に備えることを特徴とする。
【００１３】
また、請求項４の発明は、請求項１乃至３の何れかに記載の画像認識装置において、前記変更手段は、前記カメラの光軸の位置の変化が第１方向の場合に、前記対象領域を前記車外画像中の前記第１方向とは逆の第２方向へ変更することを特徴とする。
【００１４】
また、請求項５の発明は、請求項１乃至４の何れかに記載の画像認識装置において、前記導出手段は、前記車外画像に含まれる消失点に基づいて前記変化量を導出することを特徴とする。
【００１５】
また、請求項６の発明は、請求項５に記載の画像認識装置において、前記対象領域は、前記車外画像中の前記消失点を含むことを特徴とする。
【００１６】
また、請求項７の発明は、請求項１乃至５の何れかに記載の画像認識装置において、前記対象領域は、前記車外画像中の路面の区画線を含むことを特徴とする。
【００１７】
また、請求項８の発明は、請求項１乃至５の何れかに記載の画像認識装置において、
前記対象領域は、前記車外画像の左側及び右側のそれぞれに存在することを特徴とする。
【００１８】
また、請求項９の発明は、車両に搭載されるカメラが撮影した車外画像に基づいて対象物を認識する画像認識方法であって、（ａ）前記車外画像中の対象領域に基づいて前記対象物を認識する工程と、（ｂ）前記車外画像に基づいて、前記車両に対する前記カメラの光軸の位置の変化量を導出する工程と、（ｃ）導出された前記変化量に応じて前記対象領域を変更する工程とを備えることを特徴とする。
【発明の効果】
【００１９】
請求項１ないし９の発明によれば、画像認識装置及び画像認識方法は、車載カメラが撮影した車外画像中の対象領域に基づいて対象物を認識する。そして、画像認識装置は、カメラの光軸の位置の変化量に応じてその対象領域を変更する。このため、画像認識装置及び画像認識方法は、対象物の認識性能を向上させることができる。また、ユーザはカメラの光軸の位置がズレてもカメラの光軸を調整する必要がない。
【００２０】
また、請求項２の発明によれば、画像認識装置は、導出したカメラの光軸の位置の移動量が所定値より大きい場合は、ユーザへ報知する。このため、画像認識装置は、対象物を認識することができない程にカメラの光軸がズレたことをユーザへ知らせることができる。また、ユーザはカメラの光軸を調整しなければならないことを知ることができる。
【００２１】
また、請求項３の発明によれば、画像認識装置は、画像認識装置は、導出したカメラの光軸の位置の移動量が所定値より大きい場合は、可動手段を制御してカメラの光軸の位置を補正する。このため、画像認識装置は、対象物を認識することができない程にカメラの光軸がズレた場合に、ユーザへカメラの光軸を調整させる必要がない。結果、ユーザはカメラの光軸を調整する手間を省くことができる。
【００２２】
また、請求項４の発明によれば、画像認識装置は、カメラの光軸の位置の変化が第１方向の場合に、対象領域を車外画像中の前記第１方向とは逆の第２方向へ変更する。このため、画像認識装置は、認識性能を向上させることができる。また、ユーザはカメラの光軸がズレてもカメラの光軸の位置を調整する必要がない。
【００２３】
また、請求項５の発明によれば、画像認識装置は、車外画像に含まれる消失点に基づいて変化量を導出する。このため、画像認識装置は、精度良くカメラの光軸の位置の変化量を導出することができる。
【００２４】
また、請求項６の発明によれば、画像認識装置は、対象領域に車外画像中の消失点を含める。このため、画像認識装置は、消失点の方向に存在する対象物を効率よく認識することができ、かつ、認識性能を向上できる。
【００２５】
また、請求項７の発明によれば、画像認識装置は、対象領域に車外画像中の路面の区画線を含める。このため、画像認識装置は、区画線を効率よく認識することができ、かつ、認識性能を向上できる。
【００２６】
また、請求項８の発明によれば画像認識装置は、対象領域を車外画像の左側及び右側のそれぞれに設定する。このため、画像認識装置は、車外画像の左側及び右側のそれぞれの対象物を効率よく認識することができ、かつ、認識性能を向上できる。
【図面の簡単な説明】
【００２７】
【図１】図１は、画像認識装置及びカメラの外観を示す図である。
【図２】図２は、車両を示す図である。
【図３】図３は、車両に搭載されたカメラを示す図である。
【図４】図４は、画像認識装置のシステムブロックを示す図である。
【図５】図５は、車外画像を示す図である。
【図６】図６は、消失点の導出方法を示す図である。
【図７】図７は、車外画像を示す図である。
【図８】図８は、画像認識装置が実行する制御のフローを示す図である。
【図９】図９は、画像認識装置が実行する制御のフローを示す図である。
【図１０】図１０は、画像認識装置が実行する制御のフローを示す図である。
【図１１】図１１は、車外画像を示す図である。
【図１２】図１２は、車外画像を示す図である。
【図１３】図１３は、車外画像を示す図である。
【図１４】図１４は、車外画像を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２９】
＜第１の実施の形態＞
図１は、第１の実施の形態の画像認識装置２及びカメラ３の外観を示す図である。この画像認識装置２は、車外画像に設定した対象領域に基づいて対象物、即ち、車両１の前方車両を認識する処理を実行する。そして、画像認識装置２は、車両１と前方車両との相対距離及び車両１と前方車両とが接近する際の加速度に基づいて、車両１と前方車両との接触の可能性を判定する処理を実行する。そして、画像認識装置２は、車両１と前方車両との接触の可能性が高い場合にその接触を回避するようユーザへ警告する処理を実行する。
【００３０】
更に、画像認識装置２は、カメラ３の光軸の位置の変化量を導出する処理を実行する。そして、画像認識装置２は、導出した変化量に応じて車外画像に設定した対象領域を変更する処理を実行する。
【００３１】
画像認識装置２が実行するこれらの処理を説明するために、まず、カメラ３の構造及び画像認識装置２のシステムについて説明する。
【００３２】
（カメラの構造）
カメラ３は、光学レンズ１０、筐体１１、及び、保持部１２などを備える。
【００３３】
光学レンズ１０は、例えば、画角が４５度の光学レンズである。筐体１１は、例えば、光学レンズ１０などの部品を納める箱体である。保持部１２は、例えば、筐体１１を任意の角度で固定する固定部１４によって固定して保持する保持部材である。更に、保持部１２は、車両のフロントガラスの内面と面接触する取り付け面１３を備える。
【００３４】
図２は、カメラ３をフロントガラス１５の内面に搭載した図である。カメラ３は、保持部１２が形成する取り付け面１３をフロントガラス１５の内面に面接触させる。取り付け面１３と車両のフロントガラスの内面との間には両面シールが介在している。つまり、保持部１２は、フロントガラス１５の内面のバックミラー１６の下の近傍に接着される。
【００３５】
このように保持部１２がフロントガラス１５の内面に接着された状態において、筐体１１が光学レンズ１０の光軸を予定する角度で固定部１４により固定されて保持される。
【００３６】
従って、光学レンズ１０の光軸が向く方角は、図３に示すように、車両１の前方を向くため車両１の前方の車外画像を撮影することができる。
【００３７】
しかしながら、経年などにより固定部１４が緩むことによって、予定する角度で固定部１４により固定されたカメラ３の筐体１１がズレることがある。筐体１１がズレた場合はカメラ３の光軸の位置もズレてしまう。
【００３８】
（画像認識装置のシステム）
画像認識装置２は、直方体の筐体に電子部品が実装された電子制御基板などが収められている。また、カメラ３と画像認識装置２はケーブルにより電気的に接続されている。
【００３９】
図４は、車両１に搭載された画像認識装置２のシステムを示す図である。画像認識装置２は、画像処理部２１、制御部２２、入力部３０、及び、出力部３１などを備える。
【００４０】
画像処理部２１は、例えば、ＡＳＩＣなどのハード回路である。画像処理部２１は、対象領域設定部２３、画像認識部２４、及び、変更部２５などを備える。
【００４１】
対象領域設定部２３は、カメラ３が撮影した車外画像において、画像認識部２４が対象物である前方車両を認識する範囲となる対象領域を設定する処理を実行する（以降、この処理を設定処理という）。設定処理の詳細については後述する。
【００４２】
画像認識部２４は、対象領域設定部２３によって車外画像に設定された対象領域に含まれる前方車両を認識する処理を実行する（以降、この処理を認識処理という）。認識処理の詳細については後述する。
【００４３】
変更部２５は、対象領域設定部２３によって車外画像に設定された対象領域の位置を変更する処理を実行する（以降、この処理を変更処理という）。変更処理の詳細については後述する。
【００４４】
制御部２２は、例えば、マイクロコンピュータなどを備える。マイクロコンピュータは、例えば、ＣＰＵ、ＲＯＭ、及び、ＲＡＭなどを備える。ＣＰＵは、ＲＯＭに記憶された種々のプログラムに従って演算処理を行うことで種々の機能を実現させる。また、制御部２２は、警告部２６、導出部２７、累積部２８、及び、報知部２９などを備えている。
【００４５】
警告部２６は、画像処理部２１により車外画像に基づいて前方車両が認識された場合などに、自車両と前方車両との接触を回避するようユーザへ警告する処理を実行する（以降、この処理を警告処理という）。警告処理の詳細については後述する。
【００４６】
導出部２７は、車外画像に基づいて車両１に対するカメラ３の光軸の位置の変化量を導出する処理を実行する（以降、この処理を導出処理という）。導出処理の詳細については後述する。
【００４７】
累積部２８は、導出部２７によって導出されたカメラ３の光軸の位置の変化量を累積する。累積部２８は、累積した変化量に基づいてカメラ３の光軸の位置の初期位置からの移動量を導出する処理を実行する（以降、この処理を累積処理という）。累積処理の詳細については後述する。
【００４８】
初期位置とは、車両１が工場から出荷された際にカメラ３が車両１へ搭載されたときのカメラ３の光軸の位置をいう。または、販売会社においてカメラ３が車両１へ搭載された際のカメラ３の光軸の位置をいう。つまり、画像認識装置２がその機能を適切に発揮するために初めに設定したカメラ３の光軸の位置をいう。
【００４９】
報知部２９は、累積部２８によって導出された移動量が所定値よりも大きい場合にユーザへ報知する処理を実行する（以降、この処理を報知処理という）。報知処理の詳細については後述する。
【００５０】
入力部３０は、例えば、外部装置と電気的に接続されるインターフェースである。入力部３０は、カメラ３が撮影した車外画像を画像処理部２１及び制御部２２などへ入力させる処理を実行する。
【００５１】
出力部３１は、例えば、外部装置と電気的に接続されるインターフェースである。出力部３１は、画像処理部２１が処理した車外画像などをディスプレイ４へ出力して表示させる処理を実行する。
【００５２】
次に、画像処理部２１が実行する「設定処理」、「認識処理」、及び、「変更処理」、並びに、制御部２２が実行する「警告処理」、「導出処理」、「累積処理」、及び、「報知処理」の詳細について説明する。
【００５３】
（設定処理）
まず、対象領域設定部２３が実行する設定処理について説明する。対象領域設定部２３は、カメラ３が撮影した車外画像を所定の周期で入力する。そして、対象領域設定部２３は、図５に示すように入力した車外画像の一部の領域を対象領域Ｄとして設定する。
【００５４】
前述したように、画像認識装置２は、車外画像によって認識した前方車両Ｃと車両１とが接触する可能性がある場合にその接触を回避するようユーザへ警告する処理を実行する。その際に、画像認識装置２が車外画像の全領域を対象にして前方車両Ｃを認識した場合は、その処理負荷は高くなってしまう。このため、画像認識装置２は車外画像に処理の対象とする対象領域Ｄを設定し、設定した対象領域Ｄに含まれる前方車両を認識することによって、その際の処理負荷が高くなるのを回避している。
【００５５】
その際の処理負荷が高くなるのを回避するには、前方車両Ｃが車外画像において出現する確率が高い位置に対象領域Ｄが設定されなければならない。
【００５６】
また、車外画像において前方車両Ｃと消失点が重複することが多いという事実がある。消失点とは、遠近法により表現される車外画像おいて、実際の車外の風景では平行線になる仮想的に形成される線を延長した場合に形成される交差点をいう。また、その交差点は理論上の無限遠点である。
【００５７】
従って、対象領域設定部２３は消失点を含めた範囲に対象領域Ｄを設定する。
【００５８】
この対象領域Ｄの設定について具体的に説明する。例えば、図５に示すように、車両１の前方が撮影された車外画像Ｇ１の消失点を含めるように対象領域Ｄを車外画像Ｇ１へ画像認識部２４が設定する。
【００５９】
この消失点は次のようにして導出される。まず、連続して入力された複数の車外画像中の輝度情報に基づいて、複数の車外画像に含まれる物体の車両１に対する相対的な動きを対象領域設定部２３が解析する。車外画像Ｇ１に含まれる物体は、例えば、電信柱Ｘ及び電信柱Ｙである。
【００６０】
対象領域設定部２３は、電信柱Ｘ及び電信柱Ｙの動きから実際の車外の風景において仮想的に形成される平行線を導き出す。つまり、図６に示すように、電信柱ＸがＸ１の位置からＸ５の位置へと車両１に対して相対的に動いた場合に仮想的に形成される線ＸＬを対象領域設定部２３が導き出す。
【００６１】
更に、電子柱ＹがＹ１の位置からＹ４の位置へと車両１に対して相対的に動いた場合に仮想的に形成される線ＹＬを対象領域設定部２３が導き出す。
【００６２】
更に、線ＸＬと線ＹＬとをそれぞれ延長した際の交差点を消失点として対象領域設定部２３が導き出す。
【００６３】
（認識処理）
次に、画像処理部２１が備える画像認識部２４が実行する認識処理について説明する。
【００６４】
図５に示すように、車外画像Ｇ１に設定された対象領域Ｄを対象にして前方車両Ｃを認識したか否かを画像認識部２４が判定する。
【００６５】
画像認識部２４が実行する前方車両Ｃの認識は、例えば、パターンマッチングにより行う。具体的には、車外画像中に予めメモリに記憶しておいた標準パターンと同じ像があるか、あるいは近い像があるかを画像認識部２４が検出する。
【００６６】
このように、車外画像Ｇ１に設定された対象領域Ｄのみを対象にして前方車両Ｃを認識したか否かの処理をすることによって、画像認識部２４はその処理をする際の負荷を高くすることなく効率よく前方車両Ｃを認識することができる。
【００６７】
また、車両１と前方車両との相対距離及び車両１と前方車両とが接近する際の加速度に基づいて、車両１と前方車両との接触の可能性を画像認識部２４が判定する。
【００６８】
車外画像Ｇ１に設定された対象領域Ｄを対象にして前方車両Ｃを認識した場合は、前方車両Ｃの大きさなどから車両１と前方車両Ｃとの相対距離を画像認識部２４が導出する。
【００６９】
更に、入力された複数の車外画像に含まれる前方車両Ｃの大きさの変化などから車両１と前方車両Ｃとが接近する際の加速度を画像認識部２４が導出する。
【００７０】
導出した相対距離と加速度とに基づいて、メモリに記憶されている相対距離と加速度とのマップを画像認識部２４が参照する。その参照結果が車両１と前方車両Ｃとが接触する可能性が高いとする結果の場合に、画像認識部２４は制御部２２へその旨を示すデータを送信する。
【００７１】
（警告処理）
次に、制御部２２が備える警告部２６が実行する警告処理について説明する。
【００７２】
画像認識部２４によって車両１と前方車両Ｃとが接触する可能性が高いことを判定された場合は、警告部２６はその接触を回避するようユーザへ警告する処理を実行する。
【００７３】
警告部２６が実行する警告処理とは、具体的には、接触する可能性の大きさに応じて音出力部５を制御して車室内に音を出力する。
【００７４】
（導出処理）
次に、制御部２２が備える導出部２７が実行する設定処理について説明する。
【００７５】
導出部２７はカメラ３の光軸の位置の変化量を導出する。例えば、図７に示すように、消失点Ｖが、車外画像Ｇ１−１に示す位置から車外画像Ｇ１−２に示す位置へとズレた量に基づいてカメラ３の光軸の位置の変化量を導出部２７が導出する。
【００７６】
導出部２７による変化量の導出について具体的に説明する。導出部２７は、カメラ３によって撮影された車外画像を所定の周期ごとに入力する。例えば、導出部２７は、カメラ３が撮影した図７に示す車外画像Ｇ１−１を入力する。そのあとに、導出部２７は、車外画像Ｇ１−２を入力する。
【００７７】
導出部２７は、車外画像Ｇ１−１を入力したときに車外画像Ｇ１−１に含まれる消失点Ｖを導出する。また、導出部２７は、車外画像Ｇ１−２を入力したときに車外画像Ｇ１−２に含まれる消失点Ｖを導出する。
【００７８】
そして、導出部２７は、車外画像Ｇ１−１に対する消失点Ｖの位置から車外画像Ｇ１−２に対する消失点Ｖの位置へと変化した量を導出する。この場合、車外画像において、消失点ＶがＹ軸のプラス方向へ２５ピクセル変化したとすると、導出部２７はＹ軸のマイナス方向に対する２５ピクセルをカメラ３の光軸の位置の変化量とする。
【００７９】
つまり、カメラ３の光軸の位置が下方向へ変化した場合はその消失点Ｖは上方向へ変化するため、カメラ３の光軸の変化量の変化の方向は消失点Ｖの変化量の変化の方向とは逆の方向になる。
【００８０】
これと同じようにして、図７に示す車外画像Ｇ１−２に対する消失点Ｖの位置から車外画像Ｇ１−３に対する消失点Ｖの位置へとズレた量をカメラの光軸の位置の変化量として導出部２７が導出する。
【００８１】
（変更処理）
次に、画像処理部２１が備える変更部２５が実行する変更処理について説明する。
【００８２】
制御部２２が備える導出部２７によって導出されたカメラ３の光軸の位置の変化量に応じて、対象領域設定部２３が設定した対象領域Ｄを変更部２５が変更する。
【００８３】
例えば、複数の車外画像に含まれる消失点Ｖが、Ｙ軸のプラス方向へ２５ピクセル変化した場合は、車外画像に設定された対象領域Ｄの位置をＹ軸のプラス方向へ２５ピクセルだけ変更部２５が変更する。
【００８４】
つまり、カメラ３が撮影した複数の車外画像に含まれる消失点Ｖの位置の変化によって、カメラ３の光軸の位置の変化を導出部２７が導出している。この場合、例えば、カメラ３の光軸の位置が下方向へ変化するとその消失点Ｖは上方向へ変化する。消失点が上方向へ変化した場合は、車外画像に設定されている対象領域Ｄを上方向へ変更部２５が変更する。
【００８５】
換言すると、カメラ３の光軸の位置の変化が第１の方向の場合に、対象領域Ｄを車外画像中の第１の方向とは逆の第２の方向へ変更部２５が変更する。
【００８６】
（累積処理）
次に、制御部２２が備える累積部２８が実行する累積処理について説明する。
【００８７】
累積部２８は導出部２７が導出した変化量を累積する。そして、累積部２８は累積した変化量からカメラ３の光軸の位置の初期位置からの移動量を導出する。
【００８８】
例えば、累積した変化量がＹ軸のプラス方向に対する３５０ピクセルであった場合に、この値をカメラ３の光軸の位置の初期値からの実際のその移動量へ変換する関数へ適用することによって累積部２８が移動量を導出する。
【００８９】
なお、累積部２８はその関数を用いて実際のその移動量を導出するのではなく累積した変化量を移動量として扱っても良い。
【００９０】
（報知処理）
次に、制御部２２が備える報知部２９が実行する報知処理について説明する。
【００９１】
報知部２９は、累積部２８が累積した移動量が所定値より大きい場合は音出力部５又はディスプレイ４によってユーザへカメラ３の光軸の位置を初期位置に設定しなければならないことを知らせる。
【００９２】
ここで、所定値とは、画像認識装置２が対象物を認識することができない程にカメラ３の光軸がズレたことを示すズレ量を意味する。より具体的には、カメラ３の光軸がズレたことに伴い対象領域Ｄを変更するが、その変更により対象領域Ｄの一端が車外画像の端部に達すると、これ以上同じ方向に対象領域Ｄを変更できない。そのため、カメラ３の光軸の初期値から対象領域Ｄの一端が車外画像の端部に達するまでのズレ量を所定値として設定する。
【００９３】
なお、移動量を所定値と比較するのではなく、カメラ３の光軸位置の変化量に応じて変更された対象領域Ｄの一端が車外画像の端部に到達したときに、ユーザへカメラ３の光軸の位置を初期位置に設定しなければならないことを知らせるようにしてもよい。
【００９４】
このため、画像認識装置２は対象物を認識することができない程にカメラ３の光軸がズレたことをユーザへ知らせることができる。また、ユーザはカメラ３の光軸を調整しなければならないことを知ることができる。
【００９５】
（制御フロー）
次に、画像認識装置２が実行する制御フローについて説明する。画像認識装置２は、ユーザにより電源が投入されてその機能を開始させるボタンが操作された場合に、図８に示すメインフローを所定の周期（以降、第１の周期という）で実行する。また、画像認識装置２は、その場合に図９に示すサブフローを第１の周期よりも長い周期（以降、第２の周期という）で実行する。
【００９６】
なお、第１の周期は、例えば、１０ｍｓであり、第２の周期は、例えば、１ヶ月である。
【００９７】
（メインフロー）
画像認識装置２は、第１の周期ごとに図８に示すフローのステップＳＡ１の処理を実行する。
【００９８】
画像認識装置２は、カメラ３が撮影した車外画像Ｇ１を入力する（ステップＳＡ１）。
【００９９】
次に、画像認識装置２は、設定処理を実行して車外画像Ｇ１へ対象領域Ｄを設定する（ステップＳＡ２）。
【０１００】
更に、画像認識装置２は、車外画像Ｇ１へ設定された対象領域Ｄに含まれる前方車両Ｃを認識する（ステップＳＡ３）。
【０１０１】
次に、画像認識装置２は、認識した前方車両Ｃに基づいて車両１と前方車両Ｃとの相対距離及び車両１と前方車両Ｃが接近する際の加速度を導出する（ステップＳＡ４）。
【０１０２】
次に、画像認識装置２は、導出した相対距離及び加速度に基づいて車両１と前方車両Ｃとが衝突する可能性があるか否かを判定する（ステップＳＡ５）。
【０１０３】
画像認識装置２は、車両１と前方車両Ｃとが衝突する可能性があると判定する場合は、ステップＳＡ６へ移行する（ステップＳＡ５においてＹＥＳ）。
【０１０４】
画像認識装置２は、車両１と前方車両Ｃとが衝突する可能性があると判定する場合は、警告処理を実行してその衝突を回避するようユーザへ警告する（ステップＳＡ６）
なお、画像認識装置２は、車両１と前方車両Ｃとが衝突する可能性があると判定しない場合は、エンドへ移行する（ステップＳＡ５においてＮＯ）。
【０１０５】
（サブフロー）
画像認識装置２は、第２の周期ごとに図９に示すフローのステップＳＢ１の処理を実行する。
【０１０６】
画像認識装置２は、導出処理を実行して前回の本処理が実行されることにより取得したカメラ３の光軸の位置と、今回の本処理によって取得したカメラ３の光軸の位置とに基づいてその変化量を導出する（ステップＳＢ１）。なお、初めに本処理が実行される場合は、前回のカメラ３の光軸の位置は今回のカメラ３の光軸の位置が適用される。
【０１０７】
次に、画像認識装置２は、累積処理を実行して、累積した変化量に基づいて、車両１に対するカメラ３の光軸の位置の初期位置からの移動量を導出する（ステップＳＢ２）。
【０１０８】
次に、画像認識装置２は、導出した移動量が所定値よりも大きいか否かを判定する。画像認識装置２は、移動量が所定値よりも大きいと判定しない場合は、ステップＳＢ４へ移行する（ステップＳＢ３においてＮＯ）。
【０１０９】
次に、画像認識装置２は、変更処理を実行して導出した変化量に基づいて車外画像Ｇ１に設定された対象領域Ｄの位置を変更する（ステップＳＢ４）。
【０１１０】
このため、画像認識装置２は、前方車両Ｃの認識性能を向上させることができる。また、ユーザはカメラ３の光軸の位置がズレてもカメラ３の光軸を調整する必要がない。
【０１１１】
なお、画像認識装置２は、移動量が所定値よりも大きいと判定する場合は、ステップＳＢ５へ移行する（ステップＳＢ３においてＹＥＳ）
この場合、画像認識装置２は、報知処理を実行して音出力部５又はディスプレイ４によってユーザへカメラ３の光軸の位置を初期位置に設定しなければならないことを知らせる。
【０１１２】
このため、画像認識装置２は、対象物を認識することができない程にカメラ３の光軸の光軸がズレたことをユーザへ知らせることができる。また、ユーザはカメラ３の光軸を調整しなければならないことを知ることができる。
【０１１３】
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、以降の説明においては、第１の実施の形態の画像認識装置２と第２の実施の形態の画像認識装置２とにおいて相違する点を主に説明する。
【０１１４】
まず、第２の実施の形態のカメラ３は、第１の実施形態のカメラ３と相違し、車両１に搭載されたカメラ３の位置を可変させるための可動装置を備える。つまり、車両１に搭載されたカメラ３の光軸の方向を可変させるための可動装置を備える。可動装置は、例えば、モーターである。また、画像認識装置２が備える制御部２２はモーターを制御する。
【０１１５】
次に、図９のサブフローに示すステップＳＢ５の処理と相違する図１０のサブフローに示すステップＳＣ５の処理について説明する。
【０１１６】
画像認識装置２は、カメラ３の光軸の移動量が所定値よりも大きいと判定する場合に、移動量に基づいてカメラ３の光軸の位置を補正する（ステップＳＣ５）。つまり、画像認識装置２は、移動量に基づいてカメラ３が備えるモーターを制御して、カメラ３の光軸の位置を初期位置へ戻す補正を行う。
【０１１７】
次に、画像認識装置２は、車外画像に設定される対象領域Ｄを初期の位置へ戻す（ステップＳＣ６）。
【０１１８】
このため、画像認識装置２が対象物を認識することができない程にカメラ３の光軸がズレた場合でもカメラ３が備える可動装置を制御して自動でカメラ３の光軸を調整することができる。結果、ユーザはカメラの光軸を調整する手間を省くことができる。
【０１１９】
なお、画像認識装置２は、カメラ３の光軸の移動量が所定値よりも大きいと判定しない場合は、変更処理を実行して変化量に応じて対象領域を変更する（ステップＳＣ４）。
【０１２０】
このため、画像認識装置２は、カメラ３の光軸の位置がズレても対象物の認識性能を向上させることができる。
【０１２１】
＜変形例＞
以上、本発明の第１の実施の形態について説明してきたが、この発明は上記第１の実施の形態に限定されるものではなく様々な変形が可能である。以下では他の実施形態である変形例について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。
【０１２２】
＜変形例１＞
上記第１の実施の形態の画像認識装置２は、「車外画像に基づいて車両１の前方車両を認識する」と説明したが、図１１に示すように、画像認識装置２は、車外画像Ｇ２に基づいて、車両１の前方に存在する自転車Ｈ、バイク、及び、歩行者などを認識するものであっても良い。
【０１２３】
＜変形例２＞
上記第１の実施の形態の画像認識装置２は、「車外画像に基づいて車両１の前方車両を認識する」すると説明したが、図１２に示すように、画像認識装置２は、車外画像Ｇ３に基づいて、車両１の前方の路面に含まれる右側区画線ＲＬ及び左側区画線ＬＬを認識するものであっても良い。
【０１２４】
この場合、画像認識装置２は、車両１と右側区画線ＲＬ及び左側区画線ＬＬとの相対距離、並びに、車両１と右側区画線ＲＬ及び左側区画線ＬＬとが接近する際の加速度に基づいて、車両１がそれぞれの区画線を逸脱する可能性を判定する処理を実行する。そして、画像認識装置２は、車両１とそれぞれの区画線を逸脱する可能性が高い場合に、その逸脱を回避するようユーザへ警告する処理を実行する。
【０１２５】
更に、画像認識装置２は、対象領域Ｄを消失点よりも下方に設定する。このように、画像認識装置２は、区画線が出現する確率が高い位置に対象領域Ｄを設定することができ、認識する際の処理を効率よく実行することができる。
【０１２６】
＜変形例３＞
上記第１の実施の形態において、「カメラ３のレンズを画角が４５度のレンズとする」と説明したが、カメラ３のレンズを広角レンズとしても良い。この広角レンズの画角は１００度より大きいことが望ましい。また、この広角レンズの画角は１２０度よりも大きいことが更に望ましい。また、この広角レンズの画角は１８０度よりも大きいことが更に望ましい。
【０１２７】
広角レンズを備えたカメラ３が撮影する車外画像は、図１３に示すように、車両１の前方両側の画像も含まれる。
【０１２８】
この場合、対象領域Ｄは、車外画像Ｇ４の左側及び右側のそれぞれに存在する。つまり、画像認識装置２は、対象領域Ｄを車外画像Ｇ４の左側及び右側のそれぞれに設定する。
【０１２９】
そして、画像認識装置２は、対象領域Ｄに含まれる人及び自転車などを認識する。画像認識装置２は、人及び自転車などを認識した場合に、車両１と人及び自転車などとの接触を回避するようユーザへ警告する処理を実行する。
【０１３０】
このように、画像認識装置２は、車両１の前方両側の画像を含む車外画像Ｇ４の左側及び右側のそれぞれに対象領域Ｄを設定することによって、認識した対象領域Ｄに含まれる人などと車両１との接触を回避することができる。つまり、ユーザは、車両１が交差点などに差し掛かった際にユーザが感知しにくい領域の人などを認識することができ、人などとの接触事故を回避することができる。
【０１３１】
＜変形例４＞
上記第１の実施の形態において、「カメラ３は車両１のフロントガラス１５の内面に搭載され、カメラ３の光軸が向く方角は車両１の前方である」と説明したが、カメラ３は車両１の右側のサイドミラー先端に搭載され、カメラ３の光軸が向く方角は、車両１の進行方向を基準として右９０度を向くようにしても良い。また、カメラ３は車両１の左側サイドミラー先端に搭載され、カメラ３の光軸が向く方角は、車両１の進行方向を基準として左９０度を向くようにしても良い。
【０１３２】
更に、カメラ３は変形例３で説明した広角レンズを備える。従って、広角レンズを備えたカメラ３が撮影する車外画像は、図１４に示すように、車両１の側方両側の画像も含まれる。
【０１３３】
この場合、対象領域Ｄは、車外画像Ｇ５の左側及び右側のそれぞれに存在する。つまり、画像認識装置２は、対象領域Ｄを車外画像Ｇ５の左側及び右側のそれぞれに設定する。
【０１３４】
そして、画像認識装置２は、対象領域Ｄに含まれる人、自転車、及び、バイクなどを認識する。画像認識装置２は、人、自転車、及び、バイクなどを認識した場合に、車両１と人、自転車、及び、バイクなどとの接触を回避するようユーザへ警告する処理を実行する。
【０１３５】
なお、車両１が走行中に車両１の右側サイドミラー先端に搭載されたカメラ３が撮影した車外画像Ｇ５、及び、車両１が走行中に車両１の左サイドミラー先端に搭載されたカメラ３が撮影した車外画像Ｇ５に基づいて消失点Ｖを画像認識装置２が導出するのは難しい。従って、画像認識装置２がカメラ３の光軸の変化量を導出するのも難しい。
【０１３６】
このため、時間的に連続してカメラ３により撮影された複数の車外画像に含まれる路面の走行レーンを区画する区画線であって車両１と隣接する区画線の変化に基づいて画像認識装置２がカメラ３の光軸の変化量を導出する。
【０１３７】
具体的には、過去にカメラ３が撮影した車外画像に含まれるその区画線の位置から、現在にカメラ３が撮影した車外画像Ｇ５に含まれるその区画線の位置がどれだけの量が変化したかを画像認識装置２が導出する。つまり、画像認識装置２はその変化した量をカメラ３の光軸の変化量として導出する。
【０１３８】
このように、画像認識装置２は、車両１の前方両側の画像を含む車外画像Ｇ５の左側及び右側のそれぞれに対象領域Ｄを設定することによって、認識した対象領域Ｄに含まれる人などと車両１との接触を回避することができる。つまり、ユーザは、車両１から降車する際などにユーザが感知しにくい領域の人などを認識することができ、人などとの接触事故を回避することができる。
【０１３９】
＜変形例５＞
上記第１の実施の形態において、「カメラ３は車両１のフロントガラス１５の内面に搭載され、カメラ３の光軸が向く方角は車両１の前方である」と説明したが、カメラ３は車両１のリアガラスの内面に搭載され、カメラ３の光軸が向く方角は車両１の後方であっても良い。
【０１４０】
この場合、画像認識装置２が認識する対象物は、車両１の後方を走行する車両、自転車、及び、バイクなどである。
【０１４１】
＜変形例６＞
上記第１の実施の形態において、「警告部２６が実行するその接触を回避するようユーザへ警告する処理は、接触する可能性の大きさに応じて音出力部５を制御して車室内に音を出力する」と説明した。しかし、制御部２２は次のような処理を実行しても良い。
【０１４２】
つまり、制御部２２が接触する可能性の程度を、画像認識装置２とケーブルにより電気的に接続されている車両を制御する制御装置へ伝達する。そして、車両を制御する制御装置が車両に搭載されるエンジン及びブレーキなどを制御してその接触を回避する。
【符号の説明】
【０１４３】
２    画像認識装置
３    カメラ
２１    画像処理部
２２    制御部
２３    対象領域設定部
２４    画像認識部
２５    変更部
２６    警告部
２７    導出部
２８    累積部
２９    報知部
Ｄ    対象領域
【図１】
2012093872.tif 000003
【図２】
2012093872.tif 000004
【図３】
2012093872.tif 000005
【図４】
2012093872.tif 000006
【図５】
2012093872.tif 000007
【図６】
2012093872.tif 000008
【図７】
2012093872.tif 000009
【図８】
2012093872.tif 000010
【図９】
2012093872.tif 000011
【図１０】
2012093872.tif 000012
【図１１】
2012093872.tif 000013
【図１２】
2012093872.tif 000014
【図１３】
2012093872.tif 000015
【図１４】
2012093872.tif 000016