(57)【要約】【課題】画像認識処理ごとに適切なタイミングで認識結果を初期化する。【解決手段】車載画像処理装置１００は、フロントカメラ２００とリアカメラ２０１とからそれぞれ撮影画像を取得する画像取得部１と、自車両の進行方向を検出する進行方向検出部２と、進行方向検出部２が検出した自車両の進行方向を撮影するカメラの撮影画像を選択する画像選択部３と、画像選択部３の選択画像に基づいて、自車両の外界を認識する外界認識部６と、画像選択部３の選択画像に基づいて、カメラレンズに付着した異物を認識する異物認識部７と、進行方向検出部２が検出した進行方向の変化を検出する方向変化検出部５と、方向変化検出部５により自車両の挙動を検出する挙動検出部８ａを有し、挙動検出部８ａにより第１の挙動が検出されたとき外界認識部６の認識結果を初期化すると共に、第２の挙動が検出されたとき異物認識部７の認識結果を初期化する初期化部８とを備える。【選択図】図１
2014104840.tif 000002
【特許請求の範囲】
【請求項１】
車両の前方を撮影する前方カメラと、前記車両の後方を撮影する後方カメラとからそれぞれ撮影画像を取得する画像取得部と、
前記車両の進行方向を検出する進行方向検出部と、
前記前方カメラと前記後方カメラとの中から、前記進行方向検出部が検出した前記車両の進行方向を撮影する第１カメラの撮影画像を選択する画像選択部と、
前記第１カメラの撮影画像に基づいて、前記車両の外界を認識する外界認識部と、
前記第１カメラの撮影画像に基づいて、前記第１カメラのレンズに付着した異物を認識する異物認識部と、
前記進行方向検出部が検出した前記進行方向の変化を検出する方向変化検出部と、
前記方向変化検出部により前記車両の挙動を検出する挙動検出部を有し、前記挙動検出部により第１の挙動が検出されたとき前記外界認識部の認識結果を初期化すると共に、前記挙動検出部により第２の挙動が検出されたとき前記異物認識部の認識結果を初期化する初期化部と、
を備えることを特徴とする車載画像処理装置。
【請求項２】
請求項１に記載の車載画像処理装置において、
前記挙動検出部は、前記方向変化検出部により前記進行方向の変化が検出されたときからの経過時間を検出し、
前記初期化部は、前記挙動検出部により第１の経過時間が検出されたとき前記外界認識部の認識結果を初期化すると共に、前記挙動検出部により第２の経過時間が検出されたとき前記異物認識部の認識結果を初期化することを特徴とする車載画像処理装置。
【請求項３】
請求項１または２に記載の車載画像処理装置において、
前記挙動検出部は、前記車両の速度をさらに検出し、
前記初期化部は、前記挙動検出部により第１の速度が検出されたとき前記外界認識部の認識結果を初期化すると共に、前記挙動検出部により第２の速度が検出されたとき前記異物認識部の認識結果を初期化することを特徴とする車載画像処理装置。
【請求項４】
請求項３に記載の車載画像処理装置において、
前記挙動検出部は、前記車両のヨーレートをさらに検出し、
前記初期化部は、前記挙動検出部により第２の速度が検出されたとき、または前記所定のヨーレートが検出されたときに、前記異物認識部の認識結果を初期化することを特徴とする車載画像処理装置。
【請求項５】
請求項１に記載の車載画像処理装置において、
前記進行方向検出部は、前記車両のシフトレバーのポジションを検出し、
前記シフトレバーは、前記車両が後方に進行するＲポジションを少なくとも含む複数のポジションを有し、
前記方向変化検出部は、前記シフトレバーが前記Ｒポジションに変更されることと、前記シフトレバーが前記Ｒポジションから他のポジションに変更されることとを検出することを特徴とする車載画像処理装置。
【請求項６】
請求項１に記載の車載画像処理装置において、
前記外界認識部は、前記車両の周囲の路面に設けられた白線を検出することを特徴とする車載画像処理装置。
【請求項７】
請求項１に記載の車載画像処理装置において、
前記挙動検出部は、車載モニタの表示変化を検出し、
前記初期化部は、前記挙動検出部により検出された前記車載モニタの表示変化が所定の変化であった場合に前記外界認識部の認識結果および／または前記異物認識部の認識結果を初期化することを特徴とする車載画像処理装置。
【請求項８】
請求項１に記載の車載画像処理装置において、
前記初期化部は、前記挙動検出部により前記第１の挙動が検出されたとき前記外界認識部の認識結果を初期化する第一の初期化を実施し、前記挙動検出部により前記第２の挙動が検出されたとき前記外界認識部の認識結果のうち自車挙動に関連する部分を初期化する第二の初期化を実施することを特徴とする車載画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載される車載画像処理装置に関する。
【背景技術】
【０００２】
車両に設置されている複数のカメラの映像を運転状況に応じて自動的に選択して、その映像に対して運転状況に応じた画像処理を行う車載画像処理装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２２１７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数のカメラの映像を用いて複数の画像認識処理を行う車載画像処理装置において、車両の挙動に応じて各画像認識処理の認識結果を初期化する際、画像認識処理ごとに適切なタイミングで初期化することができなかった。
【課題を解決するための手段】
【０００５】
本発明による車載画像処理装置は、車両の前方を撮影する前方カメラと車両の後方を撮影する後方カメラとからそれぞれ撮影画像を取得する画像取得部と、車両の進行方向を検出する進行方向検出部と、前方カメラと後方カメラとの中から、進行方向検出部が検出した車両の進行方向を撮影する第１カメラの撮影画像を選択する画像選択部と、第１カメラの撮影画像に基づいて、車両の外界を認識する外界認識部と、第１カメラの撮影画像に基づいて、第１カメラのレンズに付着した異物を認識する異物認識部と、進行方向検出部が検出した進行方向の変化を検出する方向変化検出部と、車両の挙動を検出する挙動検出部を有し、挙動検出部により第１の挙動が検出されたとき外界認識部の認識結果を初期化すると共に、挙動検出部により第２の挙動が検出されたとき異物認識部の認識結果を初期化する初期化部と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、車両の挙動に応じて各画像認識処理の認識結果を初期化する際、画像認識処理ごとに適切なタイミングで認識結果を初期化することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１の実施形態による車載画像処理装置の構成を示すブロック図である。
【図２】本発明の第１および第２の実施形態による車載画像処理装置の動作に関するフローチャートである。
【図３】本発明の第１および第２の実施形態による車載画像処理装置における方向切替検出部の動作に関するフローチャートである。
【図４】本発明の第１の実施形態による車載画像処理装置における初期化部の動作に関するフローチャートである。
【図５】本発明の第１および第２の実施形態による車載画像処理装置における外界認識部の動作に関するフローチャートである。
【図６】本発明の第１および第２の実施形態による車載画像処理装置における異物認識部の動作に関するフローチャートである。
【図７】本発明の第２の実施形態による車載画像処理装置における初期化部の動作に関するフローチャートである。
【図８】本発明の第２の実施形態による車載画像処理装置における初期化部の動作に関するフローチャートである。
【発明を実施するための形態】
【０００８】
―第１の実施の形態―
図１は、本発明の第１の実施形態による車載画像処理装置１００の構成を示すブロック図である。図１に示す車載画像処理装置１００は、車両に搭載される制御装置であって、画像取得部１と、進行方向検出部２と、画像選択部３と、画像処理部４と、方向切替検出部５と、外界認識部６と、異物認識部７と、初期化部８と、情報記憶部９を備える。以降、車載画像処理装置１００が搭載されている車両のことを自車両と称する。
【０００９】
画像取得部１は、自車両に備わるフロントカメラ２００とリアカメラ２０１とからそれぞれ撮影画像を取得する。フロントカメラ２００とリアカメラ２０１とは、電子式カメラであり、車両の前方または後方の周囲環境（例えば、路面）を撮影する。以降、フロントカメラ２００が撮影する撮影画像をフロント画像と称し、リアカメラ２０１が撮影する撮影画像をリア画像と称する。画像取得部１は、取得したフロント画像とリア画像とを画像選択部３に出力する。
【００１０】
進行方向検出部２は、自車両の進行方向に関する情報として、自車両のシフトポジションに関する情報を検出する。自車両のシフトポジションに関する情報は、例えば、不図示のＥＣＵ（エンジンコントロールユニット）から取得する。シフトポジションには、例えばＲポジション（後退、リバース）、Ｄポジション（前進、ドライブ）、Ｎポジション（ニュートラル）、Ｐポジション（駐車、パーキング）、１速ポジション（ロー）などが存在する。
【００１１】
進行方向検出部２は、自車両のシフトポジションに関する情報を検出すると、情報記憶部９に設けられたリングバッファに記憶する。リングバッファには、少なくとも二つのシフトポジションに関する情報が記憶される。リングバッファに記憶されたシフトポジションに関する情報は、画像選択部３と方向切替検出部５とによって参照される。
【００１２】
画像選択部３は、情報記憶部９のリングバッファに記憶された最新の自車両のシフトポジションに関する情報に応じて、画像取得部１から入力されたフロント画像とリア画像のうち片方を選択して、画像処理部４に出力する。画像選択部３は、最新の自車両のシフトポジションがＤポジションや１速ポジションなど、自車両の前進に関わるシフトポジションの場合、フロント画像を選択して画像処理部４へ出力する。他方で、画像選択部３は、最新の自車両のシフトポジションがＲポジションの場合はリア画像を選択して画像処理部４へ出力する。
【００１３】
画像処理部４は、画像選択部３から入力されたフロント画像またはリア画像に対して視点変換する画像処理を行い、自車両の上方から見下ろす視点の俯瞰画像を生成する。画像処理部４は、この俯瞰画像を、外界認識部６と異物認識部７に出力する。
【００１４】
方向切替検出部５は、情報記憶部９のリングバッファに記憶された複数の自車両のシフトポジションに関する情報に基づいて、自車両の進行方向の切り替え、すなわち自車両のシフトポジションの切り替えを検出する。方向切替検出部５は、例えば自車両のシフトポジションがＲポジションに切り替えられたか否か、または自車両のシフトポジションがＲポジションからその他のシフトポジション（例えば、Ｄポジション）に切り替えられたか否かを検出する。
【００１５】
外界認識部６は、画像処理部４から入力された俯瞰画像に対して画像認識処理を行い、自車両の周囲の外界を認識する。本実施の形態においては、外界認識部６は、後述する白線認識手法を利用して、自車両の前方または後方の路面上に設けられた駐車枠を認識し、駐車枠を成す４点の座標、左上（ＴＬＸ［ｐ］，ＴＬＹ［ｐ］）、右上（ＴＲＸ［ｐ］，ＴＲＹ［ｐ］）、左下（ＢＬＸ［ｐ］，ＢＬＹ［ｐ］）、右下（ＢＲＸ［ｐ］，ＢＲＹ［ｐ］）、および個数ｐを外界認識結果として記憶する。ここでｐは俯瞰画像内に小領域が複数存在する場合にそれぞれを区別するために付するＩＤである。
【００１６】
異物認識部７は、画像処理部４から入力された俯瞰画像に基づいて、後述する異物検出手法を利用して、フロントカメラ２００またはリアカメラ２０１のレンズに付着している異物を認識する。異物とは、例えば、泥、水滴、水滴痕、融雪剤などである。本実施の形態においては、俯瞰画像を小領域に分割し、異物が存在する小領域の始点ｘ座標ＤＳＸ［ｄ］、始点ｙ座標ＤＳＹ［ｄ］、終点ｘ座標ＤＥＸ［ｄ］、終点ｙ座標ＤＥＹ［ｄ］、およびその小領域の個数ｄを異物認識部７の認識結果として情報記憶部９に記憶する。ここでｄは俯瞰画像内に小領域が複数存在する場合にそれぞれを区別するために付するＩＤである。
【００１７】
外界認識部６の認識結果は、情報記憶部９に記憶されると共に、車載画像処理装置１００よりも上位の車両制御装置（不図示）に入力される。本実施の形態においては、車載画像処理装置１００は、駐車枠線を認識し、駐車枠の認識結果に基づいて、車両周囲の駐車枠に対する駐車枠情報を出力する。例えば、車載画像処理装置１００は、車両に対する駐車枠の方向や駐車枠までの距離を示す情報を駐車枠情報として出力する。この駐車枠情報は、車載画像処理装置１００と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御等に利用される。例えば、周囲に駐車場が存在する状況であることを自動的に認識し、例えば、駐車場環境である場合には、モニタに自車周囲の俯瞰映像を自動的に切り替えて表示することができる。これにより、公道において駐車場であると誤検知する状況を抑制し、適切なタイミングでユーザへの提示映像を切り替えることができるようになる。
【００１８】
また、車載画像処理装置１００は、駐車枠の認識結果に基づいて、駐車枠情報として、駐車枠に関して自車からの相対的な位置情報をさらに出力する。例えば、車載画像処理装置１００は、駐車枠の左右枠線の端点座標，駐車枠線の角度および切片といった、実環境中における駐車枠の位置情報を出力する。この駐車枠情報は、車載画像処理装置１００と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御等に利用される。例えば、自車から駐車枠までの相対的な位置・姿勢に基づいて、駐車枠までの走行経路を計算し、ドライバーにブレーキやシフトポジション変更のタイミングや、舵角の操作量を通知することによって、駐車支援を行うことが可能となる。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、短時間で駐車動作が完了できるようになる。
【００１９】
さらには、自車から駐車枠までの相対的な位置・姿勢は、駐車枠までの走行経路を計算し、自動で車両の前進・後退・旋回の制御量を計算し、その計算結果に従って車両運動を自動制御することに用いてもよい。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、安全かつ正確に駐車動作を完了できるようになる。
【００２０】
異物認識部７の認識結果は、カメラごとに分類して情報記憶部９に記憶されると共に、車載画像処理装置１００よりも上位の車両制御装置（不図示）に入力される。その上位の車両制御装置（不図示）は、異物認識部７の認識結果を、フロントカメラ２００またはリアカメラ２０１のレンズに付着した異物の除去制御等に用いる。
【００２１】
初期化部８は、自車両の挙動を検出する挙動検出部８ａを備え、挙動検出部８ａが検出した自車両の挙動に基づいて、情報記憶部９に記憶された外界認識部６および異物認識部７の認識結果を初期化する。具体的には、外界認識部６の出力である駐車枠を成す４点の座標、左上（ＴＬＸ［ｐ］、ＴＬＹ［ｐ］）、右上（ＴＲＸ［ｐ］、ＴＲＹ［ｐ］）、左下（ＢＬＸ［ｐ］、ＢＬＹ［ｐ］）、右下（ＢＲＸ［ｐ］、ＢＲＹ［ｐ］）、および個数ｐをゼロにする。なお、異物認識部７の出力である異物が存在する小領域の始点ｘ座標ＤＳＸ［ｄ］、始点ｙ座標ＤＳＹ［ｄ］、終点ｘ座標ＤＥＸ［ｄ］、終点ｙ座標ＤＥＹ［ｄ］、およびその個数ｄをゼロにする。なお、外界認識部６および異物認識部７の初期化は出力をゼロにすることであり、演算の途中で用いている内部変数等に関してはここですべてゼロにクリアしても良いし、一部を保持しても構わない。挙動検出部８ａは、第１の実施の形態では、自車両の挙動として、方向切替検出部５により自車両の進行方向の切り替えが検出されたときからの経過時間ＴＣを検出（計時）する。
【００２２】
情報記憶部９は、ＲＡＭやＲＯＭなどを有し、車載画像処理装置１００の制御プログラムや、画像取得部１、進行方向検出部２、画像選択部３、画像処理部４、方向切替検出部５、外界認識部６、異物認識部７、初期化部８などにより生成された各種情報が記憶される。
【００２３】
図２は、車載画像処理装置１００の動作に関するフローチャートである。ステップＳ１０では、車載画像処理装置１００は、画像取得部１の処理を行い、フロントカメラ２００およびリアカメラ２０１からフロント画像およびリア画像を取得する。ステップＳ２０では、車載画像処理装置１００は、進行方向検出部２の処理を行い、自車両のシフトポジションを検出する。なお、ステップＳ１０とステップＳ２０の処理順序は、入れ替え可能であり、並列処理することにしてもよい。
【００２４】
ステップＳ３０では、車載画像処理装置１００は、方向切替検出部５の処理を行う。ステップＳ４０では、車載画像処理装置１００は、初期化部８の処理を行う。ステップＳ３０およびステップＳ４０の処理については、その詳細を後述する。
【００２５】
ステップＳ５０では、車載画像処理装置１００は、画像選択部３の処理を行い、フロント画像とリア画像のいずれかを画像処理部４に入力する。ステップＳ６０では、車載画像処理装置１００は、画像処理部４の処理を行い、フロント画像またはリア画像に基づいた俯瞰画像を生成して、俯瞰画像を外界認識部６および異物認識部７に入力する。
【００２６】
ステップＳ７０では、車載画像処理装置１００は、外界認識部６の処理を行う。ステップＳ８０では、車載画像処理装置１００は、異物認識部７の処理を行う。なお、ステップＳ７０とステップＳ８０の処理順序は、入れ替え可能であり、並列処理することにしてもよい。
【００２７】
車載画像処理装置１００は、外界認識部６と異物認識部７の処理が終了したら、ステップＳ１０の処理に戻る。以降、車載画像処理装置１００は、ステップＳ１０からステップＳ８０の処理を繰り返す。
【００２８】
図２のステップＳ３０およびステップＳ４０で実行される方向切替検出部５と初期化部８の処理について説明する。方向切替検出部５と初期化部８の間では、リア初回初期化フラグとフロント初回初期化フラグという二つのフラグを共有する。リア初回初期化フラグとフロント初回初期化フラグは、それぞれオン（ＴＲＵＥ）とオフ（ＦＡＬＳＥ）のいずれかの値に設定される。
【００２９】
リア初回初期化フラグは、Ｒポジション以外のシフトポジションからＲポジションにシフトポジションが切り替わったときに、方向切替検出部５によりオンに設定される。他方、フロント初回初期化フラグは、Ｒポジションから他のシフトポジションに切り替わったときに、方向切替検出部５によりオンに設定される。
【００３０】
初期化部８は、リア初回初期化フラグまたはフロント初回初期化フラグが方向切替検出部５によりオンに設定されたとき、外界認識初期化フラグと異物認識初期化フラグという新たな二つのフラグをオフに設定した後、方向切替検出部５によりオンに設定されていたリア初回初期化フラグまたはフロント初回初期化フラグをオフに設定する。
【００３１】
外界認識初期化フラグは、外界認識部６の初期化制御に用いられる。外界認識初期化フラグは、初期状態ではオンである。外界認識初期化フラグがオフであり且つ挙動検出部８ａが自車両の所定の第１の挙動を検出した場合に、外界認識部６が初期化されて、外界認識初期化フラグがオンに設定される。第１の挙動とは、例えば方向切替検出部５により自車両の進行方向の切り替えが検出されたときから第１時間Ｔ１が経過したことである。第１時間Ｔ１は、例えば自車両のシフトポジションが切り替えられたときに自車両が切替前のシフトポジションに応じた進行方向に惰性で移動し続ける時間である。
【００３２】
異物認識初期化フラグは、異物認識部７の初期化制御に用いられる。異物認識初期化フラグは、初期状態ではオンである。異物認識初期化フラグがオフであり且つ挙動検出部８ａが自車両の所定の第２の挙動を検出した場合に、異物認識部７が初期化されて、異物認識初期化フラグがオンに設定される。第２の挙動とは、例えば方向切替検出部５により自車両の進行方向の切り替えが検出されたときから第２時間Ｔ２が経過したことである。
【００３３】
図３は、図２のステップＳ３０における方向切替検出部５の処理に関するフローチャートである。ステップＳ３０１では、車載画像処理装置１００は、情報記憶部９のリングバッファに記憶されているシフトポジションに関する情報を取得する。ステップＳ３０２では、車載画像処理装置１００は、ステップＳ３０１で取得したシフトポジションに関する情報に基づいて、シフトポジションの切り替えを検出する。
【００３４】
ステップＳ３０３では、車載画像処理装置１００は、Ｒポジション以外のシフトポジションからＲポジションに自車両のシフトポジションが切り替わったか否かを判定する。ステップＳ３０３の判定は、例えばＤポジション、Ｐポジション、Ｎポジション、１速ポジションなどからＲポジションに切り替わったとき、肯定判定される。そして、自車両のシフトポジションがＲポジションから他のシフトポジションに切り替わったとき、Ｒポジション以外のシフトポジション間でシフトポジションが切り替わったとき、またはシフトポジションが切り替わらなかったとき、ステップＳ３０３は否定判定される。車載画像処理装置１００は、ステップＳ３０３が否定判定された場合は処理をステップＳ３０４に進め、ステップＳ３０３が肯定判定された場合は処理をステップＳ３０５に進める。
【００３５】
ステップＳ３０４では、車載画像処理装置１００は、ＲポジションからＲポジション以外のシフトポジションに自車両のシフトポジションが切り替わったか否かを判定する。ステップＳ３０４の判定は、Ｒポジション以外のシフトポジション間でシフトポジションが切り替わったとき、またはシフトポジションが切り替わらなかったときに否定判定されて、自車両のシフトポジションがＲポジションから他のシフトポジションに切り替わったときに肯定判定される。車載画像処理装置１００は、ステップＳ３０４が否定判定された場合は処理をステップＳ３０７に進め、ステップＳ３０４が肯定判定された場合は処理をステップＳ３０６に進める。
【００３６】
ステップＳ３０５では、車載画像処理装置１００は、リア初回初期化フラグをオンに設定する。すなわち、車載画像処理装置１００は、Ｒポジション以外のシフトポジションからＲポジションに自車両のシフトポジションが切り替わったときは、リア初回初期化フラグをオンに設定する。
【００３７】
ステップＳ３０６では、車載画像処理装置１００は、フロント初回初期化フラグをオンに設定する。すなわち、車載画像処理装置１００は、ＲポジションからＲポジション以外のシフトポジションに自車両のシフトポジションが切り替わったときは、フロント初回初期化フラグをオンに設定する。
【００３８】
車載画像処理装置１００は、ステップＳ３０７では、リア初回初期化フラグとフロント初回初期化フラグとをオフに設定する。すなわち、車載画像処理装置１００は、Ｒポジション以外のシフトポジション間でシフトポジションが切り替わったとき、またはシフトポジションが切り替えられなかったときは、リア初回初期化フラグとフロント初回初期化フラグとをオフに設定する。
【００３９】
車載画像処理装置１００は、ステップＳ３０５、ステップＳ３０６、またはステップＳ３０７にてリア初回初期化フラグとフロント初回初期化フラグの設定を行った後、図３の処理を終了して、図２のステップＳ４０の処理に進む。
【００４０】
図４は、図２のステップＳ４０における初期化部８の処理に関するフローチャートである。ステップＳ４０１では、車載画像処理装置１００は、リア初回初期化フラグがオンに設定されているか否かを判定する。車載画像処理装置１００は、リア初回初期化フラグがオンに設定されている場合は処理をステップＳ４０２に進め、リア初回初期化フラグがオフに設定されている場合は処理をステップＳ４０４に進める。
【００４１】
ステップＳ４０２では、車載画像処理装置１００は、フロントカメラ２００に対する異物認識部７の認識結果を、そのまま情報記憶部９に保持する。ステップＳ４０３では、車載画像処理装置１００は、リア初回初期化フラグをオフに設定する。
【００４２】
ステップＳ４０４では、車載画像処理装置１００は、フロント初回初期化フラグがオンに設定されているか否かを判定する。車載画像処理装置１００は、フロント初回初期化フラグがオンに設定されている場合は処理をステップＳ４０５に進め、フロント初回初期化フラグがオフに設定されている場合は処理をステップＳ４０９に進める。
【００４３】
ステップＳ４０５では、車載画像処理装置１００は、リアカメラ２０１に対する異物認識部７の認識結果を初期化する。ステップＳ４０６では、車載画像処理装置１００は、フロント初回初期化フラグをオフに設定する。
【００４４】
ステップＳ４０７では、車載画像処理装置１００は、挙動検出部８ａに対して、経過時間ＴＣの計時をリセットさせる。ステップＳ４０８では、車載画像処理装置１００は、外界認識初期化フラグと異物認識初期化フラグとをオフに設定する。すなわち、車載画像処理装置１００は、挙動検出部８ａが自車両の所定の挙動を検出したときに、外界認識部６や異物認識部７の初期化を開始可能な状態にする。
【００４５】
ステップＳ４０９では、車載画像処理装置１００は、挙動検出部８ａが計時している経過時間ＴＣを取得する。ステップＳ４１０では、車載画像処理装置１００は、外界認識初期化フラグがオフであり、かつステップＳ４０９で取得された経過時間ＴＣが第１時間Ｔ１よりも大きいか否かを判定する。車載画像処理装置１００は、ステップＳ４１０が肯定判定されたとき処理をステップＳ４１１に進め、ステップＳ４１０が否定判定されたとき処理をステップＳ４１３に進める。
【００４６】
ステップＳ４１１では、車載画像処理装置１００は、外界認識部６の認識結果を初期化する。ステップＳ４１２では、車載画像処理装置１００は、外界認識初期化フラグをオンに設定する。すなわち、外界認識部６の認識結果を初期化した後は、再度ステップＳ４０１またはステップＳ４０４が肯定判定されるまで外界認識部６の認識結果の初期化を行わないように設定する。
【００４７】
ステップＳ４１３では、車載画像処理装置１００は、異物認識初期化フラグがオフであり、かつステップＳ４０９で取得された経過時間ＴＣが第２時間Ｔ２よりも大きいか否かを判定する。車載画像処理装置１００は、ステップＳ４１３が肯定判定されたとき処理をステップＳ４１４に進め、ステップＳ４１３が否定判定されたとき図４の処理を終了させて図２のステップＳ５０の処理に進む。
【００４８】
図３と図４に示された方向切替検出部５と初期化部８の動作について、具体例を用いて説明する。第１の具体例として、ＤポジションからＲポジションに自車両のシフトポジションが切り替えられて、その後自車両のシフトポジションがＲポジションで維持される場合について説明する。
【００４９】
ＤポジションからＲポジションに自車両のシフトポジションが切り替わったとき、情報記憶部９のリングバッファには、Ｄポジションに関する情報と、Ｒポジションに関する情報とが記憶される。車載画像処理装置１００は、方向切替検出部５の処理を開始すると、リングバッファに記憶されているこれらのシフトポジションに関する情報を取得して（図３のステップＳ３０１）、取得したシフトポジションに関する情報を比較してシフトポジションの切り替えを検出する（ステップＳ３０２）。
【００５０】
車載画像処理装置１００は、自車両のシフトポジションがＲポジション以外のシフトポジションであるＤポジションからＲポジションに切り替わっているため、ステップＳ３０３を肯定判定して、リア初回初期化フラグをオンに設定する（ステップＳ３０５）。そして、車載画像処理装置１００は、方向切替検出部５の処理を終了して図４に示す初期化部８の処理を開始する。
【００５１】
車載画像処理装置１００は、初期化部８の処理を開始すると、リア初回初期化フラグがオンに設定されているため、ステップＳ４０１を肯定判定して、フロントカメラ２００の異物検知情報を保持すると共に、リア初回初期化フラグをオフに設定する（ステップＳ４０２およびＳ４０３）。
【００５２】
その後、車載画像処理装置１００は、挙動検出部８ａに経過時間ＴＣの計時を開始させると共に、外界認識初期化フラグと異物認識初期化フラグとをオフに設定する（ステップＳ４０７およびステップＳ４０８）。車載画像処理装置１００は、ステップＳ４０９において、挙動検出部８ａから経過時間ＴＣを取得して、ステップＳ４１０の処理に進む。ステップＳ４０７で経過時間ＴＣの計時を開始した直後は、経過時間ＴＣが所定の第１時間Ｔ１以下であるため、ステップＳ４１０が否定判定されて、ステップＳ４１３の処理に進む。同様にステップＳ４０７で経過時間ＴＣの計時を開始した直後は、経過時間ＴＣが所定の第２時間Ｔ２以下であるため、ステップＳ４１３が否定判定されて、図２のステップＳ５０の処理に進む。このとき、外界認識初期化フラグと異物認識初期化フラグとは、オフに設定されたままである。
【００５３】
その後、車載画像処理装置１００は、図２のステップＳ５０からステップＳ８０の処理を行った後、再度ステップＳ１０からの処理を開始する。２周目のステップＳ２０にて、進行方向検出部２が再びＲポジションに関する情報を検出する。そして、再び図３の処理を開始する。
【００５４】
自車両のシフトポジションがＲポジションのままであるため、２周目のステップＳ３０２においては自車両のシフトポジションの切り替えが検出されず、ステップＳ３０３およびステップＳ３０４が共に否定判定される。その結果、車載画像処理装置１００は、リア初回初期化フラグとフロント初回初期化フラグとをオフに設定して（ステップＳ３０７）、２周目の図４の処理を開始する。
【００５５】
リア初回初期化フラグとフロント初回初期化フラグとが共にオフに設定されているため、車載画像処理装置１００は、ステップＳ４０１とステップＳ４０４とを共に否定判定して、経過時間ＴＣを取得する（ステップＳ４０９）。
【００５６】
経過時間ＴＣがまだ第１時間Ｔ１と第２時間Ｔ２のいずれにも到達していない場合は、ステップＳ４１０とステップＳ４１３とが否定判定されて、再び図２のステップＳ５０以降の処理を開始する。
【００５７】
２周目と同様の処理を繰り返して、Ｎ１周目に経過時間ＴＣが第１時間Ｔ１を超えたとき、外界認識初期化フラグが１周目のステップＳ４０８の処理にてオフに設定されたままであるため、ステップＳ４１０が肯定判定される。車載画像処理装置１００は、外界認識部６の認識結果を初期化して（ステップＳ４１１）、外界認識初期化フラグをオンに設定する（ステップＳ４１２）。ステップＳ４１２で外界認識初期化フラグがオンに設定された後、ステップＳ４１０の判定は、再びステップＳ４０８で外界認識初期化フラグをオフに設定されるまで否定判定される。
【００５８】
シフトポジションが切り替わったとき、変更後のシフトポジションに応じた進行方向とは異なる方向に惰性で自車両が移動することがある。自車両が惰性で移動しているにも関わらず即座にシフトポジションの切り替えに応じて外界認識部６の認識結果を初期化すると、自車両の移動方向と外界認識部６の処理対象領域との整合が取れず、車載画像処理装置１００等の誤動作の原因となるおそれがある。シフトポジションが切り替えられてから第１時間Ｔ１が経過するまで外界認識部６の認識結果を初期化しないようにすることで、自車両の移動方向と外界認識部６の処理対象領域との不整合による誤動作を予防することができる。
【００５９】
また、Ｎ２周目に経過時間ＴＣが第２時間Ｔ２を超えたとき、異物認識初期化フラグが１周目のステップＳ４０８の処理にてオフに設定されたままであるため、ステップＳ４１３が肯定判定される。車載画像処理装置１００は、ＲポジションであるためステップＳ４１４を肯定判定して、フロントカメラの異物認識結果を初期化して（ステップＳ４１５）、異物認識初期化フラグをオンに設定する（ステップＳ４１６）。ステップＳ４１６で異物認識初期化フラグがオンに設定された後、ステップＳ４１３の判定は、再びステップＳ４０８で異物認識初期化フラグをオフに設定されるまで否定判定される。
【００６０】
自車両の進行方向に応じて俯瞰画像の基となる撮影画像を撮影するカメラを切り替える場合であって、長時間カメラの撮影画像が処理に用いられなかったとき、そのカメラに対する異物認識部７の認識結果は記憶している意味が無い虞がある。そこで、シフトポジションが切り替えられてから第２時間Ｔ２経過したときに異物認識部７の認識結果を初期化する。
【００６１】
次に第２の具体例として、ＲポジションからＤポジションに自車両のシフトポジションが切り替わり、その後自車両のシフトポジションがＤポジションで維持される場合について説明する。
【００６２】
ＲポジションからＤポジションに自車両のシフトポジションが切り替わったとき、情報記憶部９のリングバッファには、Ｒポジションに関する情報と、Ｄポジションに関する情報とが記憶される。車載画像処理装置１００は、方向切替検出部５の処理を開始すると、リングバッファに記憶されているこれらのシフトポジションに関する情報を取得して（図３のステップＳ３０１）、取得したシフトポジションに関する情報を比較してシフトポジションの切り替えを検出する（ステップＳ３０２）。
【００６３】
車載画像処理装置１００は、ステップＳ３０３を否定判定して、ステップＳ３０４を肯定判定して、フロント初回初期化フラグをオンに設定する（ステップＳ３０６）。そして、車載画像処理装置１００は、方向切替検出部５の処理から図４に示す初期化部８の処理に移る。
【００６４】
車載画像処理装置１００は、初期化部８の処理を開始すると、リア初回初期化フラグがオフに設定されているため、ステップＳ４０１を否定判定する。そして、車載画像処理装置１００は、フロント初回初期化フラグがオンに設定されているため、ステップＳ４０４を肯定判定して、リアカメラ２０１の異物検知情報を初期化すると共に、フロント初回初期化フラグをオフに設定する（ステップＳ４０５およびＳ４０６）。以降の処理は、ステップＳ４１４の処理が否定判定される点を除いて第１の具体例と同様である。
【００６５】
図５は、図２のステップＳ７０でその処理が行われる外界認識部６の一例に関するフローチャートである。図５に例示されるフローチャートは、白線認識処理に関するものである。ステップＳ５０１では、車載画像処理装置１００は、画像処理部４から出力される俯瞰画像の全ラインに対して、横方向のエッジフィルタを適用する。ステップＳ５０２では、車載画像処理装置１００は、エッジフィルタ適用後の俯瞰画像から立ち上がりと立ち下がりのピーク点を抽出する。
【００６６】
ステップＳ５０３では、車載画像処理装置１００は、ステップＳ５０２で抽出された立ち上がりと立ち下がりのピーク点の間隔が所定距離となるようなペアを構成するピーク点を抽出する。ステップＳ５０４では、車載画像処理装置１００は、ステップＳ５０３で抽出された立ち上がりのピーク点に対してグルーピング処理を行いグループ化して立ち上がりエッジを抽出して、ステップＳ５０３で抽出された立ち下がりのピーク点に対してグルーピング処理を行いグループ化して立ち上がりエッジを抽出する。ステップＳ５０５では、車載画像処理装置１００は、ステップＳ５０４で抽出された立ち上がりエッジと立ち下がりエッジとに対して、エッジの長さでフィルタリングする。
【００６７】
ステップＳ５０６では、車載画像処理装置１００は、ステップＳ５０５のフィルタリングにより残された立ち上がりエッジと立ち下がりエッジのそれぞれの両端点の座標を抽出する。車載画像処理装置１００は、ステップＳ５０５のフィルタリングにより残された立ち上がりエッジと立ち下がりエッジを、ステップＳ５０３におけるペアに基づいて組み合わせて、白線を抽出する。
【００６８】
ステップＳ５０７では、車載画像処理装置１００は、複数の白線の中から２本の白線を選択する。ステップＳ５０８では、車載画像処理装置１００は、ステップＳ５０７で選択された２本の白線が成す角度が所定角度以下か否かを判定する。換言すると、車載画像処理装置１００は、ステップＳ５０７で選択された２本の白線が略平行であるか否かを判定する。車載画像処理装置１００は、ステップＳ５０８が肯定判定された場合はステップＳ５０９に処理を進め、ステップＳ５０８が否定判定された場合はステップＳ５１２に処理を進める。
【００６９】
ステップＳ５０９では、車載画像処理装置１００は、ステップＳ５０７で選択された２本の白線の間隔が所定範囲内であるか否かを判定する。所定範囲は、２ｍ〜３ｍであって、車線や駐車区画の幅程度である。車載画像処理装置１００は、ステップＳ５０９が肯定判定された場合はステップＳ５１０に処理を進め、ステップＳ５０９が否定判定された場合はステップＳ５１２に処理を進める。
【００７０】
ステップＳ５１０では、車載画像処理装置１００は、ステップＳ５０７で選択された２本の白線の下端のずれが所定範囲内であるか否かを判定する。斜めに設けられた駐車区画においては、駐車区画を表す左右の白線の長さが異なる場合がある。ステップＳ５１０では、ステップＳ５０７で選択された２本の白線の下端のずれが無い、または斜めに設けられた駐車区画におけるずれ量であるか否かを判定する。車載画像処理装置１００は、ステップＳ５１０が肯定判定された場合はステップＳ５１１に処理を進め、ステップＳ５０８が否定判定された場合はステップＳ５１２に処理を進める。
【００７１】
ステップＳ５１１では、車載画像処理装置１００は、ステップＳ５０７で選択された２本の白線で形成された駐車枠を成す４点の座標、左上（ＴＬＸ［ｐ］、ＴＬＹ［ｐ］）、右上（ＴＲＸ［ｐ］、ＴＲＹ［ｐ］）、左下（ＢＬＸ［ｐ］、ＢＬＹ［ｐ］）、右下（ＢＲＸ［ｐ］、ＢＲＹ［ｐ］）、および個数ｐを外界認識結果として記憶する。ステップＳ５１２では、車載画像処理装置１００は、すべての白線の組み合わせについてステップＳ５０８〜Ｓ５１０の判定を行ったか否かを判定する。車載画像処理装置１００は、ステップＳ５１２が肯定判定された場合は図５の処理を終了し、ステップＳ５１２が否定判定された場合はステップＳ５０７に処理を戻してまだ確認が行われていない組み合わせを構成する２本の白線を選択する。
【００７２】
図６は、図２のステップＳ８０でその処理が行われる異物認識部７の一例に関するフローチャートである。ステップＳ６０１では、車載画像処理装置１００は、画像処理部４から出力される俯瞰画像を複数の小領域に分割する。ステップＳ６０２では、車載画像処理装置１００は、各小領域でヒストグラムを作成する。ステップＳ６０３では、車載画像処理装置１００は、ステップＳ６０２で作成したヒストグラムを、図６の処理を前回実行したときに作成したヒストグラムと比較する。ステップＳ６０４では、車載画像処理装置１００は、ステップＳ６０３で行った比較に基づいて、各小領域の評価を行う。すなわち、ヒストグラムに変化がない領域についてスコアを上昇させる演算を行う。ステップＳ６０５では、車載画像処理装置１００は、スコアが所定の閾値を超えた小領域を検出して、その小領域の始点ｘ座標ＤＳＸ［ｄ］、始点ｙ座標ＤＳＹ［ｄ］、終点ｘ座標ＤＥＸ［ｄ］、終点ｙ座標ＤＥＹ［ｄ］、およびその個数ｄを異物認識部７の認識結果として情報記憶部９に記憶する。
【００７３】
―第２の実施の形態―
本発明の第２の実施の形態について説明する。本発明の第２の実施の形態は、初期化部８と挙動検出部８ａの処理が第１の実施の形態と異なる。第２の実施の形態では、挙動検出部８ａは、シフトポジションが切り替えられてからの経過時間ＴＣを検出すると共に、自車両の車速ＶｓｐとヨーレートＶｙｒとを自車両のＥＣＵから取得する。
【００７４】
図７および図８は、第２の実施の形態における初期化部８の処理に関するフローチャートである。第２の実施の形態において、初期化部８の処理を開始する場合、図７のステップＳ４０１からその処理を開始する。図７および図８に示す処理のうち、第１の実施の形態において図４に示したフローチャートと同一の処理に関しては同一の符号を付してその説明を省略する。
【００７５】
図７のステップＳ７０１では、車載画像処理装置１００は、ステップＳ４０２と同様にリアカメラ２０１の異物認識結果を保持する。
【００７６】
図７のステップＳ７０２では、車載画像処理装置１００は、経過時間ＴＣと、自車両の車速Ｖｓｐと、自車両のヨーレートＶｙｒとを挙動検出部８ａから取得して、図８のステップＳ７１０に処理を進める。
【００７７】
図８のステップＳ７１０では、車載画像処理装置１００は、外界認識初期化フラグがオフに設定されているか否かを判定する。車載画像処理装置１００は、ステップＳ７１０が肯定判定された場合はステップＳ７１１に処理を進め、ステップＳ７１０が否定判定された場合はステップＳ７１２に処理を進める。
【００７８】
図８のステップＳ７１１では、車載画像処理装置１００は、経過時間ＴＣが第１時間Ｔ１を超えたか否か、または、ステップＳ７０９で取得された自車両の車速Ｖｓｐがゼロであるか否かが成立したか否かを判定する。車載画像処理装置１００は、ステップＳ７１１が肯定判定された場合は図８のステップＳ４１１に処理を進め、ステップＳ７１１が否定判定された場合はステップＳ７１２に処理を進める。
【００７９】
図８のステップＳ７１２では、車載画像処理装置１００は、異物認識初期化フラグがオフに設定されているか否かを判定する。車載画像処理装置１００は、ステップＳ７１２が肯定判定された場合は図８の処理を終了して図２のステップＳ５０の処理に進み、ステップＳ７１２が否定判定された場合はステップＳ７１３に処理を進める。
【００８０】
図８のステップＳ７１３では、車載画像処理装置１００は、経過時間ＴＣが第１時間Ｔ１を超えたか否か、ステップＳ７０９で取得された自車両の車速Ｖｓｐが所定速度Ｖ１を超えたか否か、および、ステップＳ７０９で取得された自車両のヨーレートＶｙｒが所定のヨーレートＶ２を超えたか否かのいずれかが成立したか否かを判定する。車載画像処理装置１００は、ステップＳ７１３が肯定判定された場合は図８のステップＳ４１４に処理を進め、ステップＳ７１３が否定判定された場合は図８の処理を終了して図２のステップＳ５０の処理に進む。
【００８１】
自車両の車速やヨーレートが大きい場合、自車両のカメラのレンズに付着した異物が風圧などにより除去される場合がある。走行中の風圧などにより異物が除去された場合に、異物が付着していたときの認識結果を保持していると、不要な処理（例えば、異物除去動作）を行う原因となりうる。ステップＳ７１３では、そのような不要な処理を予防するため、自車両の車速やヨーレートに基づく条件が含まれている。
【００８２】
図８のステップＳ７１４では、リアカメラの異物認識結果を初期化する。
【００８３】
以上説明した実施の形態によれば、次のような作用効果を奏する。
車載画像処理装置１００は、画像取得部１と、進行方向検出部２と、画像選択部３と、外界認識部６と、異物認識部７と、挙動検出部８ａを有する初期化部８とを備える。画像取得部１は、自車両の前方を撮影するフロントカメラ２００と自車両の後方を撮影するリアカメラ２０１とからそれぞれ撮影画像を取得する。進行方向検出部２は、自車両のシフトポジション（進行方向）を検出する。画像選択部３は、フロントカメラ２００とリアカメラ２０１との中から進行方向検出部２が検出した自車両のシフトポジションに対応するカメラの撮影画像を選択する。外界認識部６は、画像選択部３が選択した撮影画像に対応した俯瞰画像に基づいて自車両の外界を認識する。異物認識部７は、画像選択部３が選択した撮影画像に対応した俯瞰画像に基づいてカメラレンズに付着した異物を認識する。方向切替検出部５は、進行方向検出部２が検出したシフトポジションの変化を検出する。挙動検出部８ａは、方向切替検出部５によりシフトポジションの変化が検出された後の経過時間ＴＣ等、自車両の挙動を検出する。初期化部８は、挙動検出部８ａにより第１時間Ｔ１より大きい経過時間ＴＣが検出されたとき外界認識部６の認識結果を初期化すると共に、挙動検出部８ａにより第２時間Ｔ２が検出されたとき異物認識部７の認識結果を初期化する。
このようにしたので、複数のカメラの映像の中から選択された映像が切り替わるとき、映像を用いる処理ごとに適切なタイミングで初期化を行うことができる。
【００８４】
以上で説明した実施の形態は、以下のように変形して実施できる。
進行方向検出部２は、自車両の進行方向として、自車両のシフトポジションに関する情報をＥＣＵから取得するものとしたが、他の方法で自車両の進行方向に関する情報を検出してもよい。例えば、ＧＰＳ受信器を備え、受信したＧＰＳ信号に基づいて自車両の位置を検出して、その位置の変化に基づいて自車両の進行方向を検出することにしてもよい。また、自車両に接続されたナビゲーション装置やＧＰＳ受信器を備えた情報端末などから自車両の進行方向に関する情報を取得することにしてもよい。
【００８５】
図２では、ステップＳ８０の処理の後、必ずステップＳ１０の処理を行うものとしたが、自車両の速度が所定速度以下（例えば、時速４０ｋｍ以下）のときにのみステップＳ１０の処理に戻ることにしてもよい。
【００８６】
車載画像処理装置１００に接続されるカメラは、フロントカメラ２００とリアカメラ２０１だけに限定しない。自車両の左側方と右側方とを撮影するカメラをさらに備えることにしてもよい。
【００８７】
挙動検出部８ａは、経過時間ＴＣの代わりに自車両のＥＣＵから出力される車速パルスのパルス間隔を検出することにしてもよい。車速パルスのパルス間隔は、進行方向に関係なく自車両が減速するほど大きくなる。初期化部８は、パルス間隔に対してピーク検出を行い、ピークが検出された後にパルス間隔が所定値以下に減少したときに外界認識部６の認識結果を初期化することにしてもよい。
【００８８】
挙動検出部８ａは、シフトポジションが切り替えられてからの経過時間ＴＣを検出すると共に、ドライバーへ表示している画面表示の切り替わりを検出しても良い。ドライバーへ表示する画面表示の切り替わりは、例えばドライバーによる画面操作（ナビ操作、カメラ表示形式の変更）が生じた場合や、ソナーで障害物を検出した際にその旨をドライバーへ伝える為の表示が画面へ出現した場合等である。初期化部８は、ドライバーへ表示している画面表示の切り替わりを検出した場合に、外界認識部６の認識結果および／または異物認識部７の認識結果を初期化することにしてもよい。
【００８９】
さらに、外界認識部６において、自車のシフトポジションを用いて進行方向を推定し、車輪速を用いて移動量を推定する自車挙動推定を用いる場合、自車のシフトポジションが切り替わった直後は、惰性により車輪が回転しているにも関わらずシフトポジションにより推定された進行方向が逆方向となるため、実際と異なる挙動を示す。よって、上述した実施の形態に基づく処理により外界認識部６の認識結果を初期化する第一の初期化とは別に、自車挙動に関する内容のみを初期化する第二の初期化を設けるようにしてもよい。
【００９０】
具体的には、自車速度Ｖｓｐを取得し、値がゼロとなったタイミングで第二の初期化として、デッドレコニングにより推定している自車の移動をいったんゼロに初期化する。
【００９１】
以上で説明した実施の形態や変形例はあくまで例示に過ぎず、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。
【符号の説明】
【００９２】
１  画像取得部
２  進行方向検出部
３  画像選択部
４  画像処理部
５  方向切替検出部
６  外界認識部
７  異物認識部
８  初期化部
８ａ  挙動検出部
９  情報記憶部
１００  車載画像処理装置
【図１】
2014104840.tif 000003
【図２】
2014104840.tif 000004
【図３】
2014104840.tif 000005
【図４】
2014104840.tif 000006
【図５】
2014104840.tif 000007
【図６】
2014104840.tif 000008
【図７】
2014104840.tif 000009
【図８】
2014104840.tif 000010