(57)【要約】【課題】画像から映り込みを除去する技術において、精度よく映り込みを検出することを目的とする。【解決手段】移動体とともに移動する撮像装置であって、該移動体の所定の移動方向を撮像方向とする撮像装置によって撮影された画像の画像データを取得する取得部と、前記撮像方向とは異なる方向へ前記移動体が移動したときの画像データにおける特徴の位置情報に基づき、該特徴の中から映り込みに起因する特徴を検出する検出部とを有することを特徴とする画像処理装置。【選択図】図３
2014102775.tif 000002
【特許請求の範囲】
【請求項１】
移動体とともに移動する撮像装置であって、該移動体の所定の移動方向を撮像方向とする撮像装置によって撮影された画像の画像データを取得する取得部と、
前記撮像方向とは異なる方向へ前記移動体が移動したときの画像データにおける特徴の位置情報に基づき、該特徴の中から映り込みに起因する特徴を検出する検出部と
を有することを特徴とする画像処理装置。
【請求項２】
前記検出部は、前記移動が有ると判定された場合の複数の画像データにおける前記特徴の前記位置情報に対して、該特徴が存在する頻度に依存する存在強度を、より大きな値に更新するとともに、該存在強度が閾値以上となる位置に前記映り込みに起因する特徴を検出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記所定の移動方向は、前記移動体の前進方向であって、前記異なる方向は、横方向であることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記検出部は、検出された前記映り込みに起因する特徴を、前記画像データから除去するとともに、
前記映り込みが除去された前記画像データに対して、対象物を認識する処理を実行する認識部をさらに備えることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記対象物は車線を形成するラインであって、前記移動体は車両であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
移動体とともに移動する撮像装置であって、該移動体の所定の移動方向を撮像方向とする撮像装置と通信可能なコンピュータが、
前記撮像装置によって撮影された画像の画像データを取得し、
前記撮像方向とは異なる方向へ前記移動体が移動したときの画像データにおける特徴の位置情報に基づき、該特徴の中から映り込みに起因する特徴を検出する処理を実行することを特徴とする画像処理方法。
【請求項７】
移動体とともに移動する撮像装置であって、該移動体の所定の移動方向を撮像方向とする撮像装置と通信可能なコンピュータに、
前記撮像装置によって撮影された画像の画像データを取得し  前記撮像方向とは異なる方向へ前記移動体が移動したときの画像データにおける特徴の位置情報に基づき、該特徴の中から映り込みに起因する特徴を検出する処理を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に開示する技術は、画像処理技術に関する。
【背景技術】
【０００２】
近年、ドライバーによる安全運転を支援するために、さまざまな技術が開発されている。そのひとつとして、車両に搭載されたカメラが撮影した画像から、認識対象物を認識する技術がある。そして、認識対象物が認識された場合に、ドライバーに対する警報などが実施される。
【０００３】
ここで、カメラが車内に設置されている場合などには、カメラは、ガラス越しに車外を撮影することとなる。太陽などの強い光源が存在する環境において撮像された画像には、いわゆる映り込みが発生することがある。映り込みとは、車内の物体からの光がガラスなどの表面で反射されて車内カメラのセンサに感知されることにより、車内の物体の全体または一部の像が、画像に撮像されることである。なお、映り込みは、車内カメラのように、カメラの撮像方向に、ガラスのように、表面で光を反射する物体が存在する場合に発生する。以下、映り込みがある画像を映り込み画像と称する。
【０００４】
映り込み画像に対して、認識対象物の認識を実施する場合には、認識精度が低下する。そこで、映り込み画像からでも認識対象物を正しく認識するための物体認識装置がある（例えば、特許文献１）。当該物体認識装置は、車両周辺の所定方向の領域を連続的に撮像するとともに、各画像から複数の特徴点を抽出する。さらに、物体認識装置は、各画像において座標が同一の固定特徴点を、最新の画像から抽出された複数の特徴点より除去する。そして、物体認識装置は、固定特徴点が除去された最新の画像の特徴点に基づいて、物体認識を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−６１３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
映り込み由来の特徴点は連続的に撮像された画像において同一の座標に存在するということに着目した上記物体認識装置は、連続的に撮像された画像における固定特徴点を除去することができる。
【０００７】
しかし、当該物体認識装置は、映り込みを除去するには精度が不十分である。つまり、物体認識装置は、映り込みを精度よく検出できない。
【０００８】
そこで、本実施例に開示の技術は、精度よく映り込みを検出することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決する為に、本実施例に開示の画像処理装置は、移動体とともに移動する撮像装置であって、該移動体の所定の移動方向を撮像方向とする撮像装置によって撮影された画像の画像データを取得する取得部と、前記撮像方向とは異なる方向へ前記移動体が移動したときの画像データにおける特徴の位置情報に基づき、該特徴の中から映り込みに起因する特徴を検出する検出部とを有することを特徴とする。
【発明の効果】
【００１０】
本発明の一観点によれば、精度よく映り込みを検出することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】図１Ａおよび図１Ｂは、映り込みを説明するための図である。
【図２】図２は、本実施例にかかる画像処理装置を含む運転支援装置の機能ブロック図である。
【図３】図３は、蓄積情報の例を示す図である。
【図４】図４は、特徴を蓄積する処理を説明するための図である。
【図５】図５は、特徴を確認する処理を説明するための図である。
【図６】図６は、画像処理の処理フロー（その１）である。
【図７】図７は、画像処理の処理フロー（その２）である。
【図８】図８は、特徴蓄積処理のフローチャートである。
【図９】図９は、特徴確認処理のフローチャートである。
【図１０】図１０は、映り込み検出処理のフローチャートである。
【図１１】図１１は、画像処理装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下詳細な本発明の実施例に関して説明する。なお、以下の各実施例は、処理の内容を矛盾させない範囲で適宜組み合わせることが可能である。
【００１３】
先に述べたとおり、映り込み由来の特徴は、連続的に撮像された画像において同一の位置に存在することが知られている。しかし、発明者らは、映り込み由来の特徴以外でも、複数の画像において、同一の位置となるような特徴が存在することに着目した。
【００１４】
例えば、移動体の進行方向に平行に存在する物体に由来する特徴は、複数の画像において、同一の位置に存在する。例えば、当該特徴は、移動体が車両であって進行方向が車両前方である場合には、車線を形成するラインや、ガードレールなどに由来する特徴である。つまり、先に述べた物体認識装置は、映り込み以外の物体に由来する特徴であっても固定特徴点として認識してしまうため、当該特徴については、除去する。
【００１５】
また、映り込みの検出精度が不十分であることは、結果として、物体の認識精度の低下をも招く。例えば、認識対象の物体の特徴が固定特徴点として除去された画像に対して、物体認識が実行された場合、当該物体認識装置は、認識対象を認識することができない。
【００１６】
そこで、以下の本実施例では、映り込みに由来する特徴と映り込み以外の物体に由来する特徴とを、より正確に区別することで、正確に映り込みを検出する。
【００１７】
図１Ａおよび図１Ｂは、映り込みを説明するための図である。図１Ａは、移動体に設置された撮像装置と、映り込みの元となる物体と、物体からの光を反射するガラスの位置関係を説明するための図である。本実施例においては、移動体は車両１である。そして、本実施例においては、車両１は、撮像装置１１を車内に備える。撮像装置１１は、例えば、カメラである。
【００１８】
また、撮像装置１１は、車両の所定の移動方向を含む方向を撮像方向とし、連続的に撮像方向の画像を取得する。本実施例においては、撮像装置１１は、車両の前進方向の路面および風景を撮像するため、車両の前進方向かつ下方方向に光軸を合わせて設置される。つまり、本実施例においては、車両の前進方向を含む方向を、撮像方向とする。
【００１９】
ただし、光軸の向きが、必ずしも、車両の前進方向と完全に一致する必要はない。つまり、撮像装置１１の撮像方向と、車両の所定の移動方向とは角度的に完全に一致する必要はなく、撮像方向は、所定の移動方向の路面および風景を撮像可能な向きであればよい。
【００２０】
撮像方向が前進方向である場合には、映り込みを発生させる原因となるガラスは、例えば車両のフロントガラス２に相当する。ここで、撮像装置１１と、物体３とが、フロントガラス２に対して同じ側に存在する場合、物体３の映り込みが発生する。例えば、車内に撮像装置１１と物体３が存在する場合である。図１Ｂは、映り込みが発生した画像の例である。
【００２１】
画像は、フロントガラス２を通して撮像された車外領域１００を含む。ただし、車外領域１００には、本来車外には存在しない映り込み１０１の像も含まれる。映り込み１０１は、物体３（画像における像３´）の縁部分１０４で太陽光が反射したことによって、線状に物体３の一部（画像における１０４）が映りこんだものである。
【００２２】
ここで、映り込み１０１の画像における位置は、光源と物体３との位置関係によって決まる。光源は太陽であるため、光源は無限遠に存在する。よって、物体３が動かない状況下では、映り込み１０１の位置は、太陽の位置の移動と比較して短い時間内では、車両１が移動しても移動しない。
【００２３】
一方、車外領域１００には、車線を形成するライン１０２やガードレール１０３の像も存在する。なお、以下、車線を形成するラインを、単に車線と称する。車両１が撮像装置１１の撮像方向と平行に移動している場合は、車両１が前進しても、画像の同位置においては、車線１０２由来の特徴が存在する。ガードレール１０３についても同様である。
【００２４】
ここで、車両が車線から逸脱したことによる事故を防止するために、車両の車線からの逸脱を警報する警報装置がある。当該警報装置は、いわゆる車線逸脱警報機能を備えた装置である。警報装置は、車線に対する自車両の相対距離に基づき、車両が車線を逸脱する可能性がある場合、警報を行うことで、ドライバーの注意を喚起する。
【００２５】
特開２０１０−６１３７５号に開示された物体認識装置を前記警報装置に適用した場合に、固定特徴点を最新画像から削除するため、車線由来の特徴点が除去される可能性がある。したがって、車線由来の特徴点が除去された画像では、車線を検出することができないため、警報装置は、適切に警報を行うことができない。
【００２６】
そこで、本実施例に開示の画像処理装置は、映り込み１０１と車線１０２やガードレール１０３などとを区別する。そして、映り込み１０１が除去された画像を生成する。そして、警報装置に出力するために、映り込みが適切に除去された画像に基づき、車線に対する自車両の相対距離が算出される。そして、画像処理装置は、車線に対する自車両の相対距離を警報装置に対して出力する。しかし、これに限らず、画像処理装置は、映り込みが除去された画像を、他の装置へ出力するとしてもよい。
【００２７】
図２は、本実施例にかかる画像処理装置を含む運転支援装置の機能ブロック図である。運転支援装置１０は、撮像装置１１、画像処理装置１２、警報装置１９を含む。撮像装置１１は、撮像方向の領域を連続的に撮像する。さらに、撮像装置１１は、連続的に撮像された複数の画像各々についての画像データを、順次、画像処理装置１２へ出力する。
【００２８】
画像処理装置１２は、映り込み除去処理を実行する。なお、本実施例においては、さらに、画像処理装置１２は、車線の認識処理、車線に対する自車両の相対距離の算出処理を実行する。各処理の詳細については、後述する。そして、画像処理装置１２は、相対距離を警報装置１９へ出力する。警報装置１９は、相対距離に基づき、ドライバーに対する警報を実行する。
【００２９】
画像処理装置１２について、より詳細に説明する。画像処理装置１２は、取得部１３、判定部１４、検出部１５、認識部１６、算出部１７、記憶部１８を有する。
【００３０】
取得部１３は、撮像装置１１から、順次、画像データを取得する。さらに、取得部１３は、取得した画像データに基づき、各画素の特徴量を算出する。なお、本実施例においては、特徴量として各画素におけるエッジ強度を算出する際に、取得部１３は、既存のアルゴリズムを適用して、エッジを抽出する処理を実行する。
【００３１】
判定部１４は、撮像方向とは異なる方向への移動の有無を判定する。つまり、車両の所定の移動方向とは異なる方向への移動の有無を判定する。本実施例においては、撮像方向は、車両の前進方向であるため、判定部１４は、車両の横方向への移動の有無を判定する。詳細は後述するが、判定部１４は、過去の相対距離の算出処理において算出された相対距離を利用して、ある時点での横移動の有無を判定する。また、判定部１４は、舵角センサ、車速センサ、タイヤ角センサ、ヨーレートセンサ等からの出力に応じて横移動の有無を判定してもよい。
【００３２】
検出部１５は、判定部１４が、撮像方向とは異なる方向への移動があると判定した場合の画像における特徴の位置情報に基づき、映り込みを検出する。例えば、検出部１５は、横移動があると判定された場合の画像を対象として、画像に存在する特徴を検出する。検出部１５は、各画素の特徴量が閾値以上である場合に、特徴が存在すると判定する。
【００３３】
そして、検出部１５は、蓄積情報を蓄積する。蓄積情報は、処理対象の画像の各位置に特徴が存在した頻度に依存する情報である。例えば、蓄積情報は、位置情報と、存在強度とを含む。存在強度は、ある位置に特徴が存在する頻度が高いほど、大きな値となる。つまり、大きな存在強度は、撮像方向とは異なる方向への移動があると判定した場合の画像において、高い頻度で同じ位置に特徴が存在したことを示している。蓄積情報は、記憶部１８に記憶される。
【００３４】
次に、検出部１５は、蓄積情報に基づき、処理対象の画像データから映り込みを検出する。さらに、検出部１５は、検出した映り込みを、処理対象の画像から除去する。
【００３５】
認識部１６は、認識対象を認識する。本実施例においては、認識部１６は、車線を認識する。なお、車線を認識する処理は、従来の方法が適用される。また、認識対象を、ガードレールなど他の対象とすることもできる。
【００３６】
算出部１７は、認識処理の結果に基づき、各種値を算出する。本実施例においては、算出部１７は、認識された車線の画像上での位置に基づき、自車両の道路中心からの相対距離を算出する。相対距離は、ある時刻ｔにおける車両位置Ｘｔとして、記憶部１８に記憶される。
【００３７】
記憶部１８は、蓄積情報や、車両位置の情報、各種閾値の情報を記憶する。蓄積情報は、例えば、テーブル形式で記憶される。また、車両位置の情報は、少なくとも最新の２時点における車両位置の情報を含み、新たな車両位置が算出されるたびに、古い方から更新されるとしてもよい。また、各種閾値については、後述する。
【００３８】
図３は、蓄積情報のデータテーブルの一例を示す図である。画素の位置ｉ（Ｘｊ，Ｙｋ）ごとに、存在強度Ｑｉが対応付けて記憶される。図３は、例えば、位置（０，０）は、Ｑ（０，０）の存在強度を有することを示している。存在強度Ｑは、検出部１５により、適宜更新される。そして、各位置ｉ（Ｘｊ，Ｙｋ）の存在強度Ｑｉの大きさに基づき、映り込みが検出される。
【００３９】
ここで、検出部１５による特徴蓄積処理について、図４を利用して説明する。図４は、特徴を蓄積する処理を説明するための図である。なお、図４においては、時刻ｔ１においては、車両の横移動はなかったと判定され、時刻ｔ２および時刻ｔ３においては、車両の横移動があったと判定されたと仮定する。横移動がある場合に、検出部１５は、特徴が存在する位置の存在強度を、より大きな値に更新する。
【００４０】
３１、３２、３３は、各時刻におけるエッジ画像である。エッジ画像は、撮像装置から受信した画像データに基づき、エッジ抽出処理が実行されることで生成される。例えば、エッジ画像３１は、時刻ｔ１において、エッジ３１１、３１２、３１３が抽出されたことを示す。なお、実際には、エッジ３１１および３１２は、車線由来のエッジであり、エッジ３１３は、映り込み由来のエッジであるが、エッジ画像３１においては、これらのエッジは区別されない。
【００４１】
次に、３５、３６、３７は、各時刻における蓄積情報に基づくイメージ画像である。イメージ画像は、各位置ｉの画素に、存在強度Ｑｉ相当の画素値を与え、仮想的に描かれたエッジのイメージ画像である。つまり、存在強度Ｑｉが大きいほど、より大きな画素値が与えられるため、より濃度が高いエッジが描かれる。
【００４２】
また、各時刻ｔにおける蓄積情報は、当該時刻ｔにおける画像の特徴が、一時刻前（時刻ｔ−１）までの蓄積情報に、蓄積されたものである。例えば、時刻ｔ３における蓄積情報は、時刻ｔ２までに蓄積された蓄積情報に、時刻ｔ３の画像のエッジに関する特徴が、蓄積されたものとなる。
【００４３】
ここで、時刻ｔ１（横移動がなし）では、検出部１５は、時刻ｔ１の画像における特徴の情報を、蓄積情報に蓄積しない。つまり、エッジ３１１，３１２，３１３を形成する各画素の位置について、存在強度Ｑは、より大きな値に更新されることはない。時刻ｔ１までの各位置の存在強度が０であれば、０のままとなる。
【００４４】
次に、時刻ｔ２（横移動があり）では、検出部１５は、時刻ｔ２における画像の特徴の情報を、蓄積情報に蓄積する。つまり、エッジ３２１、３２２、３２３に対応する位置の存在強度Ｑに、所定の値が加算される。イメージ画像３６のように、時刻ｔ２では、エッジ３２１、３２２、３２３に対応する位置に、エッジ３６１、３６２、３６３が描かれる。なお、エッジ画像３２における点線は時刻ｔ１に存在したエッジの位置を、仮想的に表したものである。つまり、車両が横移動すると、車線由来のエッジは、時刻ｔ１の位置とは異なる位置に存在する。
【００４５】
次に、時刻ｔ３（横移動があり）では、検出部１５は、時刻ｔ３における画像の特徴の情報を、蓄積情報に蓄積する。つまり、エッジ３３１、３３２、３３３に対応する画素の位置について、対応する存在強度Ｑに、所定の値が加算される。イメージ画像３７のように、時刻ｔ３では、エッジ３３１、３３２、３３３に対応する位置に、エッジ３７１、３７２、３７３が描かれる。
【００４６】
ここで、エッジ３３３に対応する位置については、時刻ｔ２で所定の値が加算された存在強度Ｑに、さらに時刻ｔ３で所定の値が加算されるため、イメージ画像３７における時刻ｔ３のエッジ３７３は、イメージ画像３６におけるエッジ３６３よりも濃いものとなる。一方、時刻ｔ２におけるエッジ３２１および３２２は、時刻ｔ３では、同一の位置に抽出されない。したがって、イメージ画像３６における、エッジ３６１および３６２について、存在強度Ｑに所定の値が加算されることはない。
【００４７】
なお、本実施例においては、特徴の情報を蓄積する際に、特徴が存在しない位置の存在強度Ｑから、所定の値を減算する。よって、過去に特徴が抽出されたことで存在強度Ｑに所定の値が加算された位置であっても、それ以降、特徴が存在しなければ、存在強度Ｑは小さな値に更新される。ただし、存在強度Ｑの最小値は０とする。
【００４８】
ここで、撮像方向とは異なる方向への移動がない場合については、検出部１５は、特徴の情報を蓄積する処理を実行しない。ただし、車両の環境が変化したことにともない、映り込みが消失する可能性がある。例えば、車両が陸橋の下を通過した場合や、屋内に入った場合など、車両の環境が、太陽光がなんらかの物体によりさえぎられる状況へ変化した場合である。
【００４９】
映り込みが消失した場合には、映り込みの消失を認識し、早期に存在強度を小さくする処理が有効である。つまり、後述のように、映り込みを検出する際には、存在強度が大きい位置について、映り込みが発生している位置と認識するため、映り込みが消失した場合でも、存在強度が大きければ、その位置に映り込みが発生していると認識されてしまう。
【００５０】
したがって、撮像方向とは異なる方向への移動がない場合であっても、消失した特徴の情報を利用して、存在強度を小さくする処理を行ってもよい。つまり、検出部１５は、最新の画像において特徴が消失していないかを確認する確認処理を実行する。
【００５１】
図５は、特徴を確認する処理を説明するための図である。なお、図５において、時刻ｔ１においては、横移動がありと判定され、時刻ｔ２および時刻ｔ３においては、横移動がないと判定されたと仮定する。確認処理において、検出部１５は、例えば、一定以上の存在強度を有する位置について、最新画像において特徴が消失している場合には、存在強度を、より小さな値となるように更新する。
【００５２】
４１、４２、４３は、各時刻におけるエッジ画像である。また、４５、４６、４７は、各時刻における蓄積情報に基づくイメージ画像である。時刻ｔ１（横移動があり）においては、エッジ画像４１に基づき蓄積情報が蓄積される。また、蓄積情報のイメージ画像は、イメージ画像４５のようになる。
【００５３】
ここで、時刻ｔ２（横移動がない）において、まず、検出部１５は、時刻ｔ１までの蓄積情報を参照する。そして、検出部１５は、時刻ｔ２の画像において、一定以上の存在強度Ｑを示す位置に、エッジが存在するかを確認する。つまり、検出部１５は、イメージ画像４５におけるエッジを形成する各画素の位置について、エッジ画像４２でも、エッジが存在するかを判定する。
【００５４】
エッジが存在する場合には、存在強度Ｑは維持される。つまり、エッジ画像４２とイメージ画像４５は、同様の位置にエッジが存在するため、時刻ｔ２における蓄積情報は、時刻ｔ１における蓄積情報と同様になる。つまり、イメージ画像４５とイメージ画像４６は、同様となる。
【００５５】
次に、時刻ｔ３（横移動がない）において、エッジ画像４３のように、時刻ｔ２時点では存在したエッジ４２３が、消失した場合を考える。検出部１５は、時刻ｔ２までの蓄積情報を参照し、時刻ｔ３の画像において、一定以上の存在強度Ｑを示す位置に、エッジが存在するかを確認する。
【００５６】
イメージ画像４６におけるエッジ４６３は、時刻ｔ３のエッジ画像４３に確認されない。したがって、時刻ｔ３では、該当する位置の存在強度Ｑから、所定の値が算出される。所定の値が減算された結果、蓄積情報のイメージは、時刻ｔ３の時点で、イメージ画像４７のようになる。なお、加算する値および減算する値は、同一である必要はないが、図４および５については、説明上、同一の値とした。
【００５７】
なお、撮像方向とは異なる方向への移動がない場合には、存在強度を、より大きな値となるように更新する蓄積処理は行わない。存在強度が大きくなるほど、映り込みとして認識される確率が大きくなるが、映り込みとその他の特徴とを区別できない環境で撮像された画像を利用して、蓄積処理を行うことは、誤除去につながるためである。
【００５８】
次に、本実施例における画像処理の流れについて説明する。図６および図７は、画像処理の処理フローである。まず、取得部１３は、撮像装置１１から画像データを取得する（Ｏｐ．１）。なお、取得した画像データは、時刻ｔに撮像された画像の画像データである。そして、取得部１３は、取得した画像データに基づき、各画素の特徴量Ｍｉを算出する（Ｏｐ．２）。なお、本実施例においては、特徴量Ｍｉは、各画素のエッジ強度である。
【００５９】
次に、判定部１４は、過去の２時点の車両位置の情報が、存在するかを判定する（Ｏｐ．３）。例えば、判定部１４は、記憶部１８を参照し、１時刻前の車両位置Ｘ＿ｔ−１と、２時刻前の車両位置Ｘ＿ｔ−２とが格納されているかを判定する。なお、ここでは、最新の時刻ｔの一時刻前および二時刻前の車両位置を利用することとしたが、本判定の処理はこれに限られない。
【００６０】
例えば、記憶部１８に過去に算出された毎時刻の車両位置が記憶される場合に、判定部１４は、一時刻前の車両位置および、ｎ時刻前の車両位置が格納されているかを判定してもよい。また、記憶部１８には、基準となる車両位置Ｘ＿ｂａｓｅと一時刻前のＸ＿ｔ−１とが記憶される場合には、判定部１４は、Ｘ＿ｂａｓｅおよびＸ＿ｔ−１が格納されているかを判定してもよい。以下の処理により車両が撮像方向とは異なる方向へ移動したと判定された場合に、当該時点の車両位置がＸ＿ｂａｓｅに格納される。なお、異なる方向へ移動したと判定されるたびに、Ｘ＿ｂａｓｅは更新される。
【００６１】
過去の２時点の車両位置の情報が存在する場合（Ｏｐ．３Ｙｅｓ）、判定部１４は、移動距離ΔＸを算出する（Ｏｐ．４）。移動距離は、撮像方向とは異なる方向への移動距離である。つまり、本実施例においては、横移動の移動距離である。なお、本実施例においては、一時刻前における横移動の移動距離ΔＸを利用する。これは、撮像装置のフレーム間隔を考慮すると、一時刻前の情報であっても、時刻ｔにおける横移動の判定には十分であるためである。ただし、舵角センサなどを利用して、リアルタイムな横移動を判定してもよい。
【００６２】
次に、判定部１４は、移動距離ΔＸが閾値Ｔｘよりも大きいかを判定する（Ｏｐ．５）。移動距離ΔＸが閾値Ｔｘよりも大きい場合は、横移動ありと判定される。ΔＸが閾値Ｔｘ以下である場合は、横移動なしと判定される。閾値Ｔｘは、撮像装置の解像度などの内部パラメータや、取り付け条件を考慮して決定される。例えば、本実施例においては、閾値Ｔｘは２００ｍｍとする。
【００６３】
移動距離ΔＸが閾値Ｔｘよりも大きい場合（Ｏｐ．５Ｙｅｓ）、すなわち、横移動ありの場合、検出部１５は、特徴の蓄積処理を実行する（Ｏｐ．６）。ここで、蓄積処理について、詳細に説明する。図８は、特徴の蓄積処理のフローチャートである。
【００６４】
まず、検出部１５は、未処理の位置ｉを、対象位置に設定する（Ｏｐ．６１）。次に、検出部１５は、時刻ｔの画像における対象位置ｉの特徴量Ｍｉを取得する（Ｏｐ．６２）。次に、検出部１５は、対象画素の特徴量Ｍｉが、閾値Ｔｍ１以上であるかを判定する（Ｏｐ．６３）。
【００６５】
閾値Ｔｍ１は、例えば、撮像装置の内部パラメータや、特徴抽出のアルゴリズムに応じて決定される。例えば、本実施例においては、特徴量であるエッジ強度は０から２５５までの値をとるとし、閾値Ｔｍ１を、１０とする。
【００６６】
特徴量Ｍｉが閾値Ｔｍ１以上である場合（Ｏｐ．６３Ｙｅｓ）、検出部１５は、蓄積情報を参照し、対象位置ｉに対応する存在強度Ｑｉに所定の値Ｖｐを加算する（Ｏｐ．６４）。一方、特徴量Ｍｉが閾値Ｔｍ１よりも小さい場合（Ｏｐ．６３Ｎｏ）、検出部１５は、蓄積情報を参照し、対象位置ｉに対応する存在強度Ｑｉから所定の値Ｖｎ１を減算する（Ｏｐ．６５）。ただし、存在強度Ｑｉが０以下となる場合は、０とする。
【００６７】
つまり、時刻ｔの画像において、位置ｉに特徴が存在する場合は、検出部１５は、蓄積情報における存在強度Ｑｉを大きな値へ更新する。一方、時刻ｔの画像において、位置ｉに特徴が存在しない場合は、検出部１５は、蓄積情報における存在強度Ｑを小さな値へ更新する。
【００６８】
次に、検出部１５は、全位置ｉについて処理を終了したかを判定する（Ｏｐ．６６）。終了していない場合は（Ｏｐ．６６Ｎｏ）、Ｏｐ．６１へ戻るとともに、新たな位置ｉについて、同様の処理を行う。一方、終了している場合には（Ｏｐ．６６Ｙｅｓ）、特徴蓄積処理を終了する。そして、検出部１５は、後述の映り込み検出処理を実行する。
【００６９】
図６に戻り、過去の２時点の車両位置の情報が存在しない場合（Ｏｐ．３Ｎｏ）や、移動距離ΔＸが閾値Ｔｘ以下である場合（Ｏｐ．５Ｎｏ）、検出部１５は、特徴の確認処理を実行する（Ｏｐ．７）。ここで、特徴確認処理について、詳細に説明する。図９は、特徴の確認処理のフローチャートである。
【００７０】
検出部１５は、未処理の位置ｉを対象位置に設定する（Ｏｐ．７１）。検出部１５は、記憶部１８に記憶された蓄積情報から、対象位置ｉの存在強度Ｑｉを取得する（Ｏｐ．７２）。次に、検出部１５は、存在強度Ｑｉが閾値Ｔｑ１以上であるかを判定する（Ｏｐ．７３）。
【００７１】
閾値Ｔｑ１は、適用するシステムに応じて適当な値が設定される。存在強度Ｑｉの取りうる値の範囲に基づき、閾値Ｔｑ１は設定される。本実施例においては、Ｑは０から２５５の値をとり（Ｖｐは０．５）、閾値Ｔｑ１は３である。さらに、例えば、映り込み以外の誤除去の可能性をさらに低下させたい場合には、より小さな値が設定されてもよい。
【００７２】
存在強度Ｑｉが閾値Ｔｑ１以上である場合は（Ｏｐ．７３Ｙｅｓ）、検出部１５は、時刻ｔにおける画像の対象位置ｉに対応する画素の特徴量Ｍｉを取得する（Ｏｐ．７４）。そして、検出部１５は、特徴量Ｍｉが閾値Ｔｍ２より小さいかを判定する（ＯＰ．７５）。
【００７３】
つまり、過去の画像群において、一定以上の存在強度で、特徴が存在していた場合に、検出部１５は、当該位置に、時刻ｔ時点でも特徴が存在するかを確認する。閾値Ｔｍ２は、たとえは、撮像装置の内部パラメータや、特徴抽出のアルゴリズムに応じて決定される。例えば、閾値Ｔｍ２は、閾値Ｔｍ１と同じ値であってもよい。
【００７４】
特徴量Ｍｉが閾値Ｔｍ２より小さい場合は（Ｏｐ．７５Ｙｅｓ）、検出部１５は、対象位置ｉの存在強度Ｑｉから、所定の値Ｖｎ２を減算する（Ｏｐ．７６）。つまり、映り込みの消滅の可能性を検知した場合に、検出部１５は、映り込みである可能性が高い位置について、存在強度Ｑｉを低下させる。
【００７５】
次に、検出部１５は、全位置ｉについて処理を終了したかを判定する（Ｏｐ．７７）。終了していない場合は（Ｏｐ．７７Ｎｏ）、Ｏｐ．７１へ戻るとともに、新たな位置ｉについて、同様の処理を行う。一方、終了している場合には（Ｏｐ．７７Ｙｅｓ）、特徴確認処理を終了する。そして、検出部１５は、後述の映り込み検出処理を実行する。
【００７６】
また、存在強度Ｑｉが閾値Ｔｑ１よりも小さい場合（Ｏｐ．７３Ｎｏ）や、特徴量Ｍｉが閾値Ｔｍ２以上である場合も（Ｏｐ．７５Ｎｏ）、検出部１５は、処理Ｏｐ．７７を実行する。
【００７７】
ここで、Ｖｐ、Ｖｎ１、Ｖｎ２の関係について説明する。Ｖｐは、Ｖｎ１およびＶｎ２に対して大きく設定される。また、適用されるシステムに応じて、適宜Ｖｐと、Ｖｎ１およびＶｎ２の関係が決定される。つまり、誤除去の防止と映り込み除去のいずれを優先させたいかによって、両者の関係が決定される。
【００７８】
例えば、映り込み除去を優先する場合は、ＶｐをＶｎ１やＶｎ２に対して、より大きく設定する。つまり、横移動がある画像が撮像された場合に、より小さな遅延で、映り込み除去の対象となる閾値Ｔｑ２に、存在強度Ｑｉが到達する。
【００７９】
本実施例では、例えば、ＶｐはＶｎ１の２倍に設定する。なお、Ｖｎ１は、Ｑｉの値が取る幅を考慮して、適宜設定される。また、Ｖｎ２は、例えば、Ｖｎ１の半分に設定される。
【００８０】
次に、特徴蓄積処理（Ｏｐ．６）または特徴確認処理（Ｏｐ．７）が終了後、検出部１５は、映り込み検出処理を実行する（ＯＰ．８）。次に、映り込み検出処理について、詳細に説明する。図１０は、映り込み検出処理のフローチャートである。なお、特徴蓄積処理および特徴確認処理は、毎時刻実施されてもよいし、所定時間ごとに実施されても良い。
【００８１】
まず、検出部１５は、未処理の位置ｉを対象位置に設定する（Ｏｐ．８１）。次に、検出部１５は、記憶部１８に記憶された蓄積情報から、対象位置ｉの存在強度Ｑｉを取得する（Ｏｐ．８２）。次に、存在強度Ｑｉが閾値Ｔｑ２以上であるかを判定する（Ｏｐ．８３）。
【００８２】
閾値Ｔｑ２は、ＶｐやＶｎ１、Ｖｎ２を考慮して決定される。例えば、映り込みの除去を、より遅延が小さく実行したい場合は、閾値Ｔｑ２は小さな値に設定される。本実施例においては、閾値Ｔｑ２は、Ｖｐの５倍に設定する。
【００８３】
存在強度Ｑｉが閾値Ｔｑ２以上である場合には（Ｏｐ．８３Ｙｅｓ）、時刻ｔにおける画像の位置ｉに存在する特徴を映り込みとして検出する。つまり、検出部１５は、対象位置ｉの画素の特徴量Ｍｉを０に設定する（Ｏｐ．８４）。つまり、時刻ｔの画像から映り込み由来の特徴が除去される。本実施例においては、エッジ画像におけるエッジ強度を、０に設定することで、エッジが除去される。
【００８４】
なお、本実施例においては、映り込みを検出した場合に、当該映り込みを除去する。しかし、これに限らず、後段の処理によっては、除去を行わずに、検出結果のみを出力するとしてもよい。
【００８５】
次に、検出部１５は、全位置ｉについて処理を終了したかを判定する（Ｏｐ．８５）。なお、存在強度Ｑｉが閾値Ｔｑ２より小さい場合にも（Ｏｐ．８３Ｎｏ）、処理Ｏｐ．８５が実行される。
【００８６】
全位置ｉについて処理が終了していない場合は（Ｏｐ．８５Ｎｏ）、Ｏｐ．８１へ戻るとともに、新たな位置ｉについて、同様の処理を行う。一方、終了している場合には（Ｏｐ．８５Ｙｅｓ）、映り込み検出処理を終了する。そして、検出部１５は、検出された映り込みが除去された画像を、後段の処理を実行する処理部へ出力する。
【００８７】
図６における映り込み検出処理（Ｏｐ．８）が終了すると、図７のＯｐ．９以降の処理が実行される。まず、認識部１６は、映り込みが除去された画像に対して、認識対象物を認識する（Ｏｐ．９）。なお、認識対象物に応じて、従来知られている各種アルゴリズムが適用される。例えば、認識部１６は、車線認識アルゴリズムを適用して、車線を認識する。そして、認識部１６は、認識結果を、後段の処理へ出力する。
【００８８】
次に、算出部１７は、車線の位置情報、および各種パラメータに基づき、時刻ｔにおける車両位置Ｘｔを算出する（Ｏｐ．１０）。なお、車線の位置を利用した車両位置Ｘｔの算出方法は、従来の手法が適用される。
【００８９】
例えば、算出部１７は、路面上の車線位置のモデル化を行う。そして、画像上での車線位置から路面上の車線位置Ｘを算出する。以下の式が適用される。
2014102775.tif 000003
【００９０】
ｘは、画像上での車線のｘ座標である。ｙは、画像上での車線のｙ座標である。ｆは、撮像装置のレンズの焦点距離である。Ｈは、撮像装置の取り付け高さである。Ｗは、道路交通法などで定められた車線の横幅である。θは、撮像装置のヨー角である。φは、カメラのピッチ角である。ｃは、道路の曲率である。ｋは、車線方向に依存した定数であって、左側車線であれば−１、右側車線であれば＋１となる。
【００９１】
ｘおよびｙは、認識結果から取得される値である。ｆ、Ｈ、Ｗ、ｋはあらかじめ設定される値である。上記式を利用し、線形近似による繰り返し演算を行うことにより、車両位置Ｘをはじめ、ヨー角θ、ピッチ角φ、道路の曲率ｃが算出される。本実施例においては、後段の処理において車両位置Ｘのみを利用するため、車両位置Ｘを出力するが、ヨー角θ、ピッチ角φ、道路の曲率ｃを出力するとしてもよい。
【００９２】
算出部１７は、算出した車両位置Ｘｔを、警報装置１９へ出力するとともに、記憶部１８へ記憶する（Ｏｐ．１１）。例えば、警報装置１９は、車両位置Ｘｔが、車両が車線を逸脱していることを示す場合に、スピーカーを通して、警報音を出力する。
【００９３】
そして、算出部１７は、画像処理を終了するかを判定する（Ｏｐ．１２）。画像処理を終了する場合には（Ｏｐ．１２Ｙｅｓ）、一連の処理を終了する。一方、画像処理を継続する場合には（Ｏｐ．１２Ｎｏ）、Ｏｐ．１へ戻り、新たな画像について処理を繰り返す。例えば、エンジンが停止した場合には、画像処理を終了する。
【００９４】
このように、映り込み画像から映り込みを除去する技術において、画像処理装置１２は、撮像方向とは異なる方向への車両が移動した場合の画像を対象として、映り込みを検出することができる。つまり、撮像方向とは異なる方向への車両が移動した場合の画像間で同位置に存在する特徴が、映り込みとして検出される。したがって、画像処理装置１２は、映り込みと映り込み以外の物体を正確に区別することができる。
【００９５】
図１１は、画像処理装置１２として機能するコンピュータ２００のハードウェア構成の一例を示す図である。なお、コンピュータ２００は、カメラ２０７とともに、運転支援装置１０として機能する場合もある。
【００９６】
コンピュータ２００は、カメラ２０７、スピーカー２０８と接続される。カメラ２０７は、撮像装置１１の一例である。スピーカー２０８は、警報装置１９が警報を行う際に、警報装置１９の制御の下、警報音を出力する装置である。
【００９７】
コンピュータ２００はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２，ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３，ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）２０４、通信装置２０５を有する。なお、コンピュータ２００は、さらに、媒体読取装置を有していてもよい。
【００９８】
各部はバス２０６を介して相互に接続されている。そして、各部は、ＣＰＵ２０１による管理下で相互にデータの送受を行うことができる。
【００９９】
図６および７に示される画像処理方法が記述されたプログラムが、コンピュータ２００が読み取り可能な記録媒体に記録される。コンピュータ２００が読み取り可能な記録媒体には、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。
【０１００】
光ディスクには、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  −  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。光磁気記録媒体には、ＭＯ（Ｍａｇｎｅｔｏ  −  Ｏｐｔｉｃａｌ  ｄｉｓｋ）などがある。このプログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売されることが考えられる。
【０１０１】
そして、例えば媒体読取装置が、画像処理プログラムを記録した記録媒体から、該プログラムを読み出す。ＣＰＵ２０１は、読み出されたプログラムをＨＤＤ２０４に格納する。また、各種プログラムはＣＰＵ２０１とアクセス可能なＲＯＭ２０２やＲＡＭ２０３に格納されていても良い。
【０１０２】
ＣＰＵ２０１は、コンピュータ２００の全体の動作制御を司る中央処理装置である。そして、ＣＰＵ２０１が、各種プログラムをＨＤＤ２０４から読み出して実行することで、ＣＰＵ２０１は、取得部１３、判定部１４、検出部１５、認識部１６、算出部１７として機能する。
【０１０３】
さらにＨＤＤ２０４は、ＣＰＵ２０１の管理下で記憶部１８として機能する。プログラム同様、記憶部１８の情報はＣＰＵ２０１とアクセス可能なＲＯＭ２０２やＲＡＭ２０３に格納されても良い。また、ＲＡＭ２０３は、処理の過程で一時的に生成された情報を記憶する。通信装置２０５は、インタフェースを介して接続される他のデバイスと情報の授受を行う。つまり、通信装置２０５が、取得部１３の一部の機能を担ってもよい。
【符号の説明】
【０１０４】
１０        運転支援装置
１１        撮像装置
１２        画像処理装置
１３        取得部
１４        判定部
１５        検出部
１６        認識部
１７        算出部
１８        記憶部
１９        警報装置
２００      コンピュータ
２０１      ＣＰＵ
２０２      ＲＯＭ
２０３      ＲＡＭ
２０４      ＨＤＤ
２０５      通信装置
２０６      バス
２０７      カメラ
２０８      スピーカー
【図１】
2014102775.tif 000004
【図２】
2014102775.tif 000005
【図３】
2014102775.tif 000006
【図４】
2014102775.tif 000007
【図５】
2014102775.tif 000008
【図６】
2014102775.tif 000009
【図７】
2014102775.tif 000010
【図８】
2014102775.tif 000011
【図９】
2014102775.tif 000012
【図１０】
2014102775.tif 000013
【図１１】
2014102775.tif 000014