(57)【要約】【課題】検出が困難な不具合が撮像映像に発生した場合であっても、高精度に該不具合を検知すること。【解決手段】映像処理システムが、移動体に設置される複数の撮像部１，２と、複数の撮像部１，２のうちの第１の撮像部１が撮像した映像における第１の撮像範囲の映像から特徴量を検出する第１の特徴量検出部１２と、第１の撮像部１以外の撮像部２が撮像した映像における第１の撮像範囲の映像から特徴量を検出する第２の特徴量検出部１４と、第１の特徴量検出部１２で検出された第１の撮像範囲の特徴量と第２の特徴量検出部１４で検出された第１の撮像範囲の特徴量とを比較して、第１の撮像部１で撮像された映像に含まれる不具合領域及び第１の撮像部１以外の撮像部２で撮像された映像に含まれる不具合領域のうち、少なくとも何れか一方を検出する特徴量比較検出部１５，１６と、を備える。【選択図】図１
2019102929.tif 000002
【特許請求の範囲】
【請求項１】
移動体に設置される複数の撮像部と、
前記複数の撮像部のうちの第１の撮像部が撮像した映像における少なくとも第１の撮像範囲の映像から特徴量を検出する第１の特徴量検出部と、
前記複数の撮像部のうちの前記第１の撮像部以外の撮像部が撮像した映像における少なくとも前記第１の撮像範囲の映像から前記特徴量を検出する第２の特徴量検出部と、
前記第１の特徴量検出部で検出された前記第１の撮像範囲の特徴量と前記第２の特徴量検出部で検出された前記第１の撮像範囲の特徴量とを比較して、前記第１の撮像部で撮像された映像に含まれる不具合領域及び前記第１の撮像部以外の撮像部で撮像された映像に含まれる不具合領域のうち、少なくとも何れか一方を検出する特徴量比較検出部と、
を備えたことを特徴とする映像処理システム。
【請求項２】
前記第１の撮像部以外の撮像部は、第２の撮像部であることを特徴とする特徴とする請求項１に記載の映像処理システム。
【請求項３】
前記第１の撮像部が撮像した映像から第１の映像を抽出する第１の映像抽出部と、
前記第２の撮像部が撮像した映像から第２の映像を抽出する第２の映像抽出部と、を備え、
前記第１の映像抽出部と前記第２の映像抽出部は、前記第１の映像と前記第２の映像の画質又は前記特徴量を検出する範囲が一致するように前記第１の映像と前記第２の映像を抽出することを特徴とする請求項２に記載の映像処理システム。
【請求項４】
前記第１の撮像部で撮像された映像と前記第２の撮像部で撮像された映像とを合成する第１の映像合成部とを備え、
前記第１の映像合成部は、前記特徴量比較検出部によって前記第１の撮像部で撮像された映像に前記不具合領域が検出された場合、前記第１の撮像部で撮像された映像に含まれる前記不具合領域を前記第２の撮像部で撮像された映像に置き換えるように、または、前記第２の撮像部で撮像された映像に含まれる前記不具合領域を前記第１の撮像部で撮像された映像に置き換えるように、前記第１の撮像部で撮像された映像と前記第２の撮像部で撮像された映像との合成状態を変更することを特徴とする請求項２又は３に記載の映像処理システム。
【請求項５】
前記特徴量比較検出部は、前記第１の撮像部が撮像した映像に含まれる前記不具合領域の座標値を示す情報を出力し、
前記第１の映像合成部は、前記座標値を示す情報を用いて前記第１の撮像部が撮像した映像に含まれる前記不具合領域を前記第２の撮像部が撮像した映像に置き換えるように、前記第１の撮像部で撮像された映像と前記第２の撮像部で撮像された映像とを合成した合成映像を生成することを特徴とする請求項２〜４の何れか１項に記載の映像処理システム。
【請求項６】
前記特徴量比較検出部は、前記第１の撮像部が撮像した映像に含まれる前記不具合領域の座標値を示す情報又は前記第２の撮像部が撮像した映像に含まれる前記不具合領域の前記座標値を示す情報を出力し、
前記第１の映像合成部は、前記座標値を示す情報用いて、前記不具合領域を置き換えるように、前記第１の撮像部で撮像された映像と前記第２の撮像部で撮像された映像との表示面積割合を変化させることを特徴とする請求項２〜４の何れか１項に記載の映像処理システム。
【請求項７】
前記第１の映像合成部は、前記不具合領域を置き換えるように第１の撮像部で撮像された映像と第２の撮像部で撮像された映像を合成する合成映像を生成する場合、前記第１の撮像部で撮像された映像と前記第２の撮像部で撮像された映像とを複数のエリアに分割し、該分割されたエリアごとに、前記第１の撮像部で撮像された映像と前記第２の撮像部で撮像された映像とを合成することを特徴とする請求項４〜６の何れか１項に記載の映像処理システム。
【請求項８】
前記第１の映像合成部は、前記第１の撮像部で撮像された映像と前記第２の撮像部で撮像された映像とを合成する合成映像を生成する場合、第１の撮像部で撮像された映像と前記第２の撮像部で撮像された映像との境界部分からの距離に応じて、第１の撮像部で撮像された映像及び前記第２の撮像部で撮像された映像の透過率を変化させることを特徴とする請求項４〜７のいずれか１項に記載の映像処理システム。
【請求項９】
前記第１の撮像部以外の撮像部は、第２の撮像部及び第３の撮像部であり、
前記第１の撮像部で撮像された映像、前記第２の撮像部で撮像された映像及び前記第３の撮像部で撮像された映像を合成する第１の映像合成部とを備え、
前記第１の映像合成部は、
前記特徴量比較検出部によって前記第１の撮像部で撮像された映像に前記不具合領域が検出された場合、前記第１の撮像部で撮像された映像に含まれる前記不具合領域を前記第２の撮像部又は第３の撮像部で撮像された映像に置き換えるように、前記第１の撮像部で撮像された映像と前記第２の撮像部で撮像された映像と前記第３の撮像部で撮像された映像との合成状態を変更し、
前記特徴量比較検出部によって前記第２の撮像部で撮像された映像に前記不具合領域が検出された場合、前記第２の撮像部で撮像された映像に含まれる前記不具合領域を前記第１の撮像部又は第３の撮像部で撮像された映像に置き換えるように、前記第１の撮像部で撮像された映像と前記第２の撮像部で撮像された映像と前記第３の撮像部で撮像された映像との合成状態を変更し、
前記特徴量比較検出部によって前記第３の撮像部で撮像された映像に前記不具合領域が検出された場合、前記第３の撮像部で撮像された映像に含まれる前記不具合領域を前記第１の撮像部又は第２の撮像部で撮像された映像に置き換えるように、前記第１の撮像部で撮像された映像と前記第２の撮像部で撮像された映像と前記第３の撮像部で撮像された映像との合成状態を変更することを特徴とする請求項１に記載の映像処理システム。
【請求項１０】
前記第１の撮像部はリアカメラであり、前記第２の撮像部は右サイドカメラであり、前記第３の撮像部は左サイドカメラであることを特徴とする請求項９に記載の映像処理システム。
【請求項１１】
前記第２の特徴量検出部は、前記複数の撮像部のうちの前記第１の撮像部以外の第２の撮像部および第３の撮像部がそれぞれ撮像した映像が合成された映像における少なくとも前記第１の撮像範囲の映像から前記特徴量を検出し、
前記特徴量比較検出部は、前記第１の撮像部で撮像された映像に含まれる前記不具合領域及び前記合成された映像に含まれる前記不具合領域のうち、少なくとも何れか一方を検出することを特徴とする請求項１に記載の映像処理システム。
【請求項１２】
前記第１の撮像部はリアカメラであり、前記第２の撮像部は右サイドカメラであり、前記第３の撮像部は左サイドカメラであることを特徴とする請求項１１に記載の映像処理システム。
【請求項１３】
移動体に設置される複数の撮像部のうちの第１の撮像部が撮像した映像における少なくとも第１の撮像範囲の映像から特徴量を検出する第１の特徴量検出部と、
前記複数の撮像部のうちの前記第１の撮像部以外の撮像部が撮像した映像における少なくとも前記第１の撮像範囲の映像から前記特徴量を検出する第２の特徴量検出部と、
前記第１の特徴量検出部で検出された前記第１の撮像範囲の特徴量と前記第２の特徴量検出部で検出された前記第１の撮像範囲の特徴量とを比較して、前記第１の撮像部で撮像された映像に含まれる不具合領域及び前記第１の撮像部以外の撮像部で撮像された映像に含まれる不具合領域のうち、少なくとも何れか一方を検出する特徴量比較検出部と、
を備えたことを特徴とする映像処理装置。
【請求項１４】
移動体に設置される複数の撮像部のうちの第１の撮像部が撮像した映像における少なくとも第１の撮像範囲の映像から特徴量を検出する第１の特徴量検出ステップと、
前記複数の撮像部のうちの前記第１の撮像部以外の撮像部が撮像した映像における少なくとも前記第１の撮像範囲の映像から前記特徴量を検出する第２の特徴量検出ステップと、
前記第１の特徴量検出ステップで検出された前記第１の撮像範囲の特徴量と前記第２の特徴量検出ステップで検出された前記第１の撮像範囲の特徴量とを比較して、前記第１の撮像部で撮像された映像に含まれる不具合領域及び前記第１の撮像部以外の撮像部で撮像された映像に含まれる不具合領域のうち、少なくとも何れか一方を検出する特徴量比較検出ステップと、
を備えたことを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に搭載される映像処理システム及び映像処理装置並びに移動体に搭載される映像処理システムおいて用いられる映像処理方法に関するものである。
【背景技術】
【０００２】
近年、自車両の周囲の状況を速やかに確認するために、後方又は側方を撮像するカメラを搭載する車両が増加している。カメラが車外に配置される場合、カメラのレンズに泥などの汚れが付着し、撮像される映像に汚れが写り込むことがある。また、カメラが車内に配置される場合も、カメラのレンズを覆うガラス面（例えば、リアウィンドウ。）に汚れが付着したり、傷がついたりして、撮像された映像に汚れや傷が写り込むことがある。
【０００３】
これに対し、車両の後方又は側方を撮像する車載カメラ装置において、カメラのレンズ又はカメラレンズを覆うガラス面に泥などの異物が付着した場合に、この異物を自動検知する技術が知られている（例えば、特許文献１参照）。
【０００４】
特許文献１に開示された車載カメラ装置では、カメラが撮像した撮像映像における、表示態様が変化しない領域を検出することによって、カメラのレンズ表面に付着した異物を検出している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３８７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１に開示された技術において、異物の検出精度を高くしようとすると、撮像映像中における表示態様が変化しない領域を精度良く検知する必要がある。しかしながら、表示態様が変化しない領域を精度よく検知しようとすると、継続的に映像に写り込んだ道路上の白線なども、表示態様が変化しない領域として検知してしまい、異物の検出精度が低下する恐れがあった。
【０００７】
このようなことから、微少な異物や透過性の高い汚れがカメラのレンズに付着した場合など、検出が困難な不具合が撮像映像に発生した場合であっても、高精度に該不具合を検知する映像処理システムが求められる。
【０００８】
本発明は、検出が困難な不具合が撮像映像に発生した場合であっても、高精度に該不具合を検知することが可能な映像処理システム、映像処理装置及び映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の映像処理システムは、移動体に設置される複数の撮像部と、複数の撮像部のうちの第１の撮像部が撮像した映像における少なくとも第１の撮像範囲の映像から特徴量を検出する第１の特徴量検出部と、複数の撮像部のうちの第１の撮像部以外の撮像部が撮像した映像における少なくとも第１の撮像範囲の映像から特徴量を検出する第２の特徴量検出部と、第１の特徴量検出部で検出された第１の撮像範囲の特徴量と第２の特徴量検出部で検出された第１の撮像範囲の特徴量とを比較して、第１の撮像部で撮像された映像に含まれる不具合領域及び第１の撮像部以外の撮像部で撮像された映像に含まれる不具合領域のうち、少なくとも何れか一方を検出する特徴量比較検出部と、を備える。
【００１０】
また、上記目的を達成するために、本発明の映像処理装置は、移動体に設置される複数の撮像部のうちの第１の撮像部が撮像した映像における少なくとも第１の撮像範囲の映像から特徴量を検出する第１の特徴量検出部と、複数の撮像部のうちの第１の撮像部以外の撮像部が撮像した映像における少なくとも第１の撮像範囲の映像から特徴量を検出する第２の特徴量検出部と、第１の特徴量検出部で検出された第１の撮像範囲の特徴量と第２の特徴量検出部で検出された第１の撮像範囲の特徴量とを比較して、第１の撮像部で撮像された映像に含まれる不具合領域及び第１の撮像部以外の撮像部で撮像された映像に含まれる不具合領域のうち、少なくとも何れか一方を検出する特徴量比較検出部と、を備える。
【００１１】
また、上記目的を達成するために、本発明の映像処理方法は、移動体に設置される複数の撮像部のうちの第１の撮像部が撮像した映像における少なくとも第１の撮像範囲の映像から特徴量を検出する第１の特徴量検出ステップと、複数の撮像部のうちの第１の撮像部以外の撮像部が撮像した映像における少なくとも第１の撮像範囲の映像から特徴量を検出する第２の特徴量検出ステップと、第１の特徴量検出ステップで検出された第１の撮像範囲の特徴量と第２の特徴量検出ステップで検出された第１の撮像範囲の特徴量とを比較して、第１の撮像部で撮像された映像に含まれる不具合領域及び第１の撮像部以外の撮像部で撮像された映像に含まれる不具合領域のうち、少なくとも何れか一方を検出する特徴量比較検出ステップと、を備える。
【発明の効果】
【００１２】
本発明によれば、検出が困難な不具合が撮像映像に発生した場合であっても、高精度に該不具合を検知することが可能である。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係る各部の機能の一例を示すブロック図
【図２】本発明の実施の形態に係る第１の撮像部、第２の撮像部及び表示部の設置位置の一例を示す図
【図３】本発明の実施の形態に係る第１の映像合成部が行う合成処理のイメージを示す図
【図４】本発明の実施の形態１に係る異物検出処理の一例を示すフローチャート
【図５】本発明の実施の形態１に係る異物検出処理によって異物が検出された場合に表示部に出力される合成映像のイメージの一例を示す図
【図６】本発明の実施の形態１に係る異物検出処理によって異物が検出された場合に表示部に出力される合成映像のイメージの別の例を示す図
【図７】本発明の実施の形態２に係る各部の機能の一例を示すブロック図
【図８】本発明の実施の形態２に係る異物検出処理によって異物が検出された場合に表示部に出力される合成映像のイメージを示す図
【図９】本発明の実施の形態３に係る各部の機能の一例を示すブロック図
【図１０】本発明の実施の形態３に係る異物検出処理の一例を示すフローチャート
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、同じ構成要素には同じ符号を付している。また、図面は、理解しやすくするためにそれぞれの構成要素を模式的に示している。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１に係る各部の機能の一例を示すブロック図である。本発明の実施の形態１に係る映像処理システムは、第１の撮像部１と、第２の撮像部２と、映像処理装置１０と、表示部４と、を備える。
【００１６】
第１の撮像部１は、例えば、車両に設置されるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像装置である。
【００１７】
第１の撮像部１は、有線または無線により、映像処理装置１０と通信可能に接続される。第１の撮像部１は、撮像した映像の映像データをリアルタイムで映像処理装置１０に送信する。
【００１８】
第２の撮像部２は、例えば、車両に設置されるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像装置である。
【００１９】
第２の撮像部２は、有線または無線により、映像処理装置１０と通信可能に接続される。第２の撮像部２は、撮像した映像の映像データをリアルタイムで映像処理装置１０に送信する。
【００２０】
表示部４は、例えば、車室の天井の前部に設置される電子ミラーなどの表示装置である。表示部４は、有線または無線により、映像処理装置１０と通信可能に接続される。
【００２１】
図２に、本発明の実施の形態に係る第１の撮像部１、第２の撮像部２及び表示部４の設置位置の一例を示す。
【００２２】
第１の撮像部１は、例えば、車両のリアウィンドウの内側部分に設置されるリアカメラ５であり、車両後方を撮像する。ただし、これに限られず、第１の撮像部１は、右側前扉の外側の窓付近に設置される右サイドカメラ６、左側前扉の外側の窓付近に設置される左サイドカメラ７、車外の後方に配置されるバックカメラ８であってもよい。
【００２３】
第２の撮像部２は、リアカメラ５、右サイドカメラ６、左サイドカメラ７またはバックカメラ８のうちのいずれかであって、且つ、第１の撮像部１とは異なるものである。
【００２４】
表示部４は、上述したように、例えば、車室の天井の前部に設置される電子ミラーであり、車両のルームミラーの代わりに設けられる。また、表示部４は、車両のインストルメントパネルに設置されてもよい。
【００２５】
図１の説明に戻る。映像処理装置１０は、異物消去部１０ａと、第３の映像抽出部１７と、第４の映像抽出部１８と、第１の映像合成部１９と、を備える。
【００２６】
異物消去部１０ａは、第１の映像抽出部１１と、第２の映像抽出部１３と、第１の特徴量検出部１２と、第２の特徴量検出部１４と、特徴量比較部１５と、異物検出部１６と、を備える。
【００２７】
異物消去部１０ａは、第１の撮像部１及び第２の撮像部２によって撮像された映像の映像データを受信する。異物消去部１０ａは、受信した映像データに基づいて、第１の撮像部１又は第２の撮像部２によって撮像された映像に不具合があるか否か、また、映像に不具合がある場合は、映像のどの位置に不具合があるかを検出する。
【００２８】
第１の撮像部１又は第２の撮像部２によって撮像された映像に不具合がある場合とは、第１の撮像部１又は第２の撮像部２のカメラレンズに汚れが付着して、撮像映像に汚れが写り込む場合である。あるいは、第１の撮像部１又は第２の撮像部２のカメラの撮像素子に埃などの異物が付着して、撮像映像に異物が写り込む場合である。あるいは車両のリアウィンドウの内側にカメラを設置する場合に、リアウィンドウの外側に異物が付着する場合である。ただし、第１の撮像部１又は第２の撮像部２が撮像した映像に不具合がある場合とは、これらに限られず、撮像映像に乱れが生じる場合など、あらゆる映像の不具合が含まれる。
【００２９】
第１の映像抽出部１１は、第１の撮像部１によって撮像された映像から特徴量を検出するために、所望の映像を抽出する映像抽出部である。第１の映像抽出部１１は、映像切り出し部１１ａ、解像度変更部１１ｂ及び画質変更部１１ｃにおいて映像の抽出を行う。
【００３０】
映像切り出し部１１ａは、第１の撮像部１で撮像された映像から所定の撮像範囲の映像を切り出す切り出し部である。映像切り出し部１１ａは、後述する映像切り出し部１３ａによって切り出される所定の撮像範囲の映像と撮像範囲が一致するように、第１の撮像部１で撮像された映像から所定の範囲の映像を切り出す。なお、映像切り出し部１１ａが切り出す映像の範囲は、予め定められている。
【００３１】
解像度変更部１１ｂは、映像切り出し部１１ａが切り出した映像の解像度を所定の解像度に変更する映像処理部である。解像度変更部１１ｂは、後述する解像度変更部１３ｂによって変更された映像の解像度と一致するように、映像切り出し部１１ａが切り出した映像の解像度を変更する。
【００３２】
画質変更部１１ｃは、解像度変更部１１ｂにおいて解像度が変更された映像の画質を変更する映像処理部である。ここで、画質とは、例えば、映像の色調をいう。画質変更部１１ｃは、例えば、トーンカーブ補正を行い映像の色調を変更する。画質変更部１１ｃは、後述する画質変更部１３ｃによって画質が変更された映像の画質と一致するように、解像度変更部１１ｂにおいて解像度が変更された映像の画質を変更する。
【００３３】
第１の特徴量検出部１２は、第１の映像抽出部１１において抽出された映像のエッジ検出を行い、検出されたエッジの累積エッジ量を検出する検出部である。
【００３４】
第１の特徴量検出部１２は、まず、入力された映像をグレイスケールに変換する。第１の特徴量検出部１２は、例えば、Ｃａｎｎｙフィルタを用いて、グレイスケールに変換された映像のエッジ検出を行う。
【００３５】
また、第１の特徴量検出部１２は、映像から検出されたエッジの累積処理を行う。エッジの累積処理とは、映像のエッジ検出が行われるごとに、新たにエッジ検出が行われた映像と過去にエッジ検出が行われた映像との論理積をとることをいう。これにより、新たにエッジ検出が行われた映像と過去にエッジ検出が行われた映像とのエッジの重複部分のみが新たなエッジとして検出されることになる。
【００３６】
このようなエッジの累積処理を行うことにより、第１の特徴量検出部１２は、第１の撮像部１によって撮像された映像の累積エッジ量を検出する。移動中に撮像された映像に対して上記処理を行なうと、不具合の無い領域のエッジは変化するため累積エッジ量は小さくなり、累積時間が大きくなるとともに累積エッジ量は０に近づく。一方で、不具合が存在するエリアは、エッジが変化しないため、累積エッジ量は一定値を示す。
【００３７】
第２の映像抽出部１３は、第２の撮像部２によって撮像された映像から特徴量を検出するために、所望の映像を抽出する映像抽出部である。第２の映像抽出部１３は、映像切り出し部１３ａ、解像度変更部１３ｂ及び画質変更部１３ｃにおいて映像の抽出を行う。
【００３８】
映像切り出し部１３ａは、第２の撮像部２で撮像された映像から所定の撮像範囲の映像を切り出す映像切り出し部である。映像切り出し部１３ａは、上述した映像切り出し部１１ａによって切り出される所定の撮像範囲の映像と撮像範囲が一致するように、第２の撮像部２で撮像された映像から所定の範囲の映像を切り出す。なお、映像切り出し部１３ａが切り出す映像の範囲は、予め定められている。
【００３９】
解像度変更部１３ｂは、映像切り出し部１３ａが切り出した映像の解像度を所定の解像度に変更する映像処理部である。解像度変更部１３ｂは、上述した解像度変更部１１ｂによって変更された映像の解像度と一致するように、映像切り出し部１３ａが切り出した映像の解像度を変更する。
【００４０】
画質変更部１３ｃは、解像度変更部１３ｂによって解像度が変更された映像の画質を変更する映像処理部である。画質変更部１３ｃは、例えば、トーンカーブ補正を行い映像の色調を変更する。画質変更部１３ｃは、上述した画質変更部１１ｃによって画質が変更された映像の画質と一致するように、解像度変更部１３ｂによって解像度が変更された映像の画質を変更する。
【００４１】
第２の特徴量検出部１４は、第２の映像抽出部１３によって抽出された映像のエッジ検出を行い、検出されたエッジの累積エッジ量を検出する検出部である。
【００４２】
第２の特徴量検出部１４は、まず、入力された映像をグレイスケールに変換する。第２の特徴量検出部１４は、例えば、Ｃａｎｎｙフィルタを用いて、グレイスケールに変換された映像のエッジ検出を行う。
【００４３】
また、第２の特徴量検出部１４は、映像から検出されたエッジの累積処理を行う。エッジの累積処理を行うことにより、第２の特徴量検出部１４は、第２の撮像部２によって撮像された映像の累積エッジ量を検出する。
【００４４】
特徴量比較部１５は、第１の特徴量検出部１２で検出された累積エッジ量と第２の特徴量検出部１４で検出された累積エッジ量との比較を行う比較部である。
【００４５】
特徴量比較部１５は、第１の特徴量検出部１２から入力される映像を複数のエリアに分割し、分割したエリアごとに累積エッジ量を算出する。また、特徴量比較部１５は、第２の特徴量検出部１４から入力される映像を複数のエリアに分割し、分割したエリアごとに累積エッジ量を算出する。
【００４６】
第１の特徴量検出部１２及び第２の特徴量検出部１４から特徴量比較部１５に入力された映像は、例えば、１２のエリアにそれぞれ同じように分割される。ただし、映像の分割数は、これに限られず、映像処理装置１０の処理能力などに応じて適宜設定すればよい。
【００４７】
また、第１の特徴量検出部１２及び第２の特徴量検出部１４から特徴量比較部１５に入力された映像の同じ位置にあるエリアには、それぞれ同じエリアナンバーが付される。そして、第１の特徴量検出部１２から入力された映像と第２の特徴量検出部１４から入力された映像において同じエリアナンバーが付されたエリアの間で、累積エッジ量が比較される。
【００４８】
特徴量比較部１５は、第１の特徴量検出部１２から入力された映像における分割されたエリアのうち、あるエリアナンバーのエリアの累積エッジ量が所定の閾値以上となった場合、該エリアを第１の異物付着候補に設定する。また、特徴量比較部１５は、第２の特徴量検出部１４から入力された映像における分割されたエリアのうち、あるエリアナンバーのエリアの累積エッジ量が所定の閾値以上となった場合、該エリアを第２の異物付着候補に設定する。
【００４９】
特徴量比較部１５は、第１の異物付着候補に設定されたエリアの累積エッジ量と、第２の特徴量検出部１４から入力された映像において該エリアと同じエリアナンバーが付されたエリアの累積エッジ量とを比較する。また、特徴量比較部１５は、第２の異物付着候補に設定されたエリアの累積エッジ量と、第１の特徴量検出部１２から入力された映像において該エリアと同じエリアナンバーが付されたエリアの累積エッジ量とを比較する。
【００５０】
特徴量比較部１５は、比較したエリアの累積エッジ量の差分が所定の閾値以上となった場合、当該第１の異物付着候補又は第２の異物付着候補に設定されたエリアを最終異物付着候補に設定する。特徴量比較部１５は、最終異物付着候補が何れのエリアに設定されたか又は何れのエリアにも設定されていないことを示す情報を異物検出部１６に出力する。
【００５１】
異物検出部１６は、特徴量比較部１５から出力される情報に基づいて、最終異物付着候補に設定されたエリアのうちどのエリアに異物が付着しているかを検出する検出部である。
【００５２】
異物検出部１６は、分割されたエリアごとに、連続して最終異物付着候補に設定されている間その設定回数をカウントする最終異物付着候補カウンタを備える。なお、あるエリアが最終異物付着候補に設定される事象の連続性が途切れた場合、該エリアの最終異物付着候補カウンタのカウンタ値はリセットされる。
【００５３】
異物検出部１６は、あるエリアの最終異物付着候補カウンタのカウント値が所定の回数Ｎに達した場合、該エリアを異物付着エリアに設定する。また、異物検出部１６は、異物付着エリアに設定されたエリアナンバーを第１の映像合成部１９に出力する。
【００５４】
なお、ここでは、異物付着エリアに設定されたエリアを示す情報をエリアナンバーとして説明したが、これに限られない。例えば、エリアを示す情報は、異物付着エリアの位置を示す座標値であってもよい。
【００５５】
第３の映像抽出部１７は、第１の撮像部１によって撮像された映像と第２の撮像部２によって撮像された映像とを合成するために、第１の撮像部１によって撮像された映像から所望の映像を抽出する映像抽出部である。
【００５６】
第３の映像抽出部１７は、第１の撮像部１によって撮像された映像から所定の撮像範囲を映し出す映像を切り出す。また、第３の映像抽出部１７は、切り出した映像の解像度の変更、画質の変更を行う。
【００５７】
第４の映像抽出部１８は、第２の撮像部２によって撮像された映像と第１の撮像部１によって撮像された映像とを合成するために、第２の撮像部２によって撮像された映像から所望の映像を抽出する映像抽出部である。
【００５８】
第４の映像抽出部１８は、第２の撮像部２によって撮像された映像から所定の撮像範囲の映像を切り出す。また、第４の映像抽出部１８は、切り出された映像の解像度の変更、画質の変更を行う。
【００５９】
第１の映像合成部１９は、第３の映像抽出部１７で抽出された映像と第４の映像抽出部１８で抽出された映像とを合成した合成映像を生成する合成処理部である。
【００６０】
第１の映像合成部１９は、異物消去部１０ａにおいて異物付着エリアが検出された場合、検出された異物付着エリアの情報（エリアナンバー）に基づいて、第３の映像抽出部１７で抽出された映像と第４の映像抽出部１８で抽出された映像との合成状態を変更する。
【００６１】
ここで、合成状態を変更するとは、第１の撮像部１で撮像された映像と第２の撮像部２で撮像された映像との合成映像が表示部４に出力されている状態において、第１の撮像部１で撮像された映像と第２の撮像部２で撮像された映像との表示面積割合、あるいは２つの映像を係数（α値）によって合成する際のα値を変更することである。また、合成状態を変更することには、第１の撮像部１で撮像された映像のみが表示部４に出力されている状態において、第１の撮像部１で撮像された映像に第２の撮像部２で撮像された映像を合成して出力することが含まれる。
【００６２】
図３は、本発明の実施の形態に係る第１の映像合成部１９が行う合成処理のイメージを示す図である。
【００６３】
第１の映像合成部１９は、第１の撮像部１（リアカメラ５）によって撮像された映像１０１と第２の撮像部２（右サイドカメラ６）によって撮像された映像１０２とを、例えば、左右に並べて合成する。
【００６４】
第１の映像合成部１９は、これらの映像の境界部付近において、アルファブレンドを行って映像の合成を行う。その際、図３に示すように、第１の映像合成部１９は、第１の撮像部１によって撮像された映像１０１のα値を、第２の撮像部２によって撮像された映像１０２に向かうにしたがって減少させる。一方、第２の撮像部２によって撮像された映像１０２のα値を、第１の撮像部１によって撮像された映像１０１に向かうにしたがって増加させる。
【００６５】
すなわち、第１の映像合成部１９は、第１の撮像部１によって撮像された映像１０１と第２の撮像部２によって撮像された映像１０２とを合成処理する際、これらの映像の境界部分からの距離に応じて映像の透過率を変化させている。
【００６６】
これにより、第１の映像合成部１９は、第１の撮像部１で撮像された映像１０１と第２の撮像部２で撮像された映像１０２との境界部分が目立たないように映像の合成を行うことができる。
【００６７】
第１の撮像部１（リアカメラ５）によって撮像された映像１０１と第２の撮像部２（左サイドカメラ７）によって撮像された映像１０３との合成処理ついても同様に、これらの映像の境界部付近においてアルファブレンドを行うことにより、境界部分が目立たないように映像の合成を行うことができる。
【００６８】
なお、第１の映像合成部１９は、第１の映像抽出部１１及び第２の映像抽出部１３で抽出された映像を合成処理する際、合成映像の歪みなどを小さくするために、これらの映像の一部を回転、拡大、縮小するなどしてもよい。
【００６９】
また、図３の中段に示した合成映像が表示部４に表示される際、第１の映像合成部１９は、該合成映像の左右を反転させた映像データを表示部４に出力する。
【００７０】
次に、異物消去部１０ａが行う異物検出処理について説明する。図４は、本発明の実施の形態１に係る異物検出処理の一例を示すフローチャートである。なお、図４では、ステップＳ１０〜ステップＳ３０までは、第１の映像抽出部１１と第１の特徴量検出部１２における処理を示しているが、第２の映像抽出部１３と第２の特徴量検出部１４においても同様の処理を行っているものとする。
【００７１】
まず、第１の映像抽出部１１は、映像抽出処理（ステップＳ１０）を実行する。第１の映像抽出部１１における映像切り出し部１１ａは、映像抽出処理において、第１の撮像部１で撮像された映像から所定の撮像範囲の映像を切り出す。
【００７２】
また、第１の映像抽出部１１における解像度変更部１１ｂは、映像抽出処理において、切り出した映像の解像度を変更する。
【００７３】
また、第１の映像抽出部１１における画質変更部１１ｃは、映像抽出処理において、解像度を変更した映像の色調を変更する。
【００７４】
次に、第１の特徴量検出部１２は、特徴量検出処理（ステップＳ２０）を実行する。第１の特徴量検出部１２は、特徴量検出処理において、第１の映像抽出部１１で抽出された映像のエッジ検出を行い、検出されたエッジの累積エッジ量を検出する。
【００７５】
第１の特徴量検出部１２は、特徴量検出処理において、まず、第１の映像抽出部１１で抽出された映像をグレイスケールに変換する。次に、第１の特徴量検出部１２は、Ｃａｎｎｙフィルタを用いて、グレイスケールに変換された映像のエッジ検出を行う。また、第１の特徴量検出部１２は、エッジ検出によって検出したエッジの累積処理を実行する。
【００７６】
次に、第１の特徴量検出部１２は、特徴量検出処理（ステップＳ２０）がＭ回実行されたか否かを判定する（ステップＳ３０）。特徴量検出処理が未だＭ回実行されていないと判定された場合（ステップＳ３０においてＮｏの場合）、第１の映像抽出部１１は、再び、映像抽出処理（ステップＳ１０）を実行する。
【００７７】
特徴量検出処理がＭ回実行されたと判定された場合（ステップＳ３０においてＹｅｓの場合）、特徴量比較部１５は、異物付着候補判定処理（ステップＳ４０）を実行する。このとき、特徴量検出処理の実行回数はリセットされる。
【００７８】
特徴量比較部１５は、異物付着候補判定処理において、第１の特徴量検出部１２及び第２の特徴量検出部１４から入力される映像を複数のエリアに分割する。特徴量比較部１５は、分割したエリアごとに、累積された累積エッジ量を算出する。算出された累積エッジ量が所定の閾値以上である場合、特徴量比較部１５は、該エリアを異物付着候補に設定する。
【００７９】
次に、特徴量比較部１５は、分割されたエリアのうち、異物付着候補が設定されたエリアが存在するか否かを判定する（ステップＳ５０）。
【００８０】
異物付着候補判定処理において何れのエリアも異物付着候補に設定されていない場合（ステップＳ５０においてＮｏの場合）、第１の映像抽出部１１は、再び、映像抽出処理（ステップＳ１０）を実行する。
【００８１】
異物付着候補判定処理（ステップＳ４０）において何れかのエリアが異物付着候補に設定されている場合（ステップＳ５０においてＹｅｓの場合）、特徴量比較部１５は、最終異物付着候補判定処理（ステップＳ６０）を実行する。
【００８２】
特徴量比較部１５は、最終異物付着候補判定処理を実行する際、第１の特徴量検出部１２から入力された映像における異物付着候補に設定されたエリアの累積エッジ量と、第２の特徴量検出部１４から入力された映像における該エリアと同じエリアナンバーが付されたエリアの累積エッジ量とを比較する。また、特徴量比較部１５は、第２の特徴量検出部１４から入力された映像における異物付着候補に設定されたエリアの累積エッジ量と、第１の特徴量検出部１２から入力された映像における該エリアと同じエリアナンバーが付されたエリアの累積エッジ量とを比較する。
【００８３】
特徴量比較部１５は、比較したエリアにおける累積エッジ量の差分が所定の閾値以上であった場合、当該異物付着候補に設定されていたエリアを最終異物付着候補に設定する。
【００８４】
次に、特徴量比較部１５は、分割されたエリアのうち、最終異物付着候補が設定されたエリアが存在するか否かを判定する（ステップＳ７０）。
【００８５】
最終異物付着候補判定処理において何れのエリアも最終異物付着候補に設定されていない場合（ステップＳ７０においてＮｏの場合）、第１の映像抽出部１１は、再び、映像抽出処理（ステップＳ１０）を実行する。このとき、最終異物付着候補カウンタのカウンタ値はリセットされる。
【００８６】
最終異物付着候補判定処理において何れかのエリアが最終異物付着候補に設定されている場合（ステップＳ７０においてＹｅｓの場合）、異物検出部１６は、当該エリアの最終異物付着候補カウンタのカウンタ値が所定の回数Ｎに達したか否かを判定する（ステップＳ８０）。
【００８７】
最終異物付着候補カウンタのカウンタ値がＮに達したエリアが存在しない場合（ステップＳ８０においてＮｏの場合）、第１の映像抽出部１１は、再び、映像抽出処理（ステップＳ１０）を実行する。
【００８８】
一方、最終異物付着候補カウンタのカウンタ値がＮに達したエリアが存在する場合（ステップＳ８０においてＹｅｓの場合）、異物検出部１６は、当該エリアを異物付着エリアに設定し（ステップＳ９０）、異物検出処理を終了する。
【００８９】
なお、上述したとおり、あるエリアが最終異物付着候補に設定される事象の連続性が途切れた場合、該エリアの最終異物付着候補カウンタのカウンタ値はリセットされる。
【００９０】
また、異物検出処理は、異物消去部１０ａに入力される映像の全てのフレームについて実行する必要はなく、映像処理装置１０の処理能力に応じて、適当なフレーム間隔で実行すればよい。定数Ｍ及び定数Ｎの値も、求められる異物の検出精度に応じて、適宜設定すればよい。
【００９１】
次に、異物検出処理によって異物付着エリアが設定された場合に、第１の映像合成部１９において実行される映像の合成処理について説明する。図５は、本発明の実施の形態１に係る異物検出処理によって異物が検出された場合に表示部４に出力される合成映像のイメージの一例を示す図である。
【００９２】
図５の上段左側の図は、第１の撮像部１（リアカメラ５）によって撮像された映像１０１が表示部４に表示されているときに、第１の撮像部１によって撮像された映像１０１の左下部分に異物１１０が写り込んだ様子を示す表示映像の図である。
【００９３】
図５の上段右側の図は、第１の撮像部によって撮像された映像１０１における左下部分が、第２の撮像部２（左サイドカメラ７）によって撮像された映像１０３に置き換えられた様子を示す表示映像の図である。
【００９４】
図５の下段左側の図は、第１の撮像部１（リアカメラ５）によって撮像された映像１０１が表示部４に表示されているときに、第１の撮像部１によって撮像された映像１０１の右下部分に異物１１０が写り込んだ様子を示す表示映像の図である。
【００９５】
図５の下段右側の図は、第１の撮像部１によって撮像された映像１０１における右下部分が、第２の撮像部２（右サイドカメラ６）によって撮像された映像１０２に置き換えられた様子を示す表示映像の図である。
【００９６】
第１の撮像部１（リアカメラ５）によって撮像された映像１０１の左下部分が異物消去部１０ａにおいて異物付着エリアに設定された場合、第１の映像合成部１９は、当該エリアの映像を第２の撮像部２（左サイドカメラ７）によって撮像された映像１０３に置き換える。
【００９７】
また、第１の撮像部１（リアカメラ５）によって撮像された映像１０１の右下部分が異物消去部１０ａにおいて異物付着エリアに設定された場合、第１の映像合成部１９は、当該エリアの映像を第２の撮像部２（右サイドカメラ６）によって撮像された映像１０２に置き換える。
【００９８】
これにより、第１の撮像部１に付着した異物１１０によって視界が遮断されていた領域の映像を第２の撮像部２によって撮像された映像１０２，１０３に置き換えて表示部４に表示させることができる。
【００９９】
図６は、本発明の実施の形態１に係る異物検出処理によって異物が検出された場合に表示部４に出力される合成映像のイメージの別の例を示す図である。
【０１００】
図６の上段左側の図は、第１の撮像部１（リアカメラ５）によって撮像された映像１０１と第２の撮像部２（右サイドカメラ６）によって撮像された映像１０２の合成映像を表示部４に表示させているときに、第２の撮像部２（右サイドカメラ６）によって撮像された映像１０２の左下部分に異物１１０が写り込んだ様子を示す表示映像の図である。
【０１０１】
図６の上段右側の図は、第２の撮像部２（右サイドカメラ６）によって撮像された映像１０２の左側部分が、第１の撮像部１（リアカメラ５）によって撮像された映像１０１に置き換えられた様子を示す表示映像の図である。
【０１０２】
図６の下段左側の図は、第１の撮像部１（リアカメラ５）によって撮像された映像１０１と第２の撮像部２（左サイドカメラ７）によって撮像された映像１０３の合成映像を表示部４に表示させているときに、第２の撮像部２によって撮像された映像１０３の右下部分に異物１１０が写り込んだ様子を示す表示映像の図である。
【０１０３】
図６の下段右側の図は、第２の撮像部２（左サイドカメラ７）によって撮像された映像１０３の右側部分が、第１の撮像部１（リアカメラ５）によって撮像された映像１０１に置き換えられた様子を示す表示映像の図である。
【０１０４】
第２の撮像部２（右サイドカメラ６）によって撮像された映像１０２の左下部分が異物付着エリアに設定された場合、第１の映像合成部１９は、合成映像の面積割合を変える（境界部分を移動させる）ことにより、当該エリアの映像を第１の撮像部１（リアカメラ５）によって撮像された映像１０１に置き換える。
【０１０５】
また、第２の撮像部２（左サイドカメラ７）によって撮像された映像１０３の右下部分が異物付着エリアに設定された場合、第１の映像合成部１９は、合成映像の面積割合を変えることにより、当該エリアの映像を第１の撮像部１（リアカメラ５）によって撮像された映像１０１に置き換える。
【０１０６】
これにより、第２の撮像部２に付着した異物によって視界が遮断されていた領域の映像を第１の撮像部１によって撮像された映像１０１に置き換えて表示部４に表示させることができる。
【０１０７】
なお、本発明の実施の形態１では、特徴量比較部１５と異物検出部１６とを別々に設けたが、これらを一つの比較検出部として、特徴量比較部１５及び異物検出部１６と同様の機能を持たせてもよい。
【０１０８】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図７は、本発明の実施の形態２に係る各部の機能の一例を示すブロック図である。
【０１０９】
本発明の実施の形態２に係る映像処理システムは、第１の撮像部１と、第２の撮像部２と、第３の撮像部２１と、第４の撮像部２２と、映像処理装置２０と、表示部４と、を備える。
【０１１０】
映像処理装置２０は、異物消去部２０ａと、第３の映像抽出部１７と、第４の映像抽出部１８と、第７の映像抽出部３３と、第８の映像抽出部３４と、第１の映像合成部１９と、を備える。第７の映像抽出部３３と第８の映像抽出部３４は、第３の映像抽出部１７と第４の映像抽出部１８と同様の機能をもつ映像抽出部である。
【０１１１】
異物消去部２０ａは、第１の映像抽出部１１と、第２の映像抽出部１３と、第５の映像抽出部２５と、第６の映像抽出部２７と、を備える。また、異物消去部２０ａは、第１の特徴量検出部１２と、第２の特徴量検出部１４と、第３の特徴量検出部２６と、第４の特徴量検出部２８と、特徴量比較部１５と、異物検出部１６と、を備える。
【０１１２】
第５の映像抽出部２５と第６の映像抽出部２７は、第１の映像抽出部１１と第２の映像抽出部１３と同じ機能をもつ映像抽出部である。また、第３の特徴量検出部２６と第４の特徴量検出部２８は、第１の特徴量検出部１２と第２の特徴量検出部１４と同じ機能をもつ特徴量検出部である。
【０１１３】
すなわち、本発明の実施の形態２に係る映像処理システムは、実施の形態１に係る映像処理システムの構成に、第３の撮像部２１及び第４の撮像部２２と、これらに対応する映像抽出部２５，２７及び特徴量検出部２６，２８とを付加したものである。
【０１１４】
ここで、第１の撮像部１は、例えば、リアカメラ５である。第２の撮像部２は、例えば、右サイドカメラ６である。第３の撮像部２１は、例えば、左サイドカメラ７である。第４の撮像部２２は、例えば、バックカメラ８である。
【０１１５】
本発明の実施の形態２では、本発明の実施の形態１と同様に、図４に示した異物検出処理によって異物付着エリアを検出する。ただし、最終異物付着候補判定処理（ステップＳ６０）における累積エッジ量は、異物付着候補に設定されたエリアと複数の他の特徴量検出部から入力された映像における該エリアと同じエリアナンバーが付されたエリア（対応エリア）との間で比較される。
【０１１６】
そして、異物付着候補に設定されたエリアの累積エッジ量と複数の他の特徴量検出部から入力された映像における対応エリアの量累積エッジ量との差分が所定の閾値以上であった場合、当該異物付着候補に設定されていたエリアを最終異物付着候補に設定する。
【０１１７】
そして、異物付着エリア設定処理（ステップＳ９０）において異物付着エリアが設定された場合、第１の映像合成部１９は、検出された異物付着エリアの情報に基づいて、第３の映像抽出部１７、第４の映像抽出部１８、第７の映像抽出部３３及び第８の映像抽出部３４において抽出された映像の合成処理を行う。
【０１１８】
次に、本発明の実施の形態２に係る第１の映像合成部１９が行う合成処理によって出力される映像について説明する。図８は、本発明の実施の形態２に係る異物検出処理によって異物が検出された場合に表示部４に出力される合成映像のイメージを示す図である。
【０１１９】
図８では、特徴量比較部１５において、入力された映像を３行４列からなる１２のエリアに分割した様子を示す。
【０１２０】
図８の左側の図は、第１の撮像部１（リアカメラ５）によって撮像された映像１０１が表示部４に表示されているときに、該映像１０１における第１行第１列〜第３列、第２行第１列並びに第３行第３列及び第４列に位置するエリアに異物１１０が写り込んだ様子を示す表示映像の図である。
【０１２１】
図８の右側の図は、第１の撮像部１によって撮像された映像１０１における第１行第１列及び第２列並びに第２行第１列のエリアが、第３の撮像部２１（左サイドカメラ７）によって撮像された映像１０３に置き換えられた様子を示す表示映像の図である。また、図８の右側の図は、第１の撮像部によって撮像された映像１０１における第１行第３列並びに第３行第３列及び第４列のエリアが、第２の撮像部２（右サイドカメラ６）によって撮像された映像１０２に置き換えられた様子を示す表示映像の図である。
【０１２２】
第１の映像合成部１９は、第１の撮像部によって撮像された映像１０１における第１行第１列及び第２列並びに第２行第１列に位置するエリアを、第３の撮像部２１（左サイドカメラ７）によって撮像された映像１０３に置き換える。また、第１の映像合成部１９は、第１の撮像部によって撮像された映像１０１における第１行目第３列並びに第３行目第３列及び第４列に位置するエリアを、第２の撮像部２（右サイドカメラ６）によって撮像された映像１０２に置き換える。
【０１２３】
これにより、第１の撮像部１に付着した異物によって視界が遮断されていた領域を第２の撮像部２及び第３の撮像部２１によって撮像された映像１０２，１０３に置き換えて表示部４に表示させることができる。
【０１２４】
なお、ここでは、第１の撮像部１によって撮像された映像を第４の撮像部２２によって撮像された映像に置き換えていないが、第１の撮像部１によって撮像された映像１０１を第４の撮像部２２によって撮像された映像に置き換えてもよい。
【０１２５】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図９は、本発明の実施の形態３に係る各部の機能の一例を示すブロック図である。
【０１２６】
本発明の実施の形態３は、実施の形態２における第２の特徴量検出部１４及び第３の特徴量検出部２６に代えて、第２の映像合成部４５と第５の特徴量検出部４６とを備えている。ただし、実施の形態３に係る説明を理解しやすくするため、図９では、第４の撮像部２２、第６の映像抽出部２７、第８の映像抽出部３４及び第４の特徴量検出部２８の図示を省略し、これらについての説明を省略する。
【０１２７】
本発明の実施の形態３に係る映像システムは、第１の撮像部１と、第２の撮像部２と、第３の撮像部２１と、映像処理装置４０と、表示部４と、を備える。
【０１２８】
第１の撮像部１は、リアカメラ５であり、第２の撮像部２は、右サイドカメラ６であり、第３の撮像部２１は、左サイドカメラ７である。
【０１２９】
映像処理装置４０は、異物消去部４０ａと、第３の映像抽出部１７と、第４の映像抽出部１８と、第７の映像抽出部３３と、第１の映像合成部１９と、を備える。
【０１３０】
異物消去部４０ａは、第１の映像抽出部１１と、第２の映像抽出部１３と、第５の映像抽出部２５と、第１の特徴量検出部１２と、第２の映像合成部４５と、第５の特徴量検出部４６と、特徴量比較部１５と、異物検出部１６と、を備える。
【０１３１】
ここで、実施の形態３に係る映像システムの特徴部分である第２の映像合成部４５と第５の特徴量検出部４６について説明する。
【０１３２】
第２の映像合成部４５は、第２の映像抽出部１３において抽出された映像及び第５の映像抽出部２５において抽出された映像を合成処理する合成処理部である。第２の映像合成部４５は、第１の映像合成部１９において行われる合成処理と同様、合成映像の境界部付近において映像のアルファブレンドを行うことにより、二つの映像の境界部分が目立たないように映像の合成処理を行う。
【０１３３】
また、第２の映像合成部４５は、第２の映像抽出部１３及び第５の映像抽出部２５で抽出された映像を合成処理する際、合成映像の歪みなどを小さくするために、これらの映像の一部について回転、拡大、縮小などの処理を行う。
【０１３４】
第５の特徴量検出部４６は、第１の特徴量検出部１２と同様の処理により、第２の映像合成部４５において合成された合成映像のエッジ検出を行い、検出されたエッジの累積エッジ量を検出する。
【０１３５】
次に、本発明の実施の形態３に係る映像処理システムが実行する異物検出処理について説明する。
【０１３６】
図１０は、本発明の実施の形態３に係る異物検出処理の一例を示すフローチャートである。図１０では、第１の映像抽出部１１と第１の特徴量検出部１２が実行する処理について省略しているが、これらは、実施の形態１で説明した処理を行っているものとする。また、図１０では、第５の映像抽出部２５が実行する処理について省略しているが、第５の映像抽出部２５は、第２の映像抽出部１３と同様の処理を行っているものとする。
【０１３７】
まず、第２の映像抽出部１３は、映像抽出処理（ステップＳ１０）を実行する。第２の映像抽出部１３における映像切り出し部１３ａは、映像抽出処理において、第２の撮像部２で撮像された撮像映像から所定の撮像範囲の映像を切り出す。
【０１３８】
また、第２の映像抽出部１３における解像度変更部１３ｂは、映像抽出処理において、切り出した映像の解像度を変更する。
【０１３９】
また、第２の映像抽出部１３における画質変更部１３ｃは、映像抽出処理において、解像度を変更した映像の色調を変更する。
【０１４０】
次に、第２の映像合成部４５は、第２の映像抽出部１３において抽出された映像と第５の映像抽出部２５において抽出された映像を合成処理する（ステップＳ１５）。
【０１４１】
次に、第５の特徴量検出部４６は、特徴量検出処理（ステップＳ２０）を実行する。特徴量検出処理（ステップＳ２０）では、第２の映像合成部４５で合成処理された映像のエッジ検出を行い、検出されたエッジの累積エッジ量を検出する。
【０１４２】
次に、第５の特徴量検出部４６は、特徴量検出処理（ステップＳ２０）がＭ回実行されたか否かを判定する（ステップＳ３０）。特徴量検出処理が未だＭ回実行されていないと判定された場合（ステップＳ３０においてＮｏの場合）、第２の映像抽出部１３は、再び、映像抽出処理（ステップＳ１０）を実行する。
【０１４３】
特徴量検出処理がＭ回実行されたと判定された場合（ステップＳ３０においてＹｅｓの場合）、特徴量比較部１５は、異物付着候補判定処理（ステップＳ４０）を実行する。このとき、特徴量検出処理の実行回数のカウント数はリセットされる。
【０１４４】
特徴量比較部１５は、異物付着候補判定処理において、第１の特徴量検出部１２及び第５の特徴量検出部４６から入力される映像を複数のエリアに分割する。特徴量比較部１５は、分割したエリアごとに、累積された累積エッジ量を算出する。算出された累積エッジ量が所定の閾値以上である場合、特徴量比較部１５は、該エリアを異物付着候補に設定する。
【０１４５】
次に、特徴量比較部１５は、分割されたエリアのうち、異物付着候補が設定されたエリアが存在するか否かを判定する（ステップＳ５０）
【０１４６】
異物付着候補判定処理において何れのエリアも異物付着候補に設定されていない場合（ステップＳ５０においてＮｏの場合）、第２の映像抽出部１３は、再び、映像抽出処理（ステップＳ１０）を実行する。
【０１４７】
異物付着候補判定処理（ステップＳ４０）において何れかのエリアが異物付着候補に設定されている場合（ステップＳ５０においてＹｅｓの場合）、特徴量比較部１５は、最終異物付着候補判定処理（ステップＳ６０）を実行する。
【０１４８】
特徴量比較部１５は、最終異物付着候補判定処理において、第１の特徴量検出部１２から入力された映像における異物付着候補に設定されたエリアの累積エッジ量と、第５の特徴量検出部４６から入力された映像における該エリアと同じエリアナンバーが付されたエリアの累積エッジ量とを比較する。また、特徴量比較部１５は、第５の特徴量検出部４６から入力された映像における異物付着候補に設定されたエリアの累積エッジ量と、第１の特徴量検出部１２から入力された映像における該エリアと同じエリアナンバーが付されたエリアの累積エッジ量とを比較する。
【０１４９】
特徴量比較部１５は、比較したエリアにおける累積エッジ量の差分が所定の閾値以上であった場合、当該異物付着候補に設定されていたエリアを最終異物付着候補に設定する。
【０１５０】
次に、特徴量比較部１５は、分割されたエリアのうち、最終異物付着候補が設定されたエリアが存在するか否かを判定する（ステップＳ７０）。
【０１５１】
最終異物付着候補判定処理において何れのエリアも最終異物付着候補に設定されていない場合（ステップＳ７０においてＮｏの場合）、第２の映像抽出部１３は、再び、映像抽出処理（ステップＳ１０）を実行する。このとき、最終異物付着候補カウンタのカウンタ値はリセットされる。
【０１５２】
最終異物付着候補判定処理において何れかのエリアが最終異物付着候補に設定されている場合（ステップＳ７０においてＹｅｓの場合）、異物検出部１６は、当該エリアの最終異物付着候補カウンタのカウンタ値が所定の回数Ｎに達したか否かを判定する（ステップＳ８０）。
【０１５３】
最終異物付着候補カウンタのカウンタ値がＮに達したエリアが存在しない場合（ステップＳ８０においてＮｏの場合）、第１の映像抽出部１１は、再び、映像抽出処理（ステップＳ１０）を実行する。
【０１５４】
一方、最終異物付着候補カウンタの値がＮに達したエリアが存在する場合（ステップＳ８０においてＹｅｓの場合）、異物検出部１６は、当該エリアを異物付着エリアに設定し、異物検出処理を終了する。
【０１５５】
なお、あるエリアが最終異物付着候補に設定される事象の連続性が途切れた場合、該エリアの最終異物付着候補カウンタのカウンタ値はリセットされる。
【０１５６】
また、異物検出処理は、異物消去部４０ａに入力される映像の全てのフレームについて実行する必要はなく、映像処理装置４０の処理能力に応じて、適当なフレーム間隔で実行すればよい。定数Ｍ及び定数Ｎの値も、求められる異物の検出精度に応じて、適宜設定すればよい。
【０１５７】
本発明の実施の形態３では、特徴量比較部１５において異物付着候補判定処理及び最終異物付着候補判定処理を実行する前に、第２の映像合成部４５において映像の合成処理を行っている。
【０１５８】
すなわち、右サイドカメラ６から入力された映像と左サイドカメラ７から入力された映像の合成処理を行った合成映像と、リアカメラ５から入力された映像との比較を行っている。この場合、特徴量比較部１５において、リアカメラ５から入力された映像と右サイドカメラ６から入力された映像及びリアカメラ５から入力された映像と左サイドカメラ７から入力された映像とを別々に比較するよりも、映像処理装置４０の処理負荷を低減することができる。
【０１５９】
なお、本発明の実施の形態では、撮像部を二つ、三つ又は四つ設けた形態を示したが、撮像部の数はこれに限られず、さらに別の撮像部を設けてもよい。
【０１６０】
また、本発明の実施の形態では、撮像部によって撮像された映像に不具合がある場合として、撮像部のカメラのレンズに汚れが付着した場合を例示したが、これに限られるものではない。例えば、映像の周波数の乱れによって映像が不鮮明になった場合なども含まれる。
【０１６１】
また、撮像部によって撮像された映像に不具合がある場合、そのことをユーザに報知するようにしてもよい。例えば、リアカメラ５のレンズに汚れが付着し、汚れが付着した部分が映し出す映像を右サイドカメラ６によって撮像された映像に置き換えた場合、そのことを表示部４に表示させてもよい。
【０１６２】
また、異物検出処理によって検出した異物を、エアやウォッシャー液などを用いて自動で洗浄するようにしてもよい。
【産業上の利用可能性】
【０１６３】
本発明は、移動体に搭載される撮像部によって撮像された映像の映像処理に広く利用可能である。
【符号の説明】
【０１６４】
１  第１の撮像部
２  第２の撮像部
４  表示部
５  リアカメラ
６  右サイドカメラ
７  左サイドカメラ
８  バックカメラ
１０  映像処理装置
１０ａ  異物消去部
１１  第１の映像抽出部
１１ａ  映像切り出し部
１１ｂ  解像度変更部
１１ｃ  画質変更部
１２  第１の特徴量検出部
１３  第２の映像抽出部
１３ａ  映像切り出し部
１３ｂ  解像度変更部
１３ｃ  画質変更部
１４  第２の特徴量検出部
１５  特徴量比較部
１６  異物検出部
１７  第３の映像抽出部
１８  第４の映像抽出部
１９  第１の映像合成部
２０  映像処理装置
２０ａ  異物消去部
２１  第３の撮像部
２２  第４の撮像部
２５  第５の映像抽出部
２５ａ  映像切り出し部
２５ｂ  解像度変更部
２５ｃ  画質変更部
２６  第３の特徴量検出部
２７  第６の映像抽出部
２８  第４の特徴量検出部
３３  第７の映像抽出部
３４  第８の映像抽出部
４０  映像処理装置
４０ａ  異物消去部
４５  第２の映像合成部
４６  第５の特徴量検出部
１０１  第１の撮像部によって撮像された映像
１０２  第２の撮像部によって撮像された映像
１０３  第２の撮像部によって撮像された映像
【図１】
2019102929.tif 000003
【図２】
2019102929.tif 000004
【図３】
2019102929.tif 000005
【図４】
2019102929.tif 000006
【図５】
2019102929.tif 000007
【図６】
2019102929.tif 000008
【図７】
2019102929.tif 000009
【図８】
2019102929.tif 000010
【図９】
2019102929.tif 000011
【図１０】
2019102929.tif 000012