(57)【要約】【課題】レンズの前を通過するワイパーの映り込みを画像処理によって除去し、監視の際に重要となる鮮明で違和感のない映像が得られる監視カメラ装置を提供する。【解決手段】撮像中の画像データを受け付ける画像データ受付部と、撮像中の画像データを現画像データとする現画像データ作成部と、現画像データと比較するための比較画像データを作成する比較画像更新部と、現画像データと比較画像データとを比較した差分を変化領域として抽出する変化領域抽出部と、ワイパー機構の映り込みと考えられる置換領域を特定する置換領域設定部と、比較画像データから、置換領域に相当する置換領域画像を抽出する置換画像生成部と、現画像データについて、置換領域に対応した部分を置換領域画像に置き換え、出力用の映像データを作成する画像置換部とを備えた。【選択図】図５
2016025584.tif 000002
【特許請求の範囲】
【請求項１】
撮像中の画像データを受け付ける画像データ受付部と、
前記画像データ受付部が受け付けた前記撮像中の画像データを現画像データとする現画像データ作成部と、
前記画像データ受付部が受け付けた前記撮像中の画像データに基づき、前記現画像データと比較するための比較画像データを作成する比較画像更新部と、
前記現画像データと前記比較画像データとを比較した差分を変化領域として抽出する変化領域抽出部と、
前記変化領域に基づき、ワイパー機構の映り込みと考えられる置換領域を特定する置換領域設定部と、
前記比較画像データから、前記置換領域に相当する置換領域画像を抽出する置換画像生成部と、
前記現画像データについて、前記置換領域に対応した部分を前記置換領域画像に置き換え、出力用の映像データを作成する画像置換部
とを備えた監視カメラ装置。
【請求項２】
撮像中の画像データを受け付ける画像データ受付部と、
前記画像データ受付部が受け付けた前記撮像中の画像データを現画像データとする現画像データ作成部と、
前記画像データ受付部が受け付けた前記撮像中の画像データに基づき、前記現画像データと比較するための比較画像データを作成する比較画像更新部と、
ワイパー機構の制御情報に基づき、前記現画像データにおける前記ワイパー機構の映り込みと考えられる置換領域を特定する座標推定部と、
前記比較画像データから、前記置換領域に相当する置換領域画像を抽出する置換画像生成部と、
前記現画像データについて、前記置換領域に対応した部分を前記置換領域画像に置き換え、出力用の映像データを作成する画像置換部
とを備えた監視カメラ装置。
【請求項３】
前記置換領域設定部は、
前記変化領域内の各画素の輝度値を、予め設定された閾値で２値化することによって前記置換領域を特定する
ことを特徴とする請求項１記載の監視カメラ装置。
【請求項４】
前記比較画像更新部は、
設定されたフレーム分の前記撮像中の画像データに基づき、前記比較画像データを作成する
ことを特徴とする請求項１または請求項２記載の監視カメラ装置。
【請求項５】
前記比較画像更新部は、
前記撮像中の画像データのうち、ワイパー動作周期に応じて記憶された、設定された枚数分の前記画像データに基づき、前記比較画像データを作成する
ことを特徴とする請求項１または請求項２記載の監視カメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、監視のために河川、道路などを撮像し、遠隔地にその映像を伝送するために用いられる監視カメラ装置に関するものであり、特に屋外に設置されたカメラの保護ガラスに付着した雨滴などを除去するワイパー機構を備えた監視カメラ装置に関するものである。
【背景技術】
【０００２】
従来の屋外に設置された監視カメラ装置は、雨や雪などからカメラを保護するために専用のハウジングに収納されている。また、ハウジングの前面にはレンズに対向して透明な保護ガラスが取り付けられており、この保護ガラスを通して所望の映像を撮像することができるように構成されている。また、カメラの保護ガラスに雨滴や雪などが付着しないようフードを備えた構成となっているものもある。しかしながら、屋外に設置されているので、風向きの影響により雨滴や雪などが付着してしまう場合がある。そのため、例えば、特許文献１のように、保護ガラスには、付着した雨滴や雪を除去するためのワイパー機構を備え、このワイパーを動作させることにより鮮明な映像を提供するようになっている監視カメラ装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−６１７３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の監視カメラ装置は、ワイパー機構により保護ガラスの雨滴や雪を取り除くことが可能であっても、ワイパー動作中には、ワイパー自体がレンズの前を通過することになるため、ワイパーの映り込みによって撮像する映像が遮られてしまい、鮮明な映像が得られず、映像による監視に支障が出るという課題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、レンズの前を通過するワイパーの映り込みを画像処理によって除去し、監視の際に重要となる鮮明で違和感のない映像が得られる監視カメラ装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
この発明に係る監視カメラ装置は、撮像中の画像データを受け付ける画像データ受付部と、画像データ受付部が受け付けた撮像中の画像データを現画像データとする現画像データ作成部と、画像データ受付部が受け付けた撮像中の画像データに基づき、現画像データと比較するための比較画像データを作成する比較画像更新部と、現画像データと比較画像データとを比較した差分を変化領域として抽出する変化領域抽出部と、変化領域に基づき、ワイパー機構の映り込みと考えられる置換領域を特定する置換領域設定部と、比較画像データから、置換領域に相当する置換領域画像を抽出する置換画像生成部と、現画像データについて、置換領域に対応した部分を置換領域画像に置き換え、出力用の映像データを生成する画像置換部を備えるものである。
【発明の効果】
【０００７】
この発明によれば、レンズの前を通過するワイパーの映り込みを画像処理によって除去し、監視の際に重要となる鮮明で違和感のない映像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１の監視カメラ装置を上部から見た平面図である。
【図２】実施の形態１の監視カメラ装置を図１のＡ方向から見た側面図である。
【図３】実施の形態１の監視カメラ装置を図１のＢ方向から見た正面図である。
【図４】この発明の実施の形態１に係る監視カメラ装置のブロック構成図である。
【図５】この発明の実施の形態１の映像処理部のブロック構成図である。
【図６】実施の形態１において、比較画像更新部による、比較画像記憶部に記憶する比較画像データの更新の動作を説明するフローチャートである。
【図７】実施の形態１において、映像処理部による、出力用の映像データ作成の動作を説明するフローチャートである。
【図８】現画像の一例を示す図である。
【図９】比較画像の一例を示す図である。
【図１０】変化領域の一例を示す図である。
【図１１】置換領域の一例を示す図である。
【図１２】置換領域画像の一例を示す図である。
【図１３】置換画像の一例を示す図である。
【図１４】この発明の実施の形態２に係る監視カメラ装置のブロック構成図である。
【図１５】この発明の実施の形態２の映像処理部のブロック構成図である。
【図１６】実施の形態２において、比較画像更新部による、比較画像記憶部に記憶する比較画像データの更新の動作を説明するフローチャートである。
【図１７】実施の形態２において、映像処理部による、出力用の映像データ作成の動作を説明するフローチャートである。
【図１８】この発明の実施の形態３に係る監視カメラ装置のブロック構成図である。
【図１９】この発明の実施の形態３の映像処理部のブロック構成図である。
【図２０】実施の形態３において、映像処理部による、出力用の映像データ作成の動作を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１〜図３は、この発明の実施の形態１に係る監視カメラ装置１の全体構成図である。まず、図１〜図３を用いて、監視カメラ装置１の全体の構成について説明する。
図１は、実施の形態１の監視カメラ装置１を上部から見た平面図であり、図２は、実施の形態１の監視カメラ装置１を図１のＡ方向から見た側面図であり、図３は、実施の形態１の監視カメラ装置１を図１のＢ方向から見た正面図である。
【００１０】
図１〜図３に示すように、監視カメラ装置１は、カメラユニット２がカメラケース３に格納されており、カメラケース３は回転台４とチルト機構軸４１で接続されている。監視カメラ装置１は水平方向の回転軸となるパン軸４２を中心に水平面方向に回転する。監視カメラ装置１はまた、垂直方向の回転軸となるチルト軸４３を中心にカメラケース３とカメラユニット２が一体となって垂直面方向に回転する。台座５は監視カメラ装置１を設置面に固定するための台座であり、パン軸４２を中心に監視カメラ装置１が回転する際も設置面に固定されたままとなる。
【００１１】
また、図１〜図３に示すように、カメラケース３には、カメラユニット２を保護するため、レンズ２１（図示を省略する）を通して撮像する方向の前面部分に保護ガラス３１が備わっている。また、カメラケース３の前面には、保護ガラス３１に付着した雨滴や雪などを取り除くためのワイパー機構６（モータ６１、支持アーム６２、ワイパーブレード６３）が取り付けられている。
ワイパー機構６は、カメラケース３にモータ６１が取り付けられ、モータ６１の出力軸に取り付けられた支持アーム６２と、この支持アーム６２の先端に取り付けられ保護ガラス３１の外面に接しているワイパーブレード６３で構成され、モータ６１が回転することによりワイパーブレード６３が保護ガラス３１の前面に付着している雨滴、雪、埃などの汚れを取り除く。
【００１２】
図４は、この発明の実施の形態１に係る監視カメラ装置１のブロック構成図である。
監視カメラ装置１は、図４に示すように、カメラユニット２と、制御部７と、本体駆動機構８とを備える。
カメラユニット２は、レンズ２１と、撮像素子２２と、映像処理部２３と、映像出力部２４とで構成される。
【００１３】
レンズ２１は、監視映像を撮像するためのレンズである。
撮像素子２２は、レンズ２１を通して入力された映像を電気信号に変換し、一般的には、デジタルデータとする。
映像処理部２３は、撮像素子２２が電気信号に変換した映像データの補正処理を実施し、出力用の映像データを作成する。
映像出力部２４は、監視カメラ装置１の出力として、映像処理部２３が作成した出力用の映像データを、各種フォーマットで出力する。
制御部７は、レンズ２１のズーム制御やフォーカス制御を行うと同時に、本体駆動機構８に接続され、カメラケース３や回転台４の回転制御、あるいは、ワイパー機構６の制御を行う。
本体駆動機構８には、カメラケース３、回転台４、ワイパー機構６など、監視カメラ装置１の駆動に関する構成が含まれる。
【００１４】
図５は、この発明の実施の形態１の映像処理部２３のブロック構成図である。
図５に示すように、映像処理部２３は、現画像データ作成部２０１と、比較画像記憶部２０２と、比較画像更新部２０３と、変化領域抽出部２０４と、置換領域設定部２０５と、置換画像生成部２０６と、画像置換部２０７と、現画像記憶部２０８と、画像データ受付部２０９とを備える。
【００１５】
画像データ受付部２０９は、撮像素子２２から撮像中の画像データを受け付ける。
比較画像更新部２０３は、画像データ受付部２０９が受け付けた撮像中の画像データに基づき、現画像データと比較するための比較画像データを作成し、比較画像記憶部２０２に記憶する。また、比較画像更新部２０３は、比較画像記憶部２０２に記憶した比較画像データの更新を行う。
比較画像記憶部２０２は、比較画像データを記憶する。
現画像データ作成部２０１は、画像データ受付部２０９が受け付けた撮像中の画像データを現画像データとして現画像記憶部２０８に記憶する。
現画像記憶部２０８は、現画像データを記憶する。
変化領域抽出部２０４は、現画像データと比較画像データとを比較した差分を変化領域として抽出する。
【００１６】
置換領域設定部２０５は、変化領域抽出部２０４が抽出した変化領域から、ワイパー機構６の映り込みと考えられる領域（置換領域）を特定する。
置換画像生成部２０６は、比較画像記憶部２０２に記憶されている比較画像データから、置換領域に相当する領域の画像（置換領域画像）を抽出する。
画像置換部２０７は、現画像記憶部２０８に記憶されている現画像データについて、置換領域設定部２０５が特定した置換領域に対応した部分を置換画像生成部２０６が抽出した置換領域画像に置き換え、出力用の映像データを作成して映像出力部２４に出力する。
【００１７】
なお、ここでは、図５に示すように、監視カメラ装置１の映像処理部２３に、比較画像記憶部２０２と現画像記憶部２０８とを備えるものとしているが、これに限らず、比較画像記憶部２０２と現画像記憶部２０８とは、映像処理部２３の外部の監視カメラ装置１内部に備えるものとしてもよいし、監視カメラ装置１の外部に備えるものとしてもよい。
【００１８】
ここで、比較画像更新部２０３が比較画像データの作成処理をする場合の所定のルールの具体例を記載する。
（１）監視対象（例えば人、車など）の移動速度と比較して十分早い間隔で更新処理を行う。これにより、変化領域抽出部２０４での比較画像データと現画像データとの輝度差が小さくなり、置換領域設定部２０５での閾値判定により監視対象部分が置換領域と判断されることを防ぐことができる。
（２）所定期間（例えば数フレーム）の画像データの平均値を求める。例えば輝度の平均値を求める。これにより、各フレームでのゆらぎの影響を抑えた比較画像データの作成が可能となる効果を得ることができる。
【００１９】
次に動作について説明する。
この発明の実施の形態１に係る監視カメラ装置１は、図５で説明した映像処理部２３を備えていることが特徴であり、以下、映像処理部２３の動作について、図６、図７を用いて説明する。
図６は、実施の形態１において、比較画像更新部２０３による、比較画像記憶部２０２に記憶する比較画像データの更新の動作を説明するフローチャートである。
なお、ここでは、一例として、比較画像更新部２０３は、５フレーム分の画像データから比較画像データを作成し、比較画像記憶部２０２に記憶する比較画像データの更新を行うものとして以下説明する。
【００２０】
比較画像更新部２０３は、画像データ受付部２０９が、撮像素子２２から毎フレーム受け付けている画像データを受信する（ステップＳＴ５０１）。
比較画像更新部２０３は、ステップＳＴ５０１において受信した画像データ、すなわち、現画像データを受信し、毎フレーム、比較画像記憶部２０２に記憶する（ステップＳＴ５０２）。
比較画像更新部２０３は、比較画像更新ルールを満足しているかどうかを判断する（ステップＳＴ５０３）。具体的には、ここでは、更新周期である５フレーム分の現画像データを、ステップＳＴ５０２で記憶できたかどうかを判断する。
【００２１】
ステップＳＴ５０３において、比較画像更新ルールを満足していない場合（ステップＳＴ５０３の“ＮＯ”の場合）、具体的には、５フレーム分の現画像データを比較画像記憶部２０２に記憶できていない場合、ステップＳＴ５０１へ戻り、比較画像更新ルールを満足するまで（ここでは、５フレーム分の現画像データを記憶するまで）、ステップＳＴ５０１〜ステップＳＴ５０３の処理を繰り返す。このようにして、２フレーム目以降の現画像データも同様に、比較画像記憶部２０２に記憶されることになる。
【００２２】
ステップＳＴ５０３において、比較画像更新ルールを満足した場合（ステップＳＴ５０３の“ＹＥＳ”の場合）、具体的には、５フレーム分の現画像データを比較画像記憶部２０２に記憶できた場合、比較画像更新部２０３は、ステップＳＴ５０２で比較画像記憶部２０２に記憶しておいた５フレーム分の現画像データから、比較画像データを生成し、比較画像記憶部２０２の比較画像データを更新する（ステップＳＴ５０４）。具体的には、比較画像更新部２０３は、比較画像記憶部２０２に記憶しておいた５フレーム分の現画像データを平均した比較画像データを生成し、比較画像記憶部２０２に記憶する。なお、ここで、平均するとは、５フレーム分の現画像データを画素データ単位で加算し、その和を画素フレーム数である５で割ることにより画素データの平均値を求めることである。
このステップＳＴ５０３において生成された比較画像データは、次の比較画像データが得られるまでの間、現画像データとの比較に使用される。
【００２３】
その後、ステップＳＴ５０１へ戻り、以下の処理を繰り返す。すなわち、ここでは、６フレーム目から１０フレーム目の現画像データが比較画像記憶部２０２に記憶されると、再び、比較画像更新部２０３は、６フレーム目から１０フレーム目の５フレーム分の現画像データを平均した比較画像データを新たに生成し、比較画像記憶部２０２の比較画像データの更新を行う。以降も更新の動作を繰り返す。
このように、最初に比較画像を生成し、比較画像更新部２０３に記憶すると、以降は、次に作成した比較画像データで、記憶しておいた比較画像データを更新するようにする。
【００２４】
図７は、実施の形態１において、映像処理部２３による、出力用の映像データ作成の動作を説明するフローチャートである。
画像データ受付部２０９は、撮像素子２２から入力された画像データを受け付ける（ステップＳＴ６０１）。
現画像データ作成部２０１は、ステップＳＴ６０１で画像データ受付部２０９が受け付けた画像データを受信し、現画像データとして現画像記憶部２０８に記憶する（ステップＳＴ６０２）。ここで、図８は、現画像の一例を示す図である。図８に示す現画像では、風景（山）に、監視カメラ装置１のワイパーブレード６３の一部が映り込んでいる。
【００２５】
変化領域抽出部２０４は、現画像記憶部２０８に記憶されている現画像データと、比較画像記憶部２０２に記憶されている比較画像データとを抽出して比較し、差分を変化領域として抽出する（ステップＳＴ６０３）。具体的には、例えば、図８に示すような現画像データと、図９に示すような比較画像データとが得られた場合、その変化領域は、図１０に示すようになる。すなわち、ここでは、稼動しているワイパーブレード６３の映り込みが差異として抽出される。なお、ここで、比較とは、画素単位で輝度差（または色差）を求めることを指す。
【００２６】
置換領域設定部２０５は、ステップＳＴ６０３において変化領域抽出部２０４が抽出した変化領域から、ワイパー機構６の映り込みと考えられる領域（これを置換領域とみなす）を特定する（ステップＳＴ６０４）。具体的には、変化領域抽出部２０４で抽出された変化領域内の各画素の輝度値を所定の閾値で２値化する。２値化とは、輝度値が閾値より大きいか小さいかで０、１に置換する処理である。すなわち、変化のある部分を１とし、変化のない部分を０とする。
ここで、例えば、図１０を２値化すると図１１に示すように、影のような画像（図１１においてＡで示す色付きの黒い部分）が得られる。図１１では、輝度値が閾値より大きい画素データ１の部分をＡであらわし、輝度値が閾値より小さい画素データ０の部分を色なしのＢであらわしており、図１１のＡの部分が置換領域となる。
なお、置換領域は、ステップＳＴ６０３までの変化領域抽出部２０４等での処理の誤差による影響を排除するため、例えば、置換領域の周囲を数画素分縁取った形状の領域を置換領域としてもよい。
【００２７】
置換画像生成部２０６は、比較画像記憶部２０２に記憶されている比較画像データから、置換領域に相当する領域の画像（置換領域画像）を抽出する（ステップＳＴ６０５）。ここでは、例えば、図１２のＣで示すような置換領域画像が得られる。
画像置換部２０７は、現画像記憶部２０８に記憶されている現画像データを、ステップＳＴ６０５において置換画像生成部２０６によって抽出された置換領域画像で置換した画像を作成する（ステップＳＴ６０６）。なお、画素データが０の場合には、画像置換部２０７は置換領域画像の置換を行わない。すなわち、図１１のＡの部分（画素データが１の部分）のみ、図１２のＣで示したような置換領域画像への置換が行われ、図１１のＢの部分（画素データが０の部分）については、置換は行われない。
この結果、ここでは、図１３に示すような置換画像が得られる。
ステップＳＴ６０６で得られた置換画像は、出力用の映像データとして、映像出力部２４へ出力される。
【００２８】
なお、この実施の形態１において、比較画像の更新周期を５フレームとして説明したが、５フレームに限定されるものではない。
【００２９】
以上のように、この実施の形態１によれば、撮像中の画像データを受け付ける画像データ受付部２０９と、画像データ受付部２０９が受け付けた撮像中の画像データを現画像データとする現画像データ作成部２０１と、画像データ受付部２０９が受け付けた撮像中の画像データに基づき、現画像データと比較するための比較画像データを作成する比較画像更新部２０３と、現画像データと比較画像データとを比較した差分を変化領域として抽出する変化領域抽出部２０４と、変化領域に基づき、ワイパー機構６の映り込みと考えられる置換領域を特定する置換領域設定部２０５と、比較画像データから、置換領域に相当する置換領域画像を抽出する置換画像生成部２０６と、現画像データについて、置換領域に対応した部分を置換領域画像に置き換え、出力用の映像データを生成する画像置換部２０７とを備えるように構成したので、現画像と比較画像とを比較して変化領域を抽出し、その変化領域をワイパーの映り込みと判断して、複数フレームの映像で平均化した比較画像から、部分的に画像を置換して置換画像を生成するため、撮像する映像を遮るものがなく鮮明な映像が得られる。
【００３０】
実施の形態２．
実施の形態１では、入力される現画像の連続する５フレームを比較画像の更新周期としたが、ワイパー機構６の制御情報から更新周期を設定し、ワイパーの映り込みのない現画像からのみ比較画像を生成するようにしてもよい。以下図を用いて詳細に説明する。
図１４は、この発明の実施の形態２に係る監視カメラ装置１のブロック構成図である。
図１５は、この発明の実施の形態２の映像処理部２３ａのブロック構成図である。
実施の形態１で図４，図５を用いて説明したものと同様の構成には同じ符号を付して重複する説明を省略する。
【００３１】
この実施の形態２では、ワイパー機構６の制御を行う制御部７ａから映像処理部２３ａの比較画像更新部２０３に、ワイパー機構６の制御情報を通知する点が実施の形態１とは異なるのみである。なお、制御情報には、ワイパー機構６の動作ＯＮ／ＯＦＦの状態情報、または、動作ＯＮの場合の稼動情報（保護ガラス３１を拭き取り動作中か、そのインターバルであるか等）がある。また、補足的にレンズ２１のズーム情報（拡大／縮小の倍率情報）を通知する場合もある。
【００３２】
次に動作について説明する。
この発明の実施の形態２に係る監視カメラ装置１は、図１５で説明した映像処理部２３ａを備えていることが特徴であり、以下、映像処理部２３ａの動作について、図１６、図１７を用いて説明する。
図１６は、実施の形態２において、比較画像更新部２０３による、比較画像記憶部２０２に記憶する比較画像データの更新の動作を説明するフローチャートである。
なお、ここでは、一例として、比較画像更新部２０３は、ワイパーの映り込みのない５枚の画像データから比較画像データを作成し、比較画像記憶部２０２に記憶する比較画像データの更新を行うものとして以下説明する。
【００３３】
比較画像更新部２０３は、画像データ受付部２０９が、撮像素子２２から毎フレーム受け付けている画像データを受信する（ステップＳＴ１６０１）。具体的な動作は、実施の形態１で説明した図６のステップＳＴ５０１と同様である。
比較画像更新部２０３は、現画像取り込み周期かどうかを判定する（ステップＳＴ１６０２）。具体的には、制御部７ａから受信するワイパー機構６の回転周期（保護ガラス３１の拭き取りのために作動する反復周期）ｔにあわせて、予め現画像取り込み周期が設定されており、比較画像更新部２０３は、この現画像取り込み周期になったかどうかを判定する。ここでは、例えば、画像取り込み周期の起点とするタイミングは、ワイパー機構６が保護ガラス３１の拭き取り動作のインターバルであるタイミングとする。
【００３４】
ステップＳＴ１６０２において、現画像取り込み周期ではないと判断した場合（ステップＳＴ１６０２の“ＮＯ”の場合）、ステップＳＴ１６０１に戻る。
ステップＳＴ１６０２において、現画像取り込み周期であると判断した場合（ステップＳＴ１６０２の“ＹＥＳ”の場合）、比較画像更新部２０３は、ステップＳＴ１６０１において画像データ受付部２０９が受け付けた画像データ、すなわち、現画像データを、比較画像記憶部２０２に記憶する（ステップＳＴ１６０３）。具体的な動作は、実施の形態１で説明した図６のステップＳＴ５０２と同様である。ただし、この実施の形態２では、ステップＳＴ１６０２の判定を行うことにより、毎フレーム現画像データが比較画像記憶部２０２に記憶されるのではない点が実施の形態１とは異なる。この実施の形態２では、ワイパー機構６が保護ガラス３１の拭き取り動作のインターバルであるタイミングで現画像データを比較画像記憶部２０２に記憶するので、比較画像記憶部２０２に記憶される現画像には、ワイパー機構６が映り込んだ画像はない。つまり、比較画像記憶部２０２には、毎フレーム入力される現画像データが一定周期で間引かれて記憶されることになる。
比較画像更新部２０３は、比較画像更新ルールを満足しているかどうかを判断する（ステップＳＴ１６０４）。具体的には、ここでは、５枚分の現画像データを、ステップＳＴ１６０３で記憶できたかどうかを判断する。
【００３５】
ステップＳＴ１６０４において、比較画像更新ルールを満足していない場合（ステップＳＴ１６０４の“ＮＯ”の場合）、具体的には、５枚分の現画像データを記憶できていない場合、ステップＳＴ１６０１へ戻り、比較画像更新ルールを満足するまで（ここでは、５枚部の現画像データを記憶するまで）、ステップＳＴ１６０１〜ステップＳＴ１６０４の処理を繰り返す。このようにして、２枚目以降の現画像データも同様に、比較画像記憶部２０２に記憶されることになる。
ステップＳＴ１６０４において、比較画像更新ルールを満足した場合（ステップＳＴ１６０４の“ＹＥＳ”の場合）、具体的には、５枚分の現画像データを記憶できた場合、比較画像更新部２０３は、ステップＳＴ１６０３で比較画像記憶部２０２に記憶しておいた５枚分の現画像データから、比較画像データを生成し、比較画像記憶部２０２の比較画像データを更新する（ステップＳＴ１６０５）。具体的には、比較画像更新部２０３は、比較画像記憶部２０２に記憶しておいた５枚分の現画像データを平均した比較画像データを生成し、比較画像データの更新を行う。ここで、平均するとは、５枚分の現画像データを画素データ単位で加算し、その和を画素フレーム数である５で割ることにより画素データの平均値を求めることである。
【００３６】
このステップＳＴ１６０５において生成された比較画像データは、次の比較画像データが得られるまでの間、現画像データとの比較に使用される。
その後、ステップＳＴ５０１へ戻り、以下の処理を繰り返す。すなわち、ここでは、６枚目から１０枚目の現画像データが比較画像記憶部２０２に記憶されると、再び、比較画像更新部２０３は、６枚目から１０枚目の５枚分の現画像データを平均した比較画像データを新たに生成し、比較画像記憶部２０２の比較画像データの更新を行う。以降も同様の動作となる。
このように、最初に比較画像を生成し、比較画像更新部２０３に記憶すると、以降は、次に作成した比較画像データで、記憶しておいた比較画像データを更新するようにする。
【００３７】
図１７は、実施の形態２において、映像処理部２３ａによる、出力用の映像データ作成の動作を説明するフローチャートである。
画像データ受付部２０９は、撮像素子２２から入力された画像データを受け付ける（ステップＳＴ１７０１）。具体的な動作は、実施の形態１で説明した図７のステップＳＴ６０１と同様である。
現画像データ作成部２０１は、ステップＳＴ１７０１で画像データ受付部２０９が受け付けた画像データを受信し、現画像データとして現画像記憶部２０８に記憶する（ステップＳＴ１７０２）。具体的な動作は、実施の形態１で説明した図７のステップＳＴ６０２と同様である。
【００３８】
変化領域抽出部２０４は、現画像記憶部２０８に記憶されている現画像データと、比較画像記憶部２０２に記憶されている比較画像データとを抽出して比較し、差分を変化領域として抽出する（ステップＳＴ１７０３）。具体的な動作は、実施の形態１で説明した図７のステップＳＴ６０３と同様である。例えば、図８の現画像データと、図９の比較画像データが得られた場合、その変化領域は図１０のようになり、稼動しているワイパーブレード６３の映り込みが差異、すなわち、変化領域として抽出される。
【００３９】
置換領域設定部２０５は、ステップＳＴ１７０３において変化領域抽出部２０４が抽出した変化領域から、ワイパー機構６の映り込みと考えられる領域（置換領域）を特定する（ステップＳＴ１７０４）。具体的な動作は、実施の形態１で説明した図７のステップＳＴ６０４と同様である。なお、この実施の形態２では、比較画像データの生成（図１６参照）において、ワイパー機構６の映り込みのない現画像データを元に比較画像データを生成するようにしたので、置換領域設定部２０５での閾値判定の差異の誤差要因が排除される。
【００４０】
置換画像生成部２０６は、比較画像記憶部２０２に記憶されている比較画像データから、置換領域に相当する領域の画像（置換領域画像）を抽出する（ステップＳＴ１７０５）。なお、置換領域外の画素データは０とみなす。具体的な動作は、実施の形態１で説明した図７のステップＳＴ６０５と同様である。ここでは、例えば、図１２のＣのような置換領域画像が得られる。
【００４１】
画像置換部２０７は、現画像記憶部２０８に記憶されている現画像データについて、ステップＳＴ１７０５において置換画像生成部２０６で抽出された置換領域画像で置換した画像を生成する（ステップＳＴ１７０６）。具体的な動作は、実施の形態１で説明した図７のステップＳＴ６０６と同様である。この結果、ここでは、図１３に示すような置換画像が得られる。
ステップＳＴ１７０６で得られた置換画像は、出力用の映像データとして、映像出力部２４へ出力される。
【００４２】
なお、この実施の形態２において、比較画像の更新周期を５枚分として説明したが、５枚分に限定されるものではない。
【００４３】
以上のように、この実施の形態２によれば、比較画像更新部２０３は、撮像中の画像データのうち、ワイパー動作周期に応じて記憶された、設定された枚数分の画像データに基づき、比較画像データを作成する構成としたので、現画像と比較画像とを比較して変化領域を抽出し、その変化領域を、映像を遮るワイパーの映り込みと判断して、映り込みのない画像（比較画像）から部分的に画像を置換して置換画像を生成するため、撮像する映像を遮るものがなく鮮明な映像が得られる。また、ワイパーの映り込みのない現画像からのみ比較画像を生成するので、置換領域の精度が向上し、置換画像において置換領域の境界付近の画像の乱れが抑制され、違和感のない映像が得られる。
【００４４】
実施の形態３．
実施の形態１では、現画像データと比較画像データとの比較により変化領域の抽出を行っていたが、これに限らず、ワイパー機構６の制御情報に基づき置換領域の特定を行うようにしてもよい。以下、図を用いて詳細に説明する。
【００４５】
図１８は、この発明の実施の形態３に係る監視カメラ装置１のブロック構成図である。
図１９は、この発明の実施の形態３の映像処理部２３ｂのブロック構成図である。
実施の形態１で図４，図５を用いて説明したものと同様の構成には同じ符号を付して重複する説明を省略する。
この実施の形態３では、ワイパー機構６の制御を行う制御部７ｂから映像処理部２３ｂの座標推定部２１０に、ワイパー機構６の制御情報を通知する点が実施の形態１とは異なる。なお、制御情報には、ワイパー機構６の動作ＯＮ／ＯＦＦの状態情報、または、動作ＯＮの場合の稼動情報（保護ガラス３１を拭き取り動作中か、そのインターバルであるか、動作周期等）、ワイパー形状情報などがある。また、レンズ２１のズーム情報（拡大／縮小の倍率情報）を通知する場合もある。
【００４６】
また、映像処理部２３ｂの構成について、図１９に示すように、変化領域抽出部２０４と置換領域設定部２０５とを備えず、座標推定部２１０を備える点が実施の形態１とは異なる。
座標推定部２１０は、制御部７ｂからのワイパー機構６の制御情報に基づき、現画像データにおけるワイパー機構６の映り込みと考えられる置換領域を特定する。
比較画像データの作成、更新については、実施の形態１において、図６を用いて説明したものと同様であるので重複した説明を省略する。
【００４７】
図２０は、実施の形態３において、映像処理部２３ｂによる、出力用の映像データ作成の動作を説明するフローチャートである。
画像データ受付部２０９は、撮像素子２２から入力された画像データを受け付ける（ステップＳＴ２００１）。具体的な動作は、実施の形態１で説明した図７のステップＳＴ６０１と同様である。
現画像データ作成部２０１は、ステップＳＴ２００１で画像データ受付部２０９が受け付けた画像データを受信し、現画像データとして現画像記憶部２０８に記憶する（ステップＳＴ２００２）。具体的な動作は、実施の形態１で説明した図７のステップＳＴ６０２と同様である。
【００４８】
座標推定部２１０は、現画像記憶部２０８に記憶されている現画像データから、制御部７ｂからの制御情報（ワイパー機構６の動作ＯＮ／ＯＦＦの状態情報、または、動作ＯＮの場合の稼動情報（保護ガラス３１を拭き取り動作中か、そのインターバルであるか、動作周期等）、ワイパー形状情報など）に基づき、ワイパー機構６の映り込みと考えられる領域（置換領域）を特定する（ステップＳＴ２００３）。具体的には、座標推定部２１０は、制御部７ｂから受信したワイパー機構６の制御情報を基に、現画像にワイパー部分が含まれるか否か、含まれる場合の現画像におけるワイパー部分の場所（例えば、座標）を特定し、置換領域とする。なお、置換領域は、処理の誤差による影響を排除するため、例えば、置換領域の周囲を数画素分縁取った形状の領域を置換領域としてもよい。
【００４９】
置換画像生成部２０６は、比較画像記憶部２０２に記憶されている比較画像データから、置換領域に相当する領域の画像（置換領域画像）を抽出する（ステップＳＴ２００４）。具体的な動作は、実施の形態１で説明した図７のステップＳＴ６０５と同様である。
画像置換部２０７は、現画像記憶部２０８に記憶されている現画像データに対し、ステップＳＴ２００４において置換画像生成部２０６で抽出された置換領域画像で置換した置換画像を生成する（ステップＳＴ２００５）。具体的な動作は、実施の形態１で説明した図７のステップＳＴ６０６と同様である。
ステップＳＴ２００６で得られた置換画像は、出力用の映像データとして、映像出力部２４へ出力される。
【００５０】
なお、ここでは、実施の形態３を実施の形態１の構成に適用して説明したが、これに限らず、実施の形態３を実施の形態２に適用し、比較画像は、制御部７ｂからのワイパー機構６の制御情報に基づき設定された更新周期により記憶された現画像データから作成、更新されたものを使用するものとしてもよい。
【００５１】
以上のように、実施の形態３によれば、撮像中の画像データを受け付ける画像データ受付部２０９と、画像データ受付部２０９が受け付けた撮像中の画像データを現画像データとする現画像データ作成部２０１と、画像データ受付部２０９が受け付けた撮像中の画像データに基づき、現画像データと比較するための比較画像データを作成する比較画像更新部２０３と、ワイパー機構６の制御情報に基づき、現画像データにおけるワイパー機構６の映り込みと考えられる置換領域を特定する座標推定部２１０と、比較画像データから、置換領域に相当する置換領域画像を抽出する置換画像生成部２０６と、現画像データについて、置換領域に対応した部分を置換領域画像に置き換え、出力用の映像データを生成する画像置換部２０７とを備えるように構成したので、ワイパー機構６の制御情報を基に置換領域を特定するため、実施の形態１，２と比較して、変化領域抽出の処理負荷軽減ができ、変化領域抽出時の誤検出も低減することができる。
【００５２】
なお、この発明の実施の形態１において、監視カメラ装置１は、図４，図５で示すような構成としたが、監視カメラ装置１は、画像データ受付部２０９と、比較画像更新部２０３と、現画像データ作成部２０１と、変化領域抽出部２０４と、置換領域設定部２０５と、置換画像生成部２０６と、画像置換部２０７とを備えることにより、上述したような効果が得られるものである。
また、この発明の実施の形態１において、監視カメラ装置１は、図１８，図１９で示すような構成としたが、監視カメラ装置１は、画像データ受付部２０９と、比較画像更新部２０３と、現画像データ作成部２０１と、座標推定部２１０と、置換画像生成部２０６と、画像置換部２０７とを備えることにより、上述したような効果が得られるものである。
【００５３】
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態１〜３における監視カメラ装置１の制御に用いられる各部は、ソフトウェアに基づくＣＰＵを用いたプログラム処理によって実行される。
【符号の説明】
【００５４】
１  監視カメラ装置、２  カメラユニット、３  カメラケース、４  回転台、５  台座、６  ワイパー機構、７，７ａ，７ｂ  制御部、８  本体駆動機構、２１  レンズ、２２  撮像素子、２３，２３ａ，２３ｂ  映像処理部、２４  映像出力部、３１  保護ガラス、４１  チルト機構軸、４２  パン軸、４３  チルト軸、６１  モータ、６２  支持アーム、６３  ワイパーブレード、２０１  現画像データ作成部、２０２  比較画像記憶部、２０３  比較画像更新部、２０４  変化領域抽出部、２０５  置換領域設定部、２０６  置換画像生成部、２０７  画像置換部、２０８  現画像記憶部、２０９  画像データ受付部、２１０  座標推定部。
【図１】
2016025584.tif 000003
【図２】
2016025584.tif 000004
【図３】
2016025584.tif 000005
【図４】
2016025584.tif 000006
【図５】
2016025584.tif 000007
【図６】
2016025584.tif 000008
【図７】
2016025584.tif 000009
【図８】
2016025584.tif 000010
【図９】
2016025584.tif 000011
【図１０】
2016025584.tif 000012
【図１１】
2016025584.tif 000013
【図１２】
2016025584.tif 000014
【図１３】
2016025584.tif 000015
【図１４】
2016025584.tif 000016
【図１５】
2016025584.tif 000017
【図１６】
2016025584.tif 000018
【図１７】
2016025584.tif 000019
【図１８】
2016025584.tif 000020
【図１９】
2016025584.tif 000021
【図２０】
2016025584.tif 000022