(57)【要約】【課題】物体検出機能の出力から映像内に出現するワーパーに関する物体情報を除去するために使用するテンプレート情報を効率的に生成できるようにする。【解決手段】撮像手段と、洗浄動作を行うための洗浄手段と、前記洗浄手段に洗浄動作を行わせるための洗浄命令を受信する受信手段と、前記洗浄命令に従い、前記洗浄手段を制御する制御手段と、前記撮像手段が出力する映像中の被写体を物体として検出する物体検出手段と、前記物体検出手段の出力を少なくとも１フレーム分収集し、物体情報を生成する生成手段と、前記生成手段の出力を管理する管理手段とを備え、前記洗浄手段による洗浄動作が行われている期間に収集する物体情報を、洗浄動作に関連する関連情報として記憶する。【選択図】図４
2014093603.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
洗浄動作を行うための洗浄手段と、
前記洗浄手段に洗浄動作を行わせるための洗浄命令を受信する受信手段と、
前記受信手段が受信した洗浄命令に従い、前記洗浄手段を制御する制御手段と、
前記撮像手段が出力する映像中の被写体を物体として検出する物体検出手段と、
前記物体検出手段の出力を少なくとも１フレーム分収集し、物体情報を生成する生成手段と、
前記生成手段の出力を管理する管理手段とを具備し、
前記管理手段は、
前記洗浄手段による洗浄動作が行われている期間に前記生成手段が収集する物体情報を、洗浄動作に関連する関連情報として記憶することを特徴とする撮像装置。
【請求項２】
前記物体検出手段は、
前記受信手段による前記洗浄命令の受信と、前記制御手段による洗浄手段への制御を実行するまでの間に起動されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
外部機器と間で情報のやり取りをする通信手段を有し、
前記洗浄手段による洗浄動作が、前記通信手段で接続された外部機器で実行される場合に、
前記制御手段は、
外部機器での洗浄動作を実行するための制御命令を、前記通信手段を介して発行することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
時間を計測するタイマー手段を有する場合には、
前記洗浄動作が行なわれている期間に前記生成手段が収集する物体情報とは、
前記タイマー手段により計測される、前記制御手段による洗浄動作の開始から前記物体検出手段による最初の物体検出までの時間情報であることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記洗浄動作が行なわれている期間に前記生成手段が収集する物体情報とは、
前記制御手段による洗浄動作が開始された後、前記物体検出手段により検出される物体の画面上での振る舞いに関する情報であることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記洗浄動作が行なわれている期間に前記生成手段が収集する物体情報とは、
前記制御手段による洗浄動作が開始された後、前記物体検出手段により検出される物体の視覚的特徴に関する情報であることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
前記洗浄手段により実行される洗浄動作とは、
ワイパー駆動またはウォッシャー液噴射のうち、少なくとも一つの動作から成ることを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
【請求項８】
洗浄手段を有する撮像装置と通信して、前記洗浄手段に洗浄動作を行わせるための洗浄命令を送信するとともに、前記撮像装置から映像を受信する通信手段と、
前記通信手段から得られる映像中の被写体を物体として検出する物体検出手段と、
前記物体検出手段の出力を少なくとも１フレーム分収集し、物体情報を生成する生成手段と、
前記生成手段の出力を管理する管理手段とを具備し、
前記管理手段は、
前記洗浄動作が行なわれている期間に前記生成手段が収集する物体情報を、洗浄動作に関連する関連情報として記憶することを特徴とするクライアント装置。
【請求項９】
前記物体検出手段は、
前記通信手段による前記洗浄命令の送信より前に起動されることを特徴とする請求項８に記載のクライアント装置。
【請求項１０】
前記物体検出手段の起動に時間を有する場合に、
前記通信手段による前記洗浄命令の送信は、前記物体検出手段の起動が完了したことを確認後に行われることを特徴とする請求項８または９に記載のクライアント装置。
【請求項１１】
時間を計測するタイマー手段を有する場合に、
前記洗浄動作が行なわれている期間に前記生成手段が収集する物体情報とは、
前記タイマー手段により計測される、前記通信手段による前記洗浄命令の送信から前記物体検出手段による最初の物体検出までの時間情報であることを特徴とする請求項８〜１０の何れか１項に記載のクライアント装置。
【請求項１２】
前記洗浄動作が行なわれている期間に前記生成手段が収集する物体情報とは、
前記通信手段による前記洗浄命令の送信後、前記物体検出手段により検出される物体の画面上での振る舞いに関する情報であることを特徴とする請求項８〜１１の何れか１項に記載のクライアント装置。
【請求項１３】
前記洗浄動作が行なわれている期間に前記生成手段が収集する物体情報とは、
前記通信手段による前記洗浄命令の送信後、前記物体検出手段により検出される物体の視覚的特徴に関する情報であることを特徴とする請求項８〜１２の何れか１項に記載のクライアント装置。
【請求項１４】
前記通信手段により前記洗浄手段に洗浄動作を行わせるための洗浄命令とは、
ワイパー駆動またはウォッシャー液噴射のうち、少なくとも一つの命令を含むことを特徴とする請求項８〜１３の何れか１項に記載のクライアント装置。
【請求項１５】
撮像工程と、
洗浄動作を行うための洗浄工程と、
前記洗浄工程に洗浄動作を行わせるための洗浄命令を受信する受信工程と、
前記受信工程が受信した洗浄命令に従い、前記洗浄工程を制御する制御工程と、
前記撮像工程が出力する映像中の被写体を物体として検出する物体検出工程と、
前記物体検出工程の出力を少なくとも１フレーム分収集し、物体情報を生成する生成工程と、
前記生成工程の出力を管理する管理工程とを具備し、
前記管理工程は、
前記洗浄工程による洗浄動作が行われている期間に前記生成工程が収集する物体情報を、洗浄動作に関連する関連情報として記憶することを特徴とする撮像装置の制御方法。
【請求項１６】
洗浄工程を有する撮像装置と通信して、前記洗浄工程に洗浄動作を行わせるための洗浄命令を送信するとともに、前記撮像装置から映像を受信する通信工程と、
前記通信工程から得られる映像中の被写体を物体として検出する物体検出工程と、
前記物体検出工程の出力を少なくとも１フレーム分収集し、物体情報を生成する生成工程と、
前記生成工程の出力を管理する管理工程とを具備し、
前記管理工程は、
前記洗浄動作が行なわれている期間に前記生成工程が収集する物体情報を、洗浄動作に関連する関連情報として記憶することを特徴とするクライアント装置の制御方法。
【請求項１７】
撮像工程と、
洗浄動作を行うための洗浄工程と、
前記洗浄工程に洗浄動作を行わせるための洗浄命令を受信する受信工程と、
前記受信工程が受信した洗浄命令に従い、前記洗浄工程を制御する制御工程と、
前記撮像工程が出力する映像中の被写体を物体として検出する物体検出工程と、
前記物体検出工程の出力を少なくとも１フレーム分収集し、物体情報を生成する生成工程と、
前記生成工程の出力を管理する管理工程とをコンピュータに実行させるプログラムであって、
前記管理工程は、
前記洗浄工程による洗浄動作が行われている期間に前記生成工程が収集する物体情報を、洗浄動作に関連する関連情報として記憶するようにコンピュータを制御することを特徴とするプログラム。
【請求項１８】
洗浄工程を有する撮像装置と通信して、前記洗浄工程に洗浄動作を行わせるための洗浄命令を送信するとともに、前記撮像装置から映像を受信する通信工程と、
前記通信工程から得られる映像中の被写体を物体として検出する物体検出工程と、
前記物体検出工程の出力を少なくとも１フレーム分収集し、物体情報を生成する生成工程と、
前記生成工程の出力を管理する管理工程とをコンピュータに実行させるプログラムであって、
前記管理工程は、
前記洗浄動作が行なわれている期間に前記生成工程が収集する物体情報を、洗浄動作に関連する関連情報として記憶するようにコンピュータを制御することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、洗浄動作と物体検出機能に関し、特に、洗浄動作制御コマンドに伴う物体検出機能の出力を用いたテンプレート情報を生成するために用いて好適な技術に関する。
【背景技術】
【０００２】
最近は、ネットワークカメラ単体でビデオ解析を実現することが可能となっている。一般的に、ビデオ解析は、映像中の被写体を物体として検出する物体検出機能と、検出した物体を所定のルールに照らし合わせて動体検知／不動体検知／いたずら検知などを判断するルール解析機能とから構成される。ルール解析機能の結果に伴い、適時イベントを発行することで、ユーザーにとって効率的なモニタリングを提供できる。
【０００３】
ネットワークカメラを屋外の厳しい環境で使用するためにハウジングに入れて使用することがある。市販されているハウジングの中にはワイパーを搭載したものも存在している。屋外での使用による汚れをワイパーで拭き取ることにより、常に良好な撮影環境を保つことができる。
【０００４】
前記のように、ビデオ解析を搭載したネットワークカメラをワイパー付きのハウジングと組み合わせて運用した場合、駆動されたワイパーが映像内に出現するとワイパーに対して物体検出機能が誤検出してしまう。これがルール解析機能に影響し、結果的にワイパーに対して動体検知が発行されるという誤検知が想定される。
【０００５】
こうした問題に対応する技術も提案されている（例えば、特許文献１を参照）。特許文献１では、ワイパーが写り込んでいない画像をテンプレート画像とし、ワイパーが写り込んだ映像との差分をとることで映像中のワイパー部分を特定し、ワイパー部分をフィルタリングする技術が提案されている。この技術を用いることにより、ワイパー部分をフィルタリングすることで、動体検知がワイパーに対して誤検知することを防止できる。
【０００６】
ネットワークカメラは、クライアントとネットワークを介してコマンドのやり取りや、映像配信を行うことが可能である。先のワイパーに関しても、コマンドを定義することにより、クライアントからネットワークを介してネットワークカメラのワイパーを制御することが可能である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−１２３１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
物体検出機能の出力から、映像内に出現するワイパーに関する物体情報を高精度に除去するためには、物体検出機能がワイパーに対して実際に出力する物体情報をテンプレート情報として使用することが有効である。
【０００９】
しかしながら、ネットワークカメラとワイパー付きハウジングの組み合わせは膨大であり、全てのワイパーに対するテンプレート情報を予め記憶しておくことは難しいという問題点があった。
本発明は前述の問題点に鑑み、物体検出機能の出力から映像内に出現するワーパーに関する物体情報を除去するために使用するテンプレート情報を効率的に生成することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、撮像手段と、洗浄動作を行うための洗浄手段と、前記洗浄手段に洗浄動作を行わせるための洗浄命令を受信する受信手段と、前記受信手段が受信した洗浄命令に従い、前記洗浄手段を制御する制御手段と、前記撮像手段が出力する映像中の被写体を物体として検出する物体検出手段と、前記物体検出手段の出力を少なくとも１フレーム分収集し、物体情報を生成する生成手段と、前記生成手段の出力を管理する管理手段とを具備し、前記管理手段は、前記洗浄手段による洗浄動作が行われている期間に前記生成手段が収集する物体情報を、洗浄動作に関連する関連情報として記憶することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ワイパー動作開始コマンドに続いて物体検出機能から得られる物体情報を、ワイパーに関するテンプレート情報としてワイパー動作開始コマンドの関連情報として記録する。これにより、ワイパー動作開始コマンドをきっかけに駆動され、映像中に出現するワイパーを物体検出機能が検出しても、記録されているテンプレート情報を即座に利用することで、物体検出機能の出力からワイパーに関する物体情報を効率的に除去できる。その結果、ルール解析機能の出力においてワイパーが原因となる誤検知を低下させることが可能であり、ユーザーに対し高い精度を実現したビデオ解析機能によるモニタリングを提供できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態におけるハウジング付きネットワークカメラの構成を示すブロック図である。
【図２】本発明の実施形態におけるコンピュータの構成を示すブロック図である。
【図３】ハウジング付きネットワークカメラとコンピュータで構成されるシステム、及びコンピュータ上で動作する洗浄操作アプリケーションを示した図である。
【図４】本発明の実施形態におけるハウジング付きネットワークカメラと洗浄操作アプリケーションにより行なわれる処理を説明するフローチャートである。
【図５】本発明の実施形態におけるハウジング付きネットワークカメラと洗浄操作アプリケーション間でやり取りされるコマンドを示した図である。
【図６】実施形態における物体検出部の概念を説明する図である。
【図７】本発明の実施形態における収集されるワイパーテンプレート情報を示した図である。
【図８】本発明の実施形態におけるワイパー動作開始コマンドとワイパーテンプレート情報を関連付けた管理データを示した図である。
【図９】本発明の実施形態における洗浄操作アプリケーションとハウジング付きネットワークカメラが従うフローチャートである。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
図１は、本発明を適用したハウジング付きネットワークカメラ１００を、機能ブロック単位で表現したブロック図である。ハウジング付きネットワークカメラ１００は、撮像装置として機能するネットワークカメラ部１００ａと、ネットワークカメラ部１００ａを風雨などから保護するハウジング部１００ｂとから構成されている。
【００１４】
１０１はレンズ部であり、取り込んだ光を正確に撮像部１０２まで届ける機能を担っている。１０２は撮像部であり、レンズ部１０１を通して入力されてくる光を電気的な信号へ変換し、デジタルデータとしてハウジング付きネットワークカメラ１００内にとり込むことが可能である。
【００１５】
１０３はＣＰＵ（Central Processing Unit）であり、各モジュールへの制御や、各モジュールから得られる情報を元に演算処理をおこなうことが可能である。また、ＣＰＵ１０３は、図４−Ａのフローチャートの処理を実現するソフトウェアを実行する。
１０４は映像処理部である。撮像部１０２で取り込まれたデジタルデータを処理し、所望の形式のデジタル映像データを生成することが可能である。
【００１６】
１０５はＤＲＡＭである。ＤＲＡＭ１０５は揮発性メモリーであり、ハウジング付きネットワークカメラ１００が動作中に各ブロックにおいて生成されるデータを保持することが可能である。
１０６は物体検出部である。映像処理部１０４で生成されたデジタル映像データを入力とし、映像中の被写体を物体として検出することが可能である。
【００１７】
１０７はシリアル通信部である。ハウジング部１００ｂのワイパー駆動部やウォッシャー噴射部への制御を要求するコマンドをやり取りするために使用される。ＣＰＵ１０３が送信するコマンド情報を書き込むことによりコマンドがハウジング部１００ｂに送信される。
１０８は通信部であり、ＣＰＵ１０３からの操作に従い、クライアントに対して映像処理部１０４で生成された映像データの配信を行ったり、外部機器との間で情報のやり取りを実現して、クライアントとの間でコマンドのやり取りを行ったりすることが可能である。
【００１８】
１０９はワイパー部である。ワイパー駆動部１１０により駆動されることで、ハウジングのガラスを清掃することが可能である。ワイパー駆動部１１０は、ＣＰＵ１１４からの操作に従いワイパー部１０９を動かすことが可能である。
１１１はウォッシャー液噴射部である。ウォッシャー液噴射制御部１１２に操作されることで、ハウジングのガラスにウォッシャー液を吹き付けることが可能である。ウォッシャー液噴射制御部１１２は、ＣＰＵ１１４からの操作に従いウォッシャー液噴射部１１１を制御できる。ワイパー部１０９、ワイパー駆動部１１０、ウォッシャー液噴射部１１１及びウォッシャー液噴射制御部１１２等により洗浄手段が構成され、ＣＰＵ１１４が洗浄動作制御手段として機能し、洗浄動作を実行するための制御命令を発行して洗浄手段への制御を実行する。
【００１９】
１１３はシリアル通信部である。ネットワークカメラ部１００ａのシリアル通信部１０７から送られているワイパー駆動やウォッシャー噴射部に関するコマンド（洗浄動作を行わせるための洗浄命令など）を受信することが可能である。
１１４はハウジング部１００ｂのＣＰＵである。シリアル通信部１１３で受信したコマンド内容に応じてワイパー駆動部１１０やウォッシャー液噴射制御部１１２を操作することにより、ワイパーの制御やウォッシャー液の噴射を制御することが可能である。
【００２０】
図２は、洗浄操作アプリケーションが動作するために必要なコンピュータ２００の構成例を示すブロック図である。
図２において、２０１は表示部である。表示部２０１は、洗浄操作アプリケーションのＧＵＩを提供することが可能で、視覚的な面で利用者に情報を提供することが可能である。２０２は表示制御部であり、ＣＰＵ２０３からの指示に従い、表示部２０１に送り込む表示データの制御を行う。ＣＰＵ２０３は、各ブロックへの制御や、各ブロックから得られる情報を用いて演算処理をおこなう。また、ＣＰＵ２０３が、本実施形態の図４−Ｂのフローチャートを処理する洗浄操作アプリケーションを実行する。
【００２１】
２０４は映像処理部であり、ＣＰＵ２０３からの指示に従い、コンピュータ２００が受信する符号化された映像データを復号化処理することで、表示部２０１に表示可能な映像データを生成する。
【００２２】
２０５はキーボード、２０６はマウスで入力機器である。ユーザーが洗浄操作アプリケーション上で行う操作をコンピュータ２００で処理可能なデジタルデータに変換する。２０７は入力機器制御部であり、ＣＰＵ２０３からの指示に従い、ユーザーのキーボード２０５、マウス２０６に対する操作から得られるデジタルデータをコンピュータ２００内部に取り込む機能を有する。
【００２３】
２０８は物体検出部であり、ＣＰＵ２０３からの指示に従い、コンピュータ２００が受信する映像データに対して物体検出処理を施し、映像中の被写体を物体として検出する。
２０９は記録媒体であり、ＣＰＵ２０３から要求されるデータの読み出し、書き込みが可能である。また、コンピュータ２００上で動作するソフトウェアを記録しておくことも可能である。
【００２４】
２１０はＤＲＡＭであり、コンピュータ２００の動作中に生成される様々なデータを保持することが可能である。
２１２は通信部であり、ＣＰＵ２０３からの指示に従い、外部機器との間で情報のやり取りを実現する。ハウジング付きネットワークカメラ１００とのコマンドのやり取りや、配信されてくる映像データの受信が可能である。
【００２５】
図３は、本実施形態で想定するハウジング付きネットワークカメラ１００とコンピュータ２００とを回線を介して接続してなるモニタリングシステムのシステム図である。コンピュータ２００では、ハウジング付きネットワークカメラ１００を操作するための洗浄操作アプリケーション３００が動作している。
【００２６】
洗浄操作アプリケーション３００には、ワイパー＆ウォッシャー開始アイコン３０１、ワイパー動作開始アイコン３０２、ウォッシャー噴射実行アイコン３０３が存在している。ユーザーは各アイコンをクリックすることで、所望の洗浄動作をハウジング付きネットワークカメラ１００への遠隔操作が実現可能となっている。
【００２７】
図４は、本実施形態を適用したハウジング付きネットワークカメラ１００と洗浄操作アプリケーション３００との間において、ワイパー動作開始コマンドをきっかけとして実行される処理を示したフローチャートである。図４−Ａはハウジング付きネットワークカメラ１００が従うフローチャートであり、図４−Ｂは洗浄操作アプリケーション３００が従うフローチャートである。
【００２８】
Ｓ４０００においてハウジング付きネットワークカメラ１００での処理が開始される。ＣＰＵ１０３が所望のプログラムを実行することにより処理が開始される。Ｓ４００１においてワイパー動作開始コマンドを受信したか否かの確認処理が行われる。ＣＰＵ１０３が通信部１０８をポーリングすることでコマンドの受信を確認することが可能である。ここで処理は、図４−Ｂの洗浄操作アプリケーション３００の処理に移行する。
【００２９】
Ｓ４１００において、コンピュータ２００が洗浄操作アプリケーション３００を起動することで、洗浄操作アプリケーション３００での処理が開始される。
４１０１では、マウス２０６またはキーボード２０５による、ユーザーからのワイパー動作開始指示を待機する。本実施形態においては、ユーザーがワイパー動作開始アイコン３０２をクリックすることを想定する。操作が行われない間はＳ４１０１で待機する。本フローチャートに関連しない処理が行われた場合は、対応する処理が実行される。ワイパー動作開始アイコン３０２がクリックされることにより、Ｓ４１０２に処理が移行する。
【００３０】
Ｓ４１０２では、ワイパー動作開始コマンドの送信処理が行われる。本実施形態では、コマンドとして図５−Ａに示すようなOnvif(Open Network Video Interface Forum)規格で規定されているXMLで記述されたコマンドを想定する。SOAP(Simple Object Access Protocol)規格に従った形式となっている。SOAPに関連するタグには、名前空間で定義された「SOAP-ENV:」が付与されている。
【００３１】
実際のコマンドは、<Send Auxiliary Command>タグに記載され、属性として外部機器への操作であることを示す名前空間が定義されている。<Auxiliary Command>タグに実際のコマンドの内容が記載される。この場合、「tt:Wiper|On」を記載することで、ワイパー動作開始コマンドを意味している。
【００３２】
ＣＰＵ２０３が図５−ＡのコマンドデータをＤＲＡＭ２１０上に生成し、通信部２１２に送出することでワイパー動作開始コマンドを送ることが可能である。Ｓ４１０３ではワイパー動作開始コマンドレスポンスを待機する。ＣＰＵ２０３が通信部２１２をポーリングすることでコマンド受信を確認することが可能である。
【００３３】
ハウジング付きネットワークカメラ１００が、Ｓ４００２の処理において図５−Ｂに示すようなOnvif規格のレスポンスを送信する。通信部２１２で受信したレスポンスはＤＲＡＭ２１０で一時保存され、ＣＰＵ２０３で処理可能なXML解析アプリケーションで処理される。ワイパー動作開始コマンドレスポンスを受信するとＳ４１０４に移行する。
【００３４】
Ｓ４１０４では、タイマーの起動処理が行われる。本実施形態においては、ＣＰＵ２０３が処理可能なタイマーアプリケーションを想定する。Ｓ４１０５では、所定時間が経過したか否かの確認が行われる。Ｓ４１０４で起動したタイマー値を確認することで実現可能である。時間情報は洗浄操作アプリケーション３００が予め保持しておくことを想定する。所定時間経過していない場合は、Ｓ４１０５の処理を繰り返す。この期間、ハウジング付きネットワークカメラ１００ではワイパーが動いていることを意味している。ここで、処理を図４−Ａのハウジング付ネットワークカメラ１００の処理に戻す。
【００３５】
Ｓ４１０２で洗浄操作アプリケーション３００からワイパー動作開始コマンドが送信されている。ＣＰＵ１０３が通信部１０８へのポーリング処理でコマンドの受信を確認後、通信部１０８が受信データをＤＲＡＭ１０５に転送する。XML形式のコマンドデータに対し、ＣＰＵ１０３で処理可能なXML解析アプリケーションで処理される。
【００３６】
本実施形態は、図５−Ａのワイパー動作開始コマンドを想定するため、Ｓ４００１の判定が真となりＳ４００２に移行する。Ｓ４００２では、ワイパー動作開始コマンドレスポンスを送信する処理を行う。ワイパー動作開始コマンドレレスポンスとして図５−Ｂに示すようなOnvif規格で規定されているXMLで記述されたコマンドを想定する。
【００３７】
図５−Ａと同じく、SOAP規格に従うOnvif規格のコマンドを想定する。レスポンスの中身は<Send Auxiliary Command Response>タグに記載される。<Auxiliary Command Response>タグに実際のレスポンスの内容が記載される。この場合、「OK」を記載することで、ワイパー動作開始コマンドを受け付けたことを意味している。ＣＰＵ１０３がＤＲＡＭ１０５上にデータを生成し、通信部１０８に書き出すことにより、データが通信部を介してネットワークに送信される。
【００３８】
次に、Ｓ４００３において物体検出機能の起動処理が行われる。ＣＰＵ１０３の指示により、映像処理部１０４から物体検出部１０６に映像データを転送するパスが確立され、撮影された映像に物体検出処理が実行可能となる。
【００３９】
図６は、物体検出部１０６の概念を説明する図である。映像データを少なくとも１フレーム分収集して入力することにより、「基準点P」、「物体サイズS」、「重心座標G」からなる物体情報生成処理が行なわれて出力される。映像は左上を原点とし、横軸をX軸、縦軸をY軸、ピクセルを刻み幅とする座標で管理される。
【００４０】
検出される物体は矩形で管理されており、物体情報は矩形をテキスト表現したものである。即ち、「基準点P」は矩形の左上の座標、「物体サイズS」は矩形の幅（W）と高さ（H）、「重心座標G」は矩形の重心の座標となる。図６の例では、左下の人に対する物体情報が取得でき、物体検出部１０６が出力する物体情報を用いることで人に矩形を重畳することができる。物体検出アルゴリズムとしては既知のどのようなアルゴリズム（フレーム間差分方式、背景差分方式、テンプレートマッチング方式など）を用いても構わない。
【００４１】
Ｓ４００４では、ワイパー動作開始内部命令の発行処理が行われる。Ｓ４００１で受信したコマンドがワイパー動作開始コマンドであるため、ハウジング部１００ｂにワイパー動作の開始を要求するための内部命令を送信する。ＣＰＵ１０３がシリアル通信部１０７に対してワイパー動作開始内部命令を書き出すことにより、命令がハウジング部１００ｂに送られる。送られた命令はハウジング部１００ｂの同じくシリアル通信部１１３で受信され、ＣＰＵ１１４により解釈される。ハウジング部１００ｂのＣＰＵ１１４は常にシリアル通信部１１３をポーリングすることで常にネットワークカメラ部１００ａからの命令を待機している。ワイパー動作開始内部命令を確認したＣＰＵ１１４は、ワイパー駆動部１１０を操作することにより実際にワイパー部１０９を動かす。
【００４２】
Ｓ４００５では、タイマーの起動が行われる。本実施形態においては、ＣＰＵ１０３がタイマープログラムを実行することで時間計測を行う。
Ｓ４００６では、物体の出現の有無を確認する。ＣＰＵ１０３が物体検出部１０６の出力を各フレームにおいて確認する。物体の出現が確認できない場合、ＣＰＵ１０３はＳ４００６の処理で待機する。本実施形態では、Ｓ４００４においてワイパー動作開始をハウジング部１００ｂに指示しているため、所定時間が経過すると映像中にワイパーが出現する。出現したワイパーは物体検出部１０６において物体として検出され、処理はＳ４００７に移行する。
【００４３】
Ｓ４００７以降では、映像中で移動するワイパーに対し、物体検出部１０６が出力する物体情報を用いてワイパーテンプレート情報の収集を行う。具体的には、図７に示すようなデータ情報を埋める作業となる。
【００４４】
図７において、「出現までの所要時間７０１」とは、先のＳ４００４で、ワイパー動作開始内部命令をハウジング部１００ｂに発行してから実際に画面内に物体が出現するまでの時間である。時間計測のためのタイマーをＳ４００５で起動してある。「平均サイズ７０２」とは、ワイパーが画面内に出現している間、物体検出部１０６で検出されるワイパーの大きさの平均値である。「軌跡情報７０３」とは、ワイパーが画面内に出現している間の座標情報の履歴である。物体検出部１０６が出力する重心座標を逐次記録することで軌跡情報を作成する。
【００４５】
Ｓ４００７では、Ｓ４００５で起動したタイマーから時間情報の取得を行う。時間情報の取得は、ＣＰＵ１０３がＳ４００５で起動したソフトタイマーを確認することで実現可能である。これにより、ハウジング部１００ｂへのワイパー動作開始内部命令発行から、実際にワイパーが映像中に最初に出現するまでの時間Tを取得する。本実施形態では、ミリセカンド単位で取得することを想定する。Ｓ４００８では物体サイズの取得・平均値の計算処理が行われる。
【００４６】
図６で説明した通り、物体情報には「物体サイズS」が含まれている。平均値の計算は平均サイズAveSに６０２の情報に、取得した値を「物体サイズS」を加算後、２で除算すればある時間における平均値AveSを常に算出できる。
【００４７】
Ｓ４００９では、物体の座標情報の取得が行われる。図６で説明した通り、物体情報には「重心座標G」が含まれている。本実施形態では、座標情報を軌跡情報６０３として使用する。取得した重心座標を時刻tでの重心情報Gtとして軌跡情報６０３に追加することで座標情報の列となる。重心座標はワイパーが出現している間記録され、最終的に座標の集まりG１,G２,G３,……からなる軌跡情報となる。
【００４８】
Ｓ４０１０では、ワイパー停止コマンドを受信したか否かの判定を行う。ＣＰＵ１０３が通信部１０８を確認することでコマンドの受信を確認できる。ワイパー停止コマンドの受信を確認できない場合は、Ｓ４００８の処理に移行し、ワイパーに対応した物体情報の収集を継続する。ワイパー停止コマンドの受信を確認した場合は、Ｓ４０１１に移行する。
【００４９】
ここで、処理を図３−Ｂの洗浄操作アプリケーション３００の処理に戻す。
洗浄操作アプリケーション３００はＳ４１０５で所定時間が経過するのを待機している。時間経過が確認された時点でＳ４１０６に移行する。Ｓ４１０６では、ワイパー動作停止コマンドの送信が行われる。本実施形態では、コマンドとして図５−Ｃに示すようなOnvif規格で規定されているXMLで記述されたコマンドを想定する。図５−Ａと同じくSOAP規格に従うOnvif規格のコマンドを想定する。
【００５０】
コマンドの中身は<Send Auxiliary Command>タグに記載される。<Auxiliary Command>タグに実際コマンドの内容が記載される。この場合、「tt:Wiper|Off」を記載することで、ワイパー動作停止コマンドを意味している。ＣＰＵ２０３がＤＲＡＭ２１０上にデータを生成し、通信部２１２に書き出すことにより、データが通信部を介してネットワークに送信される。Onvif規格のコマンドをハウジング付ネットワークカメラ１００に送信することで、ワイパー動作停止を要求する。
【００５１】
Ｓ４１０７では、ワイパー動作停止コマンドレスポンスを待機する。ＣＰＵ２０３が通信部２１２をポーリングすることでコマンド受信を確認することが可能である。Ｓ４０１１で、ハウジング付きネットワークカメラ１００が図５−Ｄに示すようなXML形式のデータを送信する。通信部２１２で受信したレスポンスはＤＲＡＭ２１０で一時保存され、ＣＰＵ２０３で処理可能なXML解析アプリケーションで処理される。ワイパー動作停止コマンドレスポンスを受信したことを確認し、Ｓ４１０８に移行する。Ｓ４１０８により、洗浄操作アプリケーション３００の処理は終了する。
【００５２】
処理を図４−Ａのハウジング付ネットワークカメラ１００の処理に戻す。
Ｓ４０１１では、ワイパー動作停止コマンドレスポンスを送信する処理が行われる。ワイパー動作停止コマンドレスポンスとして図５−Ｄに示すようなOnvif規格で規定されているXMLで記述されたコマンドを想定する。
【００５３】
図５−Ａと同じくSOAP規格に従うOnvif規格のコマンドを想定する。レスポンスの中身は<Send Auxiliary Command Response>タグに記載される。<Auxiliary Command Response>タグに実際のレスポンスの内容が記載される。この場合、「OK」を記載することで、ワイパー動作停止コマンドを受け付けたことを意味している。ＣＰＵ１０３がＤＲＡＭ１０５上にデータを生成し、通信部１０８に書き出すことにより、データが通信部を通ってネットワークに送信される。
【００５４】
Ｓ４０１２では、ハウジング部１００ｂにワイパー動作停止内部命令を発行する処理が行われる。Ｓ４０１０で受信したコマンドがワイパー動作停止コマンドであることから、ハウジング部１００ｂにおけるワイパー動作を停止するための内部命令を送信する。
【００５５】
ＣＰＵ１０３がシリアル通信部１０７に対してワイパー動作停止内部命令を書き出すことにより、命令がハウジング部１００ｂに送られる。送られた命令はハウジング部１００ｂの同じくシリアル通信部１１３で受信され、ＣＰＵ１１４により解釈される。
【００５６】
ハウジング部１００ｂのＣＰＵ１１４は常にシリアル通信部１１３をポーリングすることで常にネットワークカメラ部１００ａからの命令を待機している。ワイパー動作停止命令を確認したＣＰＵ１１４はワイパー駆動部１１０を操作することにより実際にワイパー部１０９を停止させる。
【００５７】
Ｓ４０１３に至った時点で、物体検出部１０６がワイパーに対して出力する物体情報をワイパーテンプレート情報として収集し終えたことを意味する。Ｓ４０１３では、収集したワイパーテンプレート情報を、Ｓ４００１で受信したワイパー動作開始コマンドに関連付ける。
【００５８】
ＣＰＵ１０３がワイパー動作開始コマンドを受信した際に、即座にワイパーテンプレート情報を読み出せるようにする管理テーブルをＤＲＡＭ１０５上に生成する。ＤＲＡＭ１０５上の所定のアドレスに、図８に示す物体情報管理テーブルを生成することで実現できる。ワイパー動作開始コマンドに関する情報と、ワイパーテンプレート情報から成る管理テーブルとして保持する。これにより、ワイパー動作開始コマンド受信時に、所定のアドレスを参照することでワイパーテンプレート情報を即座に利用できる。
その後、Ｓ４０１４に移行することにより、ハウジング付きネットワークカメラ１００としての処理が終了する。
【００５９】
以上の処理により、ユーザーが洗浄操作アプリケーション３００からワイパー動作開始を指示することをきっかけとして、ハウジング付きネットワークカメラ１００が処理を開始する。そして、ワイパーに関わるワイパーテンプレート情報を、洗浄動作を識別するための関連情報としてワイパー動作開始コマンドに関連付けて保持する。これにより、ハウジング付きネットワークカメラ１００の物体検出機能を有効にしたモニタリンングシステムの運用において、ユーザーが任意のタイミングでワイパー駆動を実行した場合でもワイパーテンプレート情報を用いる。そして、物体検出部１０６の出力からワイパーに関連する物体情報を、ワイパーテンプレート情報を用いて効率的に除去することが可能になる。この結果、モニタリングシステムのユーザーに対してワイパーの出現に伴う誤検知を軽減することが可能となる。
【００６０】
収集するワイパーテンプレート情報としては、図７に限定されるものではない。物体検出部１０６が出力する物体に関する色情報やテクスチャ情報などの視覚的な情報を収集する実装も考えられる。視覚的特徴に関する情報も、収集するワイパーテンプレート情報に加えることで、より高い精度で物体検出部１０６の出力から、ワイパーに関連する物体情報を効率的に除去することが期待できる。これにより、ユーザーに対し高い精度を実現したビデオ解析機能によるモニタリングを提供できるといった効果を得ることができる。
【００６１】
本実施形態では、収集するワイパーテンプレート情報の一つとして平均サイズ７０２を例に挙げたが、平均サイズに限定されるものではない。例えば、軌跡情報７０３のようにサイズ情報の履歴情報を記録する方法も考えられる。
【００６２】
本実施形態の図４に示すフローチャートの処理では、Ｓ４００８からＳ４０１０までの処理をワイパーが出現している間継続する例を説明したが、これに限定されるものではない。物体が出現後の決められたタイミングにおける物体情報のみを収集することも考えられる。
【００６３】
本実施形態の図４に示すフローチャートの処理では、図３のシステムを構築するタイミング、またはメンテナンスのタイミングで行うことが想定される。このことから、図４のフローチャートを処理する専用の動作モードを設けても構わない。
図４に示すフローチャートの処理では、Ｓ４００３で物体検出機能の起動処理を実行後、Ｓ４００４のワイパー動作開始内部命令の発行が行われている。物体検出を実現するアルゴリズムの中には、起動処理に時間を有するものも存在する。よって、Ｓ４００４を物体検出機能の起動の完了を待って実行する実装でも構わない。
【００６４】
本実施形態では、ワイパーに焦点を当てたものだが、ワイパーに限定されるものではない。ハウジング付きネットワークカメラ１００にはウォッシャー液噴射部１１１がある。ウォッシャー液の噴射により画面上に出現するウォッシャー液に関するテンプレート情報を収集し、ウォッシャー液噴射コマンドに関連付けるといった処理も同様に可能である。
また、ワイパー動作とウォッシャー液噴射を同時に実行し、ワイパーとウォッシャー液に関するテンプレート情報を収集し、ワイパー動作開始コマンドとウォッシャー液噴射コマンドに関連付けるといった処理も同様に可能である。
【００６５】
（第２の実施形態）
第２の実施形態では、ワイパー動作開始コマンドに伴う、ワイパーテンプレート情報の収集と、ワイパー動作開始コマンドへの関連付け処理を、洗浄操作アプリケーション側で実行する場合を説明する。第１の実施形態と同様に洗浄操作アプリケーションは、図３のコンピュータ２００上で動作するアプリケーションを想定する。ハウジング付きネットワークカメラ１００とコンピュータ２００も図１、図２と同じであり、図３と同じモニタリングシステムを構成している。
【００６６】
洗浄操作アプリケーション３００は、物体検出用にハウジング付きネットワークカメラ１００より映像データのストリーミングを受信していることを想定する。ＣＰＵ２０３の指示により通信部２１２で受信した符号化された映像データを映像処理部２０４で復号化することで、表示部２０１で表示可能な映像データを生成可能である。
【００６７】
図９は、第２の実施形態のフローチャートである。図９−Ａは洗浄操作アプリケーション３００が従うフローチャートであり、図９−Ｂはハウジング付きネットワークカメラ１００が従うフローチャートである。
【００６８】
Ｓ９０００において、洗浄操作アプリケーション３００での処理が開始される。
Ｓ９００１の処理は、Ｓ４１０１と同じである。Ｓ９００２で、物体検出機能の起動処理を行う。ＣＰＵ２０３の指示により、映像処理部２０４から物体検出部２０８に映像データを転送するパスを確立する。これにより通信部２１２で受信した映像に対する物体検出処理を洗浄操作アプリケーション側で実行可能となる。物体検出部２０８自体は、図６のものと同じである。
【００６９】
Ｓ９００３とＳ９００４の処理は、Ｓ４１０１とＳ４１０２の処理と同じである。図５−Ａと、図５−Ｂに示すワイパー動作開始コマンドとワイパー動作開始コマンドレスポンスによるやり取りが行われる。このコマンドのやり取りにおけるハウジング付きネットワークカメラ１００の処理もＳ４００１とＳ４００２と同じであり、図９−ＢのＳ９１０１とＳ９１０２が対応している。
【００７０】
このコマンドのやり取り後、図９−ＢのＳ９１０３においてハウジング付きネットワークカメラ１００はＳ９１０３でワイパー動作開始内部命令の発行処理を行う。これは、Ｓ４００４の処理と同じでありハウジング部１００ｂへの命令によりワイパーを動かすことが可能となる。ワイパー動作を開始した後はＳ９１０４でワイパー動作停止コマンドを待機する。
【００７１】
次に、図９−ＡのＳ９００４を処理した洗浄操作アプリケーション３００は、Ｓ９００５において二つのタイマーを起動する。本実施形態においては、ＣＰＵ２０３が処理可能なタイマーアプリケーションを想定する。ＣＰＵ２０３は二つのタイマーアプリケーションを管理する。
【００７２】
Ｓ９００６では、物体の出現の有無を確認する。ＣＰＵ２０３が物体検出部２０８の出力を受信した映像データの各フレームに対して確認する。物体の出現が確認できない場合、ＣＰＵ２０３はＳ９００６の処理で待機する。本実施形態では、Ｓ９００３においてワイパー動作開始コマンドをハウジング付きネットワークカメラ１００に要求しているため、所定時間が経過すると受信映像にワイパーが出現する。出現したワイパーは物体検出部２０８において物体として検出され、処理はＳ９００７に移行する。
【００７３】
Ｓ９００７からＳ９００９の処理は、Ｓ４００７からＳ４００９の処理と同じである。図７に示すワイパーテンプレート情報の収集処理を実行する。Ｓ９００７において、ワイパー動作開始コマンドを発行してから実際にワイパーが出現するまでの時間情報を取得するする。
【００７４】
ＣＰＵ２０３がＳ９００５で起動したタイマー１の値を確認することで、「出現までの所要時間７０１」が取得できる。Ｓ９００８とＳ９００９においては、ＣＰＵ２０３が受信した映像データのフレーム毎に物体検出部２０８が出力する物体サイズと重心座標を取得することで、「平均サイズ７０２」と「軌跡情報７０３」の取得を行う。
【００７５】
Ｓ９０１０では、Ｓ９００５で起動したタイマー２の値が所定時間に到達したか否かの確認が行われる。ＣＰＵ２０３がタイマー２の値を確認することで、時間情報が取得可能である。タイマー２は、ワイパー動作停止コマンドを発行するタイミングを計測するタイマーであり、洗浄操作アプリケーション３００で予め保持していることを想定している。つまり、タイマー２の値を用いてワイパーが動作している時間が管理される。タイマー２の値が所定の時間への到達を確認した時点で、Ｓ９０１１に移行する。確認できない場合は、Ｓ９００８の処理に戻る。
【００７６】
Ｓ９０１１とＳ９０１２の処理は、Ｓ４１０６とＳ４１０７の処理と同じである。図５−Ｃと図５−Ｄに示すワイパー動作停止コマンドとワイパー動作停止コマンドレスポンスによるやり取りが行われる。このコマンドのやり取りに連動したハウジング付きネットワークカメラ１００の処理もＳ４０１０とＳ４０１１と同じであり、図９−ＢのＳ９１０４とＳ９１０５が対応している。
【００７７】
このコマンドのやり取り後、ハウジング付きネットワークカメラ１００は図９−Ａにおいて、Ｓ９１０６でワイパー動作停止内部命令の発行処理を行う。Ｓ４０１２の処理と同じでありハウジング部１００ｂへの内部命令によりワイパー動作の停止を要求する。ワイパー動作を停止した後はＳ９１０７に移行し、ハウジング付きネットワークカメラ１００としての処理を終了する。
【００７８】
一方、洗浄操作アプリケーション３００は図９−ＡのＳ９０１３に至った時点で、物体検出部２０８がワイパーに対して出力する物体情報をワイパーテンプレート情報として収集し終えたことを意味する。
【００７９】
Ｓ９０１３では、収集したワイパーテンプレート情報を、Ｓ９００３で送信したワイパー動作開始コマンドに関連付ける。ＣＰＵ２０３ がワイパー動作開始コマンドを送信した際に、即座にワイパーテンプレート情報を読み出せるようにする管理テーブルをＤＲＡＭ２１０上に生成する。
【００８０】
ＤＲＡＭ２１０上の所定のアドレスに、図８に示す管理テーブルを生成することで実現できる。ワイパー動作開始コマンドに関する情報と、ワイパーテンプレート情報から成る管理テーブルとして保持する。これにより、ワイパー動作開始コマンド送信後に、物体情報を即座に利用できるようになる。
その後、Ｓ９０１４に移行することにより、洗浄操作アプリケーション３００としての処理が終了する。
【００８１】
以上の処理により、ユーザーが洗浄操作アプリケーション３００からワイパー動作開始コマンドの送信をきっかけとして、洗浄操作アプリケーション３００側でワイパーテンプレート情報を作成し、ワイパー動作開始コマンドに関連付けて保持する。
これにより、洗浄操作アプリケーション３００の物体検出機能を有効にした運用において、ユーザーが任意のタイミングでワイパー駆動を実行した場合でも、ワイパーテンプレート情報を用いる。そして、物体検出部２０８の出力から、ワイパーに関連する物体情報を、ワイパーテンプレート情報を用いて効率的に除去することが可能になる。この結果、モニタリングシステムのユーザーに対してワイパーの出現に伴う誤検知を軽減することが可能となる。
【００８２】
収集するワイパーテンプレート情報としては、図７に限定されるものではない。物体検出部２０８が出力する物体に関する色情報やテクスチャ情報などの視覚的な情報を収集する実装も考えられる。視覚的な情報も、収集するワイパーテンプレート情報に加えることで、より高い精度で物体検出部２０８の出力から、ワイパーに関連する物体情報を効率的に除去することが期待できる。
【００８３】
本実施形態では、収集するワイパーテンプレート情報の一つとして平均サイズ７０２を例に挙げたが、平均サイズに限定されるものではない。例えば、軌跡情報７０３のようにサイズ情報の履歴情報を記録する方法も考えられる。
【００８４】
図９に示すフローチャートの処理では、Ｓ９００８からＳ９０１０までの処理をワイパーが出現している間は継続する例を説明したが、これに限定されるものではない。物体が出現後の決められたタイミングにおける物体情報のみを収集することも考えられる。
【００８５】
また、図９に示すフローチャートの処理では、図３のモニタリングシステムを構築するタイミング、またはメンテナンスのタイミングで行うことが想定される。このことから、図９のフローチャートを処理する専用の動作モードを設けても構わない。
【００８６】
さらに、図９に示すフローチャートの処理では、Ｓ９００２で物体検出機能の起動処理を実行後、Ｓ９００３のワイパー動作開始コマンドの送信が行われている。物体検出を実現するアルゴリズムの中には、起動処理に時間を有するものも存在する。よって、Ｓ９００２を物体検出機能の起動が完了したことを確認後に実行する実装でも構わない。
本実施形態においては、物体検出手段の起動が完了したことを確認後に洗浄命令の送信が行なわれる。
【００８７】
本実施形態では、ワイパーに焦点を当てたものだが、ワイパーに限定されるものではない。ハウジング付きネットワークカメラ１００にはウォッシャー液噴射部１１１がある。ウォッシャー液の噴射により画面に出現するウォッシャー液に関するテンプレート情報を収集し、ウォッシャー液噴射コマンドに関連付けるといった処理も同様に可能である。
また、ワイパー動作とウォッシャー液噴射を同時に実行し、ワイパーとウォッシャー液に関するテンプレート情報を収集し、ワイパー動作開始コマンドとウォッシャー液噴射コマンドに関連付けるといった処理も同様に可能である。
【００８８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８９】
１００  ハウジング付きネットワークカメラ
１０１  レンズ部
１０２  撮像部
１０３  ＣＰＵ
１０４  映像処理部
１０５  ＤＲＡＭ
１０６  物体検出部
１０７  シリアル通信部
１０８  通信部
１０９  ワイパー部
１１０  ワイパー駆動部
１１１  ウォッシャー液噴射部
１１２  ウォッシャー液噴射制御部
１１３  シリアル通信部
１１４  ＣＰＵ
【図１】
2014093603.tif 000003
【図２】
2014093603.tif 000004
【図３】
2014093603.tif 000005
【図４】
2014093603.tif 000006
【図５】
2014093603.tif 000007
【図６】
2014093603.tif 000008
【図７】
2014093603.tif 000009
【図８】
2014093603.tif 000010
【図９】
2014093603.tif 000011