(57)【要約】【課題】背景画像が変化する動画または静止画からなる画像からリアルタイムで異常を検出する検出装置等を提供する。【解決手段】撮影手段は、動画及び静止画の少なくとも一方からなる画像を撮影するものとし、制御手段は、周期的に変化するように撮影手段の撮影状態を制御するものとし、検出装置は、撮影手段で撮影した画像と、その撮影時刻とを記録する撮影付帯情報記録部と、撮影時刻に基づき、同じ撮影状態の撮影手段で撮影した、異なる時刻の画像を比較し異常を検出する検出部とを含む。【選択図】図１
2020022083.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段は、動画及び静止画の少なくとも一方からなる画像を撮影するものとし、
制御手段は、周期的に変化するように前記撮影手段の撮影状態を制御するものとし、
前記撮影手段で撮影した画像と、その撮影時刻とを記録する撮影付帯情報記録部と、
前記撮影時刻に基づき、同じ撮影状態の前記撮影手段で撮影した、異なる時刻の前記画像を比較し異常を検出する検出部とを含む、
検出装置。
【請求項２】
撮影手段は、動画及び静止画の少なくとも一方からなる画像を撮影するものとし、
制御手段は、周期的に変化するように前記撮影手段の撮影状態を制御するものとし、
前記撮影手段で撮影した画像と、撮影時の前記撮影手段の撮影状態とを記録する撮影付帯情報記録部と、
前記撮影時の前記撮影手段の撮影状態に基づき、同じ撮影状態の前記撮影手段で撮影した、異なる時刻の前記画像を比較し異常を検出する検出部とを含む、
検出装置。
【請求項３】
請求項１または請求項２の検出装置であって、
前記制御手段は、1つ以上の所定の撮影状態に対応する所定の時刻、または、1つ以上の所定の撮影状態における前記撮影手段の撮影状態の変化の速度が、前記1つ以上の所定の撮影状態以外の撮影状態に対応する所定の時刻、または、前記1つ以上の所定の撮影状態以外の撮影状態における前記撮影手段の撮影状態の変化の速度よりも遅くなるように制御し、
前記検出部は、前記1つ以上の所定の撮影状態の前記撮影手段で撮影した、異なる時刻の前記画像を比較し異常を検出する、
検出装置。
【請求項４】
請求項１から請求項３の何れかの検出装置であって、
前記制御手段は、前記撮影手段を搭載した架台を制御することで、前記撮影手段の撮影状態を制御する、
検出装置。
【請求項５】
請求項１から請求項３の何れかの検出装置であって、
前記制御手段は、前記撮影手段を搭載した無人航空機を制御することで、前記撮影手段の撮影状態を制御する、
検出装置。
【請求項６】
撮影手段は、動画及び静止画の少なくとも一方からなる画像を撮影するものとし、
制御手段は、周期的に変化するように前記撮影手段の撮影状態を制御するものとし、
前記撮影手段で撮影した画像と、その撮影時刻とを撮影付帯情報記録部に記録する撮影付帯情報記録ステップと、
前記撮影時刻に基づき、同じ撮影状態の前記撮影手段で撮影した、異なる時刻の前記画像を比較し異常を検出する検出ステップとを含む、
検出方法。
【請求項７】
撮影手段は、動画及び静止画の少なくとも一方からなる画像を撮影するものとし、
制御手段は、周期的に変化するように前記撮影手段の撮影状態を制御するものとし、
前記撮影手段で撮影した画像と、撮影時の前記撮影手段の撮影状態とを撮影付帯情報記録部に記録する撮影付帯情報記録ステップと、
前記撮影時の前記撮影手段の撮影状態に基づき、同じ撮影状態の前記撮影手段で撮影した、異なる時刻の前記画像を比較し異常を検出する検出ステップとを含む、
検出方法。
【請求項８】
請求項１から請求項５の何れかの検出装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画及び静止画の少なくとも一方からなる画像から異常を検出する検出装置、その方法、およびプログラムに関する。
【背景技術】
【０００２】
従来のカメラによる自動監視は、一定の方向、画角の映像を継続的に撮影し、その映像の時間変化で異常を検出する（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】"How to Use Background Subtraction Methods", [online],[2018年7月9日検索],インターネット<URL: https://docs.opencv.org/master/d1/dc5/tutorial_background_subtraction.html>
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術の方式では、カメラで撮影する位置を固定する必要があり、カメラを旋回させて周囲を見渡す場合と比較して、カメラ１台あたりの監視範囲が大幅に狭くなるという問題がある。
【０００５】
例えば、海岸や河川に設置された防潮堤や港湾、または、空港の場周柵等、施設、設備が長大で監視範囲が広域に及ぶ場合、監視範囲が狭い固定カメラ運用では多数のカメラを設置する必要があり、自動監視システム導入の妨げとなっている。
【０００６】
しかしながら、旋回式のカメラ運用では、背景画像が変化するため、映像の時間変化で異常を検出することが困難である。そのため、旋回式のカメラを利用して、監視範囲が広域に及ぶ施設等を監視する場合には、人間が動画から異常を検出する必要がある。実際には、常に動画をチェックするのは異常の発生頻度に対してコストが大きすぎるため、異常があったという知らせがあった場合に、撮り溜めた動画から異常があったと思われる時間帯をチェックするという運用が一般的である。上述の理由から、旋回式のカメラを利用して撮影した動画から自動的にリアルタイムで異常を検出するという手法は実現することは難しい。なお、ここでいう異常とは、通常時とは異なる状態を意味し、例えば、本来、立ち入り禁止となっている場所や人通りの少ない場所に何らかの動体が侵入している状態や堤防等の建造物が何らかの要因（船舶の衝突や老朽化等）により破壊された状態等であり、動画の時間変化により検出可能な状態である。
【０００７】
本発明は、背景画像が変化する動画または静止画からなる画像からリアルタイムで異常を検出する検出装置、その方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様によれば、撮影手段は、動画及び静止画の少なくとも一方からなる画像を撮影するものとし、制御手段は、周期的に変化するように撮影手段の撮影状態を制御するものとし、検出装置は、撮影手段で撮影した画像と、その撮影時刻とを記録する撮影付帯情報記録部と、撮影時刻に基づき、同じ撮影状態の撮影手段で撮影した、異なる時刻の画像を比較し異常を検出する検出部とを含む。
【０００９】
上記の課題を解決するために、本発明の他の態様によれば、撮影手段は、動画及び静止画の少なくとも一方からなる画像を撮影するものとし、制御手段は、周期的に変化するように撮影手段の撮影状態を制御するものとし、検出装置は、撮影手段で撮影した画像と、撮影時の撮影手段の撮影状態とを記録する撮影付帯情報記録部と、撮影時の撮影手段の撮影状態に基づき、同じ撮影状態の撮影手段で撮影した、異なる時刻の画像を比較し異常を検出する検出部とを含む。
【発明の効果】
【００１０】
本発明によれば、背景画像が変化する動画または静止画からなる画像からリアルタイムで異常を検出することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】第一実施形態に係る広域自動監視システムの機能ブロック図。
【図２】第一実施形態に係る広域自動監視システムの処理フローの例を示す図。
【図３】撮影状態の変化例を示す図。
【図４】検出部における異常の検出例を説明するための図。
【図５】検出部における異常の検出例を説明するための図。
【図６】第一実施形態に係る変形例３の検出部の処理内容を説明するための図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。
【００１３】
＜第一実施形態＞
図１は第一実施形態に係る広域自動監視システムの機能ブロック図を、図２はその処理フローを示す。
【００１４】
広域自動監視システムは、事前プログラミング式の自動旋回制御機能付きの旋回式の監視カメラ１０と検出装置２０とを含む。
【００１５】
＜監視カメラ１０＞
事前プログラミング式の自動旋回制御機能付きの旋回式の監視カメラ１０は、架台に搭載されており、事前にプログラミングされた内容に従い、レンズの向きを左右に動かし（パン）、レンズの向きを上下に動かし（チルト）、望遠にしたり広角にしたり（ズーム）することができる。言い換えると、事前にプログラミングされた内容に従い、レンズの左右の角度、レンズの上下の角度、カメラの画角を制御することができる。なお、レンズの左右の角度及び上下の角度、カメラの画角を合わせてカメラの撮影状態ともいう。例えば、架台に取り付けられたステッピングモーター等に制御信号を送信し、作動させてレンズの左右の角度、上下の角度を制御し、カメラに制御信号を送信し、光学ズームまたはデジタルズームにより画角を制御する。
【００１６】
カメラを制御するプログラムは、例えば、事前プログラミング式の自動旋回制御機能付きの旋回式の監視カメラ１０内、または、検出装置２０内の図示しない記憶部に記憶しておく。監視カメラ１０内、または、検出装置２０内の図示しない制御手段は、記憶部からプログラムを取り出し、実行し、プログラムに従って、周期的に変化するように監視カメラ１０の撮影状態を制御する。
【００１７】
監視カメラ１０は、事前のプログラミングによって、所定の位置を撮影するように制御してもよい。プログラムによって、同じ処理を繰り返すため、プログラムの開始や初期撮影状態から所定の時間が経過すると、所定の撮影状態になるように（所定の位置を撮影するように）制御される。言い換えると、所定の撮影状態に対応する所定の時刻が決まっている。事前にプログラミングされた内容によりカメラの撮影状態を制御する方法としては様々なものが考えられる。例えば、
(i)ルートとレンズの移動速度、画角の変更速度とを予め決めておき、それに従い撮影する、
(ii)所定の撮影状態を予め1つ以上決めておき、各所定の撮影状態で撮影する、
ように制御する。(i)の方法であれば、経過時間からカメラの撮影状態とその画像を特定することができ、(ii)の場合には、予め、ある撮影状態（例えば初期状態）から所定の撮影状態になるまでにかかる時間を計測しておけば、経過時間から所定の撮影状態とその画像を特定することができる。なお、(A)経過時間をある撮影状態(例えば初期状態や各所定の撮影状態)でリセットし、その撮影状態からの経過時間で画像を取得してもよいし、(B)経過時間をリセットせずに撮影開始時からの経過時間で画像を取得してもよい(周期が変わらないため、例えば、経過時間を周期で割ったときの剰余から所定の撮影状態とその画像を特定することができる)。
【００１８】
図３の例では、矢印９０のようにレンズを動かし、１度の周期で7つの画像ｔ−１〜ｔ−７を取得するものとする。なお、ｔは周期を示すインデックスとし、t周期目に得られる画像をｔ−１〜ｔ−７と表す。画像ｔ−１〜ｔ−３へはレンズの向きを下に動かすとともに、広角に変更する。画像ｔ−３〜ｔ−７へはレンズの向きを右に動かす。画像ｔ−７を撮影した後に、矢印９８のように画像ｔ−１へ戻り、次の周期に移行する。なお、矢印９９のようにレンズを動かし、画像ｔ−７〜ｔ−１に対応する画像ｔ−８〜ｔ−１４を取得する構成とし、一度の周期で14個の画像を取得する構成としてもよい。
【００１９】
監視カメラ１０は、監視対象を撮影し（Ｓ１０）、撮影した動画を出力する。なお、動画を構成する全ての画像を出力せずとも、その一部を出力すればよい。例えば、動画には少なくとも画像ｔ−１〜ｔ−７が含まれる。
【００２０】
＜検出装置２０＞
検出装置２０は、撮影付帯情報記録部２１と、検出部２３とを含む。
【００２１】
検出装置２０は、監視カメラ１０が撮影した動画を入力とし、動画の異常を検出し、検出結果を出力する。なお、監視カメラ１０と検出装置２０とは有線により接続されていてもよいし、無線により接続されていてもよい。また、直接接続されてもよいし、他の装置を介して接続されてもよい。さらに、検出装置２０は、監視カメラ１０に内蔵されていてもよい。
【００２２】
検出装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。検出装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。検出装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。検出装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。検出装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも検出装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、検出装置の外部に備える構成としてもよい。
【００２３】
以下、各部について説明する。
【００２４】
＜撮影付帯情報記録部２１＞
撮影付帯情報記録部２１は、動画と動画撮影時の時刻（例えば、タイムスタンプ）とを記憶する（Ｓ２１）。例えば、動画に含まれる少なくとも画像ｔ−１〜ｔ−７とその画像撮影時の時刻（タイムスタンプ）とを記憶する。
【００２５】
なお、監視カメラ１０が動画とともに動画撮影時の時刻を出力する場合には、撮影付帯情報記録部２１は、動画とともに動画撮影時の時刻を入力として受け取り、動画と動画撮影時の時刻との組合せを撮影付帯情報記録部２１に記憶する。監視カメラ１０が動画のみを出力し、動画撮影時の時刻を出力しない構成の場合には、撮影付帯情報記録部２１は、動画を受け取った時刻を動画撮影時の時刻とし、動画と動画撮影時の時刻との組合せを撮影付帯情報記録部２１に記憶する。なお、この場合、検出装置２０は、時刻を取得する手段(例えばNTP(Network Time Protocol)クライアント機能)を備え、撮影付帯情報記録部２１は動画を受け取った時刻を取得できるものとする。
【００２６】
＜検出部２３＞
検出部２３は、撮影付帯情報記録部２１から動画と動画撮影時の時刻との組合せを取り出し、撮影時刻に基づき、同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像を比較し異常を検出し（Ｓ２３）、検出結果を出力する。
【００２７】
前述の通り、プログラム制御の開始や初期撮影状態から所定の時間が経過すると、所定の撮影状態になるように制御されているため、撮影時刻に基づき、同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像を特定することができる。例えば、図３の場合、初期撮影状態を画像ｔ−１を取得できる撮影状態とすると、初期撮影状態から、矢印９０のようにレンズを動かし、１周期目のs1(例えば10)秒後において画像１−１を取得し、s2(例えば20)秒後において画像１−２を取得し、s3（例えば30）秒後において画像１−３を取得し、s4（例えば40）秒後において画像１−４を取得し、s5（例えば50）秒後において画像１−５を取得し、s6（例えば60）秒後において画像１−６を取得し、s7(例えば70)秒後において画像１−７を取得し、矢印９８のようにレンズを動かし、同様に2周期目の初期撮影状態の時刻からs1〜s7秒後において画像２−１〜２−７を取得する。この場合、画像ｔ−ｉと画像ｔ’−ｉとは同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像となり、撮影時刻に基づき2個の画像を特定することができる。ただし、ｉは画像を示すインデックスであり、i=1,2,…,7とし、ｔ’は周期を示すインデックスであり、ｔ≠ｔ’とする。なお、これは同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像を撮影時刻に基づき特定する方法の一例であって、制御の仕方に基づき様々な特定方法が考えられる。例えば、画像ｔ−７のレンズ位置から、矢印９９のようにレンズを動かし、画像ｔ−７〜ｔ−１に対応する画像ｔ−８〜ｔ−１４を取得する場合、画像ｔ−ｉと画像ｔ’−ｉとが同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像となり、さらに、画像ｔ−ｉと画像ｔ−（１４−ｉ＋１）とが同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像となる。
【００２８】
従来の旋回式の運用では、背景画像が変化するため、映像の時間変化で異常を検出することが困難である。そこで、本実施形態では、周期的に変化する背景画像に着目し、周期的に変化する背景場像の中で同じ背景画像となるタイミングで画像の変化を検出し、異常を検出する。
【００２９】
同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像を比較する際に、リアルタイムで取得した画像（最新の画像）と比較元画像とを比較するが、このとき、比較元画像としては様々なものが考えられる。以下、比較元画像の取得方法の例を２つ示す。
【００３０】
（取得方法１）
事前にプログラムにより監視カメラ１０を自動巡回撮影させ、動画と動画撮影時の時刻とを比較元画像として取得する。例えば、建造物等を監視する場合には、建造直後に比較元画像を取得することで、老朽化による変化等も異常として検知することができる。また、季節や時刻（例えば朝、昼、夜）により背景画像が変わる場合には、季節毎や時刻毎に比較元画像を取得し、リアルタイムで取得した画像の取得した季節や時刻に合わせて比較元画像を変更してもよい。
【００３１】
動画の全フレーム（全画像）を比較元画像として取得してもよいし、図３のように一部のフレーム（一部の画像）を比較元画像として抽出してもよい。なお、抽出する割合は必要とする精度に応じて適宜設定すればよく、少なくとも監視対象全体を確認できる割合で抽出すればよい。本実施形態では、図３のように一部の画像を抽出するものとする。
【００３２】
（取得方法２）
過去にリアルタイムで取得した画像を比較元画像とする。例えば、1周期前の画像（ｔ−１）−ｉを比較元画像とする。また、過去にリアルタイムで取得したu個以上の画像（ｔ−１）−ｉ、（ｔ−２）−ｉ、…、（ｔ−ｕ）−ｉの平均や加重平均（例えば現在に近い画像の重みを大きくする）を比較元画像としてもよい。また、比較元画像の更新は、新たな画像を取得する度に行ってもよいし、所定の時間間隔(１分、１０分、１時間、１日)経過毎に行ってもよい。このような構成とすることで、取得方法１のように別途比較元画像を取得する手間を省略することができる。また、季節毎や時刻毎に比較元画像を取得する手間も省略することができる。なお、本取得方法においても取得方法１で説明したように動画の全フレーム（全画像）を比較元画像として取得してもよいし、図３のように一部のフレーム（一部の画像）を比較元画像として抽出してもよい。このとき、一部の画像を抽出する場合には、抽出する比較元画像の画像撮影時の時刻を予め指定しておいてもよい。
【００３３】
何れの方法により比較元画像を取得したとしても、異常を検知することはできる。ただし、老朽化による変化等により、徐々に建造物が変形する場合には取得方法１で取得した比較元画像を用いたほうが状態異常を検知しやすい。取得方法２の場合には、変形した状態を比較元画像としてしまうため、徐々に生じる変形を検知できない場合がある。
【００３４】
なお、比較元画像は、図示しない記憶部または撮影付帯情報記録部２１に記憶しておく。
【００３５】
（検出処理）
検出部２３は、上述の方法で取得した比較元画像と、撮影付帯情報記録部２１から取り出した動画と動画撮影時の時刻との組合せとを用いて、同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像を比較する。例えば、２つの画像の差分を求め、差分が所定の閾値を超える場合に、異常として検出し、検出結果を出力する。例えば、図４のように異常が発生した場合には、比較元画像０−４とリアルタイムで取得した画像ｔ−４との差分が大きくなり、異常として検出する（図５参照）。なお、「画像を比較する」方法としては、画像同士を直接比較する方法以外に、画像から得られる特徴量を比較する方法等が考えられる。特徴量を比較する方法の場合には、比較元画像から特徴量を抽出し、記憶しておき、リアルタイムで取得した画像から特徴量を抽出し、特徴量同士を比較することで、画像を比較する。
【００３６】
（検出結果の出力）
検出結果の出力方法としては、どのような方法を用いてもよい。例えば、監視カメラ１０で撮影した動画をディスプレイ等の表示手段に表示し、動画に異常を検出した旨を知らせるメッセージや画像を重畳して表示してもよいし、差異が大きい部分を明示的に表示（動画には使われていない色の太線等で囲むなど）してもよい。また、異常を検出した旨を知らせる警告音等をスピーカから鳴らしてもよいし、異常を検出した旨を知らせる回転灯等を作動させてもよし、これらを組合せてもよい。
【００３７】
＜効果＞
以上の構成により、背景画像が変化する動画に含まれる画像からリアルタイムで異常を検出することができる。この監視システムの利用者は、常に動画をチェックせずとも、ディスプレイの表示や警告音、回転灯等により、リアルタイムで異常を知ることができる。
【００３８】
＜変形例１＞
第一実施形態と異なる部分を中心に説明する。
【００３９】
本実施形態では、事前プログラミング式の自動旋回制御機能付きの旋回式の監視カメラ１０が、事前にプログラミングされた内容に従い、時間的な揺らぎもなく、撮影状態を制御することができるものとして説明した。しかし、実際の撮影の際には、風などの外的要因や自動旋回制御機能付きの旋回式の監視カメラ１０の機械的精度や経年劣化等の機械的問題(以下、外的要因等ともいう)により自動旋回動作に時間的な揺らぎが発生する場合がある。例えば、通常の周期（比較元画像を取得した際の周期）が100秒にも関わらず、外的要因等により、周期が90秒や110秒になる場合がある。この場合には、比較元画像とリアルタイムで取得した画像とを適切に比較することができない。例えば、動画のフレームレートが30fpsであり、比較元画像を取得した際の周期が100秒の場合には、1周期で3000個の画像を取得する。外的要因等により、リアルタイムで取得した画像の周期が90秒、110秒になった場合には、それぞれ2700個、3300個の画像を取得する。このとき、ある周期の開始からy秒後にリアルタイムで取得した画像と、周期の開始からy秒後の比較元画像とでは、異なる位置を撮影している可能性があり、適切に比較することができない。
【００４０】
本変形例の検出部２３は、リアルタイムで画像を取得する際の周期aと、比較元画像を取得した際の周期bとから、リアルタイムで取得した画像の撮影時の時刻yを補正する。例えば、補正後の時刻をy'とすると、
y'=y×(b/a)
により補正後の時刻y'を求める。なお、事前プログラミング式の自動旋回制御機能付きの旋回式の監視カメラ１０または検出装置２０は、ある撮影状態（例えば初期撮影状態）から他の撮影状態を経て再度ある撮影状態に戻るまでの時間（周期）を取得できるものとする。
【００４１】
＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができる。さらに、自動旋回動作に時間的な揺らぎが発生した場合であっても、異常を検知することができる。
【００４２】
＜変形例２＞
第一実施形態と異なる部分を中心に説明する。
【００４３】
上述の変形例１では、リアルタイムで取得した画像の撮影時の時刻yを補正しているが、自動旋回動作の速さが一定とは限らないため、補正後の時刻の撮影状態が、比較元画像の撮影状態と必ずしも一致するとは限らない。そこで本変形例では、画像間の類似度を利用する。
【００４４】
検出部２３は、各比較元画像とリアルタイムで取得した画像との類似度を計算し、各比較元画像に対して最も類似度が高いものを取得し、比較元画像と取得した画像とを比較する。
【００４５】
検出部２３は、撮影付帯情報記録部２１から動画と動画撮影時の時刻との組合せを取り出す。例えば、動画のフレームレートが30fpsであり、周期が100秒の場合には、1周期で3000個の画像を取得する。外的要因等により、周期が90秒、110秒になった場合には、それぞれ2700個、3300個の画像を取得する。
【００４６】
検出部２３は、各比較元画像(図３の場合は全7個)と全てのリアルタイムで取得した画像(例えば3000個、2700個または3300個)との類似度を計算し、各比較元画像に対して最も類似度が高いものを取得し、比較元画像と取得した画像と比較すればよい。
【００４７】
なお、各比較元画像に対して時間的な揺らぎの範囲を想定しうるのであれば、その範囲の中でのみ類似度を計算し、最も類似度が高いものを取得してもよい。例えば、比較元画像０−１が、初期撮影状態から、レンズを動かし、s1(例えば10)秒後において取得したものであり、初期撮影状態からの比較元画像０−１の撮影状態に移動するまでに生じうる時間的な揺らぎが多くとも1秒以内の場合には、初期撮影状態からレンズを動かし、s1(例えば10)秒後の前後1秒以内にリアルタイムで取得した画像(初期撮影状態に対応する画像から数えて270〜330番目の画像)と、比較元画像０−１との類似度のみを計算し、最も類似度が高いものを取得し、比較元画像０−１と比較すればよい。
【００４８】
また、比較元画像は時系列に並んでいるため、ある比較元画像０−ｉと比較する画像ｔ−ｉを取得した場合には、次の比較元画像０−（ｉ＋１）と類似度を計算する画像は画像ｔ−ｉよりも時間的に後の画像に限定してもよい。
【００４９】
＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができる。さらに、自動旋回動作に時間的な揺らぎが発生した場合であっても、異常を検知することができる。さらに、自動旋回動作の速さが一定でない場合であっても対応できる。ただし、図５の画像ｔ−５，ｔ−６のように監視対象によっては、画像の位置が違うにも関わらず、画像が類似する場合もあり、そのような場合には、変形例１の手法を選択するほうがよい。
【００５０】
＜変形例３＞
第一実施形態と異なる部分を中心に説明する。
【００５１】
自動旋回動作に時間的な揺らぎが発生した場合、検出部２３が取り出した撮影付帯情報記録部２１から動画と動画撮影時の時刻との組合せの中に、比較元画像の撮影時刻に対応する時刻にリアルタイムで取得した画像が存在しないことがある。そのような場合には、検出部２３は、(A)「比較元画像を取得する際の初期撮影状態における時刻から比較元画像を取得する取得時刻までに経過した時間」と「リアルタイムで画像を取得する際の初期撮影状態における時刻から画像を取得する取得時刻までに経過した時間」との差分が所定の閾値より小さいまたは所定の閾値以下の場合には、二つの画像を比較する。一方、検出部２３は、(B)「比較元画像を取得する際の初期撮影状態における時刻から比較元画像を取得する取得時刻までに経過した時間」と「リアルタイムで画像を取得する際の初期撮影状態における時刻から画像を取得する取得時刻までに経過した時間」との差分が所定の閾値以上または所定の閾値より大きい場合には、「比較元画像を取得する際の初期撮影状態における時刻から比較元画像を取得する取得時刻までに経過した時間」と「リアルタイムで画像を取得する際の初期撮影状態における時刻から画像を取得する取得時刻までに経過した時間」との差分が最も小さい2つの画像を合成し、合成した画像と比較元の画像を比較する（図６参照）。例えば、差分が最も小さくなるように2つの画像を重ね合わせて合成し、比較元画像と比較できるように不要な部分を削除したものを前述の合成した画像とする。このとき、合成した画像に対応する仮想的な撮影状態と、比較元画像に対応する撮影状態とが同じ撮影状態となる。
【００５２】
＜変形例４＞
本変形例では、監視カメラ１０内、または、検出装置２０内の図示しない制御手段が、1つ以上の所定の撮影状態に対応する所定の時刻の変化の速度が、1つ以上の所定の撮影状態以外の撮影状態に対応する所定の時刻の変化の速度よりも遅くなるように制御する。例えば、画像ｔ−１〜ｔ−７を取得する撮影状態に対応する時刻でのレンズの移動速度を、他の時刻の移動速度よりも遅くし、取得する画像ｔ−１〜ｔ−７の質を高めることができる。さらに、事前に行うプログラミングにおいて、画像ｔ−１〜ｔ−７を取得する際には撮影状態を固定してもよい。
【００５３】
このときに、固定時間により時間的な揺らぎを吸収するように制御してもよい。例えば、図３の画像ｔ−１を取得しうる撮影状態から画像１−２を取得しうる撮影状態まで、撮影状態を変化させる際に、外的要因等がなければ10秒かかり、外的要因等がある場合には最大2秒の遅れが生じる場合には、画像ｔ−１を取得しうる撮影状態から画像１−２を取得しうる撮影状態まで、撮影状態を変化させ、画像ｔ−１を取得しうる撮影状態から12秒後に画像１−２を取得するように制御する。このような構成とすることで、外的要因等があったとしても、画像１−２を取得しうる撮影状態になった後で、画像１−２を取得することができる。
【００５４】
本実施形態では、利用者が画像ｔ−１〜ｔ−７に対応する監視箇所を1つのディスプレイでチェックできるように、画像の移動速度を人間が認識できる速度に抑える必要があるが、本実施形態では、7つのディスプレイを用意し、各ディスプレイに画像ｔ−１〜ｔ−７を表示する構成としてもよい。この場合には、画像ｔ−１〜ｔ−７を取得する撮影状態では停止し、それ以外の撮影状態では人間が認識できるか否かに関わらず、高速で撮影状態を変更する。例えば、周期を1秒にし、7個のディスプレイに1秒ごとに取得する画像ｔ−１〜ｔ−７を表示する。従来の固定カメラ運用では7台のカメラを設置する必要があるが、この構成の場合には1台のカメラを設置すればよい。この場合、画像ｔ−１〜ｔ−７を取得する撮影状態以外の撮影状態(要は、レンズの向きや画角を変更している状態)では撮影を停止する構成としてもよい。
【００５５】
＜その他の変形例＞
本実施形態及びその変形例では、動画を撮影するものとして説明したが、静止画を撮影しても同様の効果を得ることができる。要は、同じ撮影状態のカメラで撮影した、異なる時刻の画像を用いればよい。
【００５６】
本実施形態では、動画（連続して変化する静止画像を高速に切り替え続けると人間の視覚の錯覚として静止画が動いているように見えるベータ運動を利用した表現様式）に含まれる一部の画像（フレーム）ｔ−ｉに基づき検出処理を行うが、動画に含まれる全ての画像（フレーム）ｔ−ｉに基づき検出処理を行ってもよい。
【００５７】
本実施形態では、レンズの左右の角度、レンズの上下の角度、カメラの画角を合わせてカメラの撮影状態としたが、レンズの左右の角度、レンズの上下の角度、カメラの画角の少なくとも何れかが変化すればよい。そのため、撮影状態とはレンズの左右の角度、レンズの上下の角度、カメラの画角の少なくとも何れかの状態（変化するものの状態）を示す情報であればよい。
【００５８】
＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。
【００５９】
第一実施形態の変形例１〜３で説明した方法によっても、必ずしも時間的な揺らぎによる誤差を解消できない。そこで、本実施形態では、撮影時のカメラの撮影状態を使ってリアルタイムで取得した画像を特定する。
【００６０】
事前プログラミング式の自動旋回制御機能付きの旋回式の監視カメラ１０は、所定の撮影状態を示す制御信号に基づき、その撮影状態になるようにレンズの左右の角度、上下の角度、カメラの画角を制御する。
【００６１】
本実施形態では、監視カメラ１０は、(i)所定の周期でまたは撮影状態を変更する度に監視カメラ１０自体の撮影状態を、(ii)制御信号の示す所定の撮影状態への変更が完了すると、完了したことを示す信号(監視カメラ１０自体の撮影状態ではない)を、または、(iii)制御信号の示す所定の撮影状態への変更が完了すると、完了時点の監視カメラ１０自体の撮影状態を出力するものとする。上述の(i),(iii)の場合には、監視カメラ１０が出力する監視カメラ１０自体の撮影状態を利用し、上述の(ii)の場合には、制御信号を利用して、監視カメラ１０の撮影状態を特定する(要は、監視カメラ１０が制御信号の示す撮影状態であるものとして処理を行う)。なお、制御信号は、検出装置２０から出力されてもよいし、監視カメラ１０内から出力されてもよい。
【００６２】
＜撮影付帯情報記録部２１＞
撮影付帯情報記録部２１は、動画と動画撮影時のカメラの撮影状態とを記憶する（Ｓ２１）。例えば、動画に含まれる少なくとも図３の画像ｔ−１〜ｔ−７とその画像撮影時のカメラの撮影状態とを記憶する。なお、第一実施形態のように、動画撮影時のカメラの撮影時刻を含んでもよい。
【００６３】
なお、監視カメラ１０が動画とともに動画撮影時のカメラの撮影状態を出力する場合(上述の(i),(iii)の場合)には、撮影付帯情報記録部２１は、動画とともに動画撮影時のカメラの撮影状態とを入力として受け取り、動画と動画撮影時のカメラの撮影状態との組合せを撮影付帯情報記録部２１に記憶する。監視カメラ１０が動画と制御信号の示す所定の撮影状態への変更が完了したことを示す信号のみを出力し、動画撮影時の撮影状態を出力しない構成の場合(上述の(ii)の場合)には、撮影付帯情報記録部２１は、制御信号の示す所定の撮影状態を動画撮影時の撮影状態とし、動画と動画撮影時の時刻との組合せを撮影付帯情報記録部２１に記憶する。
【００６４】
＜検出部２３＞
検出部２３は撮影付帯情報記録部２１から動画と撮影状態との組合せを取り出し、撮影状態に基づき、同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像を比較し異常を検出し（Ｓ２３）、検出結果を出力する。
【００６５】
本実施形態では、撮影状態自体を取得し、同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像を特定することができる。例えば、図３の場合、初期撮影状態を画像ｔ−１を取得できる撮影状態とすると、初期撮影状態から、矢印９０のようにレンズを動かし、撮影時刻に関わらず、t週目の各撮影状態において画像ｔ−１〜ｔ−７を取得する。この場合、画像ｔ−ｉと画像ｔ’−ｉとは同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像となり、撮影時刻に基づき2個の画像を特定することができる。なお、これは同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像を撮影時刻に基づき特定する方法の一例であって、制御の仕方に基づき様々な特定方法が考えられる。例えば、画像ｔ−７のレンズ位置から、矢印９９のようにレンズを動かし、画像ｔ−７〜ｔ−１に対応する画像ｔ−８〜ｔ−１４を取得する場合、画像ｔ−ｉと画像ｔ’−ｉとが同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像となり、さらに、画像ｔ−ｉと画像ｔ−（１４−ｉ＋１）とが同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像となる。
【００６６】
このような構成により、第一実施形態と同様に、周期的に変化する背景場像の中で同じ背景画像となるタイミングで画像の変化を検出し、異常を検出することができる。
【００６７】
同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像を比較する際に、リアルタイムで取得した画像（最新の画像）と比較元画像とを比較するが、このとき、比較元画像としては第一実施形態と同様に様々なものが考えられる。比較元画像は、動画撮影時の時刻に代えて、動画撮影時の撮影状態を用いることで、第一実施形態と同様の取得方法で取得することができる。検出処理、検出結果の出力についても第一実施形態と同様である。
【００６８】
＜効果＞
以上の構成により、第一実施形態と同様の効果を得ることができる。さらに、本実施形態では、撮影時のカメラの撮影状態を使ってリアルタイムで取得した画像を特定するため、時間的な揺らぎを考慮する必要がない。なお本実施形態と第一実施形態の変形例４やその他の変形例とを組合せてもよい。
【００６９】
＜変形例＞
第二実施形態と異なる部分を中心に説明する。
【００７０】
本実施形態では、事前プログラミング式の自動旋回制御機能付きの旋回式の監視カメラ１０を用いて、動画を撮影するが、本変形例では、事前プログラミング式のオートパイロット機能付きの監視カメラ１０を用いる。監視カメラ１０は、無人航空機に搭載されており、事前にプログラミングされた内容に従い、航行して位置を変更し、レンズの向きを左右に動かし、レンズの向きを上下に動かし、望遠にしたり広角にすることができる。言い換えると、事前にプログラミングされた内容に従い、監視カメラ１０自体の位置、レンズの左右の角度、上下の角度、カメラの画角を制御することができる。なお、本実施形態では、監視カメラ１０自体の位置、レンズの左右の角度及び上下の角度、カメラの画角を合わせてカメラの撮影状態ともいう。例えば、無人航空機に制御信号を送信し、無人航空機の位置及び姿勢を制御することで、監視カメラの位置、レンズの左右の角度、上下の角度を制御し、カメラに制御信号を送信し、光学ズームまたはデジタルズームにより画角を制御する。なお、オートパイロット機能付きの監視カメラ１０は、GPS(Global Positioning System)等を使って自身の位置を取得することができ、ジャイロセンサや地磁気センサ等を使って自身の姿勢（レンズの左右の角度、上下の角度）を取得することができ、画角制御機構から自身の画角を取得することができる。
【００７１】
カメラを制御するプログラムは、例えば、事前プログラミング式のオートパイロット機能付きの監視カメラ１０内、または、検出装置２０内の図示しない記憶部に記憶しておく。監視カメラ１０内、または、検出装置２０内の図示しない制御手段は、記憶部からプログラムを取り出し、実行し、プログラムに従って、周期的に変化するように監視カメラ１０の撮影状態を制御する。
【００７２】
監視カメラ１０は、事前のプログラミングによって、所定の位置を撮影するように制御してもよい。
【００７３】
無人航空機の場合には、架台に搭載され旋回する監視カメラに比べ、外的要因等により時間的な揺らぎが発生しやすい。そのため、検出部２３では、撮影時間ではなく、撮影状態に基づき、同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像を比較し異常を検出する。ただし、所定の時刻において、所定の撮影状態になるように制御することができる場合には、第一実施形態と同様に、検出部２３では、撮影時間に基づき、同じ撮影状態の監視カメラ１０で撮影した、異なる時刻の画像を比較し異常を検出してもよい。
【００７４】
＜効果＞
このような構成とすることで、第二実施形態と同様の効果を得ることができる。さらに、事前プログラミング式のオートパイロット機能付きの監視カメラ１０を用いることで、柔軟に航路を変更することができる。
【００７５】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００７６】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００７７】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００７８】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００７９】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８０】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2020022083.tif 000003
【図２】
2020022083.tif 000004
【図３】
2020022083.tif 000005
【図４】
2020022083.tif 000006
【図５】
2020022083.tif 000007
【図６】
2020022083.tif 000008
【手続補正書】
【提出日】令和1年11月11日(2019.11.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影手段は、動画及び静止画の少なくとも一方からなる画像を撮影するものとし、
制御手段は、周期的に変化するように前記撮影手段の撮影状態を制御するものとし、
前記撮影手段で撮影した画像と、撮影時の前記撮影手段の撮影状態とを記録する撮影付帯情報記録部と、
前記撮影時の前記撮影手段の撮影状態に基づき、同じ撮影状態の前記撮影手段で撮影した、異なる時刻の前記画像を比較し異常を検出する検出部とを含み、
前記撮影付帯情報記録部は、前記撮影手段が出力する前記撮影手段自体の撮影状態を記憶する、
検出装置。
【請求項２】
請求項１の検出装置であって、
前記制御手段は、1つ以上の所定の撮影状態に対応する所定の時刻、または、1つ以上の所定の撮影状態における前記撮影手段の撮影状態の変化の速度が、前記1つ以上の所定の撮影状態以外の撮影状態に対応する所定の時刻、または、前記1つ以上の所定の撮影状態以外の撮影状態における前記撮影手段の撮影状態の変化の速度よりも遅くなるように制御し、
前記検出部は、前記1つ以上の所定の撮影状態の前記撮影手段で撮影した、異なる時刻の前記画像を比較し異常を検出する、
検出装置。
【請求項３】
請求項１または請求項２の検出装置であって、
前記制御手段は、前記撮影手段を搭載した架台を制御することで、前記撮影手段の撮影状態を制御する、
検出装置。
【請求項４】
請求項１または請求項２の検出装置であって、
前記制御手段は、前記撮影手段を搭載した無人航空機を制御することで、前記撮影手段の撮影状態を制御し、
前記撮影状態は、前記無人航空機の位置及び姿勢を含む、
検出装置。
【請求項５】
撮影手段は、動画及び静止画の少なくとも一方からなる画像を撮影するものとし、
制御手段は、周期的に変化するように前記撮影手段の撮影状態を制御するものとし、
前記撮影手段で撮影した画像と、撮影時の前記撮影手段の撮影状態とを撮影付帯情報記録部に記録する撮影付帯情報記録ステップと、
前記撮影時の前記撮影手段の撮影状態に基づき、同じ撮影状態の前記撮影手段で撮影した、異なる時刻の前記画像を比較し異常を検出する検出ステップとを含み、
前記撮影付帯情報記録部は、前記撮影手段が出力する前記撮影手段自体の撮影状態を記憶する、
検出方法。
【請求項６】
請求項１から請求項４の何れかの検出装置として、コンピュータを機能させるためのプログラム。