(57)【要約】【課題】映像が一つの静止画像であり検知対象物が当該静止画像に映っているか否かに関わらず検知対象領域の導出を可能とする。【解決手段】映像解析支援装置が、入力された画像座標系の映像を基に、該当領域を推定し且つカメラパラメータを算出する。当該装置が、該当領域の座標を算出されたカメラパラメータを用いて画像座標から世界座標に変換することで世界座標系の該当領域を導出し、当該導出された該当領域を基に世界座標系の検知対象領域を導出し、当該導出された検知対象領域の座標を上記算出されたカメラパラメータを用いて世界座標から画像座標に変換することで画像座標系の検知対象領域を導出する。【選択図】  図１
2020135152.tif 000002
【特許請求の範囲】
【請求項１】
カメラにより撮影された画像座標系の映像を入力する映像入力部と、
当該入力された画像座標系の映像を基に当該映像における該当領域を推定する領域推定部と、
前記推定された該当領域の座標をカメラパラメータを用いて画像座標から世界座標に変換することで世界座標系の該当領域を導出し、当該導出された該当領域を基に世界座標系の検知対象領域を導出し、当該導出された検知対象領域の座標を前記カメラパラメータを用いて世界座標から画像座標に変換することで画像座標系の検知対象領域を導出する領域導出部と
を備える映像解析支援装置。
【請求項２】
前記世界座標系の検知対象領域の導出は、前記世界座標系の該当領域の世界座標変更に関するルールである設定ルールを当該該当領域に適用することである、
請求項１に記載の映像解析支援装置。
【請求項３】
前記領域導出部は、前記世界座標系の該当領域の変更後の世界座標を決める情報の指定を受け付けるユーザインターフェースである設定ＵＩを提供し、
前記適用される設定ルールは、前記設定ＵＩを介して指定された情報に従う設定ルールである、
請求項２に記載の映像解析支援装置。
【請求項４】
前記領域導出部は、前記設定ＵＩを介して指定された情報に従う設定ルールを用いて導出された世界座標系の検知対象領域と当該世界座標系の検知対象領域に基づく画像座標系の検知対象領域とのうちの少なくとも一つを出力するユーザインターフェースである領域ＵＩを提供する、
請求項３に記載の映像解析支援装置。
【請求項５】
前記領域導出部は、前記指定された情報が前記設定ＵＩを介して変更された場合、当該変更された情報に従う設定ルールに基づき、前記領域ＵＩに出される領域を変更する、
請求項４に記載の映像解析支援装置。
【請求項６】
前記領域導出部は、前記世界座標系の検知対象領域と前記画像座標系の検知対象領域のうちの少なくとも一つと当該領域の導出に使用され当該領域に関連付けられカメラパラメータとを記憶装置に格納し、
前記領域導出部は、前記領域ＵＩに出力される領域に関連付けられているカメラパラメータを出力し当該カメラパラメータの変更を受け付けるユーザインターフェースであるカメラパラメータＵＩを提供する、
請求項４に記載の映像解析支援装置。
【請求項７】
前記領域導出部は、前記指定された情報が前記設定ＵＩを介して変更された場合と前記カメラパラメータＵＩを介してカメラパラメータが変更された場合との少なくとも一つの場合、当該変更に基づき、前記領域ＵＩに出される領域を変更する、
請求項６に記載の映像解析支援装置。
【請求項８】
複数の時間帯の各々について、当該時間帯に関し一つまたは複数の世界座標系の検知対象領域をそれぞれ導出することに適用される一つまたは複数の設定ルールがあり、
前記領域導出部は、世界座標系の検知対象領域を設定するときの時刻に属する時間帯に対応した一つ以上の設定ルールを用いて一つ以上の世界座標系の検知対象領域を導出する、
請求項２に記載の映像解析支援装置。
【請求項９】
前記領域導出部は、前記カメラによる撮影される範囲に関わる情報の指定を受け付けるユーザインターフェースである設定ＵＩを提供し、
前記適用される設定ルールは、前記設定ＵＩを介して指定された情報から決定された設定ルールである、
請求項２に記載の映像解析支援装置。
【請求項１０】
前記設定ＵＩを介して指定される情報は、下記のうちの少なくとも一つ、
撮影時刻、
撮影場所、
撮影時刻および撮影場所における天候、および、
検知対象物のサイズ、または当該サイズに影響する対象物属性、
である、
請求項９に記載の映像解析支援装置。
【請求項１１】
前記導出された画像座標系の検知対象領域を用いて、撮影され入力された画像座標系の映像に検知対象物が映っているか否かの判断を含む映像解析処理を行う映像解析部、
を更に備える請求項１に記載の映像解析支援装置。
【請求項１２】
前記入力された映像を基に、カメラパラメータを算出するカメラパラメータ算出部を更に備え、
前記世界座標系の該当領域の導出と前記画像座標系の検知対象領域の導出との各々において用いられるカメラパラメータは、前記算出されたカメラパラメータである、
請求項１に記載の映像解析支援装置。
【請求項１３】
前記領域導出部は、前記世界座標系の検知対象領域と前記画像座標系の検知対象領域のうちの少なくとも一つと当該領域の導出に使用され当該領域に関連付けられカメラパラメータとを記憶装置に格納し、
前記領域導出部は、前記画像座標系の検知対象領域に関連付けられているカメラパラメータが、算出されたカメラパラメータと異なっていれば、当該算出されたカメラパラメータに基づき、前記記憶装置内の画像座標系の検知対象領域を変更する、
請求項１２に記載の映像解析支援装置。
【請求項１４】
カメラにより撮影された画像座標系の映像を入力し、
当該入力された画像座標系の映像を基に当該映像における該当領域を推定し、
前記推定された該当領域の座標をカメラパラメータを用いて画像座標から世界座標に変換することで世界座標系の該当領域を導出し、
当該導出された該当領域を基に世界座標系の検知対象領域を導出し、
当該導出された検知対象領域の座標を前記カメラパラメータを用いて世界座標から画像座標に変換することで画像座標系の検知対象領域を導出する、
映像解析支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、検知対象物の検知のような映像解析処理を支援する技術に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２０１８−０２２２３４号公報（特許文献１）がある。特許文献１には、「検知領域選択部１０３は、路面検出部１０２による路面領域の検出結果と、時系列検証部１０５による時系列検証の結果とに基づいて、検知対象物である他車両を検知するための車両検知領域を入力画像内に設定する。このとき検知領域選択部１０３は、時系列検証部１０５による時系列検証の結果に基づいて路面領域補間部１０６が路面領域の補間を行った場合には、その補間結果を基に、補間された路面領域を含めて車両検知領域を設定する。」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−０２２２３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
映像中の検知対象物（人物、荷物、動物、船舶または車両といった物体）を検知する映像解析では、検知対象物の現れる可能性の無い場所に存在する物体を検知対象物であると誤って検知する場合や、壁面、ガラス面または鏡などに映った検知対象物の鏡像を検知対象物として誤って検知する場合がある。
【０００５】
このような誤検知を低減するためには、映像のうち検知対象物の出現する可能性のある領域（以下、検知対象領域）についてのみ検知対象物の有無を判断するか、あるいは、検知結果の画像上の位置情報が検知対象領域内に含まれていない場合にはその検知結果を棄却すればよい。以上の処理によって、映像解析における物体検知の精度を向上することが可能である。
【０００６】
ただし、検知対象領域が不適切であると、検知精度向上（言い換えれば誤検知低減）の効果が十分に発揮されない。
【０００７】
このため、適切な検知対象領域を設定することが、検知精度の向上に重要な要素の一つである。
【０００８】
しかし、適切な検知対象領域の設定は、下記のうちの少なくとも一つが理由から困難である。
・カメラにより撮影された映像において、一つのピクセルに対応した実際の大きさは、カメラの姿勢、撮影倍率（画角）および位置といった種々の撮影条件によって、ピクセル位置が異なれば異なり得る。ピクセル位置毎に実際の大きさを推定することは困難である。
・実際の大きさの基準となる物体（検知対象物またはその他の物体）が映っていれば、映像における各ピクセルについて対応する実際の大きさを推定することは期待できる。しかし、そのような物体が映っている映像を必ず撮影できるとは限らない。そのような物体を映っている映像を取得するため一定時間撮影し続ける必要がある。この問題は、物体が映ることが比較的少ないケース（例えばカメラが監視カメラである）では、特に大きいと考えられる。
・現場でのカメラの設置工事は、通常、当該カメラにより検知したい検知対象物が存在しない時間帯で行われる。このため、カメラの設置が終了し検知対象物が存在する時間帯になったときに検知対象領域の設定を始めることが可能になるといった問題がある。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、映像解析支援装置が、入力された画像座標系の映像を基に、該当領域を推定し且つカメラパラメータを算出する。当該装置が、該当領域の座標を算出されたカメラパラメータを用いて画像座標から世界座標に変換することで世界座標系の該当領域を導出し、当該導出された該当領域を基に世界座標系の検知対象領域を導出し、当該導出された検知対象領域の座標を上記算出されたカメラパラメータを用いて世界座標から画像座標に変換することで画像座標系の検知対象領域を導出する。
【発明の効果】
【００１０】
本発明の一態様によれば、映像が一つの静止画像であり検知対象物が当該静止画像に映っていなくても適切な検知対象領域を導出することが可能となる。
【００１１】
上記した以外の課題、構成、および効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１の映像解析システムの全体構成図である。
【図２】本発明の実施例１の映像解析システムのハードウェア構成図である。
【図３】本発明の実施例１の映像解析システムのシーケンス図である。
【図４Ａ】映像撮影装置の世界座標系の撮影範囲の一例を示す図である。
【図４Ｂ】図４Ａに示した世界座標系のXY平面の一例を示す図である。
【図４Ｃ】推定された該当領域の一例を示す図である。
【図４Ｄ】画像座標から世界座標に変換後の該当領域の一例を示す図である。
【図４Ｅ】世界座標系の検知対象領域の一例を示す図である。
【図４Ｆ】画像座標系の検知対象領域の一例を示す図である。
【図４Ｇ】世界座標系の検知対象領域のＺ座標にオフセットが加算された結果の一例を示す図である。
【図４Ｈ】世界座標系の検知対象領域のＺ座標により小さいオフセットが加算された結果の一例を示す図である。
【図５】本発明の実施例１の設定画面例の説明図である。
【図６】本発明の実施例１の領域確認画面例の説明図である。
【図７Ａ】本発明の実施例２における撮影範囲の一例を示す図である。
【図７Ｂ】本発明の実施例２における撮影範囲の一例を示す図である。
【図７Ｃ】本発明の実施例２において推定された該当領域の一例を示す図である。
【図７Ｄ】本発明の実施例２における設定ルールの一例を示す図である。
【図７Ｅ】本発明の実施例２における画像座標系の複数の検知対象領域の一例を示す図である。
【図７Ｆ】本発明の実施例２における画像座標系の複数の検知対象領域の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下の説明では、「インターフェース装置」は、一つ以上のインターフェースデバイスでよい。当該一つ以上のインターフェースデバイスは、下記のうちの少なくとも一つでよい。
・一つ以上のＩ／Ｏ（Input/Output）インターフェースデバイス。Ｉ／Ｏ（Input/Output）インターフェースデバイスは、Ｉ／Ｏデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するＩ／Ｏインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのＩ／Ｏデバイスは、ユーザインターフェースデバイス、例えば、キーボードおよびポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイス。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Network Interface Card））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
【００１４】
また、以下の説明では、「メモリ」は、一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。
【００１５】
また、以下の説明では、「永続記憶装置」は、一つ以上の永続記憶デバイスである。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）であり、具体的には、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）である。
【００１６】
また、以下の説明では、「記憶装置」は、メモリと永続記憶装置の少なくともメモリでよい。
【００１７】
また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサデバイスである。少なくとも一つのプロセッサデバイスは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサデバイスであるが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサデバイスでもよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサデバイスは、プロセッサコアでもよい。少なくとも一つのプロセッサデバイスは、処理の一部または全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサデバイスでもよい。
【００１８】
また、以下の説明では、「ｘｘｘテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のデータでもよいし、入力に対する出力を発生するニューラルネットワークのような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、一つのテーブルは、二つ以上のテーブルに分割されてもよいし、二つ以上のテーブルの全部または一部が一つのテーブルであってもよい。
【００１９】
また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶装置および／またはインターフェース装置等を用いながら行うため、処理の主語が、プロセッサ（或いは、そのプロセッサを有するコントローラのようなデバイス）とされてもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な（例えば非一時的な）記録媒体であってもよい。また、以下の説明において、二つ以上のプログラムが一つのプログラムとして実現されてもよいし、一つのプログラムが二つ以上のプログラムとして実現されてもよい。
【００２０】
また、以下の説明では、「ｋｋｋ部」の表現にて機能を説明することがあるが、機能は、一つ以上のコンピュータプログラムがプロセッサによって実行されることで実現されてもよいし、一つ以上のハードウェア回路（例えばＦＰＧＡまたはＡＳＩＣ）によって実現されてもよい。プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置および／またはインターフェース装置等を用いながら行われるため、機能はプロセッサの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。
【００２１】
また、以下の説明では、「映像解析支援装置」は、一つ以上の計算機で構成されてよい。具体的には、例えば、計算機が表示デバイスを有していて計算機が自分の表示デバイスに情報を表示する場合、当該計算機が映像解析支援装置でよい。また、例えば、第１計算機（例えばサーバ計算機）が表示用情報を遠隔の第２計算機（表示用計算機（例えばクライアント計算機））に送信し表示用計算機がその情報を表示する場合（第１計算機が第２計算機に情報を表示する場合）、第１計算機と第２計算機とのうちの少なくとも第１計算機が映像解析支援装置でよい。つまり、映像解析支援装置が「表示用情報を表示する」ことは、当該装置が有する表示デバイスに表示用情報を表示することであってもよいし、当該装置が表示用計算機に表示用情報を送信することであってもよい（後者の場合は表示用計算機によって表示用情報が表示される）。
【００２２】
以下、図面を参照して本発明の実施例を説明する。
【実施例１】
【００２３】
図１は、本発明の実施例１の映像解析システム１００の全体構成図である。
【００２４】
本実施例の映像解析システム１００は、映像撮影装置１０１、映像記憶装置１０２、入力デバイス１０３、表示デバイス１０４、およびサーバ計算機１１０を備える。
【００２５】
映像撮影装置１０１は、映像を撮影して映像データを作成し、それを出力する装置である。映像撮影装置１０１は、ビデオカメラ、スチルカメラ、高感度カメラ、低照度カメラ、暗視カメラ、サーマルカメラ、Ｘ線カメラなどであってもよいし、これらのうちのいずれかを含む複数台で構成されてもよい。つまり、映像撮影装置１０１は、少なくとも一台のカメラを有する装置（例えば一台のカメラそれ自体）でよい。
【００２６】
映像記憶装置１０２は、映像データを保存し、要求に応じて出力する記憶装置であり、コンピュータ内蔵のハードディスクドライブ、または、ＮＡＳ（Network Attached Storage）もしくはＳＡＮ（Storage Area Network）などのネットワークで接続されたストレージシステムを用いて構成することができる。
【００２７】
映像撮影装置１０１または映像記憶装置１０２から出力された映像は、いずれもサーバ計算機１１０の映像入力部１１１に入力される。映像解析システム１００は、図１に示すように映像撮影装置１０１および映像記憶装置１０２の両方を備えてもよいが、いずれか一方のみを備えてもよい。映像解析システム１００が映像撮影装置１０１および映像記憶装置１０２の両方を備える場合、映像入力部１１１への映像データの入力元が必要に応じて映像撮影装置１０１または映像記憶装置１０２に切り替えられてもよいし、映像撮影装置１０１から出力された映像データが一旦映像記憶装置１０２に記憶され、そこから映像入力部１１１に入力されてもよい。その場合、映像記憶装置１０２は、例えば、映像撮影装置１０１から継続的に入力される映像データを一時的に保持するキャッシュメモリであってもよい。
【００２８】
なお、映像記憶装置１０２に保存される映像データ及び映像撮影装置１０１によって作成される映像データは、どのような形式のデータであってもよい。例えば、映像撮影装置１０１がビデオカメラであり、それによって撮影された動画像データが映像データとして出力されてもよいし、そのような映像データが映像記憶装置１０２に記憶されてもよい。あるいは、映像撮影装置１０１がスチルカメラであり、それによって所定の間隔（少なくとも撮影された物体を追跡できる程度の間隔）で撮影された一連の静止画像データが映像データとして出力されてもよいし、そのような映像データが映像記憶装置１０２に記憶されてもよい。
【００２９】
入力デバイス１０３は、マウス、キーボード、タッチデバイスなど、ユーザの操作をサーバ計算機１１０に伝えるための入力インターフェースである。表示デバイス１０４は、液晶ディスプレイなどの出力インターフェースであり、サーバ計算機１１０の映像解析結果の表示、ユーザとの対話的操作などのために用いられる。例えば、いわゆるタッチパネル等を用いることによって入力デバイス１０３と表示デバイス１０４は一体化されてもよい。
【００３０】
サーバ計算機１１０は、映像解析支援装置の一例である。サーバ計算機１１０は、入力された映像データが示す画像座標系の映像における物体検知処理の対象とする領域を限定するためのマスク領域（画像座標系の検知対象領域）を生成（導出）し、入力された映像データがのうち生成されたマスク領域内について映像解析処理（検知対象物がマスク領域に存在するか否かを判断することを含んだ処理）を行う装置として機能する。なお、サーバ計算機１１０は、入力された映像データが示す映像における物体検知処理の対象とする領域を限定するためのマスク領域の生成を行うが映像解析処理を行わない装置として機能してもよい。
【００３１】
サーバ計算機１１０が扱う映像は、一箇所以上の場所で撮影された定点観測の映像であってもよいし、車載カメラ、ドローン搭載のカメラ、ウェアラブルカメラ、アクションカメラなどのような移動体に設置されたカメラによって撮影された映像であってもよい。
【００３２】
サーバ計算機１１０は、映像入力部１１１、カメラパラメータ算出部１２１、領域推定部１２３、領域導出部３０（例えば、座標変換部１２２および領域設定部１２４）、領域ストア１２５、映像解析部１３１および管理情報ストア１０を備える。
【００３３】
映像入力部１１１は、映像撮影装置１０１によって撮影された映像データを受け取るか、または、映像記憶装置１０２から映像データを読み出し、それをサーバ計算機１１０内部で使用するデータ形式に変換する。具体的には、例えば、映像入力部１１１は、動画像（動画データ形式）をフレーム（静止画データ形式）に分解する動画デコード処理を行う。得られたフレームは、カメラパラメータ算出部１２１、領域推定部１２３、および映像解析部１３１に送られる。すなわち、本実施例では、映像入力部１１１から入力される映像は、静止画像である。
【００３４】
カメラパラメータ算出部１２１は、映像入力部１１１から受け付けた映像を基に、カメラパラメータの推定を行う。座標変換部１２２は、領域設定部１２４よりカメラパラメータと座標を受け付け、画像座標と世界座標の相互変換処理を実施する。画像座標とは、画像平面上の座標（画像座標系の座標）であり、世界座標とは画像中におさめられた被写体が存在する空間上の座標（世界座標系の画像）である。座標変換部１２２は、領域設定部１２４から受け付けた座標に対する座標変換処理を行い、変換された座標は領域設定部１２４に送られる。本実施例では、カメラパラメータ算出部１２１は、映像が受け付けられる都度に当該映像を基にカメラパラメータを算出するが、本発明では、例えば下記のうちの少なくとも一つが採用されてもよい。
・カメラパラメータ算出部１２１が無くてもよい。この場合、全てのカメラの各々について、予めカメラパラメータは決まっていてよい。少なくとも一つのカメラについて、カメラパラメータの少なくとも一部は、例えば後述するようにユーザにより手動で変更されてもよい。
・一部のカメラについては、映像が受け付けられる都度に当該映像を基にカメラパラメータ算出部１２１によりカメラパラメータが算出され、残りのカメラについては、カメラパラメータ算出部１２１は動作せず予めカメラパラメータは決まっていてよい。予め決まっているカメラパラメータの少なくとも一部は、例えば後述するようにユーザにより手動で変更されてもよい。
【００３５】
カメラパラメータとは、座標変換部１２２が画像座標と世界座標の変換を行うために必要な数値データであり、カメラの姿勢（例えば、世界座標上のカメラ位置、カメラのパン角、カメラのチルト角、およびカメラのロール角）、カメラの画角（焦点距離）、撮像する画像のアスペクト比などと紐づいている。画像座標（u,v）と世界座標（X,Y,Z）は（数１）により相互に変換が可能であり、（数１）の行列Ｃがカメラパラメータである。カメラパラメータの導出には公知のいかなる手法を用いてもよい。例えば、世界座標が既知の構造物が含まれるフレーム複数枚を映像入力部１１１より受け付け、世界座標と画像座標の対応点のデータセットを基にバンドル調整法による計算を行うことで求めてもよい。
【数１】
2020135152.tif 000003
【００３６】
領域推定部１２３は、映像入力部１１１より受け付けた映像を基に、機械学習の手法を適用して、予め設定された領域、または、入力デバイス１０３によりユーザに指定された領域である該当領域を推定する。
【００３７】
領域推定に関する機械学習手法とは、例えば、画像を部分領域に分割し、特徴抽出器により各々の部分領域から画像特徴を抽出し、識別器により画像特徴を基に部分領域画像が所望の領域であるかを識別し、それら部分領域画像の識別結果を統合して元の画像中の所望の領域を提示する領域推定機能について、複数の正解情報を有する画像（訓練データ）を基に、特徴抽出器と識別器のパラメータを自動最適化することで、訓練データに含まれない未知の画像に対しても有効な領域推定機能を獲得する手法である。
【００３８】
このような処理手法の具体例として、Deep Learning（深層学習）が知られている。Deep learningを用いた特徴パラメータの抽出方法の一例としては、畳み込みニューラルネットワークを用いた特徴抽出方法が知られている。畳み込みニューラルネットワークでは、ニューロンユニットと呼ばれる入出力関数（活性化関数）が、小画像領域毎に多数組み合わされており、さらにこれが複数の層状に積み重ねられてピラミッド構造になっている。この方法によれば、検知対象とする対象物の位置や画像サイズを変えながら、段階的に対象物を識別できるようにニューロンユニットの各層毎に識別器パラメータを抽出して、最終的には、対象物全体を識別可能な識別器パラメータを得ることができる。畳み込みニューラルネットワークを応用した領域推定手法は、一般に意味領域推定（セマンティックセグメンテーション）と呼ばれており、具体的なネットワークモデルとして、FCN、U-Net、SegNet、PSPNet、Mask R-CNNなどが知られている。
【００３９】
領域設定部１２４は、領域推定部１２３が推定した該当領域に、予め用意された設定ルール、または、入力デバイス１０３によりユーザから指定された設定ルールを適用し、座標変換部１２２による座標変換を活用して検知対象領域を導出する。領域設定部１２４により導出された検知対象領域は、領域ストア１２５に保存される。なお、サーバ計算機１１０が映像解析部１３１を有しない場合には、領域設定部１２４により導出された検知対象領域は、ファイル出力されてもよいし、外部のシステムに送られてもよい。検知対象領域の導出手順の詳細は後述する。また、領域設定部１２４は、領域ストア１２５内の画像座標系の検知対象領域を表示デバイス１０４に表示してもよい。
【００４０】
映像解析部１３１は、映像入力部１１１より受け付けたフレーム（静止画像としての映像）に対し、領域ストア１２５より取得された検知対象領域内について映像解析処理を実施する。映像解析部１３１が実施する映像解析処理は、検知対象領域に検知対象物が存在するか否かの判断を含む検知処理でもよいし、その他の処理（例えば、物体追跡処理、特徴抽出処理など）を含んでもよい。ここで言う物体は、人物、動物、車両、船舶、荷物など、あらゆる一般的な物体でなく、それらのうちいずれの物体も検知対象物として指定されてもよい。映像解析部１３１における映像解析結果は、表示に適切な情報に加工されたのち、表示デバイス１０４に送られる。
【００４１】
また、映像解析部１３１は、映像入力部１１１より受け付けたフレーム全体に対し映像解析処理を実施し、映像解析処理により得られた結果が検知対象領域に収まらない場合、その情報を棄却してもよい。例えば、映像解析部１３１が映像入力部１１１より受け付けたフレームに対し物体検知処理を行う場合、映像解析部１３１は、下記を含むフィルタリング処理を実施してもよい。
・検知結果の領域が領域ストア１２５より受け付けた検知対象領域内に収まる場合は、検知結果を出力する。
・取得された任意の物体の検知結果の領域が領域ストア１２５より受け付けた検知対象領域内に収まらない場合は、検知結果を出力しない。
【００４２】
図２は、本発明の実施例１の映像解析システム１００のハードウェア構成図である。
【００４３】
サーバ計算機１１０は、例えば、相互に接続されたプロセッサ２０１および記憶装置２０２を有する一般的な計算機である。プロセッサ２０１は、映像解析処理の演算が可能な任意の処理装置によって構成される。例えば、プロセッサ２０１は、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣのいずれかを含んでもよい。記憶装置２０２は任意の種類の記憶媒体によって構成される。例えば、記憶装置２０２は、半導体メモリ及びハードディスクドライブを含んでもよい。
【００４４】
この例において、図１に示した映像入力部１１１、カメラパラメータ算出部１２１、座標変換部１２２、領域推定部１２３、領域設定部１２４、映像解析部１３１といった機能部は、プロセッサ２０１が記憶装置２０２に格納された処理プログラム２０３を実行することによって実現される。言い換えると、この例において、上記の各機能部が実行する処理は、実際には、処理プログラム２０３に記述された命令に従うプロセッサ２０１によって実行される。また、領域ストア１２５および管理情報ストア１０の各々は、記憶装置２０２に含まれる記憶領域でよい。管理情報ストア１０には、設定ルールを示す情報を含んだ管理情報が格納される。管理情報は、例えばカメラパラメータを含んでよい。
【００４５】
サーバ計算機１１０は、さらに、プロセッサに接続されたネットワークインターフェース装置（ＮＩＦ）２０４を含む。映像撮影装置１０１は、例えば、ネットワークインターフェース装置２０４を介してサーバ計算機１１０に接続される。映像記憶装置１０２は、ネットワークインターフェース装置２０４を介してサーバ計算機１１０に接続されたＮＡＳまたはＳＡＮであってもよいし、記憶装置２０２に含まれてもよい。
【００４６】
入力デバイス１０３および表示デバイス１０４は、サーバ計算機１１０に接続されたクライアント計算機が有する入力デバイスおよび表示デバイスでよい。
【００４７】
図３は、本発明の実施例１の映像解析システム１００のシーケンス図である。
【００４８】
図３を用いて、映像解析システム１００の各構成要素の動作シーケンスについて述べる。
【００４９】
はじめに、映像入力部１１１は、映像撮影装置１０１または映像記憶装置１０２より受け付けた映像からフレームを抽出する。抽出されたフレームは、カメラパラメータ算出部１２１（ステップＳ３０１）および領域推定部１２３（ステップＳ３０２）に送られる。なお、映像入力部１１１は、映像が背景以外の物体を含む場合、背景のみからなるフレームの選別処理、または、映像データの学習による背景画像に相当するフレームの生成処理により背景画像に相当するフレームを導出してもよい。この場合、ステップＳ３０１およびステップＳ３０２では、導出された背景画像に相当するフレームがカメラパラメータ算出部１２１および領域推定部１２３に送られる。
【００５０】
次に、カメラパラメータ算出部１２１は、映像入力部１１１より受け付けたフレームを基にカメラパラメータを算出する。算出されたカメラパラメータは領域設定部１２４に送られる（ステップＳ３０３）。カメラパラメータの算出において、入力デバイス１０３によるユーザの入力情報を用いる場合は、入力デバイス１０３によるユーザの入力情報がカメラパラメータ算出部１２１に送られる（ステップＳ３０４）。あるいは、カメラパラメータ算出部１２１は、予め記憶装置２０２内に格納されたカメラパラメータ算出に必要な情報（例えばカメラ姿勢および画角）を読み出してカメラパラメータを算出してもよい。なお、カメラパラメータ算出部１２１は、カメラパラメータの算出を行わず、予め記憶装置２０２内に格納されたカメラパラメータを読み出して使用してもよい。この場合、映像入力部１１１より受け付けたフレームに対応するカメラパラメータを読み出すものとする。
【００５１】
次に、領域推定部１２３は、映像入力部１１１より受け付けたフレームに対し、予め設定された領域を推定する。領域推定部１２３は、単一の領域を推定してもよいし、同一種類の複数の領域を推定してもよいし、異種の複数の領域を推定してもよい。推定された領域は、領域設定部１２４に送られる（ステップＳ３０５）。なお、領域設定部１２４に送られる領域は、どのようなデータ形式であってもよい。例えば、領域を示す画像であってもよいし、領域の輪郭を示す点集合であってもよい。
【００５２】
領域設定部１２４は、領域推定部１２３より受け付けた領域とカメラパラメータ算出部１２１より受け付けたカメラパラメータを基に、検知対象領域を導出する。導出においてユーザの入力が必要な場合、入力デバイス１０３によるユーザの入力を受け付ける（ステップＳ３０６）。また、検知対象領域の導出において、領域を構成する点の画像座標と世界座標の変換を行うため、領域設定部１２４は、領域を構成する点の座標とカメラパラメータを座標変換部１２２に通知し、画像座標から世界座標へ、または世界座標から画像座標へ変換された結果を受け取る（ステップＳ３０７）。なお、領域設定部１２４から座標変換部１２２に通知される領域を構成する点の座標は、領域内に含まれる座標から等間隔に抜粋した座標の集合であってもよいし、領域を示す輪郭線上の座標の集合であってもよい。輪郭線の座標の集合を用いる場合には、領域設定部１２４は領域推定部１２３より受け付けた領域に対して輪郭線抽出処理を実施する。ステップＳ３０７は、図３では一度の記載となっているが、複数回実施されてもよい。導出された検知対象領域は領域ストア１２５に送られる（ステップＳ３０８）。なお、ステップＳ３０８と同時に、領域ストア１２５の検知対象領域が更新されたことが、映像解析部１３１に通知されてもよい。また、検知対象領域は、ＮＩＦ２０４を介して、映像解析システム１００とは異なるシステムや装置に送られてもよい。
【００５３】
上記のステップＳ３０１〜Ｓ３０８の処理により、検知対象領域の導出および登録が完了する（図３において“Ｒ”）。上記の処理により、映像解析システム１００は、検知対象物が映像に映っていなくても当該映像から検知対象物の出現する可能性ある領域である検知対象領域を導出することが可能である。
【００５４】
次に映像解析部１３１は、領域ストア１２５の登録済みの検知対象領域を読み出す（ステップＳ３０９）。映像解析部１３１は、検知対象領域を表示デバイス１０４によりユーザに提示してもよく、入力デバイス１０３を用いたユーザによる検知対象領域の修正を受け付けてもよい（ステップＳ３１０）。
【００５５】
次に映像解析部１３１は、映像入力部１１１よりフレームを受け付け（ステップＳ３１１）、フレームの検知対象領域内について映像解析処理を実施する。映像解析結果は、表示デバイス１０４に送られる（ステップＳ３１２）。なお、映像解析部１３１は、映像入力部１１１より受け付けたフレーム全体について映像解析処理を実施した後に、検知対象領域内のみを映像解析結果として選択するフィルタ処理を行ってもよい。また、映像解析部１３１の映像解析結果は、表示デバイス１０４に送られず、記憶装置２０２に保存されてもよいし、ＮＩＦ２０４を介して映像解析システム１００とは異なるシステムに送られてもよい。
【００５６】
上記のステップＳ３０１〜ステップＳ３１２により、検知対象領域の導出、登録および検知対象領域を用いた映像解析処理が完了する。上記の処理により、映像解析システム１００は、検知対象領域内についての映像解析結果のみを導出することが可能である。
【００５７】
次に、カメラパラメータ算出部１２１が映像入力部１１１よりフレームを受け付け（ステップＳ３２１）、カメラパラメータを算出し、算出されたパラメータが領域設定部１２４に送られる（ステップＳ３２２）という一連の処理が、周期的あるいは断続的に実施される場合に、領域設定部１２４がカメラパラメータの変動を検知したならば、画像座標系の検知対象領域を変動前のカメラパラメータを用いて座標変換部１２２により世界座標に変換（ステップＳ３２３）し、さらに、世界座標に変換された検知対象領域を変動後のカメラパラメータを用いて座標変換部１２２により画像座標に変換する（ステップＳ３２７）ことにより、カメラパラメータの変動分に追従して、検知対象領域を補正（変更）する。補正された検知対象領域は領域ストア１２５に送られ、領域ストア１２５の保有する検知対象領域が更新されてもよい（ステップ３２４）。ステップＳ３２１〜ステップＳ３２４の処理は、ステップＳ３０６においてユーザによる検知対象領域の修正が実施される場合に、カメラの姿勢や画角が変化したとしても、再度のユーザによる修正を省略できるという効果を持つ。
【００５８】
図４Ａ〜図４Ｈを参照して、本発明の実施例１の映像解析システム１００による領域設定手順の一例を説明する。
【００５９】
図４Ａは、映像撮影装置１０１の世界座標系の撮影範囲の一例を示す。図４Ａによれば、家屋、歩道および車道が被写体となるように街頭に映像撮影装置１０１が設置されている。図４Ａに示した矢印は、世界座標（X, Y, Z）が存在する世界座標系を示す。画像座標（u,v）が存在する画像座標系は、図中記載を省略するが、図４Ａが示すフレーム枠左上を原点とし、原点から右へ水平に延びた軸がu軸となり、原点から鉛直に下へ延びた軸がv軸となる座標系である。
【００６０】
図４Ｂは、図４Ａに示した世界座標系のXY平面（Z＝０）に沿って、家屋、歩道および車道の位置関係を示している。図４Ａ中における黒い領域８１は人物であり、領域設定手順には直接関連がないが参考として記載した。
【００６１】
図４Ｃ〜図４Ｈを用いて、図４Ａに例示の撮影範囲の背景画像のフレームに対し、映像解析システム１００を用いて検知対象領域を抽出する例について説明する。
【００６２】
図４Ｃは、ステップＳ３０５において領域推定部１２３が図４Ａにおける車道領域を推定した結果である。この例では、領域推定部１２３が車道領域を推定する例について記載するが、車道以外の物体を推定対象としてもよい。ただし、領域推定手法として、Deep Learningを応用した意味領域推定手法を活用する場合、場所によらず類似した外観である可能性が高い物体を領域推定対象とすることで、訓練データ収集が行いやすく、かつ、汎化による適用場所の拡大が期待できる。一般に、家屋や歩道に比較して、車道は外観の場所依存性が低いと考えられるため、本実施例においては領域推定部１２３による推定の対象が車道とされている。図４Ａの例以外の場合、領域推定部１２３による領域推定対象は、例えば、商業施設におけるレジや入口、埠頭における海面、高速道路における道路、料金所またはサービスエリア入口、海上付近における橋脚、空または地平線でよい。
【００６３】
図４Ｄの斜線部領域は、ステップＳ３０７により、図４Ｃの車道推定領域が画像座標から世界座標に変換された結果である。図４Ｄに記載のXY平面は、図４Ｃにおける車道推定領域を含む面であり、図４Ｃに記載のXY平面（Z＝０）としている。ただし、画像座標に対する世界座標の取り方は任意であり、図４記載以外の面がXY平面となるようにXYZ座標が定められてもよい。
【００６４】
図４Ｅの斜線部領域は、領域設定部１２４において図４Ｄの世界座標に変換された車道推定領域を基に、オフセット補正によりその両端を歩道として推定された領域である。図４Ｅの例によれば、世界座標系の該当領域に対するオフセット補正により該当領域を含まない領域が世界座標系の検知対象領域として導出される。図４Ｅの例では、車道推定領域を基にその外周両端の任意の距離の範囲を歩道として指定する例について示したが、領域推定部１２３により推定した領域を参照するものであれば、どのような領域指定手法を用いてもよい。
【００６５】
図４Ｆの斜線部領域は、ステップＳ３０７により、領域設定部１２４において推定された歩道推定領域を画像座標に変換し、フレーム中に図示したものである。上記の通り、図４Ｃ、図４Ｄ、図４Ｅ、図４Ｆの順に説明した処理によれば、領域推定部１２３により歩道を推定しない場合においても、車道の推定結果を基に歩道領域を推定することが可能となる。
【００６６】
図４Ｅにおいて、さらに、世界座標のXY平面上の歩道推定領域について、異なるZの値に対応する画像座標を求めることによって、歩道推定領域の上空の画像内の位置を取得することができる。この手法によれば、歩道推定領域上を任意の高さの物体が移動する際の画像上の領域を求めることができる。このように、領域設定部１２４は、このように複数のZ座標において画像座標に変換した歩道推定領域を用いて検知対象領域を導出する。図４Ｇおよび図４Ｈはともに歩道推定領域上を人物が移動する場合のフレーム上の出現範囲を示したものである。図４Ｇは図４Ｈよりも背の高い人物を解析対象とした場合の結果を示している。つまり、図４Ｇの場合は、図４Ｈの場合に比較して、より大きいZにおける歩道推定領域の画像座標を用いて検知対象領域を導出した結果について示している。このように、図４Ｃ、図４Ｄ、図４Ｅ、図４Ｆおよび図４Ｇ、または、図４Ｃ、図４Ｄ、図４Ｅ、図４Ｆ、図４Ｈの順に説明した処理によれば、領域推定部１２３により推定した領域を基に、検知対象のサイズを考慮した検知対象領域の設定が可能となる。
【００６７】
図５は、ユーザがカメラと検知対象に適した検知対象領域設定ルールを設定する際の設定画面である。領域設定部１２４は、設定画面を通じて設定されたルールに基づき、図４を用いて説明した手順で検知対象領域を設定する。また、図５および図６におけるＵＩ（ユーザインターフェース）は、ＧＵＩ（Graphical User Interface）部品でよい。このため、図５および図６に示す画面は、ＧＵＩ画面でよい。
【００６８】
図５に示す画面には、例えばＵＩ５０１〜５０４がある。
【００６９】
はじめに、ユーザはカメラ選択ＵＩ５０１のドロップダウンリストより検知対象ルールを設定したい映像撮影装置１０１または映像記憶装置１０２に含まれるカメラまたは映像を選択する。カメラ選択ＵＩ５０１は、一つ以上のカメラのうちの所望のカメラの選択を受け付けるユーザインターフェースである。
【００７０】
次に、ユーザは、検知対象選択ＵＩ５０２において検知対象領域設定ルールを指定する。ここでは、ユーザはルール名を新規に入力してもよいし、ドロップダウンリストに表示される候補を選択してもよい。
【００７１】
次に、ユーザは、サイズ入力ＵＩ５０３において、検知対象サイズを入力する。ここでは、検知対象サイズとして高さのみを入力する例を示したが、幅または奥行などを含む複雑な形状について指定してもよく、この場合、設定画面は、検知対象サイズ入力部に相当の入力ＵＩを有するものとする。
【００７２】
次に、ユーザは、ルール指定ＵＩ５０４において、世界座標上で、領域推定部１２３が推定した領域（図中黒色）を基に別の領域を設定するための設定ルールが入力される。図５のルール指定ＵＩ５０４は、領域推定部１２３が推定した領域の左端側に指定した幅の領域が１つと、領域推定部１２３が推定した領域の右端側に指定した幅の領域が１つの合計２つの領域（図中斜線部）を設定するルールを入力している例である。ルール指定ＵＩ５０４には、二次元画像に代えて三次元画像が表示されてよい。検知対象選択ＵＩ５０２、サイズ入力ＵＩ５０３およびルール指定ＵＩ５０４が、設定ＵＩの一例でよい。
【００７３】
以上の通り、設定画面によりユーザは、領域設定部１２４が検知対象領域を設定するための領域設定ルールを設定することが可能である。
【００７４】
図６は、ユーザがカメラと検知対象に適した検知対象領域設定ルールが設定されているかを確認するための領域確認画面である。
【００７５】
図６に示す画面には、例えばＵＩ５０１〜５０３およびＵＩ６０１および６０２がある。カメラ選択ＵＩ５０１、検知対象選択ＵＩ５０２、サイズ入力ＵＩ５０３は、図５と同様であるから説明を省略する。
【００７６】
領域ＵＩ６０１には、ステップＳ３０８またはステップＳ３２４によって導出された画像座標系の検知対象領域が表示される。カメラパラメータＵＩ６０２にはステップＳ３０８またはステップＳ３２４における検知対象領域の導出に用いられたカメラパラメータが表示される。なお、図６のカメラパラメータＵＩ６０２では、カメラパラメータとして行列Ｃを表示する例を示したが、公知の手法により、カメラのチルト角、パン角、画角、カメラの設置高さなどのいずれか一つ以上を含むパラメータに変換した値を表示してもよい。
【００７７】
ユーザは、領域ＵＩ６０１により、領域設定部１２４により導出された検知対象領域が所望の領域となっているか確認することができる。さらに、検知対象領域またはカメラパラメータのいずれかを修正したい場合には、領域ＵＩ６０１に表示された領域やカメラパラメータＵＩ６０２に表示されたカメラパラメータを直接編集することができる。
【実施例２】
【００７８】
次に、実施例２の映像解析システム１００について説明する。その際、実施例１との相違点を主に説明し、実施例１との共通点については説明を省略または簡略する。
【００７９】
本実施例では、リバーシブルレーン（中央線変移）とバス専用レーンを有する車道に対し、時間により異なる検知対象領域を設定する例について説明する。実施例２において、以降に記載する内容以外の部分は、全て実施例１記載の映像解析システム１００と共通である。
【００８０】
図７Ａは、左側２斜線右側３車線で、右側１車線はバス専用レーンとなっている車道を車道中央上方にあるカメラを用いて撮像した画像である。図７Ｂは、図７Ａと同じ場所を撮像しているが、リバーシブルレーンにより中央線が移動し、左側３車線右側２車線となっている状態を撮像した例である。
【００８１】
リバーシブルレーンとリバーシブルレーンに伴う曜日および時間帯指定のバス専用レーンがある車道では、図７Ａ、図７Ｂのように、時間および曜日により通行区分が切り替わる。このような車道において、進行方向違反や車両区分違反を検知するためには、進行方向と車両区分の変化に対応できるよう、時間および曜日により異なる検知対象領域を設定する必要がある。
【００８２】
図７Ｃ〜図７Ｅを用いて、図７Ａまたは図７Ｂの背景画像のフレームに対し、映像解析システム１００を用いて検知対象領域を抽出する例について説明する。背景画像は、図７Ａおよび図７Ｂのいずれであってもよい。
【００８３】
図７Ｃのハッチング領域は、ステップＳ３０５において領域推定部１２３が図７Ａまたは図７Ｂを基に車道を推定し、ステップＳ３０７により、車道推定領域が画像座標から世界座標に変換された結果である。図７Ｃに記載のY軸は、図７Ａまたは図７Ｂの車道における車両の進行方向であり、図７Ｃに記載のX軸は、図７Ａまたは図７Ｂの車道を横断する方向である。
【００８４】
図７Ｄは領域設定部１２４が検知対象領域を設定する際に参照する設定ルールを表として示したものである。図７Ｄの表は、時間帯によって領域設定のルールが変わることと、それぞれの領域が対応する車線および通行区分を示している。
【００８５】
実施例２の場合、図７Ｃに示した通り、領域推定部１２３は車道領域の推定のみを行い、領域設定部１２４は、図７Ｄ記載の時間帯別の領域設定ルールによって車両領域から図７Ａおよび図７Ｂのように時間帯によって切り替わる場所に対応した検知対象領域の導出を実現する。図７Ｄでは１箇所の時間帯別の領域設定ルールが記載されている例を示したが、さらに、カメラＩＤまたはカメラ設定場所を示すデータや曜日、天候、気温などによる場合分けが行われてもよい。また、図７Ｄに示したような設定ルールは、領域設定部１２４が保持してもよいが、本実施例では、記憶装置２０２内の管理情報ストア１０に格納される。さらに、設定ルールに関するデータのフォーマットやデータの形式はいかなるものであってもよい。例えば、テキストデータであってもよいしデータベースであってもよい。また、これらのデータはあらかじめ領域設定部１２４または記憶装置２０２に登録されていてもよいし、入力デバイス１０３によってユーザの入力を受け付けてもよい。
【００８６】
図７Ｅの斜線部領域3箇所は、領域設定部１２４において図７Ｃの世界座標に変換された車道推定領域を基に、図７Ｄの領域設定ルールのうちNo.１の行に基づき導出された左２車線、右2車線、右１車線の領域である。図７Ｄの領域設定ルールは、車道推定領域の分割方法が記載されており、No.１を例にとると、X軸方向に左端から０〜４0％の距離の領域が左車線の領域、４０〜８０％の距離の領域が右車線、８０〜１００％の距離の領域が右車線かつバス専用レーンであることを示している。同様に、図７Ｆの斜線部領域２箇所は、領域設定部１２４において図７Ｃの世界座標に変換された車道推定領域を基に、図７Ｄの領域設定ルールのうちNo.２の行に基づき導出された左３車線、右2車線の領域である。
【００８７】
ステップＳ３０７により、図７Ｅおよび図７Ｆで求められた領域は画像座標に変換され、領域設定部１２４において検知対象領域が導出される。
【００８８】
このように、上記説明した処理によれば、領域推定部１２３により推定した領域を基に、時間・曜日・天候・気温などによって変化する検知対象領域の設定が可能となる。
【００８９】
以上の実施例１および２の説明を、例えば下記のように総括することができる。なお、下記の総括は、上述の説明に無い事項（例えば変形例）を含んでもよい。
【００９０】
映像解析支援装置の一例であるサーバ計算機１１０が、映像入力部１１１と、領域推定部１２３と、領域導出部３０とを有する。映像入力部１１１が、映像撮影装置１０１（カメラの一例）により撮影された画像座標系の映像を、例えば映像撮影装置１０１（または映像記憶装置１０２）から入力する。領域推定部１２３が、当該入力された画像座標系の映像を基に当該映像における該当領域を推定する。領域導出部３０が、当該推定された該当領域の座標をカメラパラメータを用いて画像座標から世界座標に変換することで世界座標系の該当領域を導出し、当該導出された該当領域を基に世界座標系の検知対象領域を導出し、当該設定された検知対象領域の座標をカメラパラメータを用いて世界座標から画像座標に変換することで画像座標系の検知対象領域を導出する。このように、映像が一つの静止画像であり検知対象物が当該静止画像に映っていなくても、カメラパラメータを用いて世界座標系の該当領域が導出されて当該該当領域を基に世界座標系の検知対象領域が導出され、同カメラパラメータを用いて当該領域が、マスク領域（または他の用途）に使用可能な画像座標系の検知対象領域が導出される。これにより、映像が一つの静止画像であり検知対象物が当該静止画像に映っていなくても適切な検知対象領域を導出することが可能となる。
【００９１】
世界座標系の検知対象領域の導出は、世界座標系の該当領域の世界座標変更に関するルールである設定ルール（例えば、世界座標系の該当領域の世界座標に適用されるオフセットを含んだルール）を適用することでよい。このように、世界座標系の該当領域を基に世界座標系の検知対象領域が導出されるので、当該世界座標系の検知対象領域は適切であることが期待でき、以って、適切な画像座標系の検知対象領域の導出が期待できる。
【００９２】
領域導出部３０は、世界座標系の該当領域の変更後の世界座標を決める情報（例えば、該当領域の世界座標に適用されるオフセット、又は、該当領域の変更後の世界座標それ自体）の指定を受け付けるユーザインターフェースである設定ＵＩを提供してよい。上記適用される設定ルールは、設定ＵＩを介して指定された情報に従う設定ルールでよい。これにより、該当領域に設定ルールを適用することで導出される世界座標系の検知対象領域を適切にすることが期待できる。
【００９３】
領域導出部３０は、設定ＵＩを介して指定された情報に従う設定ルールを用いて設定された世界座標系の検知対象領域と当該世界座標系の検知対象領域に基づく画像座標系の検知対象領域とのうちの少なくとも一つを出力するユーザインターフェースである領域ＵＩ６０１を提供してよい。領域ＵＩ６０１に出力されている検知対象領域を見て、ユーザは、設定ＵＩを介して指定した情報が適切か否かを判断できる。
【００９４】
領域導出部３０は、指定された情報が設定ＵＩを介して変更された場合、当該変更された情報に従う設定ルールに基づき、領域ＵＩに出される領域を変更してよい。これにより、ユーザは、変更後の情報が適切か否かを判断できる。
【００９５】
領域導出部３０は、世界座標系の検知対象領域と画像座標系の検知対象領域のうちの少なくとも一つと当該領域の導出に使用され当該領域に関連付けられカメラパラメータとを記憶装置２０２に格納してよい。領域導出部３０は、領域ＵＩ６０１に出力される領域に関連付けられているカメラパラメータを出力し当該カメラパラメータの変更を受け付けるユーザインターフェースであるカメラパラメータＵＩ６０２を提供してよい。これにより、ユーザは、検知対象領域に影響したカメラパラメータを知ることができる。
【００９６】
領域導出部３０は、指定された情報が設定ＵＩを介して変更された場合とカメラパラメータＵＩ６０２を介してカメラパラメータが変更された場合との少なくとも一つの場合、当該変更に基づき、領域ＵＩ６０１に出される領域を変更してよい。これにより、ユーザは、変更後の情報またはカメラパラメータが適切か否かを判断できる。
【００９７】
複数の時間帯の各々について、当該時間帯に関し一つまたは複数の世界座標系の検知対象領域をそれぞれ設定することに適用される一つまたは複数の設定ルールがあってよい（例えば図７Ｄ参照）。領域導出部３０は、世界座標系の検知対象領域を設定するときの時刻に属する時間帯に対応した一つ以上の設定ルールを用いて一つ以上の世界座標系の検知対象領域を導出してよい。これにより、撮影範囲に関する環境に適切な世界座標系の検知対象領域を導出することが期待できる。
【００９８】
領域導出部３０は、映像撮影装置１０１による撮影される範囲に関わる情報の指定を受け付けるユーザインターフェースである設定ＵＩを提供してよい。上記適用される設定ルールは、設定ＵＩを介して指定された情報から決定された設定ルールでよい。設定ルールに関する詳細よりも撮影範囲に関わる情報の方をユーザが把握している場合には、当該情報が指定されることで適切な設定ルールが領域導出部３０により生成されることになり、結果として、ユーザにとって利便性が高い場合があり得る。この仕組みが採用される場合、サーバ計算機１１０の記憶装置２０２は、映像撮影装置１０１による撮影される範囲に関わる情報と複数の設定ルールとの関連付けを示す情報である変換情報を格納してよい。変換情報は、管理情報の一部でよい。領域導出部３０は、設定ＵＩを介して、映像撮影装置１０１による撮影される範囲に関わる情報が指定された場合、当該指定された情報に対応する一つ以上の設定ルールを変換情報から特定し、特定された一つ以上の設定ルールを設定または設定ＵＩに表示してよい。なお、設定ＵＩを介して指定される情報（撮影範囲に関する情報）は、下記のうちの少なくとも一つ、
・撮影時刻、
・撮影場所、
・撮影時刻および撮影場所における天候、および、
・検知対象物のサイズ、または当該サイズに影響する対象物属性、
でよい。このような情報はユーザが把握し易い情報であると考えられ、故に、ユーザにとっての利便性の向上が期待される。
【００９９】
映像解析部１３１が更に備えられてもよい。映像解析部１３１は、導出された画像座標系の検知対象領域を用いて、撮影され入力された画像座標系の映像に検知対象物が映っているか否かの判断を含む映像解析処理を行ってよい。このように、映像解析部１３１と映像解析部１３１により行われる映像解析処理で使用される画像座標系の検知対象領域を導出する処理とが同一の装置で行われるので、利便性の向上が期待される。
【０１００】
カメラパラメータ算出部１２１が更に備えられてもよい。カメラパラメータ算出部１２１は、映像入力部１１１により入力された映像を基に、カメラパラメータを算出（推定）してよい。記世界座標系の該当領域の導出と画像座標系の検知対象領域の導出との各々において用いられるカメラパラメータは、カメラパラメータ算出部１２１により算出されたカメラパラメータでよい。これにより、撮影条件（例えば、カメラの姿勢、撮影倍率（画角）および位置）が変更された後の映像を基に算出されるカメラパラメータにも変更があるため、撮影条件が変更されても適切な検知対象領域を導出することを維持することができる。
【０１０１】
領域導出部３０は、世界座標系の検知対象領域と画像座標系の検知対象領域のうちの少なくとも一つと当該領域の導出に使用され当該領域に関連付けられカメラパラメータとを記憶装置２０２に格納してもよい。領域導出部３０は、画像座標系の検知対象領域に関連付けられているカメラパラメータが、算出されたカメラパラメータと異なっていれば、当該算出されたカメラパラメータに基づき、記憶装置内の画像座標系の検知対象領域を変更してよい。このようにして、撮影条件の変更に伴いカメラパラメータの変更があっても適切な検知対象領域を導出することを維持することができる。
【０１０２】
以上、幾つかの実施例を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施例にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実行することが可能である。
【符号の説明】
【０１０３】
１００：映像解析システム
【図１】
2020135152.tif 000004
【図２】
2020135152.tif 000005
【図３】
2020135152.tif 000006
【図４Ａ】
2020135152.tif 000007
【図４Ｂ】
2020135152.tif 000008
【図４Ｃ】
2020135152.tif 000009
【図４Ｄ】
2020135152.tif 000010
【図４Ｅ】
2020135152.tif 000011
【図４Ｆ】
2020135152.tif 000012
【図４Ｇ】
2020135152.tif 000013
【図４Ｈ】
2020135152.tif 000014
【図５】
2020135152.tif 000015
【図６】
2020135152.tif 000016
【図７Ａ】
2020135152.tif 000017
【図７Ｂ】
2020135152.tif 000018
【図７Ｃ】
2020135152.tif 000019
【図７Ｄ】
2020135152.tif 000020
【図７Ｅ】
2020135152.tif 000021
【図７Ｆ】
2020135152.tif 000022