(57)【要約】  本発明は、時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出部（１１）と、第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成部（１２）と、事象情報に基づき、第１の事象と第２の事象との間の因果関係を示すスコアを算出する因果関係算出部（１３）と、時系列画像群から抽出された第１の事象及び第２の事象の内、スコアが所定条件を満たす第１の事象及び第２の事象を示す情報を出力する出力部（１４）と、を有する処理装置（１０）を提供する。
2020152843.tif 000002
【特許請求の範囲】
【請求項１】
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段と、
を有する処理装置。
【請求項２】
請求項１に記載の処理装置において、
前記事象情報生成手段は、指定された検索条件に基づき、前記第１の人物、前記第１の物及び前記第１の関係を指定した前記第１の事象を決定するとともに、前記第２の人物、前記第２の物及び前記第２の関係を指定した前記第２の事象を決定する処理装置。
【請求項３】
請求項１又は２に記載の処理装置において、
前記事象情報生成手段は、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成する処理装置。
【請求項４】
請求項３に記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１−１の事象関連状態と、複数の前記第２の事象関連状態の中の第２−１の事象関連状態とが同時に現れる確率に基づき、前記スコアを算出する処理装置。
【請求項５】
請求項３又は４に記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１−１の事象関連状態と、複数の前記第２の事象関連状態の中の第２−１の事象関連状態とが同時に現れ、かつ、複数の前記第１の事象関連状態の中の第１−２の事象関連状態が直後の画像に現れる確率に基づき、前記スコアを算出する処理装置。
【請求項６】
請求項３から５のいずれか１項に記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１−１の事象関連状態が現れる確率に基づき、前記スコアを算出する処理装置。
【請求項７】
請求項３から６のいずれか１項に記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１−１の事象関連状態が現れた直後の画像に複数の前記第１の事象関連状態の中の第１−２の事象関連状態が現れる確率に基づき、前記スコアを算出する処理装置。
【請求項８】
コンピュータが、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出工程と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成工程と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出工程と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力工程と、
を有する処理方法。
【請求項９】
コンピュータを、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理装置、処理方法及びプログラムに関する。
【背景技術】
【０００２】
非特許文献１は、手書き画像に基づいた動画検索技術を開示している。当該技術では、入力欄において手書き画像の入力を受付けると、手書き画像に類似するシーンを検索し、出力する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Claudiu Tanase、他７名、”Semantic Sketch-Based Video Retrieval with Auto completion”、［Online］、［平成２９年９月５日検索］、インターネット＜URL: https://iui.ku.edu.tr/sezgin_publications/2016/Sezgin-IUI-2016.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動画像を解析し、「第１の人物が第２の人物に第１の物を渡す」等のように、複数の物体（人物及び物）により定義される出来事の発生を検出する技術が望まれている。特に、検出対象の出来事に関わる物体（人物や物）が画像内に存在するが、その出来事が起きたシーン（例：物を渡すシーン）が画像内に存在しないような場合に、画像解析でその出来事の発生を検出する技術が望まれている。非特許文献１は、当該課題を解決する手段を開示しない。【０００５】
本発明は、検出対象の出来事が起きたシーンが画像内に存在しないような場合であっても、画像解析でその出来事の発生を検出できるようにすることを課題とする。
【課題を解決するための手段】
【０００６】
本発明によれば、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段と、
を有する処理装置が提供される。【０００７】
また、本発明によれば、
コンピュータが、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出工程と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成工程と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出工程と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力工程と、
を有する処理方法が提供される。【０００８】
また、本発明によれば、
コンピュータを、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段、
として機能させるプログラムが提供される。
【発明の効果】
【０００９】
本発明によれば、検出対象の出来事が起きたシーン（例：物を渡すシーン）が画像内に存在しないような場合であっても、画像解析でその出来事の発生を検出できるようになる。
【図面の簡単な説明】
【００１０】
上述した目的、及び、その他の目的、特徴及び利点は、以下に述べる好適な実施の形態、及び、それに付随する以下の図面によって、さらに明らかになる。【００１１】
【図１】本実施形態の処理装置のハードウエア構成の一例を示す図である。
【図２】本実施形態の処理装置の機能ブロック図の一例である。
【図３】事象を抽出する処理の一例を説明するための図である。
【図４】第１の事象及び第２の事象を決定する処理の一例を説明するための図である。
【図５】複数の第１の事象関連状態の一例を説明するための図である。
【図６】複数の第２の事象関連状態の一例を説明するための図である。
【図７】事象情報の一例を示す図である。
【図８】具体的な値を用いて事象情報を例示する図である。
【図９】第１のカメラで生成された画像データから生成された事象情報を例示する図である。
【図１０】第２のカメラで生成された画像データから生成された事象情報を例示する図である。
【図１１】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図１２】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図１３】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図１４】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図１５】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図１６】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図１７】スコアの算出に用いる確率を具体的に算出した例を示す図である。
【図１８】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。
【図１９】複数の第１の事象関連状態の一例を説明するための図である。
【図２０】複数の第２の事象関連状態の一例を説明するための図である。
【発明を実施するための形態】
【００１２】
＜第１の実施形態＞
まず、本実施形態の処理装置の概要を説明する。まず、処理装置は、時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する。抽出する事象の例は、「男（成人）がカバン（黒）を所持している」、「女（成人）がカバン（黒）を所持している」、「男（子供）がボール（赤）を所持している」等であるが、これらに限定されない。
【００１３】
次いで、処理装置は、抽出した事象の中から、検出対象の出来事に関わる複数の事象を抽出する。検出対象の出来事は、複数の物体（人物及び物）により定義される出来事であり、例えば、「男（成人）がカバン（黒）を女（成人）に渡す」等である。検出対象の出来事が当該例である場合、検出対象の出来事に関わる複数の事象は、「男（成人）がカバン（黒）を所持している」及び「女（成人）がカバン（黒）を所持している」等となる。
【００１４】
次いで、処理装置は、抽出した「複数の事象」の間の因果関係を示すスコアを算出する。そして、処理装置は、画像から抽出した事象の内、当該スコアが所定条件を満たす複数の事象の組合せを出力する。
【００１５】
このように、処理装置は、検出対象の出来事に関わる複数の事象であって、因果関係が基準レベルより大きい事象の組合せを検出できる。このため、検出対象の出来事が起きたシーンが画像内に存在しないような場合であっても、画像解析でその出来事の発生を検出できるようになる。
【００１６】
次に、本実施形態の処理装置の構成を詳細に説明する。まず、処理装置のハードウエア構成の一例について説明する。本実施形態の処理装置が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【００１７】
図１は、本実施形態の処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【００１８】
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【００１９】
次に、処理装置の機能構成の一例について説明する。図２の機能ブロック図に示すように、処理装置１０は、事象抽出部１１と、事象情報生成部１２と、因果関係算出部１３と、出力部１４とを有する。
【００２０】
事象抽出部１１は、時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する。処理対象とする時系列画像群は、カメラで生成された動画データに含まれる全てのフレーム画像であってもよいし、当該動画データから所定間隔おき（例：数秒おき、数フレームおき）にピックアップしたフレーム画像であってもよい。
【００２１】
また、事象抽出部１１は、複数のカメラ各々で生成された複数の動画データに含まれる時系列画像群を処理対象として、上記事象を抽出する処理を実行することができる。
【００２２】
抽出する事象の例は、「男（成人）がカバン（黒）を所持している」、「女（成人）がカバン（黒）を所持している」、「男（子供）がボール（赤）を所持している」等であるが、これらに限定されない。
【００２３】
図３を用いて、事象抽出部１１が行う抽出処理の具体例を説明する。図示するＰは、時系列画像群に含まれる画像であり、図ではｍ個の画像が示されている。なお、ｍの数は設計的事項である。ｎは各画像を識別する通番である。
【００２４】
例えば図示するように、抽出対象とする「人物」、「物」及び「人物と物との間の関係」が予め定義されていてもよい。図示するＳが抽出対象となる人物であり、Ｏが抽出対象となる物であり、Ｖが抽出対象となる人物と物との間の関係である。
【００２５】
人物と物とが互いに関係する事象は、例えば図示するように、（Ｓ、Ｖ、Ｏ）の３つの値の組合せで表すことができる。（Ｓ、Ｖ、Ｏ）＝（男（成人）、所持、カバン（黒））は、「男（成人）がカバン（黒）を所持している」という事象を表す。
【００２６】
事象抽出部１１は、あらゆる技術を利用して上記抽出を実現することができる。例えば、予め、抽出対象とする各人物、各物及び各人物と物との間の関係の外観の特徴が登録されており、事象抽出部１１は画像解析で当該特徴を画像内で検索することで上記抽出を実現してもよい。その他、事象抽出部１１は、resnet（residual network）やＬＳＴＭ（long short term memory）等の機械学習の技術を利用して上記抽出を実現してもよい。
【００２７】
図２に戻り、事象情報生成部１２は、第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する。
【００２８】
事象情報を生成するため、まず、事象情報生成部１２は、第１の事象（Ｓ１、Ｖ１、Ｏ１）及び第２の事象（Ｓ２、Ｖ２、Ｏ２）を決定する。
【００２９】
１つの例として、オペレータが、Ｓ１、Ｖ１、Ｏ１、Ｓ２、Ｖ２及びＯ２を直接指定する入力を処理装置１０に対して行ってもよい。第１の事象を「男（成人）がカバン（黒）を所持している」としたい場合、オペレータは、Ｓ１として「男（成人）」を指定し、Ｖ１として「所持」を指定し、Ｏ１として「カバン（黒）」を指定する入力を行うこととなる。
【００３０】
他の例として、オペレータは、検出したい出来事を指定する入力を処理装置１０に対して行ってもよい。例えば、オペレータは、「成人の男が黒いカバンを成人の女に渡す」等の文章を処理装置１０に入力してもよい。この例の場合、事象情報生成部１２は、当該文章を構文解析などして、当該文章からＳ１、Ｓ２、Ｏ１、Ｏ２とする名詞を抽出する。また、事象情報生成部１２は、当該文章から動詞を抽出し、抽出した動詞と、抽出した動詞をＶ１及びＶ２に変換する変換ルールとに基づき、Ｖ１及びＶ２を決定する。図４に、当該処理の概念図を示す。
【００３１】
このように、事象情報生成部１２は、指定された検索条件に基づき、第１の人物（Ｓ１）、第１の物（Ｏ１）及び第１の関係（Ｖ１）を指定した第１の事象を決定するとともに、第２の人物（Ｓ２）、第２の物（Ｏ２）及び第２の関係（Ｖ２）を指定した第２の事象を決定することができる。指定された検索条件は、Ｓ１、Ｖ１、Ｏ１、Ｓ２、Ｖ２及びＯ２を直接指定したものや、検出したい出来事を指定したもの等である。
【００３２】
例えば上述のようにして第１の事象及び第２の事象を決定した後、事象情報生成部１２は、第１の事象の時系列な変化を示すとともに、第２の事象の時系列な変化を示す事象情報を生成する。
【００３３】
具体的には、事象情報生成部１２は、第１の人物、第１の物及び第１の関係各々が画像に含まれるか否かに応じて、第１の事象に関連する複数の第１の事象関連状態を定義する。そして、事象情報生成部１２は、各画像を複数の第１の事象関連状態のいずれかに分類し、第１の事象関連状態の時系列な変化を示す事象情報を生成する。
【００３４】
図５を用いて、複数の第１の事象関連状態の定義の仕方の一例を説明する。図示する例では、３つの第１の事象関連状態を定義している。
【００３５】
「第１の事象関連状態：３」は、第１の人物（Ｓ１：男（成人））、第１の物（Ｏ１：カバン（黒））及び第１の関係（Ｖ１：所持）の全てが画像に含まれる状態である。すなわち、Ｓ１、Ｖ１及びＯ１で定義される第１の事象が起きている状態である。
【００３６】
「第１の事象関連状態：１」は、第１の人物（Ｓ１：男（成人））が画像に含まれるが、第１の物（Ｏ１：カバン（黒））及び第１の関係（Ｖ１：所持）が画像に含まれない状態である。すなわち、Ｓ１、Ｖ１及びＯ１で定義される第１の事象が起きていないが、第１の事象に関わる第１の人物が画像に存在する状態である。
【００３７】
「第１の事象関連状態：０」は、第１の人物（Ｓ１：男（成人））、第１の物（Ｏ１：カバン（黒））及び第１の関係（Ｖ１：所持）の全てが画像に含まれない状態である。すなわち、Ｓ１、Ｖ１及びＯ１で定義される第１の事象が起きておらず、第１の事象に関わる第１の人物が画像に存在しない状態である。
【００３８】
なお、「第１の事象関連状態：３」及び「第１の事象関連状態：１」のいずれにも該当しない画像すべてを「第１の事象関連状態：０」に分類することとしてもよい。
【００３９】
同様に、事象情報生成部１２は、第２の人物、第２の物及び第２の関係各々が画像に含まれるか否かに応じて、第２の事象に関連する複数の第２の事象関連状態を定義する。そして、事象情報生成部１２は、各画像を複数の第２の事象関連状態のいずれかに分類し、第２の事象関連状態の時系列な変化を示す事象情報を生成する。
【００４０】
図６を用いて、複数の第２の事象関連状態の定義の仕方の一例を説明する。図示する例では、３つの第２の事象関連状態を定義している。
【００４１】
「第２の事象関連状態：３」は、第２の人物（Ｓ２：女（成人））、第２の物（Ｏ２：カバン（黒））及び第２の関係（Ｖ２：所持）の全てが画像に含まれる状態である。すなわち、Ｓ２、Ｖ２及びＯ２で定義される第２の事象が起きている状態である。
【００４２】
「第２の事象関連状態：１」は、第２の人物（Ｓ２：女（成人））が画像に含まれるが、第２の物（Ｏ２：カバン（黒））及び第２の関係（Ｖ２：所持）が画像に含まれない状態である。すなわち、Ｓ２、Ｖ２及びＯ２で定義される第２の事象が起きていないが、第２の事象に関わる第２の人物が画像に存在する状態である。
【００４３】
「第２の事象関連状態：０」は、第２の人物（Ｓ２：女（成人））、第２の物（Ｏ２：カバン（黒））及び第２の関係（Ｖ２：所持）の全てが画像に含まれない状態である。すなわち、Ｓ２、Ｖ２及びＯ２で定義される第２の事象が起きておらず、第２の事象に関わる第２の人物が画像に存在しない状態である。
【００４４】
なお、「第２の事象関連状態：３」及び「第２の事象関連状態：１」のいずれにも該当しない画像すべてを「第２の事象関連状態：０」に分類することとしてもよい。
【００４５】
第１の事象関連状態の時系列な変化及び第２の事象関連状態の時系列な変化を示す事象情報は、例えば図７のように表すことができる。
【００４６】
ＨＯＩ（第１の事象）は、第１の事象関連状態の時系列な変化を示す事象情報である。図示する例では、ｍ個のｘｎの値が時系列順に並んでいる。ｘｎは、ｎ番目の画像が第１の事象関連状態のいずれに分類されたかを示す。図５を用いて説明した例の場合、ｘｎは０、１、３のいずれかの値をとる。
【００４７】
ＨＯＪ（第２の事象）は、第２の事象関連状態の時系列な変化を示す事象情報である。図示する例では、ｍ個のｙｎの値が時系列順に並んでいる。ｙｎは、ｎ番目の画像が第２の事象関連状態のいずれに分類されたかを示す。図６を用いて説明した例の場合、ｙｎは０、１、３のいずれかの値をとる。
【００４８】
図８に、ｘｎ及びｙｎに具体的な値をあてはめた事象情報の具体例を示す。図示する例の場合、１４個の時系列な画像における第１の事象及び第２の事象の時系列な変化を示す。図７及び図８を比較しながら参照すると、ｎ＝１の画像の第１の事象関連状態を示すｘ１は０であり、第２の事象関連状態を示すｙ１は０であることが分かる。また、ｎ＝２の画像の第１の事象関連状態を示すｘ２は１であり、第２の事象関連状態を示すｙ２は０であることが分かる。
【００４９】
事象情報を何個の時系列な画像における第１の事象及び第２の事象の時系列な変化を示すものとするか、すなわちｍの値は設計的事項である。しかし、第１の事象が起きているタイミング（第１の事象関連状態が３であるタイミング）、及び、第２の事象が起きているタイミング（第２の事象関連状態が３であるタイミング）を含むようにｍ個の時系列な画像を定めるのが好ましい。事象情報生成部１２は、ｑ個の画像を含む時系列画像群から、ｍ個の時系列な画像における第１の事象及び第２の事象の時系列な変化を示す複数の事象情報を生成してもよい（ｍ≦ｑ）。複数の事象情報は、互いに異なるタイミングで切出されたｍ個の画像群における第１の事象及び第２の事象の時系列な変化を示すものであってもよい。また、複数の事象情報は、互いに異なる数の画像群（互いにｍの数が異なる画像群）における第１の事象及び第２の事象の時系列な変化を示すものであってもよい。
【００５０】
なお、事象情報生成部１２は、複数のカメラ各々で生成された複数の動画データに含まれる時系列画像群毎に上記手法で事象情報を生成し、各カメラに対応して生成した事象情報を時間同期して統合したものを最終的な事象情報として生成してもよい。
【００５１】
図９及び図１０を用いて当該処理を詳細に説明する。図９に示すＨＯＩＣ１（第１の事象）は、第１のカメラで生成された動画データに含まれる時系列画像群に基づき上記手法で生成した第１の事象に関する事象情報である。ＨＯＩＣ２（第１の事象）は、第２のカメラで生成された動画データに含まれる時系列画像群に基づき上記手法で生成した第１の事象に関する事象情報である。これら２つの事象情報を所定ルールで論理演算（統合）したものが図８に示すＨＯＩ（第１の事象）となる。
【００５２】
同様に、図１０に示すＨＯＩＣ１（第２の事象）は、第１のカメラで生成された動画データに含まれる時系列画像群に基づき上記手法で生成した第２の事象に関する事象情報である。ＨＯＩＣ２（第２の事象）は、第２のカメラで生成された動画データに含まれる時系列画像群に基づき上記手法で生成した第２の事象に関する事象情報である。これら２つの事象情報を所定ルールで論理演算（統合）したものが図８に示すＨＯＩ（第２の事象）となる。
【００５３】
所定ルールは、２つの入力値から１つの出力値を決定するものである。入力値は、「０」又は「０と異なる値」の２通りである。「０と異なる値」は複数の値をとることができる。出力値は、２つの入力値のいずれかの値となる。２つの入力値の少なくとも一方が「０と異なる値」である場合、出力値は「０と異なる値」となる。２つの入力値の両方が「０」である場合、出力値は「０」となる。
【００５４】
図２に戻り、因果関係算出部１３は、事象情報生成部１２が生成した事象情報に基づき、第１の事象と第２の事象との間の因果関係を示すスコアを算出する。
【００５５】
具体的には、因果関係算出部１３は、以下の式（１）に基づき、第１の事象が第２の事象に起因して起きた確率ＴＪ→Ｉを上記スコアとして算出する。
【００５６】
【数１】
2020152843.tif 000003
【００５７】
また、因果関係算出部１３は、以下の式（２）に基づき、第２の事象が第１の事象に起因して起きた確率ＴＩ→Ｊを上記スコアとして算出する。
【００５８】
【数２】
2020152843.tif 000004
【００５９】
ｐ（ｘｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｘｎで示される第１の事象関連状態が現れる確率を示す。
【００６０】
ｐ（ｙｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｙｎで示される第２の事象関連状態が現れる確率を示す。
【００６１】
ｐ（ｘｎ、ｙｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｘｎで示される第１の事象関連状態とｙｎで示される第２の事象関連状態が同時に現れる確率を示す。
【００６２】
ｐ（ｘｎ＋１、ｘｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｘｎで示される第１の事象関連状態が起きた直後にｘｎ＋１で示される第１の事象関連状態が起きる確率を示す。
【００６３】
ｐ（ｙｎ＋１、ｙｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｙｎで示される第２の事象関連状態が起きた直後にｙｎ＋１で示される第２の事象関連状態が起きる確率を示す。
【００６４】
ｐ（ｘｎ＋１、ｘｎ、ｙｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｘｎで示される第１の事象関連状態とｙｎで示される第２の事象関連状態が同時に起きた直後にｘｎ＋１で示される第１の事象関連状態が起きる確率を示す。
【００６５】
ｐ（ｙｎ＋１、ｘｎ、ｙｎ）は、事象情報により第１の事象関連状態及び第２の事象関連状態の時系列な変化を示される画像群において、ｘｎで示される第１の事象関連状態とｙｎで示される第２の事象関連状態が同時に起きた直後にｙｎ＋１で示される第２の事象関連状態が起きる確率を示す。
【００６６】
事象情報生成部１２が生成した事象情報が図８で示される場合、上記確率各々は図１１乃至図１７のように算出される。ここで、図１１に示すｐ（ｘｎ）を例にとり、確率の算出方法を説明する。上述の通り、ｘｎは０、１及び３のいずれかの値をとる。図７及び図８より、０となるｘｎの数は７であり、１となるｘｎの数は４であり、３となるｘｎの数は３である。以上より、ｐ（０）＝７／（７＋４＋３）＝７／１４となる。同様に、ｐ（１）＝４／１４となり、ｐ（３）＝３／１４となる。
【００６７】
次に、図１１乃至図１７の例に基づき、ｎ＝１の場合に式（１）に代入される値を説明する。
【００６８】
まず、ｎ＝１の場合にｐ（ｘｎ）に代入される値ｐ（ｘ１）を説明する。図７及び図８より、ｘ１＝０であるため、ｐ（ｘ１）＝ｐ（０）となる。そして、図１１より、ｐ（ｘｎ）の場合、ｐ（０）＝７／１４である。以上より、ｎ＝１の場合にｐ（ｘｎ）に代入される値ｐ（ｘ１）は７／１４となる。
【００６９】
次に、ｎ＝１の場合にｐ（ｘｎ、ｙｎ）に代入される値ｐ（ｘ１、ｙ１）を説明する。図７及び図８より、ｘ１＝ｙ１＝０であるため、ｐ（ｘ１、ｙ１）＝ｐ（０、０）となる。そして、図１１より、ｐ（ｘｎ、ｙｎ）の場合、ｐ（０、０）は６／１４である。以上より、ｎ＝１の場合にｐ（ｘｎ、ｙｎ）に代入される値ｐ（ｘ１、ｙ１）は６／１４となる。
【００７０】
次に、ｎ＝１の場合にｐ（ｘｎ＋１、ｘｎ）に代入される値ｐ（ｘ２、ｘ１）を説明する。図７及び図８より、ｘ１＝０、ｘ２＝１であるため、ｐ（ｘ２、ｘ１）＝ｐ（１、０）となる。そして、図１４より、ｐ（ｘｎ＋１、ｘｎ）の場合、ｐ（１、０）は２／１３である。以上より、ｎ＝１の場合にｐ（ｘｎ＋１、ｘｎ）に代入される値は２／１３となる。
【００７１】
次に、ｎ＝１の場合にｐ（ｘｎ＋１、ｘｎ、ｙｎ）に代入される値ｐ（ｘ２、ｘ１、ｙ１）を説明する。図７及び図８より、ｘ１＝ｙ１＝０であり、ｘ２＝１であるため、ｐ（ｘ２、ｘ１、ｙ１）＝ｐ（１、０、０）となる。そして、図１６より、ｐ（ｘｎ＋１、ｘｎ、ｙｎ）の場合、ｐ（１、０、０）は２／１３である。以上より、ｎ＝１の場合にｐ（ｘｎ＋１、ｘｎ、ｙｎ）に代入される値は２／１３となる。
【００７２】
ここで、式（１）及び式（２）を導き出す方法を説明する。まず、ｘｎとｙｎが発生したときにｘｎ＋１が発生した際のエントロピー値を示すｈ１は式（３）のように表すことができる。式（３）におけるｐ（ｘｎ＋１｜ｘｎ、ｙｎ）は、ｘｎとｙｎが発生したときにｘｎ＋１が発生した確率を示す。
【００７３】
【数３】
2020152843.tif 000005
【００７４】
また、ｘｎが発生したときにｘｎ＋１が発生した際のエントロピー値を示すｈ２は式（４）のように表すことができる。式（４）におけるｐ（ｘｎ＋１｜ｘｎ）は、ｘｎが発生したときにｘｎ＋１が発生した確率を示す。
【００７５】
【数４】
2020152843.tif 000006
【００７６】
式（４）から式（３）を引くと式（５）のようになる。
【００７７】
【数５】
2020152843.tif 000007
【００７８】
ｈ２−ｈ１はｙｎが発生したときにｘｎ＋１が発生した際のエントロピー値を表すので、事象発生の前後順を入れ替える場合は、式（６）及び式（７）のように表すことができる。
【００７９】
【数６】
2020152843.tif 000008
【００８０】
【数７】
2020152843.tif 000009
【００８１】
式（８）及び式（９）のように表すことができるので、式（６）及び式（７）は式（１）及び式（２）のように表すことができる。
【００８２】
【数８】
2020152843.tif 000010
【００８３】
【数９】
2020152843.tif 000011
【００８４】
このように、因果関係算出部１３は、複数の第１の事象関連状態の中の第１−１の事象関連状態と、複数の第２の事象関連状態の中の第２−１の事象関連状態とが同時に現れる確率に基づき、上記スコアを算出することができる。
【００８５】
また、因果関係算出部１３は、複数の第１の事象関連状態の中の第１−１の事象関連状態と、複数の第２の事象関連状態の中の第２−１の事象関連状態とが同時に現れ、かつ、複数の第１の事象関連状態の中の第１−２の事象関連状態が直後の画像に現れる確率に基づき、上記スコアを算出することができる。
【００８６】
また、因果関係算出部１３は、複数の第１の事象関連状態の中の第１−１の事象関連状態が現れる確率に基づき、上記スコアを算出することができる。
【００８７】
また、因果関係算出部１３は、複数の第１の事象関連状態の中の第１−１の事象関連状態が現れた直後の画像に複数の第１の事象関連状態の中の第１−２の事象関連状態が現れる確率に基づき、上記スコアを算出することができる。
【００８８】
図２に戻り、出力部１４は、時系列画像群から抽出された第１の事象及び第２の事象の内、スコアが所定条件を満たす第１の事象及び第２の事象を示す情報を出力する。所定条件は、スコアが基準値以上である。
【００８９】
出力部１４は、スコアが所定条件を満たす第１の事象及び第２の事象が起きているタイミング（事象情報生成部１２が生成した事象情報（図８参照）において３を示しているタイミング）の画像を出力してもよい。
【００９０】
また、出力部１４は、因果関係算出部１３が算出したスコアを併せて出力してもよい。
【００９１】
また、出力部１４は、事象抽出部１１が処理対象とした時系列画像群の中から、スコアが所定条件を満たす第１の事象と第２の事象とのペアが複数検出された場合、最もスコアの大きいペアを示す情報を出力してもよいし、スコアの大きい順に並べて複数のペアを示す情報を出力してもよい。
【００９２】
次に、図１８のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
【００９３】
Ｓ１０では、事象抽出部１１は、第１のカメラで生成されたｑ１個の画像を含む時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する。また、事象抽出部１１は、第２のカメラで生成されたｑ２個の画像を含む時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する。
【００９４】
Ｓ１１では、事象情報生成部１２は、第１の事象及び第２の事象を決定する。次いで、事象情報生成部１２は、第１のカメラで生成された時系列画像群の中のｍ個の画像群における第１の事象の時系列な変化、及び、第２の事象の時系列な変化を示す事象情報を生成する。同様に、事象情報生成部１２は、第２のカメラで生成された時系列画像群の中のｍ個の画像群における第１の事象の時系列な変化、及び、第２の事象の時系列な変化を示す事象情報を生成する。
【００９５】
そして、事象情報生成部１２は、第１のカメラで生成された時系列画像群の中のｍ個の画像群における第１の事象の時系列な変化を示す事象情報と、第２のカメラで生成された時系列画像群の中のｍ個の画像群における第１の事象の時系列な変化を示す事象情報とを時間同期して統合することで、第１の事象の時系列な変化を示す事象情報（最終版）を生成する。
【００９６】
同様に、事象情報生成部１２は、第１のカメラで生成された時系列画像群の中のｍ個の画像群における第２の事象の時系列な変化を示す事象情報と、第２のカメラで生成された時系列画像群の中のｍ個の画像群における第２の事象の時系列な変化を示す事象情報とを時間同期して統合することで、第２の事象の時系列な変化を示す事象情報（最終版）を生成する。
【００９７】
Ｓ１２では、因果関係算出部１３は、Ｓ１１で生成された事象情報に基づき、第１の事象と第２の事象との間の因果関係を示すスコアを算出する。
【００９８】
Ｓ１３では、出力部１４は、Ｓ１１で抽出された第１の事象及び第２の事象の内、Ｓ１２で算出されたスコアが所定条件を満たす第１の事象及び第２の事象を示す情報を出力する。
【００９９】
以上説明した本実施形態の処理装置１０によれば、検出対象の出来事に関わる第１の事象及び第２の事象を画像から抽出し、それらの間の因果関係を示すスコアを算出することができる。検出対象の出来事は、例えば、「男（成人）がカバン（黒）を女（成人）に渡す」である。この場合の第１の事象は、例えば「男（成人）がカバン（黒）を所持している」であり、第２の事象は、例えば「女（成人）がカバン（黒）を所持している」である。
【０１００】
そして、処理装置１０は、時系列画像群から抽出された第１の事象及び第２の事象の内、スコアが所定条件を満たす第１の事象及び第２の事象、すなわち互いの因果関係が基準レベルより大きい第１の事象及び第２の事象を示す情報を出力することができる。
【０１０１】
このような処理装置１０によれば、検出対象の出来事に関わる物体（人物や物）が画像内に存在するが、その出来事が起きたシーン（例：物を渡すシーン）が画像内に存在しないような場合であっても、画像解析でその出来事の発生を検出できるようになる。
【０１０２】
＜第２の実施形態＞
本実施形態の処理装置１０は、複数の第１の事象関連状態の定義の仕方及び複数の第２の事象関連状態の定義の仕方が第１の実施形態と異なる。処理装置１０のその他の構成は、第１の実施形態と同様である。
【０１０３】
図１９を用いて、複数の第１の事象関連状態の定義の仕方の一例を説明する。図示する例では、４つの第１の事象関連状態を定義している。
【０１０４】
「第１の事象関連状態：３」、「第１の事象関連状態：１」及び「第１の事象関連状態：０」は、第１の実施形態と同様である。「第１の事象関連状態：２」は、第１の人物（男（成人））が画像に含まれないが、第１の物（カバン（黒））及び第１の関係（所持）が画像に含まれる状態である。すなわち、Ｓ１、Ｖ１及びＯ１で定義される第１の事象が起きておらず、第１の事象に関わる第１の人物が画像に存在しないが、第１の事象に関わる第１の物体が画像に存在する状態である。
【０１０５】
図２０を用いて、複数の第２の事象関連状態の定義の仕方の一例を説明する。図示する例では、４つの第２の事象関連状態を定義している。
【０１０６】
「第２の事象関連状態：３」、「第２の事象関連状態：１」及び「第２の事象関連状態：０」は、第１の実施形態と同様である。「第２の事象関連状態：２」は、第２の人物（女（成人））が画像に含まれないが、第２の物（カバン（黒））及び第２の関係（所持）が画像に含まれる状態である。すなわち、Ｓ２、Ｖ２及びＯ２で定義される第２の事象が起きておらず、第２の事象に関わる第２の人物が画像に存在しないが、第２の事象に関わる第２の物体が画像に存在する状態である。
【０１０７】
本実施形態の処理装置１０によれば、第１の実施形態の処理装置１０と同様な作用効果を実現できる。
【０１０８】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１．  時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段と、
を有する処理装置。
２．  １に記載の処理装置において、
前記事象情報生成手段は、指定された検索条件に基づき、前記第１の人物、前記第１の物及び前記第１の関係を指定した前記第１の事象を決定するとともに、前記第２の人物、前記第２の物及び前記第２の関係を指定した前記第２の事象を決定する処理装置。
３．  １又は２に記載の処理装置において、
前記事象情報生成手段は、
前記第１の人物、前記第１の物及び前記第１の関係各々が画像に含まれるか否かに応じて、各画像を複数の第１の事象関連状態のいずれかに分類し、前記第１の事象関連状態の時系列な変化を示す前記事象情報を生成し、
前記第２の人物、前記第２の物及び前記第２の関係各々が画像に含まれるか否かに応じて、各画像を複数の第２の事象関連状態のいずれかに分類し、前記第２の事象関連状態の時系列な変化を示す前記事象情報を生成する処理装置。
４．  ３に記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１−１の事象関連状態と、複数の前記第２の事象関連状態の中の第２−１の事象関連状態とが同時に現れる確率に基づき、前記スコアを算出する処理装置。
５．  ３又は４に記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１−１の事象関連状態と、複数の前記第２の事象関連状態の中の第２−１の事象関連状態とが同時に現れ、かつ、複数の前記第１の事象関連状態の中の第１−２の事象関連状態が直後の画像に現れる確率に基づき、前記スコアを算出する処理装置。
６．  ３から５のいずれかに記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１−１の事象関連状態が現れる確率に基づき、前記スコアを算出する処理装置。
７．  ３から６のいずれかに記載の処理装置において、
前記因果関係算出手段は、複数の前記第１の事象関連状態の中の第１−１の事象関連状態が現れた直後の画像に複数の前記第１の事象関連状態の中の第１−２の事象関連状態が現れる確率に基づき、前記スコアを算出する処理装置。
８．  コンピュータが、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出工程と、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成工程と、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出工程と、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力工程と、
を有する処理方法。
９．  コンピュータを、
時系列画像群の画像毎に、人物と物とが互いに関係する事象を抽出する事象抽出手段、
第１の人物と、第１の物と、人物と物との間の第１の関係とにより定義される第１の事象の時系列な変化を示すとともに、第２の人物と、第２の物と、人物と物との間の第２の関係とにより定義される第２の事象の時系列な変化を示す事象情報を生成する事象情報生成手段、
前記事象情報に基づき、前記第１の事象と前記第２の事象との間の因果関係を示すスコアを算出する因果関係算出手段、
前記時系列画像群から抽出された前記第１の事象及び前記第２の事象の内、前記スコアが所定条件を満たす前記第１の事象及び前記第２の事象を示す情報を出力する出力手段、
として機能させるプログラム。
【０１０９】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【図１】
2020152843.tif 000012
【図２】
2020152843.tif 000013
【図３】
2020152843.tif 000014
【図４】
2020152843.tif 000015
【図５】
2020152843.tif 000016
【図６】
2020152843.tif 000017
【図７】
2020152843.tif 000018
【図８】
2020152843.tif 000019
【図９】
2020152843.tif 000020
【図１０】
2020152843.tif 000021
【図１１】
2020152843.tif 000022
【図１２】
2020152843.tif 000023
【図１３】
2020152843.tif 000024
【図１４】
2020152843.tif 000025
【図１５】
2020152843.tif 000026
【図１６】
2020152843.tif 000027
【図１７】
2020152843.tif 000028
【図１８】
2020152843.tif 000029
【図１９】
2020152843.tif 000030
【図２０】
2020152843.tif 000031
【国際調査報告】
2020152843.tif 000032
2020152843.tif 000033