(57)【要約】【課題】画像のような高次元情報である時系列情報からイベント発生を推定する。【解決手段】ハザード推定部１１が、イベントの発生時刻が予め与えられた時系列画像群であって、イベントが発生しなかった時系列画像群と、イベントが発生した時系列画像群とを含む複数の時系列画像群の各々について、イベントの発生しやすさを、ハザード関数に従って推定し、パラメータ推定部１２が、複数の時系列画像群の各々について与えられたイベントの発生時刻と、複数の時系列画像群の各々について推定されたイベントの発生しやすさとを含んで表される尤度関数を最適化するように、ハザード関数のパラメータを推定する。【選択図】図１
2020135482.tif 000002
【特許請求の範囲】
【請求項１】
画像の撮影者、被撮影者、又は被撮影物に関連するイベントの発生時刻が予め与えられた、一連の複数の画像から成る時系列画像群であって、前記イベントが発生しなかった時系列画像群と、前記イベントが発生した時系列画像群とを含む複数の時系列画像群の各々について、前記イベントの発生しやすさを、ハザード関数に従って推定するハザード推定部と、
前記複数の時系列画像群の各々について与えられた前記イベントの発生時刻と、前記複数の時系列画像群の各々について推定された前記イベントの発生しやすさとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定するパラメータ推定部と、
を具備することを特徴とするイベント発生時刻学習装置。
【請求項２】
前記時系列画像群には、更に、付随情報が与えられており、
前記ハザード推定部は、前記時系列画像群と、前記時系列画像群に与えられた付随情報とに基づいて、前記イベントの発生しやすさを、前記ハザード関数に従って推定する請求項１記載のイベント発生時刻学習装置。
【請求項３】
前記ハザード推定部は、
前記時系列画像群、及び該時系列画像群に与えられた付随情報の少なくとも一方を入力として用いて、前記イベントの発生しやすさを、部分ハザード関数に従って推定する複数の部分ハザード推定部であって、かつ、前記入力又は前記部分ハザード関数が、他の部分ハザード推定部と異なる複数の部分ハザード推定部と、
前記複数の部分ハザード推定部の各々から推定した前記イベントの発生しやすさを結合して、前記ハザード関数による推定値とする部分ハザード結合部と、
を含む請求項２に記載のイベント発生時刻学習装置。
【請求項４】
前記ハザード推定部は、ニューラルネットワークを用いた前記ハザード関数に従って、前記時系列画像群から、画像の時系列を考慮した特徴量を抽出し、前記抽出した特徴量に基づいて、前記イベントの発生しやすさを推定する請求項１又は２に記載のイベント発生時刻学習装置。
【請求項５】
一連の複数の画像から成る対象時系列画像群の入力を受け付ける入力部と、
前記対象時系列画像群について、画像の撮影者、被撮影者、又は被撮影物に関連するイベントの発生しやすさを、学習済みのパラメータを用いたハザード関数に従って推定するハザード推定部と、
前記推定されたイベントの発生しやすさに基づいて、次にイベントが発生する時刻を推定するイベント発生時刻推定部と、
を具備することを特徴とするイベント発生時刻推定装置。
【請求項６】
コンピュータが、
画像の撮影者、被撮影者、又は被撮影物に関連するイベントの発生時刻が予め与えられた、一連の複数の画像から成る時系列画像群であって、前記イベントが発生しなかった時系列画像群と、前記イベントが発生した時系列画像群とを含む複数の時系列画像群の各々
について、前記イベントの発生時刻と、前記複数の時系列画像群の各々について推定された前記イベントの発生しやすさとを含んで表される尤度関数を最適化するように、ハザード関数のパラメータを推定するステップと、
一連の複数の画像から成る対象時系列画像群の入力を受け付けるステップと、
前記対象時系列画像群について、前記イベントの発生しやすさを、前記推定したパラメータを用いたハザード関数に従って推定するステップと、
前記推定されたイベントの発生しやすさに基づいて、次にイベントが発生する時刻を推定するステップと、
を実行するイベント発生時刻推定方法。
【請求項７】
コンピュータに、
画像の撮影者、被撮影者、又は被撮影物に関連するイベントの発生時刻が予め与えられた、一連の複数の画像から成る時系列画像群であって、前記イベントが発生しなかった時系列画像群と、前記イベントが発生した時系列画像群とを含む複数の時系列画像群の各々について、前記イベントの発生しやすさを、ハザード関数に従って推定し、
前記複数の時系列画像群の各々について与えられた前記イベントの発生時刻と、前記複数の時系列画像群の各々について推定された前記イベントの発生しやすさとを含んで表される尤度関数を最適化するように、前記ハザード関数のパラメータを推定する
ことを実行させるためのイベント発生時刻学習プログラム。
【請求項８】
コンピュータに、
一連の複数の画像から成る対象時系列画像群の入力を受け付け、
前記対象時系列画像群について、画像の撮影者、被撮影者、又は被撮影物に関連するイベントの発生しやすさを、学習済みのパラメータを用いたハザード関数に従って推定し、
前記推定されたイベントの発生しやすさに基づいて、次にイベントが発生する時刻を推定する
ことを実行させるためのイベント発生時刻推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、時系列に沿って取得された一連の複数の画像を用いてイベントが発生する時刻を予測するイベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラムに関する。
【背景技術】
【０００２】
従来、イベントが発生するまでの時間に関連するデータを解析することで、イベント発生までの時間を推定する技術が存在する。例えば、非特許文献１では、医療用画像を用いてイベント発生（例えば、患者の死亡）までの時間を推定している。具体的には、生存分析と深層学習技術、特にＣＮＮ（Convolutional Neural Network）（例えば、非特許文献２）を用いることにより、医療用画像に含まれる病変の大きさや位置等の特徴と患者の死亡までの時間の非線形的な関係をモデル化することにより推定を可能にしている。
【０００３】
また、非特許文献３のように、複数回の臨床検査の結果から得られる時系列情報からイベント発生までの時間を推定する技術が存在する。具体的には、生存分析と深層学習技術、特にＲＮＮ（Recurrent Neural Network）を用いることにより、検査結果の時系列変化を捉えて、イベント発生までの時間との関係をモデル化することにより推定を可能にしている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Xinliang Zhu, Jiawen Yao, and Junzhou Huang. “Deep convolutional neural network for survival analysis with pathological images.” In Bioinformatics and Biomedicine (BIBM), 2016 IEEE International Conference on, pp. 544-547. IEEE, 2016.
【非特許文献２】Yann LeCun, Leon Bottou, Yoshua Bengio, Patrick Haffner. “Gradient-based learning applied to document recognition”, Proceedings of the IEEE, Vol. 86, No. 11, pp. 2278-2324, 1998.
【非特許文献３】Eleonora Giunchiglia, Anton Nemchenko, Mihaela van der Schaar. “Rnn-surv: A deep recurrent model for survival analysis”, In International Conference on Articial Neural Networks, pp. 23-32. Springer, 2018.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の手法では、異なる時刻に撮影された一連の画像に含まれている時系列情報を扱うことができない。例えば、非特許文献１を使った技術では、画像のような高次元情報は扱うことはできるが時系列情報は扱えない。一方、非特許文献３を使った技術では、時系列情報は扱うことができるが画像のような高次元情報は扱うことができない。
【０００６】
また、この２つの技術は、ニューラルネットワークの構造、ハザード関数、及び尤度関数等が各々異なっているために、単純に組み合わせることはできない。これにより、物体の動き等を考慮に入れた解析を行うことができないといった問題がある。例えば、イベントとして交通事故について考察すると、周囲の歩行者が近づいているのか、離れているか、また、その速さがどの程度あるのか等の物体の動きを解析することができない。そのため、事故の発生までの時間を予測することが難しい。
【０００７】
さらに、これらの技術では、一連の画像に付随する情報を扱うことができない。付随する情報には、一連の画像の全体に紐づけられるようなメタデータと、センサデータに代表される時系列データがあるが、非特許文献１では、この双方のデータを扱えず、非特許文献３では、時系列データは扱えるがメタデータを扱えない。例えば、イベントとして交通事故を考察する場合、メタデータとしては運転手の年齢や自動車の種別等の属性情報が挙げられ、時系列データとしては自動車の速度や加速度、ＧＰＳ（Global Positioning System）による位置情報、現在時刻等が挙げられる。これらの情報は、運転手の反応速度や運転傾向、速度が速い方が危険である、飛び出しが多い地域であるといった事前知識と関連している。従来技術では、これらの情報を十分に活用できず、飛び出しの直前まで一連の画像に表れない事故の発生を見落とす場合がある。
【０００８】
本発明は、以上のような事情に鑑みてなされたものであり、時系列に沿って取得された一連の複数の画像を用いてイベントが発生する時刻を学習することにより、イベントが発生する時刻を推定するイベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本開示のイベント発生時刻学習装置は、画像の撮影者、被撮影者、又は被撮影物に関連するイベントの発生時刻が予め与えられた、一連の複数の画像から成る時系列画像群であって、イベントが発生しなかった時系列画像群と、イベントが発生した時系列画像群とを含む複数の時系列画像群の各々について、イベントの発生しやすさを、ハザード関数に従って推定するハザード推定部と、複数の時系列画像群の各々について与えられたイベントの発生時刻と、複数の時系列画像群の各々について推定されたイベントの発生しやすさとを含んで表される尤度関数を最適化するように、ハザード関数のパラメータを推定するパラメータ推定部と、を具備する。
【００１０】
なお、時系列画像群には、更に、付随情報が与えられており、ハザード推定部は、時系列画像群と、時系列画像群に与えられた付随情報とに基づいて、イベントの発生しやすさを、ハザード関数に従って推定するようにしてもよい。
【００１１】
なお、ハザード推定部は、時系列画像群、及び該時系列画像群に与えられた付随情報の少なくとも一方を入力として用いて、イベントの発生しやすさを、部分ハザード関数に従って推定する複数の部分ハザード推定部であって、かつ、入力又は部分ハザード関数が、他の部分ハザード推定部と異なる複数の部分ハザード推定部と、複数の部分ハザード推定部の各々から推定したイベントの発生しやすさを結合して、ハザード関数による推定値とする部分ハザード結合部と、を含むように構成してもよい。
【００１２】
なお、ハザード推定部は、ニューラルネットワークを用いたハザード関数に従って、時系列画像群から、画像の時系列を考慮した特徴量を抽出し、抽出した特徴量に基づいて、イベントの発生しやすさを推定するようにしてもよい。
【００１３】
本開示のイベント発生時刻推定装置は、一連の複数の画像から成る対象時系列画像群の入力を受け付ける入力部と、対象時系列画像群について、画像の撮影者、被撮影者、又は被撮影物に関連するイベントの発生しやすさを、学習済みのパラメータを用いたハザード関数に従って推定するハザード推定部と、推定されたイベントの発生しやすさに基づいて、次にイベントが発生する時刻を推定するイベント発生時刻推定部と、を具備する。
【００１４】
本開示のイベント発生時刻推定方法は、コンピュータが、画像の撮影者、被撮影者、又は被撮影物に関連するイベントの発生時刻が予め与えられた、一連の複数の画像から成る時系列画像群であって、イベントが発生しなかった時系列画像群と、イベントが発生した時系列画像群とを含む複数の時系列画像群の各々について、イベントの発生時刻と、複数の時系列画像群の各々について推定されたイベントの発生しやすさとを含んで表される尤度関数を最適化するように、ハザード関数のパラメータを推定するステップと、一連の複数の画像から成る対象時系列画像群の入力を受け付けるステップと、対象時系列画像群について、イベントの発生しやすさを、推定したパラメータを用いたハザード関数に従って推定するステップと、推定されたイベントの発生しやすさに基づいて、次にイベントが発生する時刻を推定するステップと、を実行する。
【００１５】
本開示のイベント発生時刻学習プログラムは、コンピュータに、画像の撮影者、被撮影者、又は被撮影物に関連するイベントの発生時刻が予め与えられた、一連の複数の画像から成る時系列画像群であって、イベントが発生しなかった時系列画像群と、イベントが発生した時系列画像群とを含む複数の時系列画像群の各々について、イベントの発生しやすさを、ハザード関数に従って推定し、複数の時系列画像群の各々について与えられたイベントの発生時刻と、複数の時系列画像群の各々について推定されたイベントの発生しやすさとを含んで表される尤度関数を最適化するように、ハザード関数のパラメータを推定することを実行させるためのプログラムである。
【００１６】
本開示のイベント発生時刻推定プログラムは、コンピュータに、一連の複数の画像から成る対象時系列画像群の入力を受け付け、対象時系列画像群について、画像の撮影者、被撮影者、又は被撮影物に関連するイベントの発生しやすさを、学習済みのパラメータを用いたハザード関数に従って推定し、推定されたイベントの発生しやすさに基づいて、次にイベントが発生する時刻を推定することを実行させるためのプログラムである。
【発明の効果】
【００１７】
以上の特徴からなる本開示のイベント発生時刻学習装置では、複数の時系列画像群の各々について与えられたイベントの発生時刻と、複数の時系列画像群の各々について推定されたイベントの発生しやすさとを含んで表される尤度関数を用いてハザード関数を最適化することが可能になる。また、本開示のイベント発生時刻推定装置では、イベント発生時刻学習装置で最適化されたハザード関数から得られたイベントの発生しやすさを用いて、次にイベントが発生する時刻を推定することが可能になる。
【００１８】
また、これに加え、時系列画像に付随する付随情報を加味することにより、推定精度を向上することが可能となる。
【００１９】
さらに、入力又は部分ハザード関数を異ならせた複数の手法でイベントの発生しやすさを得て、推定したイベントの発生しやすさを結合してハザード関数の出力とすることにより、様々な異なるタイプの入力に適した推定が可能になる。
【図面の簡単な説明】
【００２０】
【図１】本開示の第１の実施の形態に係るイベント発生時刻学習装置とイベント発生時刻推定装置の構成を示すブロック図である。
【図２】本開示の第１の実施の形態に係るニューラルネットワークの構造を示すブロック図である。
【図３】本開示の第１の実施の形態に係るハザード関数とイベントの関係を説明するための図である。
【図４】本開示の第１の実施の形態に係るイベント発生時刻学習装置の処理の流れを示すフローチャートである。
【図５】本開示の第１の実施の形態に係るイベント発生時刻推定装置の処理の流れを示すフローチャートである。
【図６】本開示の第１の実施の形態に係るイベント発生時刻学習装置とイベント発生時刻推定装置を異なる装置で構成した時のブロック図である。
【図７】本開示の第２の実施の形態に係るイベント発生時刻学習装置とイベント発生時刻推定装置の構成を示すブロック図である。
【図８】本開示の第２の実施の形態に係るニューラルネットワークの構造を示すブロック図である。
【図９】本開示の第２の実施の形態に係るイベント発生時刻学習装置の処理の流れを示すフローチャートである。
【図１０】本開示の第２の実施の形態に係るイベント発生時刻学習装置とイベント発生時刻推定装置を異なる装置で構成した時のブロック図である。
【図１１】本開示の第３の実施の形態に係るニューラルネットワークの構造を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本開示の実施の形態を詳細に説明する。
【００２２】
図１は、本開示の第１の実施の形態に係るイベント発生時刻学習装置とイベント発生時刻推定装置の構成図である。第１の実施の形態では、イベント発生時刻学習装置とイベント発生時刻推定装置が、同一の装置内に設けられる場合について説明する。以下、イベント発生時刻学習装置とイベント発生時刻推定装置を合わせて、単に、イベント発生時刻予測装置として説明する。
【００２３】
イベント発生時刻予測装置１は、演算処理装置、主記憶装置、補助記憶装置、データバス、入出力インターフェース、及び通信インターフェース等の周知のハードウェアを備えたコンピュータあるいはサーバコンピュータにより構成されている。また、イベント発生時刻学習プログラム及びイベント発生時刻推定プログラムを構成する各種プログラムが主記憶装置にロードされた後に演算処理装置によって実行されることにより、イベント発生時刻予測装置１の各部として機能する。第１の実施の形態では、各種プログラムは、イベント発生時刻予測装置１が備える補助記憶装置に記憶されているが、各種プログラムの記憶先はこれに限らず、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録されても良く、ネットワークを通して提供されても良い。また、その他のいかなる構成要素も、必ずしも単一のコンピュータやサーバコンピュータによって実現される必要はなく、ネットワークによって接続された複数のコンピュータにより分散されて実現されてもよい。
【００２４】
図１に示すイベント発生時刻予測装置１は、ハザード推定部１１、パラメータ推定部１２、パラメータ格納部１３、イベント発生時刻推定部１４、及び入力部１５を備える。なお、同図において、実線矢印は、イベント発生時刻学習装置として機能する時のデータの通信とその方向を示し、破線矢印は、イベント発生時刻推定装置として機能する時のデータの通信とその方向を表している。
【００２５】
また、イベント発生時刻予測装置１は履歴映像データベース２と通信手段を介して接続されて相互に情報通信する。通信手段は、任意の公知のものを用いることができる。例えば、イベント発生時刻予測装置１は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）のプロトコルに従って通信するインターネット等の通信手段を介して履歴映像データベース２に接続されていてもよい。あるいは、他のプロトコルに従った通信手段であってもよい。
【００２６】
また、履歴映像データベース２は、演算処理装置、主記憶装置、補助記憶装置、データバス、入出力インターフェース、及び通信インターフェース等の周知のハードウェアを備えたコンピュータあるいはサーバコンピュータにより構成されている。第１の実施の形態では、履歴映像データベース２がイベント発生時刻予測装置１の外部に設けられる場合について説明するが、イベント発生時刻予測装置１内に設けられてもよい。
【００２７】
履歴映像データベース２は、イベントの発生時刻が予め与えられた一連の複数の画像から成る複数の時系列画像群を格納する。時系列画像群は、所定の時間間隔で撮影された一連の複数の画像で構成される。第１の実施の形態では、時系列画像群がビデオ映像である場合を例に以下説明する。以下、ビデオ映像を単に映像Ｖとして説明する。さらに、履歴映像データベース２は、各映像Ｖについてイベントが発生した時刻の集合を格納している。イベントには、撮影者、被撮影者、又は被撮影物に関連するイベントが含まれる。また、イベントは、被撮影者又は被撮影物に変化が生じるイベントのように映像に現れるイベントであっても、撮影者に関するイベントのように映像には現れていないイベントであってもよい。以下、イベントが発生した時刻の集合をイベント発生時刻集合Ｅとして説明する。
【００２８】
なお、時系列画像は、ビデオカメラ等の動画を撮影録画された画像に限らず、デジタルスチールカメラが所定の時間間隔で撮影した画像であってもよい。
【００２９】
また、撮影者は、ビデオカメラ又はデジタルスチールカメラ等の時系列画像を撮影録画する装置を用いて撮影を行っている人物、動物、又は撮影録画する装置を設けたロボット又は自動車等の乗り物等である。
【００３０】
映像Ｖの識別子をｉとして、各映像Ｖｉは下の式（１）のように表される。
【数１】
2020135482.tif 000003
（１）
ここで、Ｉｉｊ は映像Ｖｉに含まれるｊ番目の画像を表し、｜Ｖｉ｜は映像Ｖｉの長さを表す。
【００３１】
また、各映像Ｖｉ内のイベント発生時刻集合Ｅｉは、下の式（２）のように表される。
【数２】
2020135482.tif 000004
（２）
ここで、ｅｉｋは映像Ｖｉ中で発生したｋ番目のイベントの発生時刻を表し、｜Ｅｉ｜は映像Ｖｉ中で発生したイベントの回数を示す。なお、履歴映像データベース２にはイベントが発生しなかった映像Ｖｉ、即ち、｜Ｅｉ｜＝０となる映像も含まれる。
【００３２】
入力部１５は、イベントの発生の推定対象となる一連の複数の画像から成る対象時系列画像群の入力を受け付ける。対象時系列画像群は、ネットワークに接続されたストレージから送信されたり、磁気ディスク、光ディスク、半導体メモリ等の種々の記録媒体から入力されたりする。
【００３３】
第１の実施の形態では、対象時系列画像群は、履歴映像データベース２に格納されている時系列画像群と同様に、ビデオ映像Ｖである場合を例に以下説明する。以下、対象時系列画像群を単に対象映像という。対象映像は、過去のある時刻から現在までの映像Ｖであり、識別子をｃとする。また、履歴映像データベース２内の映像と同様に、対象映像Ｖｃとし、下の式（３）のように表わされる。
【数３】
2020135482.tif 000005
（３）
なお、イベントは対象映像Ｖｃ中に発生していても、発生していなくてもよい。
【００３４】
第１の実施の形態では、ニューラルネットワーク（例えば、ＣＮＮ及びＲＮＮの組み合わせ、又は、３ＤＣＮＮ）を用いた深層学習と生存分析を用いて、映像Ｖとイベントの関係を表すハザード関数を生成する。学習によって、予測時に用いるハザード関数を構成するパラメータθを最適化することで、イベントの発生時刻を推定する。
【００３５】
パラメータ格納部１３は、ハザード関数のパラメータθを格納する。パラメータθについては後述する。
【００３６】
ハザード推定部１１は、イベントが発生しなかった映像Ｖｉと、イベントが発生した映像Ｖｉとを含む複数の映像Ｖｉの各々について、イベントの発生しやすさを、ハザード関数に従って推定する。具体的には、ニューラルネットワークを用いたハザード関数に従って、映像Ｖｉから、画像の時系列を考慮した特徴量を抽出し、抽出した特徴量に基づいて、イベントの発生しやすさを推定する。
【００３７】
まず、ハザード推定部１１は、パラメータ格納部１３からハザード関数のパラメータθを受け取り、深層学習を活用して、ハザード関数の値を出力する。
【００３８】
ハザード関数は、発生までの時間ｔと深層学習によって推定されるｌ個の変数（ｘ１，・・・，ｘｌ）に依存する関数であり、時間ｔまでにイベントが発生しなかった場合に、その直後にイベントが発生する発生しやすさを表す。ハザード関数ｈ（ｔ）は、例えば、下の式（４）又は式（５）で表される。式（４）は、変数が２個の場合を表し、式（５）は、変数が１個の場合を表す。なお、ハザード関数ｈ（ｔ）のｔは、予測時刻からの経過時間を表す。必要に応じて、ハザード関数ｈ（ｔ）の変数を増やしてｌ個の変数を持つ式を用いてもよい。
【数４】
2020135482.tif 000006
（４）
【数５】
2020135482.tif 000007
（５）
【００３９】
ハザード関数で用いる具体的なニューラルネットワークの構造の例を図２に示す。図２に示すように、第１の実施の形態のニューラルネットワークは、畳み込み層２０、全結合層Ａ２１、ＲＮＮ層２２、全結合層Ｂ２３、出力層２４のユニットから構成される。
【００４０】
畳み込み層２０は、映像Ｖｉ中の各画像Ｉｉｊ（ｉ＝１〜ｊ、ｊ≦｜Ｖｉ｜）から特徴量を抽出する層である。例えば、画像を３×３画素のフィルタで畳み込んだり、特定の大きさの矩形内の画素値の最大値を抽出（最大プーリング）したりする。畳み込み層２０には、例えば、参考文献１に記載のＶＧＧ等の公知のニューラルネットワーク構造を用いたり、事前に学習済みのパラメータを利用したりすることも可能である。
【００４１】
[参考文献１]   Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. CoRR, Vol. abs/1409.1556, 2014.
【００４２】
全結合層Ａ２１は、畳み込み層２０から得られる特徴量を更に抽象化する。ここでは、例えばシグモイド関数等を利用して、入力の特徴量を非線形変換する。
【００４３】
ＲＮＮ層２２は抽象化された特徴を更に時系列データとして抽象化する層である。具体的には、例えば、特徴を時系列データとして受け取り、過去の抽象化された情報を循環させて、繰り返し非線形変換する。ＲＮＮ層２２は、時系列データを適切に抽象化できるネットワーク構造であればよく、公知の構造を利用することが可能であり、例えば参考文献２の技術を利用することもできる。
【００４４】
［参考文献２］Kyunghyun Cho, Bart Van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Hol-ger Schwenk, and Yoshua Bengio. Learning phrase representations using rnn encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078, 2014.
【００４５】
全結合層Ｂ２３は、抽象化された複数の特徴量をハザード関数内の変数の数（ｌ）に対応するｌ次元のベクトルに変換して、ベクトルの要素をハザード関数の変数の値として計算する。ここでは、例えばシグモイド関数等を利用して、入力された特徴量を非線形変換する。
【００４６】
出力層２４は、計算されたｌ次元のベクトルに基づいて、上記式（４）又は式（５）に従って、時間ｔの直後にイベントが発生する発生しやすさを表す値を出力する。
【００４７】
パラメータ推定部１２は、複数の映像Ｖｉの各々について与えられたイベントの発生時刻と、複数の映像Ｖｉの各々について推定されたイベントの発生しやすさとを含んで表される尤度関数を最適化するように、ハザード関数のパラメータθを推定する。
【００４８】
まず、パラメータ推定部１２は、履歴映像データベース２内に格納される各映像Ｖｉのイベント発生時刻集合Ｅｉと、ハザード推定部１１の出力であるハザード関数とを比較することで、パラメータθを推定する。ｋ番目のイベントの発生時刻ｅｉｋと、ハザード関数から推定された各時刻ｔｉｊにおけるイベントの発生しやすさとから得られる尤度関数Ｌの出力を最大化するように、ハザード関数のパラメータθを最適化する。最適化したハザード関数のパラメータθをパラメータ格納部１３に格納する。
【００４９】
例えば、Ｎ個の映像に対して、各映像Ｖｉとその映像Ｖｉのイベント発生時刻集合Ｅｉを用いて、Δｔｉｊとδｉｊをそれぞれ定義すると、下の式（６）と式（７）で表される。なお、ｔｉｊは、映像Ｖｉのｊ番目の画像Ｉｉｊの時刻を表す。
【数６】
2020135482.tif 000008
（６）
【数７】
2020135482.tif 000009
（７）
【００５０】
これらから、現在のパラメータθを利用した時に、定義される尤度関数Ｌ(θ)は、下の式（８）で表される。
【数８】
2020135482.tif 000010
（８）
ただし
【数９】
2020135482.tif 000011
【００５１】
具体的な最適化の方法として、例えば、尤度関数Ｌ（θ）の対数に−１をかけたものを損失関数として、バックプロパゲーション等の公知の技術を用いることによって損失関数を最小化することで実現できる。
【００５２】
ハザード推定部１１に、学習済みのパラメータθを設定し、図３に示すように対象映像Ｖｃの画像Ｉ０から画像Ｉｊまでの各画像を入力すると、時刻ｔｊ以降の各時刻におけるハザード関数ｈ（ｔ）の値が得られる。ハザード関数ｈ（ｔ）は、図３の矢印の範囲、つまり画像Ｉｊの時刻ｔｊから経過した時間ｔにおけるイベントの発生しやすさｐが得られる。
【００５３】
イベント発生時刻推定部１４は、ハザード推定部１１で推定したハザード関数の値に基づいて、次にイベントが発生する時刻を推定する。例えば、予測は、ハザード関数に基づくシミュレーションを行うことによって、又は、ハザード関数から導出される生存関数（ｔ秒後までイベントが発生しない確率）の値と閾値を比較することによって、次にイベントが発生する時刻ｅｃを推定することができる。
【００５４】
次に、第１の実施の形態のイベント発生時刻予測装置１が、イベント発生時刻学習装置として機能する時の処理の流れについて、図４のフローチャートを用いて説明する。
【００５５】
まず、ステップＳ１で、初期値として乱数等で決定したハザード関数のパラメータθをパラメータ格納部１３に格納する。
【００５６】
次に、ステップＳ２で、履歴映像データベース２に含まれる映像｛Ｖ０，・・・，ＶＮ｝をハザード推定部１１に渡す。なお、Ｎは、履歴映像データベース２に含まれる映像数である。ここで、ハザード推定部１１に渡す映像Ｖｉは、履歴映像データベース２の中の各映像ＶｉをＮ個全て渡してもよいし、あるいは、履歴映像データベース２の中の映像Ｖｉの一部のみをハザード推定部１１に渡すようにしてもよい。
【００５７】
ステップＳ３で、ハザード推定部１１は、パラメータ格納部１３から得られたパラメータθを、ハザード関数内のニューラルネットワークのパラメータとして設定する。
【００５８】
ステップＳ４で、ハザード推定部１１は、各映像Ｖｉ（ｉは１〜Ｎ）に対して、最初の画像Ｉｉ０から画像Ｉｉｊの時刻ｔｊ（ｊは０〜｜Ｖｉ｜）までのハザード関数ｈ（ｔ｜Ｖｉｊ；θ）を得る処理（図３参照）を繰り返す。全ての映像Ｖｉについて得られたハザード関数ｈ（ｔ｜Ｖｉｊ；θ）を、パラメータ推定部１２に渡す。
【００５９】
ステップＳ５で、さらに、パラメータ推定部１２は、各映像Ｖｉに対応する履歴映像データベース２に含まれるイベント発生時刻集合｛Ｅ０,・・・,Ｅｎ｝を受け取る。
【００６０】
ステップＳ６では、パラメータ推定部１２は、渡されたハザード関数ｈ（ｔ｜Ｖｉｊ；θ)と、イベント発生時刻集合｛Ｅ０,・・・,Ｅｎ｝から得られた尤度関数Ｌ（θ）を最大化することにより、ハザード関数のパラメータθの最適化を行う。
【００６１】
ステップＳ７では、最適化したハザード関数のパラメータθをパラメータ格納部１３に格納する。
【００６２】
ステップＳ８では、予め定めた基準（例えば、事前に決定した回数、又は、尤度関数の変化量が基準値以下になった等）に到達しているか否かを判断する。ステップＳ８が否定された場合は、ステップＳ２に戻る。
【００６３】
ステップＳ２では、再度、履歴映像データベース２に含まれる映像｛Ｖ０，・・・，ＶＮ｝をハザード推定部１１に渡す。毎回、同じ映像Ｖｉをハザード推定部１１に渡してもよいが、異なる映像Ｖｉをハザード推定部１１に渡してもよい。例えば、毎回、ハザード推定部１１に履歴映像データベース２の中の映像ＶｉのＮ個を全て渡すようにしてもよい。あるいは、最初にハザード推定部１１に渡した履歴映像データベース２の中の映像Ｖｉの一部とは異なる他の部分の映像Ｖｉを渡すようにして、逐次的に履歴映像データベース２に含まれる一部の映像Ｖｉを渡すようにしてもよい。また、同一の映像Ｖｉを複数回渡してもよい。
【００６４】
続いて、ステップＳ３〜ステップＳ７の処理を実行して新しいハザード関数ｈ（ｔ）のパラメータθを求める。ステップＳ８で、予め定めた基準に到達しているか否かを判断し、予め定めた基準に到達するまで繰り返しステップＳ２〜ステップＳ７の処理を実行する。ステップＳ８の判断が肯定されると最適化を終了する。
【００６５】
次に、第１の実施の形態のイベント発生時刻予測装置１が、イベント発生時刻推定装置として機能する時の処理の流れについて、図５のフローチャートを用いて説明する。
【００６６】
まず、ステップＳ１１で、パラメータ格納部１３に格納されている最適化されたハザード関数のパラメータθを、ハザード推定部１１に渡す。
【００６７】
ステップＳ１２で、入力部１５から対象映像Ｖｃを入力して、ハザード推定部１１に渡す。
【００６８】
ステップＳ１３で、ハザード推定部１１は、対象映像Ｖｃの各画像Ｉｃｊに基づいて、対象映像Ｖｃの終了時刻以降の各時刻ｔについてハザード関数ｈ（ｔ｜Ｖｃ)を計算し、イベント発生時刻推定部１４に渡す。
【００６９】
ステップＳ１４で、イベント発生時刻推定部１４が、各時刻ｔについてのハザード関数ｈ（ｔ｜Ｖｃ)の値に基づいて、イベントの発生時刻ｅｃを推定する。さらに、ステップＳ１５で、推定した発生時刻ｅｃを出力する。
【００７０】
第１の実施の形態では、イベント発生時刻学習装置とイベント発生時刻推定装置が１つの装置で構成される場合について説明したが、図６に示すように、イベント発生時刻学習装置１ａとイベント発生時刻推定装置１ｂとが、異なる装置で構成されるようにしてもよい。各構成要素および処理の流れは、イベント発生時刻学習装置１ａとイベント発生時刻推定装置１ｂを同一の装置とした場合と同じであるので省略する。
【００７１】
第１の実施の形態では、深層学習と生存分析を用いることで時系列画像が持つ高次の情報及びその時間変化を考慮することにより、イベントが発生するまでの時間の推定を可能とする。例えば、イベントが交通事故の場合、物体の動きを考慮することで、周囲の歩行者が近づいているのか、離れているかがわかり、さらに、その速さを考慮することで、事故の発生までの時間を予測できる。
【００７２】
次に第２の実施の形態について説明する。第１の実施の形態と同様に、イベント発生時刻学習装置とイベント発生時刻推定装置が、同一の装置内に設けられる場合について説明する。また、第２の実施の形態においても、第１の実施の形態と同様に、時系列画像群が映像である場合について説明する。第２の実施の形態では、映像のみだけではなく、映像に加えて付随情報を用いて、ハザード関数を推定する点で第１の実施の形態とは異なる。第１の実施の形態と同じ構成については同一符号を付して詳細な説明は省略し、異なる構成についてのみ詳細な説明を行う。
【００７３】
第２の実施の形態の履歴映像データベース２には、各映像Ｖｉと、各映像Ｖｉ内のイベント発生時刻集合Ｅｉに加えて付随情報が記憶される。各映像Ｖｉと、各映像Ｖｉ内のイベント発生時刻集合Ｅｉは、第１の実施の形態と同様に表されるので、詳細な説明は省略する。付随情報は、例えば、メタデータ、又は映像Ｖｉと同時にセンサーから得られた時系列データ等である。具体的に、映像Ｖｉが車載カメラで撮られた映像である場合には、メタデータとしては運転手の年齢や自動車の種別等の属性情報が挙げられ、時系列データとしては自動車の速度又は加速度、ＧＰＳによる位置情報、現在時刻等が挙げられる。
【００７４】
以下、第２の実施の形態では、付随情報が時系列データの場合について説明する。各映像Ｖｉの画像Ｉｉｊに対して付随される付随情報をＡｉｊとする。なお、付随情報Ａｉｊは下の式（９）のように表される。
【数１０】
2020135482.tif 000012
（９）
ここで、ａｒｉｊは映像Ｖｉのｊ番目の画像Ｉｉｊに付随する種類ｒの付随情報を表し、各画像Ｉｉｊに紐づけられる任意の形式（例えば、スカラ値、カテゴリ変数、ベクトル、又は行列）の時系列データで格納される。なお、｜Ａｉｊ｜は画像Iｉｊに対する付随情報の種類の数を表す。
【００７５】
車載カメラの例では、付随情報Ａｉｊは、例えば速度、加速度、及び位置情報の各センサデータであり、多次元のベクトルで表される。
【００７６】
第２の実施の形態のイベント発生時刻予測装置１ｃは、図７に示すように、ハザード推定部１１ａ、パラメータ推定部１２ａ、パラメータ格納部１３、イベント発生時刻推定部１４、及び入力部１５を備える。なお、同図において、実線矢印は、イベント発生時刻学習装置として機能する時のデータの通信とその方向を示し、破線矢印は、イベント発生時刻推定装置として機能する時のデータの通信とその方向を表している。パラメータ格納部１３、イベント発生時刻推定部１４、及び入力部１５は第１の実施の形態と同様であるので、詳細な説明は省略する。
【００７７】
第２の実施の形態のハザード推定部１１ａは、Ｍ個の部分ハザード推定部１１−１・・・１１−Ｍ、及び部分ハザード結合部１６を備える。
【００７８】
部分ハザード推定部１１−１・・・１１−Ｍの各々は、映像Ｖｉ、及び映像Ｖｉに与えられた付随情報Ａｉｊの少なくとも一方を入力として用いて、イベントの発生しやすさを部分ハザード関数ｈｍ（ｔ）に従って推定する。ここで、ｍは、部分ハザード推定部１１−１・・・１１−Ｍの識別子である。複数の部分ハザード推定部１１−１・・・１１−Ｍは、映像Ｖｉ、及び映像Ｖｉに与えられた付随情報Ａｉｊの少なくとも一方を入力する。
【００７９】
時系列データを用いてハザード関数を得る場合のニューラルネットワークの構造の例を図８に示す。ここでは、付随情報の特徴量と画像の特徴量を入力とする場合を例に説明する。図８に示すように、第２の実施の形態のニューラルネットワークは、畳み込み層２０、全結合層Ａ２１、ＲＮＮ層２２、全結合層Ｂ２３、出力層２４のユニットに、時系列データの付随情報Ａｉｊを入力する全結合層Ｃ２５のユニットが加えられる。畳み込み層２０、全結合層Ａ２１、ＲＮＮ層２２、全結合層Ｂ２３、出力層２４のユニットは、第１の実施の形態と同様であるので詳細な説明は省略する。
【００８０】
全結合層Ｃ２５は、多次元のベクトルで表された付随情報Ａｉｊを抽象化した１次元の特徴量ベクトルに変換する。また、付随情報Ａｉｊは、予め正規化して全結合層Ｃ２５に入力するのが望ましい。
【００８１】
ＲＮＮ層２２には、全結合層Ａ２１と全結合層Ｃ２５の出力を入力とし、画像Ｉｉｊから得られた特徴量と付随情報Ａｉｊから得られた特徴量を入力する。例えば、データが得られた時刻に合わせて映像Ｖｉに含まれる画像Ｉｉｊの特徴量と一緒に付随情報Ａｉｊの特徴量を入力する。
【００８２】
さらに、複数の部分ハザード推定部１１−１・・・１１−Ｍは、他の部分ハザード推定部１１−１・・・１１−Ｍと、入力が異なるか、あるいは、部分ハザード関数ｈｍ（ｔ）が異なるようにする。部分ハザード推定部１１−１・・・１１−Ｍの入力に応じて、ニューラルネットワークの構造が、上記図８とは異なる。すわなち、付随情報Ａｉｊの特徴量のみが入力となる場合には、ニューラルネットワークの構造が、上記図８の構造において、畳み込み層２０及び全結合層Ａ２１を省略したものとすればよい。また、画像Ｉｉｊの特徴量のみが入力となる場合には、ニューラルネットワークの構造を、上記図２と同様の構造とすればよい。
【００８３】
例えば、部分ハザード推定部１１−１には映像Ｖｉを入力し、部分ハザード推定部１１−２には付随情報Ａｉｊを入力する。あるいは、部分ハザード推定部１１−１には映像Ｖｉを入力し、部分ハザード推定部１１−２には映像Ｖｉと付随情報Ａｉｊとを入力するというように、入力する情報を変える。また、部分ハザード推定部１１−１と部分ハザード推定部１１−２に、映像Ｖｉと付随情報Ａｉｊの両方を組み合わせて入力する場合には、部分ハザード推定部１１−１に入力する付随情報Ａｉｊと部分ハザード推定部１１−２に入力する付随情報Ａｉｊとを、異なる種類の情報にしてもよい。車載カメラの例では、異なる種類の付随情報Ａｉｊとして、自動車の速度と自動車の位置情報が挙げられる。そこで、映像Ｖｉと自動車の速度の組み合わせを部分ハザード推定部１１−１に入力し、映像Ｖｉと自動車の位置情報の組み合わせを部分ハザード推定部１１−２に入力してもよい。
【００８４】
さらに、部分ハザード推定部１１−１・・・１１−Ｍに入力する情報に応じて、部分ハザード関数ｈｍ（ｔ）を変えて、入力する情報に応じた推定を行うようにしてもよい。あるいは、複数の部分ハザード推定部１１−１・・・１１−Ｍに同じ映像Ｖｉと同じ付随情報Ａｉを入力して、各部分ハザード推定部１１−１・・・１１−Ｍに対する部分ハザード関数ｈｍ（ｔ）の構成を変えることで、異なる観点からみた推定を行うことができるようにしてもよい。例えば、また、一つの部分ハザード関数ｈｍ（ｔ）には、ニューラルネットワークを用い、もう一つの部分ハザード関数ｈｍ（ｔ）には、カーネル密度推定の値を用いてもよい。
【００８５】
部分ハザード結合部１６は、複数の部分ハザード推定部の各々から推定したイベントの発生しやすさを結合して、ハザード関数ｈ（ｔ）を導出する。ハザード関数ｈ（ｔ）の導出には、例えば、全ての部分ハザード関数ｈｍ（ｔ）の加重和又は加重平均、あるいは、幾何平均等を用いることができる。
【００８６】
パラメータ推定部１２ａは、前述の第１の実施の形態と同様に、履歴映像データベース２内に格納される各映像Ｖｉのイベント発生時刻集合Ｅｉと、ハザード推定部１１ａの出力であるハザード関数とを比較することで、ハザード関数のパラメータθを推定して、パラメータ格納部１３に格納する。ここで、ハザード関数のパラメータθは、複数の部分ハザード関数ｈｍ（ｔ）のパラメータθｍを含む。
【００８７】
第２の実施の形態の尤度関数Ｌは、下の式（１０）で表される。Δｔｉｊとδｉｊは、第１の実施の形態と式（６）、式（７）と同じである。
【数１１】
2020135482.tif 000013
（１０）
ただし
【数１２】
2020135482.tif 000014
ただし、画像Ｉｉｊに対応する付随情報Ａｉｊがない場合には、Ａｉｊは、空データとする。具体的な最適化の方法として、例えば、尤度関数の対数に−１をかけたものを損失関数として、バックプロパゲーションなどの公知の技術によって損失関数を最小化することで実現できる。
【００８８】
次に、第２の実施の形態のイベント発生時刻予測装置１ｃが、イベント発生時刻学習装置として機能する時の処理の流れについて、図９のフローチャートを用いて説明する。第１の実施の形態と同じ処理については、同一符号を付して詳細な説明は省略する。
【００８９】
まず、ステップＳ１〜ステップＳ３では、第１の実施の形態と同様の処理を行い、パラメータ格納部１３から得られたハザード関数のパラメータθを、ハザード推定部１１ａに渡して、ハザード関数内のニューラルネットワークのパラメータとして設定する。具体的には、パラメータθｍを、部分ハザード関数ｈｍ（ｔ)内のパラメータとして設定する。
【００９０】
ステップＳ４−１で、複数の部分ハザード推定部１１−１・・・１１−Ｍの各々で、各映像Ｖｉ（ｉは１〜Ｎ）に対して、最初の画像Ｉｉ０から画像Ｉｉｊの時刻ｔｊ（ｊは０〜｜Ｖｉ｜）までの部分ハザード関数ｈｍ（ｔ)を得る処理を繰り返す。続いて、ステップＳ４−２で、各映像Ｖｉ（ｉは１〜Ｎ）に対して、最初の画像Ｉｉ０から画像Ｉｉｊの時刻ｔｊ（ｊは０〜｜Ｖｉ｜）までの各部分ハザード関数ｈｍ（ｔ)の値を結合して、各映像Ｖｉ（ｉは１〜Ｎ）に対して、最初の画像Ｉｉ０から画像Ｉｉｊの時刻ｔｊ（ｊは０〜｜Ｖｉ｜）までのハザード関数ｈ（ｔ）を導出して、パラメータ推定部１２に渡す。
【００９１】
ステップＳ５〜ステップＳ８は、第１の実施の形態と同様の処理を行う。ステップＳ８で予め定めた基準に到達したか否かを判断し、判断が肯定されるまで繰り返しステップＳ２〜ステップＳ７の処理を実行する。ステップＳ８で、判断が肯定されると最適化を終了する。
【００９２】
次に、第２の実施の形態のイベント発生時刻予測装置１ｃが、イベント発生時刻推定装置として機能する時の処理の流れは、第１の実施の形態と同様であるので省略する。
【００９３】
第２の実施の形態では、イベント発生時刻学習装置とイベント発生時刻推定装置が１つの装置で構成される場合について説明したが、図１０に示すように、イベント発生時刻学習装置１ｄとイベント発生時刻推定装置１ｅが、異なる装置で構成されるようにしてもよい。各構成要素および処理の流れは、イベント発生時刻学習装置１ｄとイベント発生時刻推定装置１ｅを同一の装置とした場合と同じであるので省略する。
【００９４】
第２の実施の形態では、時系列画像が持つ高次の情報及びその時間変化に加え、時系列画像に付随する付随情報を加味することにより、予測精度を向上することが可能となる。例えば、イベントとして交通事故を考慮すると、飛び出しが多い等の地域の特性や、速度や加速度等の情報を考慮した予測が可能となる。
【００９５】
次に第３の実施の形態について説明する。第３の実施の形態においては、第２の実施と同様に付随情報を用いてハザード関数を推定する場合について説明するが、第３の実施の形態では、付随情報が時系列データではなくメタデータのような映像全体に対する付随情報が与えられる点で第２の実施の形態とは異なる。
【００９６】
また、第３の実施の形態のイベント発生時刻予測装置は、図７に示す第２の実施形態と同様に、ハザード推定部１１ａ、パラメータ推定部１２ａ、パラメータ格納部１３、イベント発生時刻推定部１４、及び入力部１５を備える。これらの構成は第２の実施の形態と同様であるので、詳細な説明は省略して相違する点のみ説明する。また、第３の実施の形態では、ハザード関数を構成するニューラルネットワークの構造が第２の実施の形態と相違する。
【００９７】
第３の実施の形態では、付随情報がメタデータのように１つ映像Ｖｉに対して付随される付随情報Ａｉである。車載カメラの例では、メタデータは、例えば運転手の年齢や自動車の種別等の属性情報である。各映像Ｖｉの付随情報Ａｉは下の式（１１）のように表される。
【数１３】
2020135482.tif 000015
（１１）
ここで、ａｒｉは映像Ｖｉの付随するｒ番目の付随情報を表し、映像全体に関連する複数の付随情報が任意の形式（例えば、スカラ値、カテゴリ変数、ベクトル、又は行列）で格納される。なお、｜Ａｉ｜は映像Ｖｉに対する付随情報の数を表す。
【００９８】
付随情報Ａｉがメタデータである場合には、部分ハザード推定部１１−１・・・１１−Ｍの各々は、映像Ｖｉを入力とする、又は映像Ｖｉと付随情報Ａｉとを入力として用いて、イベントの発生しやすさを部分ハザード関数ｈｍ（ｔ）に従って推定する。また、第２の実施の形態と同様に、複数の部分ハザード推定部１１−１・・・１１−Ｍは、他の部分ハザード推定部１１−１・・・１１−Ｍと、入力が異なるか、あるいは、部分ハザード関数ｈｍ（ｔ）が異なるようにする。
【００９９】
第３の実施の形態のニューラルネットワークの構造の例を図１１に示す。ここでは、付随情報の特徴量と画像の特徴量を入力とする場合を例に説明する。図１１に示すように、第１の実施の形態と同様にニューラルネットワークは、畳み込み層２０、全結合層Ａ２１、ＲＮＮ層２２、全結合層Ｂ２３、出力層２４のユニットが設けられ、さらに、付随情報Ａｉを入力する全結合層Ｄ２６のユニットが加えられる。
【０１００】
全結合層Ｄ２６は、付随情報Ａｉを抽象化した１次元の特徴量ベクトルに変換する。
【０１０１】
第２の実施の形態では、ＲＮＮ層２２に映像Ｉｉｊの特徴量と付随情報Ａｉｊの特徴量がそれぞれ全結合層Ａ２１と全結合層Ｃ２５を介して入力されるが、第３の実施の形態では、映像Ｉｉｊとは別に、全結合層Ｂ２３に、付随情報Ａｉの特徴量が全結合層Ｄ２６を介して入力される。
【０１０２】
また、部分ハザード推定部１１−１・・・１１−Ｍの入力に応じて、ニューラルネットワークの構造が、上記図１１とは異なる。すわなち、付随情報Ａｉの特徴量のみが入力となる場合には、ニューラルネットワークの構造が、上記図１１の構造において、畳み込み層２０、全結合層Ａ２１及びＲＮＮ層２２を省略したものとすればよい。また、画像Ｉｉｊの特徴量のみが入力となる場合には、ニューラルネットワークの構造を、上記図２と同様の構造とすればよい。
【０１０３】
パラメータ推定部１２ａは、前述の第２の実施の形態と同様に、履歴映像データベース２内に格納される各映像Ｖｉのイベント発生時刻集合Ｅｉと、ハザード推定部１１ａの出力であるハザード関数とを比較することで、ハザード関数のパラメータθを推定する。
【０１０４】
なお、第３の実施の形態の尤度関数Ｌは、下の式（１２）で表される。Δｔｉｊとδｉｊは、第１の実施の形態と式（６）、式（７）と同じである。
【数１４】
2020135482.tif 000016
（１２）
ただし
【数１５】
2020135482.tif 000017
具体的な最適化の方法は第２の実施の形態と同様に、例えば、尤度関数の対数に−１をかけたものを損失関数として、バックプロパゲーションなどの公知の技術によって損失関数を最小化することで実現できる。
【０１０５】
第３の実施の形態のイベント発生時刻予測装置の処理の流れは、第２の実施の形態と同様であるので、詳細な説明は省略する。
【０１０６】
また、第３の実施の形態でも、第２の実施の形態と同様に、図１０に示すように、イベント発生時刻学習装置１ｄとイベント発生時刻推定装置１ｅが、異なる装置で構成されるようにしてもよい。
【０１０７】
第３の実施の形態では、時系列画像が持つ高次の情報及びその時間変化に加え、メタデータのような付随情報を加味することにより、予測精度を向上することが可能となる。例えば、イベントとして交通事故を考慮すると、運転手の年齢や車の種別等の情報を考慮した予測が可能となる。
【０１０８】
なお、ハザード推定部１１ａでは、第２の実施の形態の部分ハザード推定部と、第３の実施の形態の部分ハザード推定部を組み合わせて推定を行ってもよい。さらに、第２の実施の形態のニューラルネットワークの構造の全結合層Ｂ２３に、第３の実施の形態の付随情報Ａｉの特徴量を入力するための全結合層Ｄ２６を設けた構造にしてもよい。
【０１０９】
このように第２の実施の形態の部分ハザード推定部と、第３の実施の形態の部分ハザード推定部を組み合わせることによって、イベントとして交通事故を考慮すると、飛び出しが多い等の地域の特性や、速度や加速度等の情報を考慮した予測に加え、運転手の年齢や車の種別等の情報を考慮した予測が可能となる。
【０１１０】
上述の実施の形態では、ニューラルネットワークとしてＣＮＮ及びＲＮＮの組み合わせを用いる場合について説明したが、３ＤＣＮＮを用いるようにしてもよい。
【０１１１】
なお、本開示は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１１２】
なお、上述の実施の形態において、演算処理装置は、汎用的なプロセッサであるＣＰＵ（Central Processing Unit)が用いられる。さらに、必要に応じてＧＰＵ（Graphics Processing Unit）を設けるのが好ましい。また、上述の機能の一部をＦＰＧＡ (Field Programmable Gate Array) 等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、又はＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有する専用電気回路等を用いて実現してもよい。
【符号の説明】
【０１１３】
１、１ｃ      イベント発生時刻予測装置
１ａ、１ｄ    イベント発生時刻学習装置
１ｂ、１ｅ    イベント発生時刻推定装置
２            履歴映像データベース
１１、１１ａ  ハザード推定部
１１−１、１１−Ｍ   部分ハザード推定部
１２、１２ａ  パラメータ推定部
１３          パラメータ格納部
１４          イベント発生時刻推定部
１５          入力部
１６          部分ハザード結合部
２０          畳み込み層
２１          全結合層Ａ
２２          ＲＮＮ層
２３          全結合層Ｂ
２４          出力層
２５          全結合層Ｃ
２６          全結合層Ｄ
【図１】
2020135482.tif 000018
【図２】
2020135482.tif 000019
【図３】
2020135482.tif 000020
【図４】
2020135482.tif 000021
【図５】
2020135482.tif 000022
【図６】
2020135482.tif 000023
【図７】
2020135482.tif 000024
【図８】
2020135482.tif 000025
【図９】
2020135482.tif 000026
【図１０】
2020135482.tif 000027
【図１１】
2020135482.tif 000028