(57)【要約】【課題】出力装置の構成に応じてパラメータ等を適切に設定することができる学習装置を提供する。【解決手段】機械学習のモデルパラメータの学習装置は、対象の事象を認識して第１認識事象情報を生成する第２層と、第１認識事象情報とは質の異なる対象の事象を認識して第２認識事象情報を中間情報から生成する第３層とを備える出力装置を学習させる。学習装置は、教師情報を取得した出力装置が生成した第１認識事象情報及び第２認識事象情報と第１認識事象情報及び第２認識事象情報に対応する教師情報の第１正解情報及び第２正解情報との差分である第１誤差と第２誤差とを算出し、第１誤差と第１調整値とを掛けて第１算出値を算出し、第２誤差と第２調整値とを掛けて第２算出値を算出する算出部と、第１算出値及び第２算出値に基づいて抽出部、第１層、第２層及び第３層のパラメータを設定する設定部と、を備える。【選択図】図２
2019106140.tif 000002
【特許請求の範囲】
【請求項１】
対象の情報を含む対象情報の特徴を抽出して特徴情報を生成する抽出部と、前記特徴情報から中間情報を生成する第１層と、前記対象の事象を認識して第１認識事象情報を前記中間情報から生成する第２層と、前記第１認識事象情報とは質の異なる前記対象の事象を認識して第２認識事象情報を前記中間情報から生成する第３層とを備える出力装置を学習させる機械学習のモデルパラメータの学習装置において、
教師情報を取得した前記出力装置が生成した前記第１認識事象情報と前記第１認識事象情報に対応する前記教師情報の正解である第１正解情報との差分である第１誤差と、前記教師情報を取得した前記出力装置が生成した前記第２認識事象情報と前記第２認識事象情報に対応する前記教師情報の正解である第２正解情報との差分である第２誤差とを算出し、前記第１誤差と第１調整値とを掛けて第１算出値を算出し、前記第２誤差と第２調整値とを掛けて第２算出値を算出する算出部と、
前記第１算出値及び前記第２算出値に基づいて前記抽出部、前記第１層、前記第２層及び前記第３層のパラメータを設定する設定部と、
を備える機械学習のモデルパラメータの学習装置。
【請求項２】
前記算出部は、連続した前記第１正解情報と、不連続な前記第２正解情報とに基づいて、前記第１誤差及び前記第２誤差を算出する
請求項１に記載の機械学習のモデルパラメータの学習装置。
【請求項３】
前記算出部は、前記対象の複数の特徴の位置を示す複数の２次元ベクトルを含む前記第１認識事象情報と、前記対象の複数の行動の確率分布を示す前記第２認識事象情報とに基づいて、前記第１誤差及び前記第２誤差を算出する
請求項１または請求項２に記載の機械学習のモデルパラメータの学習装置。
【請求項４】
前記出力装置は、前記第１認識事象情報と前記第２認識事象情報とから前記対象の事象を予測した予測事象情報を生成する事象予測部を更に備え、
前記算出部は、前記設定部が設定した前記パラメータが設定された前記抽出部、前記第１層、前記第２層及び前記第３層が前記教師情報から生成した前記第１認識事象情報及び前記第２認識事象情報から前記事象予測部が生成した前記予測事象情報と前記予測事象情報に対応する前記教師情報の正解である第３正解情報との差分である第３誤差を算出し、
前記設定部は、前記第３誤差に基づいて前記抽出部、前記第１層、前記第２層、前記第３層及び前記事象予測部のパラメータを設定する
請求項１から請求項３のいずれか１項に記載の機械学習のモデルパラメータの学習装置。
【請求項５】
前記出力装置は、前記第１認識事象情報と前記第２認識事象情報とから前記対象の未来の事象を予測して予測事象情報を生成する事象予測部を更に備え、
前記算出部は、前記設定部が設定した前記パラメータが設定された前記抽出部、前記第１層、前記第２層及び前記第３層が前記教師情報から生成した前記第１認識事象情報及び前記第２認識事象情報から前記事象予測部が生成した前記予測事象情報と前記予測事象情報に対応する前記教師情報の正解である第３正解情報とから再現率と適合率との比であるＦ値を算出し、
前記設定部は、前記Ｆ値に基づいて前記抽出部、前記第１層、前記第２層、前記第３層及び前記事象予測部のパラメータを設定する
請求項１から請求項３のいずれか１項に記載の機械学習のモデルパラメータの学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習のモデルパラメータの学習装置に関する。
【背景技術】
【０００２】
人物等の対象の画像等の情報を解析して画像内の対象の状態または行動等の事象を認識して事象に関する情報を出力する出力装置を学習させて、出力装置のパラメータを設定する学習装置が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−０３６７６２号公報
【特許文献２】特開２０１２−０３３０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の学習装置は、出力装置の構成によっては適切にパラメータ等を設定することができないといった課題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、出力装置の構成に応じてパラメータ等を適切に設定することができる機械学習のモデルパラメータの学習装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の機械学習のモデルパラメータの学習装置は、対象の情報を含む対象情報の特徴を抽出して特徴情報を生成する抽出部と、前記特徴情報から中間情報を生成する第１層と、前記対象の事象を認識して第１認識事象情報を前記中間情報から生成する第２層と、前記第１認識事象情報とは質の異なる前記対象の事象を認識して第２認識事象情報を前記中間情報から生成する第３層とを備える出力装置を学習させる機械学習のモデルパラメータの学習装置において、教師情報を取得した前記出力装置が生成した前記第１認識事象情報と前記第１認識事象情報に対応する前記教師情報の正解である第１正解情報との差分である第１誤差と、前記教師情報を取得した前記出力装置が生成した前記第２認識事象情報と前記第２認識事象情報に対応する前記教師情報の正解である第２正解情報との差分である第２誤差とを算出し、前記第１誤差と第１調整値とを掛けて第１算出値を算出し、前記第２誤差と第２調整値とを掛けて第２算出値を算出する算出部と、前記第１算出値及び前記第２算出値に基づいて前記抽出部、前記第１層、前記第２層及び前記第３層のパラメータを設定する設定部と、を備える。
【０００７】
このように、本発明にかかる学習装置は、質の異なる２つの認識事象情報を出力する出力装置のパラメータの設定において、２つの認識事象情報と、各認識事象情報に対応する正解情報との誤差に調整値を掛けた算出値に基づいて、事象認識部の各層のパラメータを設定している。これにより、学習装置は、スケール等が異なる２つの認識事象情報の誤差を調整値で調整することにより、質の異なる２つの認識事象情報を出力する出力装置において出力する情報のそれぞれの精度を向上させるパラメータを設定することができる。
【０００８】
上述の本発明の機械学習のモデルパラメータの学習装置において、前記算出部は、連続した前記第１正解情報と、不連続な前記第２正解情報とに基づいて、前記第１誤差及び前記第２誤差を算出してもよい。
【０００９】
このように、本発明にかかる学習装置は、正解情報が連続及び不連続であっても、調整値を適切に設定して誤差を調整することによって、パラメータの精度を向上させることができる。
【００１０】
上述の本発明の機械学習のモデルパラメータの学習装置において、前記算出部は、前記対象の複数の特徴の位置を示す複数の２次元ベクトルを含む前記第１認識事象情報と、前記対象の複数の行動の確率分布を示す前記第２認識事象情報とに基づいて、前記第１誤差及び前記第２誤差を算出してもよい。
【００１１】
このように、本発明にかかる学習装置は、対象の特徴の位置を示す第１認識事象情報と、対象の行動の確率分布を示す第２認識事象情報とを出力する出力装置の場合でも、調整値を適切に設定して誤差を調整することによって、パラメータの精度を向上させることができる。
【００１２】
上述の本発明の機械学習のモデルパラメータの学習装置において、前記出力装置は、前記第１認識事象情報と前記第２認識事象情報とから前記対象の事象を予測した予測事象情報を生成する事象予測部を更に備え、前記算出部は、前記設定部が設定した前記パラメータが設定された前記抽出部、前記第１層、前記第２層及び前記第３層が前記教師情報から生成した前記第１認識事象情報及び前記第２認識事象情報から前記事象予測部が生成した前記予測事象情報と前記予測事象情報に対応する前記教師情報の正解である第３正解情報との差分である第３誤差を算出し、前記設定部は、前記第３誤差に基づいて前記抽出部、前記第１層、前記第２層、前記第３層及び前記事象予測部のパラメータを設定してもよい。
【００１３】
このように、本発明にかかる学習装置は、抽出部及び事象認識部の第１層、第２層及び第３層のパラメータを設定した後、精度の高い当該パラメータを用いて出力装置が予測した予測事象情報に基づいて、パラメータを設定している。これにより、学習装置は、抽出部及び事象認識部のパラメータを設定せずに、抽出部、事象認識部及び事象予測部のパラメータを設定する場合に比べて、パラメータの設定に要する時間を短縮することができる。また、学習装置は、予測事象情報と、第３正解情報との差分である第３誤差に基づいて、パラメータを設定するので、対象の事象の予測精度の高いパラメータを設定できる。
【００１４】
上述の本発明の機械学習のモデルパラメータの学習装置において、前記出力装置は、前記第１認識事象情報と前記第２認識事象情報とから前記対象の未来の事象を予測して予測事象情報を生成する事象予測部を更に備え、前記算出部は、前記設定部が設定した前記パラメータが設定された前記抽出部、前記第１層、前記第２層及び前記第３層が前記教師情報から生成した前記第１認識事象情報及び前記第２認識事象情報から前記事象予測部が生成した前記予測事象情報と前記予測事象情報に対応する前記教師情報の正解である第３正解情報とから再現率と適合率との比であるＦ値を算出し、前記設定部は、前記Ｆ値に基づいて前記抽出部、前記第１層、前記第２層、前記第３層及び前記事象予測部のパラメータを設定してもよい。
【００１５】
このように、本発明にかかる学習装置は、抽出部及び事象認識部の第１層、第２層及び第３層のパラメータを設定した後、精度の高い当該パラメータを用いて出力装置が予測した予測事象情報に基づいて、パラメータを設定している。これにより、学習装置は、抽出部及び事象認識部のパラメータを設定せずに、抽出部、事象認識部及び事象予測部のパラメータを設定する場合に比べて、パラメータの設定に要する時間を短縮することができる。また、学習装置は、適合率及び再現率に基づいて、各パラメータを設定しているので、適合率及び再現率のバランスが取れたパラメータを設定できる。即ち、学習装置は、適合率を上げて予測の精度を上げつつ、再現率を上げて予測回数を低減して処理の負荷を低減することができる出力装置のパラメータを設定できる。
【図面の簡単な説明】
【００１６】
【図１】図１は、第１実施形態の学習システムの全体構成図である。
【図２】図２は、学習システムの機能を説明する機能ブロック図である。
【図３】図３は、第１算出値及び第２算出値の計算方法の一例を説明する図である。
【図４】図４は、第３誤差の計算方法の一例を説明する図である。
【図５】図５は、第１パラメータ設定処理のフローチャートである。
【図６】図６は、第２パラメータ設定処理のフローチャートである。
【図７】図７は、算出部による第１適合率の算出方法を説明する図である。
【図８】図８は、算出部による第１再現率の算出方法を説明する図である。
【図９】図９は、算出部による第２適合率の算出方法を説明する図である。
【図１０】図１０は、算出部による第２再現率の算出方法を説明する図である。
【発明を実施するための形態】
【００１７】
以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
【００１８】
＜第１実施形態＞
図１は、第１実施形態の学習システム１０の全体構成図である。図１に示すように、学習システム１０は、出力装置１２と、制御装置１４と、機械学習のモデルパラメータの学習装置１６とを備える。出力装置１２、制御装置１４及び学習装置１６は、互いに情報を送受信可能にネットワーク等によって接続されている。
【００１９】
出力装置１２は、対象の事象（以下、認識事象）を認識し、認識事象に基づいて対象が未来の事象（以下、予測事象）を予測して制御装置１４に出力する。例えば、出力装置１２は、自動車に設置され、対象の一例である自動車の乗員の情報である対象情報を取得して、対象情報に基づいて乗員の現在の状況及び乗員の現在の行動を乗員の事象として認識する。対象情報は、例えば、赤外線で撮像された赤外線画像、及び、距離情報に基づいて生成された測距画像（デプス画像ともいう）等である。
【００２０】
出力装置１２は、例えば、コンピュータである。出力装置１２は、処理部２０と、メモリ２２と、格納部２４と、バス２６とを有する。
【００２１】
処理部２０は、ＣＰＵ（Central  Processing  Unit）等のハードウェアプロセッサである。処理部２０は、メモリ２２または格納部２４に格納されたプログラムを読み込むことによって、処理を実行する。例えば、処理部２０は、出力プログラム２８を読み込んで、実際に撮像された対象の撮像画像等の教師情報に基づいて認識した認識事象によって予測事象を予測して、学習装置１６及び制御装置１４へ出力する。
【００２２】
メモリ２２は、例えば、ＲＯＭ（Read  Only  Memory）及びＲＡＭ（Random  Access  Memory）等の主記憶装置である。メモリ２２は、出力プログラム２８等のプログラムの実行の際に処理部２０が用いるデータを記憶する。
【００２３】
格納部２４は、例えば、書き換え可能なＳＳＤ（Solid  State  Drive）及びＨＤＤ（Hard  Disk  Drive）等の補助記憶装置である。格納部２４は、例えば、処理部２０が実行する出力プログラム２８、及び、出力プログラム２８の実行に必要なパラメータを含む数値データ２９を格納する。数値データ２９は、例えば、後述するバイアス及び重み等のパラメータで定義される活性化関数を含む。
【００２４】
バス２６は、処理部２０、メモリ２２及び格納部２４を互いに情報を送受信可能に接続する。
【００２５】
制御装置１４は、出力装置１２が予測した予測事象に基づいて制御対象を制御する。例えば、制御装置１４は、自動車に設置され、出力装置１２が予測した対象が行う事象を予測結果として取得して、自動車の部品等の制御対象を制御する。制御装置１４は、例えば、コンピュータである。制御装置１４は、処理部３０と、メモリ３２と、格納部３４と、バス３６とを有する。
【００２６】
処理部３０は、ＣＰＵ等のハードウェアプロセッサである。処理部３０は、メモリ３２または格納部３４に格納されたプログラムを読み込むことによって、処理を実行する。例えば、処理部３０は、制御プログラム３８を読み込んで、出力装置１２の対象の予測事象に基づいて自動車の部品等の制御対象を制御する。
【００２７】
メモリ３２は、例えば、ＲＯＭ及びＲＡＭ等の主記憶装置である。メモリ３２は、制御プログラム３８等のプログラムの実行の際に処理部３０が用いるデータを記憶する。
【００２８】
格納部３４は、例えば、書き換え可能なＳＳＤ及びＨＤＤ等の補助記憶装置である。格納部３４は、例えば、処理部３０が実行する制御プログラム３８を格納する。
【００２９】
バス３６は、処理部３０、メモリ３２及び格納部３４を互いに情報を送受信可能に接続する。
【００３０】
学習装置１６は、出力装置１２が事象の認識及び予測に用いるパラメータを調整する装置である。学習装置１６は、例えば、コンピュータである。学習装置１６は、処理部４０と、メモリ４２と、格納部４４と、バス４６とを有する。
【００３１】
処理部４０は、ＣＰＵ等のハードウェアプロセッサである。処理部４０は、メモリ４２または格納部４４に格納された学習プログラム４８を読み込むことによって、処理を実行する。例えば、処理部４０は、学習プログラム４８を読み込んで、出力装置１２のパラメータを調整して、出力装置１２に出力する。
【００３２】
メモリ４２は、例えば、ＲＯＭ及びＲＡＭ等の主記憶装置である。メモリ４２は、学習プログラム４８等のプログラムの実行の際に処理部４０が用いるデータを記憶する。
【００３３】
格納部４４は、例えば、書き換え可能なＳＳＤ及びＨＤＤ等の補助記憶装置である。格納部４４は、学習装置１６の電源がオフされた場合であっても格納されたデータを維持する。格納部４４は、例えば、処理部４０が実行する学習プログラム４８、及び、学習プログラム４８の実行に必要なパラメータを含む数値データ４９を格納する。
【００３４】
バス４６は、処理部４０、メモリ４２及び格納部４４を互いに情報を送受信可能に接続する。
【００３５】
図２は、学習システム１０の機能を説明する機能ブロック図である。図２に示すように、出力装置１２の処理部２０は、入力層５０と、抽出部５１と、事象認識部５２と、事象予測部５４とを備える。例えば、処理部２０は、格納部２４の出力プログラム２８を読み込むことによって、入力層５０、抽出部５１、事象認識部５２、及び、事象予測部５４として機能する。尚、入力層５０、抽出部５１、事象認識部５２、及び、事象予測部５４の一部または全部は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）またはＦＰＧＡ（Field-Programmable  Gate  Array）を含む回路等のハードウェアによって構成してもよい。
【００３６】
入力層５０は、対象の情報を含む対象情報を取得する。例えば、入力層５０は、対象である自動車の乗員等の人物を撮像した画像を対象情報として取得する。尚、入力層５０は、種類の異なる複数の撮像画像、例えば、赤外線画像及び測距画像等を対象情報として取得してもよい。入力層５０は、対象情報を抽出部５１へ出力する。
【００３７】
抽出部５１は、事象認識部５２が対象の事象を認識するために必要な対象情報の特徴を抽出して特徴マップを生成して、事象認識部５２へ出力する。特徴マップは、特徴情報の一例である。例えば、抽出部５１は、複数のフィルタを有する畳み込み層及び複数のユニットを有するプーリング層の複数のセットを有する。抽出部５１は、１回または複数回の畳み込み処理及びプーリング処理を対象情報に対して実行して、画像のエッジ等の対象情報の特徴を抽出し、１または複数の特徴マップを生成する。尚、抽出部５１は、特徴マップを圧縮して出力してもよい。
【００３８】
事象認識部５２は、対象情報から抽出した特徴マップに基づいて、質の異なる２つの認識事象情報を生成して出力する。２つの認識事象情報は、例えば、対象である乗員の人体の複数の部位の位置または向きを示す情報と、対象の現在の行動とを示す情報である。事象認識部５２は、第１全結合層６２と、第２全結合層６４と、第１出力層６６と、第３全結合層６８と、第２出力層７０とを有する。第１全結合層６２は第１層の例であって、第２全結合層６４及び第１出力層６６は第２層の例であって、第３全結合層６８及び第２出力層７０は第３層の例である。第２全結合層６４及び第１出力層６６は、第３全結合層６８及び第２出力層７０に対して並列に接続されている。
【００３９】
第１全結合層６２は、特徴マップから中間情報を生成する。例えば、第１全結合層６２は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のユニット（ニューロンともいう）を有する。第１全結合層６２の各ユニットは、抽出部５１の最下層のプーリング層の全てのユニットと接続されている。従って、第１全結合層６２の各ユニットは、抽出部５１の最下層の全てのユニットが出力した全ての特徴マップを取得する。第１全結合層６２の各ユニットの活性化関数のバイアス値及び重みは、人体特徴情報及び認識行動情報の両方を生成するための中間情報を生成可能に、教師情報を用いた学習装置１６による機械学習等によって予め設定されている。第１全結合層６２の各ユニットは、抽出部５１から取得した全ての特徴マップに、活性化関数に基づく第１全結合処理を実行することにより、複数の特徴マップを結合させた中間情報を生成する。具体的には、第１全結合層６２は、人体特徴情報及び認識行動情報を生成するための多次元のベクトルを中間情報として生成する。尚、第１全結合層６２が出力する中間情報のベクトルの次元数は、後段の人体特徴情報及び認識行動情報に応じて設定され、例えば、２７次元である。例えば、中間情報は、乗員の特徴を示す人体特徴情報である。尚、人体特徴情報の詳細は後述する。第１全結合層６２の各ユニットは、生成した中間情報を第２全結合層６４の全ユニット及び第３全結合層６８の全ユニットへ出力する。即ち、第１全結合層６２は、同じ中間情報を第２全結合層６４及び第３全結合層６８のそれぞれに出力する。
【００４０】
第２全結合層６４及び第１出力層６６は、対象の事象を認識して第１認識事象情報を中間情報から生成する。例えば、第２全結合層６４は、バイアス値及び重みを含む活性化関数によって定義される複数のユニットを有する。第２全結合層６４のユニットの個数は、出力する人体特徴情報の次元数と同じである。第２全結合層６４の各ユニットは、第１全結合層６２の全ユニットと接続されている。従って、第２全結合層６４の各ユニットは、第１全結合層６２のユニットから中間情報を取得する。第２全結合層６４の活性化関数のバイアス値及び重みは、予め定められた乗員の複数の特徴を抽出した人体特徴情報を生成可能に、乗員の特徴と関連付けられた教師情報を用いた学習装置１６による機械学習等によって予め設定されている。第２全結合層６４は、第１全結合層６２から取得した中間情報に活性化関数に基づく第２全結合処理を実行することにより、中間情報を結合させて対象の事象としての乗員の特徴を示す人体特徴情報を生成して、第１出力層６６へ出力する。例えば、第２全結合層６４は、乗員の特徴を示す多次元（例えば、２７次元）のベクトルを人体特徴情報として生成してよい。具体的には、第２全結合層６４は、乗員の特徴として、人体の複数の部位及び領域のそれぞれの位置、体重、座高（または身長）等の位置を示す複数（例えば、１２個）の２次元ベクトル（合計２４次元ベクトル）を人体特徴情報の一部として生成してよい。ここでいう、人体の複数の部位は、例えば、人体上の端点（顔の上下端部）及び関節（腕の付け根、足の付け根、肘、手首等）等を含む。また、第２全結合層６４は、乗員の特徴として、乗員の顔の向きを示す３次元ベクトルを人体特徴情報の一部として生成してよい。尚、中間情報が人体特徴情報の場合、第２全結合層６４は、中間情報よりも精度の高い人体特徴情報を出力する。この場合、第２全結合層６４は、第１全結合層６２と同じ構成であってもよい。このように、第２全結合層６４は、乗員の特徴として人体の部位に着目し、人物以外の情報を低減した人体特徴情報である中間情報から人体特徴情報を生成するので、環境変化等によるノイズ（例えば、乗員の行動等）の影響の少ない人体特徴情報を生成できる。
【００４１】
第１出力層６６は、第１出力処理を実行することにより、第２全結合層６４の出力を、第１出力層６６の出力として最終的に得たい出力に絞り込みまたは選定した人体特徴情報を第１認識事象情報として事象予測部５４へ出力する。
【００４２】
第３全結合層６８及び第２出力層７０は、第１認識事象情報の事象とは質の異なる対象の事象を認識して第２認識事象情報を中間情報から生成する。例えば、第３全結合層６８は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のユニットを有する。第３全結合層６８のユニットの個数は、出力する認識行動情報の次元数と同じである。第３全結合層６８の各ユニットは、第１全結合層６２の全ユニットと接続されている。従って、第３全結合層６８の各ユニットは、第１全結合層６２のユニットから中間情報を取得する。第３全結合層６８の活性化関数のバイアス値及び重みは、乗員の現在の行動に関する認識行動情報を生成可能に、乗員の行動と関連付けられた教師情報を用いた学習装置１６による機械学習等によって予め設定されている。乗員の行動は、対象の事象の一例である。第３全結合層６８は、第１全結合層６２から取得した中間情報に活性化関数に基づく第３全結合処理を実行することにより、中間情報を結合させて予め定められた複数の事象認識ラベルの確率分布を示す認識行動情報を生成して、第２出力層７０へ出力する。事象認識ラベルは、例えば、ステアリング保持、コンソール操作、及び、扉の開閉等の乗員の複数の行動に付与されたラベルであって、数値データ２９の一部として格納部２４に格納されていてよい。例えば、第３全結合層６８は、乗員の複数の事象認識ラベルのそれぞれの確率を示す確率分布を多次元のベクトルで示した認識行動情報を生成してよい。認識行動情報のベクトルの次元数は、事象認識ラベルの個数と等しく、例えば、１１次元である。認識行動情報の多次元ベクトルの各座標系は事象認識ラベルのいずれかに対応し、各座標系の値は事象認識ラベルの確率に対応する。このように、第３全結合層６８は、乗員の行動に着目し、人物以外の情報を低減した人体特徴情報である中間情報から認識行動情報を生成するので、人物以外に関する環境変化等によるノイズ（例えば、乗員の周囲の荷物及び自動車の部品（サンバイザー等）の状態等）の影響の少ない認識行動情報を生成できる。
【００４３】
第２出力層７０は、第２出力処理を実行することにより、第３全結合層６８から取得した認識行動情報を正規化し、正規化した認識行動情報を第２認識事象情報として事象予測部５４へ出力する。
【００４４】
ここで第１出力層６６が出力する第１認識事象情報と、第２出力層７０が出力する第２認識事象情報は、質が異なる情報である。具体的には、人体特徴情報を示す第１認識事象情報は、対象の行動に関する事象認識ラベルの確率分布を示す第２認識事象情報と質が異なる。また、人体特徴情報を示す第１認識事象情報は、対象の乗員の状態によって各成分の総和が変化するが、事象認識ラベルの確率分布を示す第２認識事象情報は、各成分の総和が１（または固定値）となる。この点においても両情報は質が異なる。換言すれば、第１認識事象情報の各成分の総和が第２認識事象情報の各成分の総和とスケールが異なるので、両情報は質が異なるともいえる。更に、出力装置１２の学習において、後述する第１認識事象情報の第１正解情報は座標を示すので連続になるが、第２認識事象情報の第２正解情報は確率を示すのでいずれか１成分が“１”となり、残りの成分は“０”となり不連続である。この点においても、両情報は質が異なる。
【００４５】
事象予測部５４は、事象認識部５２から取得した第１認識事象情報及び第２認識事象情報に基づいて、対象の未来の事象（例えば、乗員の未来の行動）を予測する。事象予測部５４は、ＬＳＴＭ（Long  Short-Term  Memory）またはＧＲＵ（Gated  Recurrent  Unit）等を有するリカレントニューラルネットワーク等によって第１認識事象情報及び第２認識事象情報を処理して、複数の多次元ベクトルを生成する。事象予測部５４は、複数の多次元ベクトルに対して、予め設定されたバイアス及び重みで定義される活性化関数を用いた１回または複数回の全結合処理を実行して、複数の多次元ベクトルを結合させることによって対象の未来の事象に関する予測事象情報を生成する。例えば、事象予測部５４は、対象の未来の事象として予め定められた複数（例えば、１１個）の事象予測ラベルのそれぞれの確率を複数の多次元ベクトル（例えば、１１次元ベクトル）から算出し、事象予測ラベルと確率とを関連付けた確率分布を示す多次元ベクトルを予測事象情報として生成してよい。事象予測ラベルは、例えば、乗員の未来の複数の行動にラベルを付与したものである。予測事象情報の多次元ベクトルの座標系は事象認識ラベルを示し、座標の値は事象予測ラベルの確率を示す。事象予測部５４は、予測事象情報を制御装置１４及び学習装置１６へ出力する。尚、事象予測部５４は、予測事象情報に代えて、複数の事象予測ラベルのうち、最も高い確率の事象予測ラベルを、制御装置１４及び学習装置１６へ出力してもよい。
【００４６】
制御装置１４は、出力装置１２から取得した予測事象情報に基づいて、制御対象を制御する。例えば、制御装置１４は、予測事象情報が示す最も確率の高い事象予測ラベルが自動車のドアを開けることである場合、自動車のドアをロックする。
【００４７】
学習装置１６の処理部４０は、算出部７２と、設定部７４とを備える。例えば、処理部４０は、格納部４４の学習プログラム４８を読み込むことによって、算出部７２及び設定部７４として機能する。尚、算出部７２及び設定部７４の一部または全部は、ＡＳＩＣを含む回路等のハードウェアによって構成してもよい。
【００４８】
算出部７２は、第１認識事象情報及び第２認識事象情報に基づいて、抽出部５１、事象認識部５２及び事象予測部５４のそれぞれのパラメータを調整するための算出値を算出する。例えば、算出部７２は、抽出部５１及び事象認識部５２のパラメータを調整するための算出値を算出する。具体的には、算出部７２は、教師情報を出力装置１２の入力層５０に入力する。教師情報は、例えば、対象である自動車内の乗員を撮像した赤外線画像及び測距画像等である。算出部７２は、教師情報を取得した出力装置１２の第１出力層６６が生成した第１認識事象情報、及び、第２出力層７０が生成した第２認識事象情報を取得する。
【００４９】
算出部７２は、第１認識事象情報に対応する教師情報の第１正解情報と、第１認識事象情報との差分を第１誤差として算出する。ここで、第１認識事象情報は、対象の人体の複数の部位の座標を示す多次元ベクトルである。第１正解情報は、対象の人体の複数の部位の正確な座標を含む第１認識事象情報と同じ次元数の連続した多次元ベクトルである。従って、算出部７２は、各座標の差分を成分とし、第１認識事象情報と同じ次元数の多次元ベクトルを第１誤差として算出する。算出部７２は、第１誤差と第１調整値とを掛けて第１算出値を算出する。例えば、算出部７２は、第１調整値と第１誤差の各成分との積を第１算出値として算出してよい。算出部７２は、複数の第１調整値のそれぞれと第１誤差の各成分とから複数の第１算出値を算出してもよい。第１調整値は、出力装置１２の設定に応じて予め設定されていてもよく、出力装置１２のユーザから取得してもよい。
【００５０】
また、算出部７２は、第２認識事象情報に対応する教師情報の第２正解情報と、第２認識事象情報との差分を第２誤差として算出する。ここで、第２認識事象情報は、乗員の複数の事象認識ラベルのそれぞれの確率を示す確率分布を示す多次元のベクトルである。第２正解情報は、乗員の複数の事象認識ラベルのうち、正解の行動を“１”とし、それ以外の行動を“０”とし、第２認識事象情報と同じ次元数の不連続な多次元ベクトルである。正解の行動は、教師情報である画像内における乗員の実際の行動である。従って、算出部７２は、事象認識ラベルの確率の差分を成分とし、第２認識事象情報と同じ次元数の多次元ベクトルを第２誤差として算出する。算出部７２は、第２誤差と第２調整値とを掛けて第２算出値を算出する。例えば、算出部７２は、第２調整値と第２誤差の各成分との積を第２算出値として算出してよい。算出部７２は、複数の第２調整値のそれぞれと第２誤差の各成分とから複数の第２算出値を算出してもよい。第２調整値は、出力装置１２の設定に応じて予め設定されていてもよく、出力装置１２のユーザから取得してもよい。
【００５１】
ここで、第１調整値及び第２調整値は、第１認識事象情報及び第２認識事象情報の重み付けでもあって、スケール等が異なる第１認識事象情報及び第２認識事象情報を調整する調整値でもある。従って、第１調整値及び第２調整値の和が、１になるようにそれぞれの値は設定されていてよい。
【００５２】
算出部７２は、複数の教師情報の正解情報から算出した第１算出値及び第２算出値の複数のセットを設定部７４へ出力する。
【００５３】
設定部７４は、算出部７２から取得した第１算出値及び第２算出値に基づいて、抽出部５１及び事象認識部５２の全結合層６２、６４、６８のパラメータを設定する。パラメータは、モデルパラメータの一例であって、例えば、抽出部５１のユニット及びフィルタのバイアス値及び重み、及び、事象認識部５２の全結合層６２、６４、６８の活性化関数のバイアス及び重みである。設定部７４は、第１算出値及び第２算出値が小さくなるように、第１算出値及び第２算出値を誤差として用いた誤差伝搬法等によって、パラメータを調整して設定する。尚、設定部７４は、パラメータの探索に、グリッドサーチまたはランダムサーチ等を用いてもよい。ここで、設定部７４は、複数の第１調整値及び第２調整値のセットがある場合、各セットに対応する第１算出値及び第２算出値を用いてパラメータを設定する。従って、設定部７４は、第１調整値及び第２調整値のセット数だけ、パラメータのセットを設定する。設定部７４は、設定したパラメータを出力装置１２へ出力する。
【００５４】
算出部７２は、設定部７４が設定したパラメータが設定された抽出部５１及び事象認識部５２の全結合層６２、６４、６８が教師情報から生成した第１認識事象情報及び第２認識事象情報から事象予測部５４が生成した予測事象情報に基づいて、出力装置１２のパラメータを再設定または設定するための第３誤差を算出する。具体的には、算出部７２は、予測事象情報に対応する教師情報の正解である第３正解情報と、予測事象情報との差分を第３誤差として算出する。ここで、予測事象情報は、乗員の複数の事象認識ラベルのそれぞれの確率を示す確率分布を示す多次元のベクトルである。第３正解情報は、乗員の複数の事象認識ラベルのうち、正解の行動を“１”とし、それ以外の行動を“０”とした確率分布を示す多次元のベクトルである。従って、算出部７２は、事象認識ラベルの確率の差分を成分とし、予測事象情報と同じ次元数の多次元ベクトルの第３誤差を算出する。算出部７２は、算出した第３誤差を設定部７４へ出力する。
【００５５】
設定部７４は、算出部７２から取得した第３誤差に基づいて、抽出部５１、事象認識部５２の全結合層６２、６４、６８及び事象予測部５４のパラメータを再設定または設定する。設定部７４は、第３誤差が小さくなるように、第３誤差を用いた誤差伝搬法等によって、パラメータを調整して設定する。ここで、設定部７４は、複数の第１調整値及び第２調整値のセットがあり、セット毎に第３誤差が算出されている場合、第３誤差のそれぞれを用いてパラメータを調整して設定する。従って、設定部７４は、第１調整値及び第２調整値のセット数だけ、パラメータのセットを設定する。設定部７４は、設定したパラメータを出力装置１２へ出力する。
【００５６】
図３は、第１算出値及び第２算出値の計算方法の一例を説明する図である。
【００５７】
図３に示すように、算出部７２は、教師情報を入力層５０に入力して、例えば、人体の２４個所の特徴点の二次元座標及び顔の向きを含む２７次元の第１認識事象情報（Ｘ１，Ｙ１，Ｘ２，Ｙ２，・・・，Ｘ１２，Ｙ１２，Ｄ１，Ｄ２，Ｄ３）を第１出力層６６から取得し、１１個の事象認識ラベルの確率分布を示す１１次元の第２認識事象情報（Ｐａ１，Ｐａ２，Ｐａ３，・・・，Ｐａ１１）を第２出力層７０から取得する。
【００５８】
算出部７２は、教師情報に関連付けられた第１認識事象情報と同次元の第１正解情報（Ａ１＿１，Ａ１＿２，Ａ１＿３，・・・，Ａ１＿２６，Ａ１＿２７）及び第２認識事象情報と同次元の第２正解情報（Ａ２＿１，Ａ２＿２，Ａ２＿３，・・・，Ａ２＿１１）を取得する。尚、算出部７２は、両正解情報を教師情報とともに取得してよい。ここで、第１正解情報（Ａ１＿１，Ａ１＿２，Ａ１＿３，・・・，Ａ１＿２６，Ａ１＿２７）の各成分は、特徴点の座標及び顔の向きを示すので、連続である。一方、第２正解情報は確率分布を示すので、第２正解情報（Ａ２＿１，Ａ２＿２，Ａ２＿３，・・・，Ａ２＿１１）の成分のうち、いずれか１つは“１”であって残りは全て“０”である。即ち、第２正解情報の成分は、不連続である。
【００５９】
算出部７２は、第１認識事象情報と第１正解情報の差分を第１誤差（Ｘ１−Ａ１＿１，Ｙ１−Ａ１＿２，・・・，Ｄ３−Ａ１＿２７）として算出する。算出部７２は、第２認識事象情報と第２正解情報の差分を第２誤差（Ｐａ１−Ａ２＿１，Ｐａ２−Ａ２＿２，・・・，Ｐａ１１−Ａ２＿１１）として算出する。
【００６０】
算出部７２は、第１誤差に第１調整値Ｒ１１を掛けて算出した積を第１算出値Ｒ１１（Ｘ１−Ａ１＿１，Ｙ１−Ａ１＿２，・・・，Ｄ３−Ａ１＿２７）として算出する。ここで、複数の第１調整値Ｒ１１、Ｒ１２、Ｒ１３、・・・が予め設定されている場合、算出部７２は、各第１調整値を第１誤差に掛けた第１算出値をそれぞれ算出してよい。算出部７２は、第２誤差に第２調整値Ｒ２１を掛けて算出した積を第２算出値Ｒ２１（Ｐａ１−Ａ２＿１，Ｐａ２−Ａ２＿２，・・・，Ｐａ１１−Ａ２＿１１）として算出する。ここで、複数の第２調整値Ｒ２１、Ｒ２２、Ｒ２３、・・・が予め設定されている場合、算出部７２は、各第２調整値を第２誤差に掛けた第２算出値をそれぞれ算出してよい。
【００６１】
設定部７４は、算出部７２が算出した第１算出値及び第２算出値の和が最小となるように、誤差伝搬法等によって抽出部５１及び事象認識部５２のパラメータを調整して設定する。
【００６２】
図４は、第３誤差の計算方法の一例を説明する図である。図４に示すように、算出部７２は、教師情報を入力層５０に入力して、例えば、１１個の事象予測ラベルの確率分布を示す１１次元の予測事象情報（Ｐｂ１，Ｐｂ２，Ｐｂ３，・・・，Ｐｂ１１）を事象予測部５４から取得する。算出部７２は、教師情報に関連付けられた予測事象情報と同次元の第３正解情報（Ａ３＿１，Ａ３＿２，Ａ３＿３，・・・，Ａ３＿１１）を取得する。尚、算出部７２は、正解情報を教師情報とともに取得してよい。ここで、第３正解情報は確率分布を示すので、第３正解情報（Ａ３＿１，Ａ３＿２，Ａ３＿３，・・・，Ａ３＿１１）の成分のうち、いずれか１つは“１”であって残りは全て“０”である。即ち、第３正解情報の成分は、不連続である。
【００６３】
算出部７２は、予測事象情報と第３正解情報の差分を第３誤差（Ｐｂ１−Ａ３＿１，Ｐｂ２−Ａ３＿２，Ｐｂ３−Ａ３＿３，・・・，Ｐｂ１１−Ａ３＿１１）として算出する。
【００６４】
設定部７４は、第３誤差が小さくなるように、誤差伝搬法等によって抽出部５１、事象認識部５２及び事象予測部５４のパラメータを調整して設定する。
【００６５】
図５は、第１パラメータ設定処理のフローチャートである。第１パラメータ設定処理において、学習装置１６は、抽出部５１及び事象認識部５２のパラメータを調整して設定する。図５の左図は、学習装置１６が実行する処理のフローチャートである。図５の右図は、出力装置１２が実行する処理のフローチャートである。
【００６６】
図５に示すように、第１パラメータ設定処理では、学習装置１６の算出部７２が、出力装置１２の入力層５０へ教師情報を出力する（ＳＡ１０２）。教師情報は、事象認識ＧＴ人体端点、事象認識ＧＴ（Ground  Truth）ラベル及び事象予測ＧＴラベルと関連付けられた赤外線画像及び測距画像等であって、数値データ４９の一部として格納部４４に格納されていてよい。
【００６７】
出力装置１２では、入力層５０が教師情報を取得すると（ＳＢ２０２）、抽出部５１及び事象認識部５２が、第１認識事象情報及び第２認識事象情報を生成する（ＳＢ２０４）。具体的には、抽出部５１が、入力層５０から取得した教師情報から特徴マップを生成して、事象認識部５２へ出力する。事象認識部５２では、第１全結合層６２が、特徴マップに全結合処理を実行して、乗員の特徴を示す人体特徴情報である中間情報を生成して、第２全結合層６４及び第３全結合層６８に出力する。第２全結合層６４は、第１全結合層６２を全結合して、人体特徴情報を生成して、第１出力層６６へ出力する。第１出力層６６は、第２全結合層６４が生成した人体特徴情報を絞り込みまたは選定した新たな人体特徴情報を、第１認識事象情報として生成する。第３全結合層６８は、第１全結合層６２を全結合して、複数の事象認識ラベルの確率分布を示す認識行動情報を生成して、第２出力層７０へ出力する。第２出力層７０は、第３全結合層６８が生成した認識行動情報を正規化した新たな認識行動情報を、第２認識事象情報として生成する。
【００６８】
第１出力層６６及び第２出力層７０は、生成した第１認識事象情報及び第２認識事象情報を学習装置１６へ出力する（ＳＢ２０６）。
【００６９】
学習装置１６では、算出部７２は、第１認識事象情報及び第２認識事象情報を出力装置１２から取得すると（ＳＡ１０４）、第１誤差及び第２誤差を算出する（ＳＡ１０８）。具体的には、算出部７２は、第１認識事象情報と教師情報に関連付けられた第１正解情報との差分を第１誤差として算出する。算出部７２は、第２認識事象情報と教師情報に関連付けられた第２正解情報との差分を第２誤差として算出する。
【００７０】
算出部７２は、第１算出値及び第２算出値を算出する（ＳＡ１１０）。具体的には、算出部７２は、第１誤差に第１調整値を掛けて第１算出値を算出する。算出部７２は、第２誤差に第２調整値を掛けて第２算出値を算出する。算出部７２は、第１算出値及び第２算出値を設定部７４へ出力する。
【００７１】
設定部７４は、第１算出値及び第２算出値に基づいて、出力装置１２のパラメータを設定する（ＳＡ１１２）。例えば、設定部７４は、第１算出値及び第２算出値を誤差として用いた誤差伝搬法によって、出力装置１２のパラメータを設定してよい。ここでいう、出力装置１２のパラメータは、抽出部５１のパラメータと、事象認識部５２の全結合層６２、６４、６８のパラメータとを含む。尚、設定部７４は、パラメータの探索に、グリッドサーチまたはランダムサーチ等を用いてもよい。この後、学習装置１６及び出力装置１２は、複数の教師情報に対して、ステップＳＡ１０２、ＳＢ２０２以降を繰り返し、第１誤差及び第２誤差が小さくなるように、パラメータを調整して設定する。
【００７２】
尚、学習装置１６は、第１調整値及び第２調整値の複数のセットが存在する場合、各調整値のセットに対して上述の処理を実行して、調整値のセット毎に最適なパラメータを設定してもよい。
【００７３】
図６は、第２パラメータ設定処理のフローチャートである。第２パラメータ設定処理において、学習装置１６は、抽出部５１、事象認識部５２及び事象予測部５４のパラメータを調整して設定する。図６の左図は、学習装置１６が実行する処理のフローチャートである。図６の右図は、出力装置１２が実行する処理のフローチャートである。尚、第２パラメータ設定処理は、第１パラメータ設定処理によって設定されたパラメータが抽出部５１、及び、事象認識部５２に設定された状態で実行される。
【００７４】
図６に示すように、第２パラメータ設定処理では、学習装置１６の算出部７２が、出力装置１２の入力層５０へ教師情報を出力する（ＳＡ１５２）。教師情報は、事象認識ＧＴ人体端点、事象認識ＧＴ（Ground  Truth）ラベル及び事象予測ＧＴラベルと関連付けられた赤外線画像及び測距画像等であって、数値データ４９の一部として格納部４４に格納されていてよい。
【００７５】
出力装置１２では、入力層５０が教師情報を取得すると（ＳＢ２５２）、抽出部５１、事象認識部５２及び事象予測部５４が、複数の事象認識ラベルの確率分布を示す予測事象情報を生成する（ＳＢ２５４）。具体的には、抽出部５１及び事象認識部５２が、人体特徴情報である第１認識事象情報、及び、認識行動情報である第２認識事象情報を生成して事象予測部５４へ出力する。事象予測部５４は、リカレントニューラルネットワーク等によって第１認識事象情報及び第２認識事象情報を処理して、複数の多次元ベクトルを生成する。事象予測部５４は、複数の多次元ベクトルに１回または複数回の全結合処理を実行して、予測事象情報を生成する。事象予測部５４は、生成した予測事象情報を学習装置１６へ出力する（ＳＢ２５６）。
【００７６】
学習装置１６では、算出部７２は、予測事象情報を取得すると（ＳＡ１５４）、第３誤差を算出する（ＳＡ１５８）。具体的には、算出部７２は、予測事象情報と教師情報に関連付けられた第３正解情報との差分を第３誤差として算出する。算出部７２は、第３誤差を設定部７４へ出力する。
【００７７】
設定部７４は、第３誤差に基づいて、出力装置１２のパラメータを設定または再設定する（ＳＡ１６０）。例えば、設定部７４は、第３誤差を用いた誤差伝搬法によって、出力装置１２のパラメータを設定してよい。ここでいう、出力装置１２のパラメータは、抽出部５１のパラメータと、事象認識部５２の全結合層６２、６４、６８のパラメータと、事象予測部５４のパラメータとを含む。尚、設定部７４は、パラメータの探索に、グリッドサーチまたはランダムサーチ等を用いてもよい。この後、学習装置１６及び出力装置１２は、複数の教師情報に対して、ステップＳＡ１５２、ＳＢ２５２以降を繰り返し、第３誤差が小さくなるように、パラメータを調整して設定する。
【００７８】
上述したように、学習装置１６は、質の異なる２つの認識事象情報を出力する出力装置１２のパラメータの設定において、２つの認識事象情報と、各認識事象情報に対応する正解情報との誤差に調整値を掛けた算出値に基づいて、事象認識部５２の各全結合層６２、６４、６８のパラメータを設定している。これにより、学習装置１６は、誤差を調整値で調整することにより、内容またはスケール等を含む質の異なる２つの認識事象情報を出力する出力装置１２において出力する情報のそれぞれの精度を向上させるパラメータを設定することができる。
【００７９】
学習装置１６は、例えば、連続的な第１正解情報と、不連続な第２正解情報とが教師情報に関連付けられている場合でも、調整値を適切に設定して誤差を調整することによって、パラメータの精度を向上させることができる。
【００８０】
学習装置１６は、例えば、人体の特徴点の座標を示す第１認識事象情報と、確率分布を示す第２認識事象情報とを出力する出力装置１２の場合でも、調整値を適切に設定することによって、パラメータの精度を向上させることができる。
【００８１】
学習装置１６は、抽出部５１のパラメータと、事象認識部５２の全結合層６２、６４、６８のパラメータとを設定した後、精度の高い当該パラメータを用いて出力装置１２が予測した予測事象情報に基づいて、抽出部５１、事象認識部５２及び事象予測部５４のパラメータを設定している。これにより、学習装置１６は、抽出部５１及び事象認識部５２のパラメータを設定せずに、抽出部５１、事象認識部５２及び事象予測部５４のパラメータを設定する場合に比べて、パラメータの設定に要する時間を短縮することができる。
【００８２】
学習装置１６は、予測事象情報と、第３正解情報との差分である第３誤差に基づいて、パラメータを設定するので、対象の事象の予測精度の高いパラメータを設定できる。
【００８３】
＜第２実施形態＞
次に、第２パラメータ設定処理を変更した第２実施形態について説明する。
【００８４】
第２実施形態では、算出部７２が、第１パラメータ設定処理によってパラメータが設定された出力装置１２の抽出部５１と、事象認識部５２の全結合層６２、６４、６８とが生成した第１認識事象情報及び第２認識事象情報から事象予測部５４が生成した予測事象情報に基づいて、設定部７４が抽出部５１、事象認識部５２の全結合層６２、６４、６８及び事象予測部５４のパラメータを設定するための第１Ｆ値(F-measure)を算出する。第２実施形態の事象予測部５４は、複数の事象予測ラベルのうち、最も確率の高い事象予測ラベルを予測事象情報として生成する。算出部７２は、予測事象情報と、予測事象情報に対応する教師情報の第３正解情報とから、第１適合率及び第１再現率を算出する。第２実施形態の第３正解情報は、対象である乗員が取った行動及び行動の時刻を示す。算出部７２は、当該第１適合率及び第１再現率の比である第１Ｆ値を算出して、設定部７４へ出力する。
【００８５】
設定部７４は、当該第１Ｆ値に基づいて、抽出部５１、事象認識部５２の全結合層６２、６４、６８及び事象予測部５４のパラメータを再設定する。
【００８６】
図７は、算出部７２による第１適合率ＰＲ１の算出方法を説明する図である。丸は予測事象が起こると予測した予測時刻ｔａｎを示す。三角は予測時刻ｔａｎから第１予測時間ΔＴが経過した時刻ｔａｎ＋ΔＴを示す。第１予測時間ΔＴは、例えば、出力装置１２の設計者等が適宜設定した値である。四角は予測時刻ｔａｎから時刻ｔａｎ＋ΔＴの間に生じた予測事象を示す。ｎは正の整数（１、２、・・・、Ｎｐ１）である。算出部７２は、第３正解情報と、予測事象情報が示す最も確率の高い事象予測ラベルとが同じか否かに基づいて、四角で示す予測事象が生じたか否かを判定してよい。算出部７２は、次の式（１）に基づいて、件数Ｎｐ１に対する件数Ｎｐａ１の比率である第１適合率ＰＲ１を算出する。尚、算出部７２は、予測事象情報が示す最も確率の高い事象予測ラベルと、第３正解情報が示す事象とに基づいて、件数Ｎｐ１及び件数Ｎｐａ１をカウントしてもよい。
ＰＲ１＝Ｎｐａ１／Ｎｐ１    ・・・（１）
Ｎｐ１：予測事象が起こると予測した件数
Ｎｐａ１：予測時刻ｔａｎから第１予測時間ΔＴが経過する前（即ち、予測時刻ｔａｎと時刻ｔａｎ＋ΔＴとの間）に予測事象が起こった件数
【００８７】
図８は、算出部７２による第１再現率ＲＥ１の算出方法を説明する図である。四角は現実に起きた事象（以下、現実事象）が起きた時刻である事象時刻ｔｂｎを示す。三角は事象時刻ｔｂｎの第１予測時間ΔＴ前の時刻ｔｂｎ−ΔＴを示す。丸は、起きた現実事象が第１予測時間ΔＴの経過前に起こると予測したことを示す。換言すれば、丸は、時刻ｔｂｎ−ΔＴから事象時刻ｔｂｎまでの間に現実事象が起こると予測したことを示す。ｎは正の整数（１、２、・・・、Ｎａ１）である。算出部７２は、第３正解情報が示す事象時刻ｔｂｎの事象と、時刻ｔｂｎ−ΔＴから事象時刻ｔｂｎの間の予測による予測事象情報が示す最も確率の高い事象予測ラベルとが同じか否かに基づいて、四角で示す現実事象を予測したか否かを判定してよい。算出部７２は、次の式（２）に基づいて、下記の件数Ｎａ１に対する件数Ｎａｐ１の比率である第１再現率ＲＥ１を算出する。尚、算出部７２は、事象時刻ｔｂｎの第３正解情報が示す現実事象と、時刻ｔｂｎ−ΔＴから事象時刻ｔｂｎの間の予測による予測事象情報が示す最も確率の高い事象予測ラベルとに基づいて件数Ｎｐ１及び件数Ｎｐａ１をカウントしてもよい。
ＲＥ１＝Ｎａｐ１／Ｎａ１    ・・・（２）
Ｎａ１：現実事象が起きた件数
Ｎａｐ１：事象時刻ｔｂｎの第１予測時間ΔＴ前から事象時刻ｔｂｎの間（即ち、時刻ｔｂｎ−ΔＴと事象時刻ｔｂｎの間）に現実事象が起きると予測した件数
【００８８】
算出部７２は、第１適合率ＰＲ１及び第１再現率ＲＥ１を用いた次の式（３）に基づいて、第１Ｆ値Ｆｍ１を算出する。算出部７２は、第１Ｆ値Ｆｍ１を設定部７４へ出力する。
Ｆｍ１＝２×ＰＲ１×ＲＥ１／（ＰＲ１＋ＲＥ１）  ・・・（３）
【００８９】
設定部７４は、第１Ｆ値Ｆｍ１が最大値になるように、抽出部５１のパラメータと、事象認識部５２の全結合層６２、６４、６８のパラメータと、事象予測部５４のパラメータとを再設定または設定してよい。または、設定部７４は、予め定められた第１Ｆ値Ｆｍ１となるように、当該各パラメータを設定してもよい。尚、予め定められた第１Ｆ値Ｆｍ１は、例えば、自動車の乗員の行動予測において安全性を高める場合、第１再現率ＲＥ１が高くなるように設定されていてよい。この場合、設定部７４は、式（３）の第１適合率ＰＲ１及び第１再現率ＲＥ１の一方（ここでは、第１再現率ＲＥ１）に重みを付与した式（４）に示す重み付き第１Ｆ値Ｆｍ１ａが最大値になるように、当該各パラメータを設定してもよい。重みｗは、例えば、出力装置１２の設計者が安全性等を考慮して設定してよい。設定部７４は、設定したパラメータを出力装置１２へ出力する。
Ｆｍ１ａ＝２×ＰＲ１×ｗ×ＲＥ１／（ＰＲ１＋ｗ×ＲＥ１）  ・・・（４）
【００９０】
第２実施形態の第２パラメータ設定処理では、算出部７２がステップＳＡ１５８において、第３誤差を算出する代わりに、第１適合率ＰＲ１、第１再現率ＲＥ１及び第１Ｆ値Ｆｍ１を算出する。設定部７４は、ステップＳＡ１６０において、第１Ｆ値Ｆｍ１を用いて各パラメータを再設定する。それ以外の各ステップの内容は、第１実施形態とほぼ同様である。
【００９１】
第２実施形態の学習装置１６では、第１パラメータ設定処理で設定した精度の高いパラメータによって予測した予測事象情報に基づいて、パラメータを再設定している。これにより、学習装置１６は、事象認識部５２のパラメータを設定せずに、事象認識部５２及び事象予測部５４のパラメータを設定する場合に比べて、パラメータの設定に要する時間を短縮することができる。
【００９２】
第２実施形態の学習装置１６では、第１適合率ＰＲ１、第１再現率ＲＥ１及び第１Ｆ値Ｆｍ１に基づいて、各パラメータを設定しているので、第１適合率ＰＲ１及び第１再現率ＲＥ１のバランスが取れたパラメータを設定できる。即ち、学習装置１６は、適合率を上げることにより予測の精度を上げつつ、再現率を上げることにより予測回数を低減して処理の負荷を低減することができる出力装置のパラメータを設定できる。
【００９３】
＜第３実施形態＞
次に、第２パラメータ設定処理を変更した第３実施形態について説明する。
【００９４】
第３実施形態では、算出部７２が、第１パラメータ設定処理によってパラメータが設定された出力装置１２の抽出部５１と、事象認識部５２の全結合層６２、６４、６８とが生成した第１認識事象情報及び第２認識事象情報から事象予測部５４が生成した予測事象情報に基づいて、設定部７４が抽出部５１、事象認識部５２の全結合層６２、６４、６８及び事象予測部５４のパラメータを設定するための第２Ｆ値(F-measure)を算出する。第３実施形態の事象予測部５４は、複数の事象予測ラベルのうち、最も確率の高い事象予測ラベルを予測事象情報として生成する。算出部７２は、予測事象情報と、予測事象情報に対応する教師情報の第３正解情報とから、第２適合率及び第２再現率を算出する。第３実施形態の第３正解情報は、対象である乗員が取った行動及び行動の時刻を示す。算出部７２は、当該第２適合率及び第２再現率の比である第２Ｆ値を算出して、設定部７４へ出力する。
【００９５】
設定部７４は、当該第２Ｆ値に基づいて、抽出部５１、事象認識部５２の全結合層６２、６４、６８及び事象予測部５４のパラメータを再設定または設定する。
【００９６】
図９は、算出部７２による第２適合率ＰＲ２の算出方法を説明する図である。丸は予測事象が起こると予測した予測時刻ｔｃｎを示す。菱形は予測時刻ｔｃｎから第２予測時間τが経過した時刻ｔｃｎ＋τを示す。第２予測時間τは、例えば、第１予測時間ΔＴよりも短い時間であって、出力装置１２の設計者等が適宜設定した値である。三角は予測時刻ｔｃｎから第１予測時間ΔＴが経過した時刻ｔｃｎ＋ΔＴを示す。四角は時刻ｔｃｎ＋τから時刻ｔｃｎ＋ΔＴの間に生じた予測事象を示す。ｎは正の整数（１、２、・・・、Ｎｐ２）である。算出部７２は、第３正解情報が示す事象と、予測事象情報が示す最も確率の高い事象予測ラベルとが同じか否かに基づいて、四角で示す予測事象が生じたか否かを判定してよい。算出部７２は、次の式（５）に基づいて、下記の件数Ｎｐ２に対する件数Ｎｐａ２の比率である第２適合率ＰＲ２を算出する。尚、算出部７２は、第３正解情報が示す事象と、予測事象情報が示す最も確率の高い事象予測ラベルとに基づいて件数Ｎｐ２及び件数Ｎｐａ２をカウントしてもよい。
ＰＲ２＝Ｎｐａ２／Ｎｐ２    ・・・（５）
Ｎｐ２：予測事象が起こると予測した件数
Ｎｐａ２：予測時刻ｔｃｎから第２予測時間τが経過した後であって第１予測時間ΔＴが経過する前（即ち、時刻ｔｃｎ＋τと時刻ｔｃｎ＋ΔＴの間）に予測事象が起こった件数
【００９７】
図１０は、算出部７２による第２再現率ＲＥ２の算出方法を説明する図である。四角は現実事象が起きた時刻である事象時刻ｔｄｎを示す。菱形は事象時刻ｔｄｎの第２予測時間τ前の時刻ｔｄｎ−τを示す。三角は事象時刻ｔｄｎから第１予測時間ΔＴ前の時刻ｔｄｎ−ΔＴを示す。丸は、起きた現実事象が第２予測時間τの経過後、かつ、第１予測時間ΔＴの経過前に起こると予測したことを示す。換言すれば、丸は、時刻ｔｄｎ−ΔＴから時刻ｔｄｎ−τまでの間に現実事象が起こると予測していたことを示す。ｎは正の整数（１、２、・・・、Ｎａ２）である。算出部７２は、第３正解情報が示す事象時刻ｔｄ１の現実事象と、時刻ｔｄｎ−ΔＴから時刻ｔｄｎ−τの間の予測による予測事象情報が示す最も確率の高い事象予測ラベルとが同じか否かに基づいて、四角で示す現実事象を予測したか否かを判定してよい。算出部７２は、次の式（６）に基づいて、下記の件数Ｎａ２に対する件数Ｎａｐ２の比率である第２再現率ＲＥ２を算出する。尚、算出部７２は、第３正解情報が示す事象時刻ｔｄ１の現実事象と、時刻ｔｄｎ−ΔＴから時刻ｔｄｎ−τの間の予測による予測事象情報が示す最も確率の高い事象予測ラベルとに基づいて件数Ｎａ２及び件数Ｎａｐ２をカウントしてもよい。
ＲＥ２＝Ｎａｐ２／Ｎａ２    ・・・（６）
Ｎａ２：現実事象が起こった件数
Ｎａｐ２：事象時刻ｔｄｎの第２予測時間τ前から事象時刻ｔｄｎの第１予測時間ΔＴ前の間（即ち、時刻ｔｄｎ−τ前から時刻ｔｄｎ−ΔＴの間）に現実事象が起きると予測した件数
【００９８】
算出部７２は、第２適合率ＰＲ２及び第２再現率ＲＥ２を用いた次の式（７）に基づいて、第２Ｆ値Ｆｍ２を算出する。算出部７２は、第２Ｆ値Ｆｍ２を設定部７４へ出力する。
Ｆｍ２＝２×ＰＲ２×ＲＥ２／（ＰＲ２＋ＲＥ２）  ・・・（７）
【００９９】
設定部７４は、第２Ｆ値Ｆｍ２が、例えば、最大値になるように、抽出部５１のパラメータと、事象認識部５２の全結合層６２、６４、６８のパラメータと、事象予測部５４のパラメータとを再設定または設定してよい。または、設定部７４は、予め定められた第２Ｆ値Ｆｍ２となるように、当該各パラメータを設定してもよい。予め定められた第２Ｆ値Ｆｍ２は、例えば、自動車の乗員の行動予測において安全性を高める場合、第２再現率ＲＥ２が高くなるように設定されていてよい。この場合、設定部７４は、式（７）の第２適合率ＰＲ２及び第２再現率ＲＥ２の一方（ここでは、第２再現率ＲＥ２）に重みを付与した式（８）に示す重み付き第２Ｆ値Ｆｍ２ａが最大値になるように、抽出部５１のパラメータと、事象認識部５２の全結合層６２、６４、６８のパラメータと、事象予測部５４のパラメータとを設定してよい。重みｗは、例えば、出力装置１２の設計者が安全性等を考慮して設定してよい。設定部７４は、パラメータを出力装置１２へ出力する。
Ｆｍ２ａ＝２×ＰＲ２×ｗ×ＲＥ２／（ＰＲ２＋ｗ×ＲＥ２）  ・・・（８）
【０１００】
第３実施形態は、第２実施形態と同様のフローで第２パラメータ設定処理を実行する。第３実施形態は、第２実施形態と同様の効果を奏することができる。
【０１０１】
上述した各実施形態の構成の機能、接続関係、個数、配置等は、発明の範囲及び発明の範囲と均等の範囲内で適宜変更、削除等してよい。各実施形態を適宜組み合わせてもよい。各実施形態の各ステップの順序を適宜変更してよい。
【０１０２】
上述の実施形態は、自動車の車両に搭載され、乗員の行動を認識及び予測する出力装置１２を学習させる学習装置１６に適用する例を説明したが、学習装置１６は質の異なる２つの認識情報を出力する他の出力装置の学習に適用してもよい。
【符号の説明】
【０１０３】
１０：学習システム、１２：出力装置、１６：学習装置、５１：抽出部、５２：事象認識部、５４：事象予測部、６２：第１全結合層（第１層）、６４：第２全結合層（第２層）、６６：第１出力層（第２層）、６８：第３全結合層（第３層）、７０：第２出力層（第３層）、７２：算出部、７４：設定部。
【図１】
2019106140.tif 000003
【図２】
2019106140.tif 000004
【図３】
2019106140.tif 000005
【図４】
2019106140.tif 000006
【図５】
2019106140.tif 000007
【図６】
2019106140.tif 000008
【図７】
2019106140.tif 000009
【図８】
2019106140.tif 000010
【図９】
2019106140.tif 000011
【図１０】
2019106140.tif 000012