(57)【要約】【課題】イベントの前後関係を考慮しながら、未知の場所に汎化するようにイベント系列をセンサ信号に基づいて抽出することが可能なイベント系列抽出装置を提供する。【解決手段】  イベント系列抽出装置１は、被験者２について、行動ラベル、物体ラベルおよび位置ラベルをタイムラインとして、記憶装置４０に格納し、イベント系列を抽出する。イベント系列抽出装置１は、行動ラベルを基準とする所定の時間窓内の物体ラベルおよび位置ラベルの組み合わせの複数の候補について、言語コーパス内に候補に対応する行動ラベル、物体ラベルおよび位置ラベルの存在する尤度に応じて、最も尤もらしい組み合わせをイベントとして抽出する。【選択図】図１
2019046304.tif 000002
【特許請求の範囲】
【請求項１】
被験者の知覚経験の対象物を特定するためのデータを取得するための第１のセンサと、
前記被験者の前記知覚経験のときに前記被験者の行動および前記被験者の位置を特定するための位置情報を取得する第２のセンサと、
情報を格納するための記憶装置と、
前記被験者について、前記行動、前記対象物および前記位置に対して、それぞれを識別するための行動ラベル、物体ラベルおよび位置ラベルをタイムラインとして、前記記憶装置に格納し、イベント系列を抽出するイベント系列抽出手段とを備え、
前記イベント系列抽出手段は、
所定のスライディングウィンドウごとに、前記行動ラベル、前記物体ラベルおよび前記位置ラベルを予測して、前記タイムライン上に同一ラベルを結合して並べる処理を実行するコンセプト推定処理手段と、
前記タイムライン上の前記行動ラベル、前記物体ラベルおよび前記位置ラベルの結合結果に対して、前記行動ラベルを基準とする所定の時間窓内の前記物体ラベルおよび前記位置ラベルの組み合わせの複数の候補について、前記候補に対応する前記行動ラベル、前記物体ラベルおよび前記位置ラベルが言語コーパス内に存在する尤度に応じて、最も尤もらしい組み合わせをイベントとして抽出する言語モデル対照手段と、
前記抽出されたイベントの時系列から、前記イベント系列を抽出するイベント系列選択手段とを含む、イベント系列抽出装置。
【請求項２】
前記言語モデル対照手段は、前記言語コーパス内に存在する尤度、ならびに、結合された前記行動ラベル、前記物体ラベルおよび前記位置ラベル同士の時間の近さによる尤度に応じて、尤もらしい組み合わせをイベントとして抽出する、請求項１記載のイベント系列抽出装置。
【請求項３】
前記コンセプト推定処理手段は、各前記スライディングウィンドウ内の前記第１および第２のセンサ信号に対して、系列ラベリングを用いて前記行動ラベル、前記物体ラベルおよび前記位置ラベルを予測するゲート付き再帰型ユニットを含む、請求項１または２記載のイベント系列抽出装置。
【請求項４】
前記言語モデル対照手段は、単語の類似度を考慮した単語埋め込みベクトルを入力とする、ゲート付き再帰型ユニットを含む、請求項１〜３のいずれか１項に記載のイベント系列抽出装置。
【請求項５】
前記イベント系列選択手段は、前記イベントを表現するベクトルの非類似度をイベントの遷移確率とする隠れ状態モデルにより前記イベント系列を抽出する、請求項１〜４のいずれか１項に記載のイベント系列抽出装置。
【請求項６】
実環境でのセンサデータから、被験者に発生したイベントの系列の情報を抽出するためのイベント系列抽出方法であって、
前記被験者の知覚経験の対象物を特定するためのデータを第１のセンサにより取得するステップと、
前記被験者の前記知覚経験のときに、第２のセンサにより、前記被験者の行動および前記被験者の位置を特定するための位置情報を取得するステップと、
所定のスライディングウィンドウごとに、前記行動、前記対象物および前記位置に対して、それぞれを識別するための行動ラベル、物体ラベルおよび位置ラベルを予測して、タイムライン上に同一ラベルを結合して並べる処理を実行するステップと、
前記被験者について、前記行動ラベル、前記物体ラベルおよび前記位置ラベルを前記タイムラインとして、記憶装置に格納するステップと、
所定のスライディングウィンドウごとに、前記行動ラベル、前記物体ラベルおよび前記位置ラベルを予測して、前記タイムライン上に同一ラベルを結合して並べる処理を実行するステップと、
前記タイムライン上の前記行動ラベル、前記物体ラベルおよび前記位置ラベルの結合結果に対して、前記行動ラベルを基準とする所定の時間窓内の前記物体ラベルおよび前記位置ラベルの組み合わせの複数の候補について、言語コーパス内に前記候補に対応する前記前記行動ラベル、前記物体ラベルおよび前記位置ラベルの存在する尤度に応じて、最も尤もらしい組み合わせをイベントとして抽出するステップと、
前記抽出されたイベントの時系列から、イベント系列を抽出するステップとを備える、イベント系列抽出方法。
【請求項７】
実環境でのセンサデータから、被験者に発生したイベントの系列の情報を抽出するためのイベント系列抽出処理をコンピュータに実行させるためのイベント系列抽出プログラムであって、前記イベント系列抽出プログラムは、コンピュータに、
前記被験者の知覚経験の対象物を特定するためのデータを第１のセンサにより取得するステップと、
前記被験者の前記知覚経験のときに、第２のセンサにより、前記被験者の行動および前記被験者の位置を特定するための位置情報を取得するステップと、
所定のスライディングウィンドウごとに、前記行動、前記対象物および前記位置に対して、それぞれを識別するための行動ラベル、物体ラベルおよび位置ラベルを予測して、タイムライン上に同一ラベルを結合して並べる処理を実行するステップと、
前記被験者について、前記行動ラベル、前記物体ラベルおよび前記位置ラベルを前記タイムラインとして、記憶装置に格納するステップと、
前記タイムライン上の前記行動ラベル、前記物体ラベルおよび前記位置ラベルの結合結果に対して、前記行動ラベルを基準とする所定の時間窓内の前記物体ラベルおよび前記位置ラベルの組み合わせの複数の候補について、言語コーパス内に前記候補に対応する前記前記行動ラベル、前記物体ラベルおよび前記位置ラベルの存在する尤度に応じて、最も尤もらしい組み合わせをイベントとして抽出するステップと、
前記抽出されたイベントの時系列から、イベント系列を抽出するステップとを実行させる、イベント系列抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の知覚経験の情報からイベント系列を抽出する技術に関する。
【背景技術】
【０００２】
情報通信技術の進歩に伴って、各個人が生活するにあたって生じる様々なデータに対して、メタ情報（典型的には、ラベル）を付与して分類するような技術が提案されている（例えば、特許文献１、非特許文献１など参照）。このように収集された様々なデータの中から、付与されたメタ情報をキーワードとして目的のデータに対する検索および抽出が実行される。
【０００３】
すなわち、自分の今ある状態や、周囲の状況などを自動的に認識することは、人間の日常生活を理解する上で重要な課題である。このような技術は、「行動認識」と呼ばれ、多種多様な センサ信号をもとにして、人の行動のパターンの発見や特定を行うことが目的である。センサ技術の発展に伴い、行動認識の技術は アルツハイマー病患者のモニタリング、スマートホーム内での行動パターンの発見、医療向上を目的とした看護師の行動認識、ライフログ といった幅広い分野で応用されている。
【０００４】
従来の多くの技術では、センサから取得した時系列信号を「歩く」「食べる」「飲む」「読書する」などの 生活を営む上で行う基本的行動（日常生活行動）のラベルへ 分類する問題に取り組んできた（たとえば、非特許文献２）。
【０００５】
しかし、我々の日常生活は、「キッチンでコーヒーを作り、リビングルームに移動した後、リビングルームでコーヒーを飲む」 ように、様々な場所で様々な物体に働きかけて逐次的に日常生活行動を行う。このような、誰がいつ・どこで・何をしているのか表す一連の行動を詳細に認識するためには、個別の行動ラベルを認識するだけではなく、行動・物体・場所といった複数の意味コンセプトの組み合わせである「イベント」を認識し、さらに時間的に連続したイベントの系列を 正しく認識することが必要である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−５８７２９号公報
【非特許文献】
【０００７】
【非特許文献１】J. Gemmell, G. Bell, and R. Lueder, MyLifeBits: A Personal D    atabase for Everything, Communications of the ACM, 49(1):88-95, 2006.
【０００８】
【非特許文献２】Ord’o”nez, F. J., and Roggen, D. ”Deep convolutional andlstm recurrent neural networks for multimodal wearable activity recognition.” Sensors 16(1):115，2016.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
センサ信号から意味コンセプトを推定し、予測した多数の意味コンセプトの中から、日常生活行動に関するイベント系列（イベントタイムライン）を生成する手法を実行しようとする場合、以下のような問題がある。
【００１０】
すなわち、各意味コンセプトは、実環境で観測された「脱ぐ」「着る」「歩く」「座る」といった行動や「靴」「スリッパ」「ソファ」「テレビ」といった物体、「玄関」「リビングルーム」といった場所を表しており、観測された開始と終了時刻が付与されている。しかし、実環境では、時間軸上に複数の意味コンセプト（コンセプトストリーム）が出現し、これらの意味コンセプトの観測される時間は一致しないため 、ルールベースでコンセプトを組み合わせてイベントを生成することは困難である。また、センサ信号から意味コンセプトを予測しても、正しい意味コンセプトだけが予測されるわけではないので、適切な意味コンセプトだけを取捨選択する必要がある。さらに、従来提案されている実世界の行動に対して言語を付与する研究は、場所が変化しない限られた空間で行われてきた。しかし、日常生活では様々な場所で逐次的にイベントが起こるので、イベントの前後関係を考慮しながら、未知の場所に汎化するようにイベントタイムラインを作る必要がある。
【００１１】
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、イベントの前後関係を考慮しながら、未知の場所に汎化するようにイベントタイムライン（イベント系列）をセンサ信号に基づいて抽出することが可能なイベント系列抽出装置、イベント系列抽出方法およびイベント抽出プログラムを提供することである。
【課題を解決するための手段】
【００１２】
この発明の１つの局面に従うと、イベント系列抽出装置であって、被験者の知覚経験の対象物を特定するためのデータを取得するための第１のセンサと、被験者の知覚経験のときに被験者の行動および被験者の位置を特定するための位置情報を取得する第２のセンサと、情報を格納するための記憶装置と、被験者について、行動、対象物および位置に対して、それぞれを識別するための行動ラベル、物体ラベルおよび位置ラベルをタイムラインとして、記憶装置に格納し、イベント系列を抽出するイベント系列抽出手段とを備え、イベント系列抽出手段は、所定のスライディングウィンドウごとに、行動ラベル、物体ラベルおよび位置ラベルを予測して、タイムライン上に同一ラベルを結合して並べる処理を実行するコンセプト推定処理手段と、タイムライン上の行動ラベル、物体ラベルおよび位置ラベルの結合結果に対して、行動ラベルを基準とする所定の時間窓内の物体ラベルおよび位置ラベルの組み合わせの複数の候補について、言語コーパス内に候補に対応する行動ラベル、物体ラベルおよび位置ラベルの存在する尤度に応じて、最も尤もらしい組み合わせをイベントとして抽出する言語モデル対照手段と、抽出されたイベントの時系列から、イベント系列を抽出するイベント系列選択手段とを含む。
【００１３】
好ましくは、言語モデル対照手段は、言語コーパス内に存在する尤度、ならびに、結合された行動ラベル、物体ラベルおよび位置ラベル同士の時間の近さによる尤度に応じて、尤もらしい組み合わせをイベントとして抽出する。
【００１４】
好ましくは、コンセプト推定処理手段は、各スライディングウィンドウ内の第１および第２のセンサ信号に対して、系列ラベリングを用いて行動ラベル、物体ラベルおよび位置ラベルを予測するゲート付き再帰型ユニットを含む。
【００１５】
好ましくは、言語モデル対照手段は、単語の類似度を考慮した単語埋め込みベクトルを入力とする、ゲート付き再帰型ユニットを含む。
【００１６】
好ましくは、イベント系列選択手段は、イベントを表現するベクトルの非類似度をイベントの遷移確率とする隠れ状態モデルによりイベント系列を抽出する。
【００１７】
この発明の他の局面に従うと、実環境でのセンサデータから、被験者に発生したイベントの系列の情報を抽出するためのイベント系列抽出方法であって、被験者の知覚経験の対象物を特定するためのデータを第１のセンサにより取得するステップと、被験者の知覚経験のときに、第２のセンサにより、被験者の行動および被験者の位置を特定するための位置情報を取得するステップと、所定のスライディングウィンドウごとに、行動、対象物および位置に対して、それぞれを識別するための行動ラベル、物体ラベルおよび位置ラベルを予測して、タイムライン上に同一ラベルを結合して並べる処理を実行するステップと、被験者について、行動ラベル、物体ラベルおよび位置ラベルをタイムラインとして、記憶装置に格納するステップと、
所定のスライディングウィンドウごとに、行動ラベル、物体ラベルおよび位置ラベルを予測して、タイムライン上に同一ラベルを結合して並べる処理を実行するステップと、タイムライン上の行動ラベル、物体ラベルおよび位置ラベルの結合結果に対して、行動ラベルを基準とする所定の時間窓内の物体ラベルおよび位置ラベルの組み合わせの複数の候補について、言語コーパス内に候補に対応する行動ラベル、物体ラベルおよび位置ラベルの存在する尤度に応じて、最も尤もらしい組み合わせをイベントとして抽出するステップと、抽出されたイベントの時系列から、イベント系列を抽出するステップとを備える。
【００１８】
この発明のさらに他の局面にしたがうと、実環境でのセンサデータから、被験者に発生したイベントの系列の情報を抽出するためのイベント系列抽出処理をコンピュータに実行させるためのイベント系列抽出プログラムであって、イベント系列抽出プログラムは、コンピュータに、被験者の知覚経験の対象物を特定するためのデータを第１のセンサにより取得するステップと、被験者の知覚経験のときに、第２のセンサにより、被験者の行動および被験者の位置を特定するための位置情報を取得するステップと、所定のスライディングウィンドウごとに、行動、対象物および位置に対して、それぞれを識別するための行動ラベル、物体ラベルおよび位置ラベルを予測して、タイムライン上に同一ラベルを結合して並べる処理を実行するステップと、被験者について、行動ラベル、物体ラベルおよび位置ラベルをタイムラインとして、記憶装置に格納するステップと、タイムライン上の行動ラベル、物体ラベルおよび位置ラベルの結合結果に対して、行動ラベルを基準とする所定の時間窓内の物体ラベルおよび位置ラベルの組み合わせの複数の候補について、言語コーパス内に候補に対応する行動ラベル、物体ラベルおよび位置ラベルの存在する尤度に応じて、最も尤もらしい組み合わせをイベントとして抽出するステップと、抽出されたイベントの時系列から、イベント系列を抽出するステップとを実行させる。
（用語の意義）
本明細書においては、用語の意義は、以下のとおりであるものとする。
【００１９】
１）「行動ラベル」とは、被験者に装着されたセンサ信号に基づいて、当該センサ信号に対応する被験者の行動を、予め規定された「行動を示す用語」と対応付けたときの当該用語をいう。
【００２０】
２）「意味コンセプト」とは、被験者の行動ラベル、被験者の行動と関連する対象として認識された物体、被験者の存在する場所によって特定される被験者の行動を特定する情報をいう。実環境で観測された「脱ぐ」「着る」「歩く」「座る」といった行動ラベルや「靴」「スリッパ」「ソファ」「テレビ」といった行動と関連する対象としての物体、「玄関」「リビングルーム」といった場所を表す情報からなり、観測された開始と終了時刻が付与されている。
【００２１】
３）「コンセプトストリーム」とは、時間軸上に並ぶ複数の意味コンセプトのことをいう。
【００２２】
４）「イベント」とは、複数の意味コンセプトからなり、日常生活の上で、被験者の一連の行動として１つのまとまった意味を有すると認識されるものをいう。
【発明の効果】
【００２３】
本発明のイベント系列抽出装置、イベント系列抽出方法およびイベント抽出プログラムによれば、未知の場所に汎化するようにイベントタイムライン（イベント系列）をセンサ信号に基づいて抽出することが可能である。
【図面の簡単な説明】
【００２４】
【図１】本実施の形態に従うイベント系列抽出装置１の全体構成の一例を示す模式図である。
【図２】図１に示すウェアラブルカメラ１０の構成を示す模式図である。
【図３】図１に示すモーションセンサ２０の構成を示す模式図である。
【図４】図１に示す情報処理装置５０の構成を示す模式図である。
【図５】センサ信号から予測した意味コンセプトを組み合わせて、イベントタイムラインを作成した例を示す図である。
【図６】イベント系列を生成する手順を説明するための第１の概念図である。
【図７】イベント系列を生成する手順を説明するための第２の概念図である。
【図８】イベント系列を生成する手順を説明するための第３の概念図である。
【図９】行動、物体、場所のコンセプトタイプごとのコンセプト名を示す表である。
【図１０】単語埋め込みベクトルとＧＲＵを用いたＲＮＮ言語モデルの構成を示す概念図である。
【図１１】イベントの遷移の例を示す概念図である。
【図１２】実験で使用された家の間取りと被験者が行った２０個の場所固有の行動を示す図である。
【図１３】抽出されたイベントタイムラインの評価結果を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態のイベント系列抽出装置、イベント系列抽出方法およびイベント抽出プログラムの構成を、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
[実施の形態]
本明細書において、被験者の「知覚経験」としては、何らかの装置を用いて取得または計測できるものであれば、どのような知覚（例えば、視覚、聴覚、嗅覚、味覚、触覚）であってもよい。すなわち、何らかのデータとして格納しておき、事後的に再現できるものであれば、どのような知覚であってもよい。
【００２６】
視覚であれば、カメラを用いて撮像した静止画像または動画像としてデータ化可能である。そして、テレビモニタなどでその画像を再現することができる。聴覚であれば、マイクを取得した音声としてデータ化可能である。そして、スピーカなどでその音声を再現できる。嗅覚および味覚であれば、それぞれ、臭気センサおよび味覚センサなどを用いてデータ化可能である。触覚であれば、接触圧センサなどを用いてデータ化可能である。これらの知覚についても、特定の装置を用いることで再現可能である。
【００２７】
本実施の形態に従うイベント系列抽出装置は、実世界における被験者の行動・物体・位置の少なくとも３つの特性を考慮して、日常生活に関するイベントのタイムラインを生成する。まず、人間が行動する時間、行動の対象となる物体を観測する時間、行動を行う場所にいる時間の時間的な近さ関係をモデル化することで、コンセプトが観測される時間の不一致に対処する。また、複数のコンセプトの中から尤もらしいコンセプトの組み合わせを見つけるため、実世界の常識的知識を反映する外部の言語コーパスから実世界で起こりうるコンセプトの組み合わせを学習する。さらに、リカレントニューラルネットワークを用いてイベントの情報表現ベクトルを獲得し、このベクトルを用いて 逐次的なイベントの変化を表現する。最後に、これらのモデルを隠れマルコフモデルを用いて統合し、日常生活を表す尤もらしいイベントライムラインを生成する。
【００２８】
被験者の「行動」として生じた外的な時間変化としては、被験者が自発的または受動的に行なった挙動などを含む。例えば、日常生活の中で生じる手、頭、体、足などの動作を含む。また、被験者に「行動」として生じた内的な時間変化としては、被験者の体内に自発的または受動的に生じた変化を含む。例えば、脳内の血流パターンの変化、体温パターンの変化、発汗パターンの変化などを含む。
【００２９】
以下の説明では、一つの実施形態として、被験者の視覚により知覚された映像（静止画像または動画像を含む）と、被験者に生じた外的な時間変化としての行動と、位置情報とを関連付けて記憶装置に格納し、イベント系列として抽出する処理について説明する。
【００３０】
したがって、以下の説明において、「行動」に対応する挙動とは、被験者の体の一部を動作させて時間的に生じる変化を含む概念である。このように、本実施の形態における知覚経験は、被験者の視覚により知覚される映像を含み、被験者に生じた時間変化は、被験者の体の一部の動きを示す情報を含む。
【００３１】
［システム構成］
次に、本実施の形態に従う検索システムの全体構成について例示する。
【００３２】
図１は、本実施の形態に従うイベント系列抽出装置１の全体構成の一例を示す模式図である。図１を参照して、本実施の形態に従うイベント系列抽出装置１は、基本的には、イベント系列抽出機能を有している。
【００３３】
イベント系列抽出装置１のイベント系列抽出機能において、被験者２の視覚、すなわち被験者２が見た映像を収集するために、被験者２は、ウェアラブルカメラ１０を装着している。併せて、被験者２の挙動を収集するために、被験者２は、モーションセンサ２０も装着しているとする。被験者２の挙動をより正確に計測するためには、複数のモーションセンサ２０を装着するようにしてもよい。この場合には、例えば、被験者の両腕（例えば、右手首および左手首）ならびに頭部の３ヶ所に装着するようにしてもよい。
【００３４】
ウェアラブルカメラ１０は、撮像した映像データを所定周期ごとまたはイベントごとに送出する。あるいは、ウェアラブルカメラ１０に内蔵されたメモリ内に撮像した映像データを格納するようにしてもよい。モーションセンサ２０は、被験者２の挙動を示す情報である運動データ（例えば、加速度、角速度など）とともに、被験者２の位置情報を所定周期ごとに送出する。あるいは、モーションセンサ２０に内蔵されたメモリ内に取得した運動データおよび位置情報を所定周期で所定の期間にわたって格納し、これらを後に一括して送出するようにしてもよい。以下の説明では、主として、３軸分の加速度および３軸分の角速度を運動データとして用いる場合について説明する。
【００３５】
但し、ウェアラブルカメラ１０から送出される映像データと、モーションセンサ２０から送出される運動データとは、互いに同期させる必要があるので、例えば、同一のタイマ
から出力される時刻またはカウンタ値などを含むタイムスタンプが収集されるデータに付与される。
【００３６】
イベント系列抽出装置１は、イベント系列抽出機能として、映像収集部３０と、映像特徴量算出部３２と、運動情報収集部３４と、運動特徴量算出部３６と、位置情報収集部３５と、位置特徴量算出部３７と、イベント系列抽出部３８と、データ格納部４０とを含む。
【００３７】
映像収集部３０および運動情報収集部３４は、被験者２の知覚経験、および、被験者２の知覚経験のときに生じた外的または内的な時間変化を取得する機能を提供する。すなわち、映像収集部３０は、ウェアラブルカメラ１０が送出する映像データを受信し、運動情報収集部３４は、モーションセンサ２０が送出する運動データを受信する。
【００３８】
また、位置情報収集部３５は、各運動データと同時刻における位置情報を受信する。
【００３９】
映像特徴量算出部３２、運動特徴量算出部３６、位置情報特徴算出部３７およびイベント系列抽出部３８は、被験者２に生じた時間変化に基づいて識別情報を生成する機能を提供する。本実施の形態においては、好ましい一形態として、被験者２に生じた時間変化から算出される特徴量に基づいて識別情報を生成する。
【００４０】
より具体的には、映像特徴量算出部３２は、映像収集部３０にて受信された映像データに含まれる特徴量（運動量データに含まれる特徴量と区別するために、以下では「映像特徴量」とも称す。）を算出する。映像特徴量の算出方法および利用方法などの詳細については、後述する。運動特徴量算出部３６は、運動情報収集部３４にて受信した運動データに含まれる特徴量（上述の「映像特徴量」と区別するために、以下では「運動特徴量」とも称す。）を算出する。運動特徴量の算出方法および利用方法などの詳細については、後述する。位置特徴量算出部３７は、位置情報収集部３５にて受信した位置データから特徴量（上述の「映像特徴量」「運動特徴量」と区別するために、以下では「位置特徴量」とも称す。）を算出する。位置特徴量の算出方法および利用方法などの詳細については、後述する。
【００４１】
イベント系列抽出部３８は、それぞれセンサからの運動データ４０．１について算出される運動特徴量を参照して、各運動データ４０．１に関連付ける識別情報として行動ラベル４０．２を決定する。すなわち、イベント系列抽出部３８は、運動特徴量算出部３６にて算出される運動特徴量に基づいて、運動データ４０．１が取得されたときに被験者２が行なった挙動を特徴付ける情報として行動ラベル４０．２を決定し、当該決定した行動ラベル４０．２を対応する運動データ４０．１に関連付ける。そして、データ格納部４０は、運動データ４０．１と対応する行動ラベル４０．２との組を格納する。すなわち、データ格納部４０は、被験者２の運動を特徴づけるセンサ情報と対応する行動を特徴づける情報とを関連付けて格納する機能を提供する。
【００４２】
イベント系列抽出部３８は、それぞれの映像データ４２．１について算出される映像特徴量を参照して、各映像データ４２．１に関連付ける識別情報として物体ラベル４２．２を決定する。すなわち、イベント系列抽出部３８は、映像特徴量算出部３２にて算出される映像特徴量に基づいて、映像データ４２．１の種別を推定するとともに、当該映像データが撮像されたときに被験者２が行なった挙動において対象となる物体を特徴付ける情報として物体ラベル４２．２を決定し、当該決定した物体ラベル４２．２を対応する映像データ４２．１に関連付ける。そして、データ格納部４０は、映像データ４２．１と対応する物体ラベル４２．２との組を格納する。すなわち、データ格納部４０は、被験者２の行動の対象となる物体を特徴づける情報と対応する知覚経験とを関連付けて格納する機能を提供する。
【００４３】
また、イベント系列抽出部３８は、位置データ４４．１から位置特徴量算出部３７により算出された特徴量に基づいて、運動データが収集された時点で被験者２が位置する場所を特定する識別情報である位置ラベル４４．２を算出し、データ格納部４０は、位置データ４４．１と対応する位置ラベル４４．２との組を格納する。
【００４４】
さらに、データ格納部４０は、後述するような言語コーパスデータ４８も格納する。
【００４５】
［ハードウェア構成］
次に、本実施の形態に従うイベント系列抽出装置１に用いられるハードウェアについて説明する。
（ウェアラブルカメラ１０）
図２は、図１に示すウェアラブルカメラ１０の構成を示す模式図である。図２を参照して、ウェアラブルカメラ１０は、撮像部１０２と、制御部１０４と、通信部１０８と、各部に電力を供給するバッテリ１１０とを含む。制御部１０４は、撮像部１０２に対して制御コマンドを与えることで、目的の周期またはタイミングで映像データを取得し、通信部１０８を介して、取得した映像データを送出する。制御部１０４は、タイマ１０６を有しており、各映像データが取得されたタイミングを示す情報を、取得した映像データに付与する。
【００４６】
特に限定されないが、たとえば、映像特徴量算出部３２は、ウェアラブルカメラ１０の視野の中の最も大きな物体について、この物体を画像から抽出し、特徴量を算出して、イベント系列抽出部３８は、後に説明するような再起型ニューラルネットワークを利用した認識処理を実行して、これに分類してラベル情報を付与することで、「物体ラベル」を付す処理を行うこととしてもよい。
（モーションセンサ２０）
図３は、図１に示すモーションセンサ２０の構成を示す模式図である。図３を参照して、モーションセンサ２０は、加速度センサ２０２と、ジャイロセンサ２０４と、位置センサ２０５と、制御部２０６と、通信部２１０と、制御部２０６および通信部２１０に電力を供給するバッテリ２１２とを含む。制御部２０６は、加速度センサ２０２から出力される加速度データ、および、ジャイロセンサ２０４から出力される角速度データ、ならびに位置センサ２０５から出力される位置データを取得し、通信部２１０を介して、それらのデータを送出する。制御部２０６は、タイマ２０８を有しており、各データを取得したタイミングを示す情報を、送出するデータに付与する。
【００４７】
なお、位置センサとしては、屋外であれば、ＧＰＳなどの測位装置により計測される緯度経度などの位置情報を出力するセンサであればよい。また、屋内であれば、各部屋に設けられたBluetooth（登録商標）信号等を用いたビーコン送信機からの位置情報や、所定の周波数帯域の信号を利用する無線タグ装置からの位置情報や、あるいは、複数の無線ＬＡＮのアクセスポイントからの電波強度などにより算出される位置情報を出力するセンサなどを利用することが可能である。ただし、位置情報の取得の方法としては、これらの方法に限定されるものではない。
（情報処理装置５０）
図４は、図１に示す情報処理装置５０の構成を示す模式図である。情報処理装置５０は、典型的には、汎用アーキテクチャに従うコンピュータが採用される。より具体的には、図４を参照して、情報処理装置５０は、プロセッサ５０２と、主メモリ５０４と、ネットワークインターフェイス５０６と、通信インターフェイス５０８と、入力部５１０と、出力部５１２と、二次記憶部５２０とを含む。これらの各コンポーネントは、バス５１４を介して互いにデータ通信可能に接続される。
【００４８】
プロセッサ５０２は、主メモリ５０４に展開されたプログラムコードを指定された順序に従って実行することで、後述するような各種処理を実現する。プロセッサ５０２としては、シングルコアまたはマルチコアのいずれの構成を採用してもよいし、複数のプロセッサを用いてもよい。主メモリ５０４は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）のような揮発性の記憶装置が用いられる。
【００４９】
ネットワークインターフェイス５０６は、ＬＡＮ（Local Area Network）などを介して、他の装置との間でデータを遣り取りする。通信インターフェイス５０８は、図１に示すウェアラブルカメラ１０およびモーションセンサ２０との間でデータをやり取りする。典型的には、通信インターフェイス５０８は、イーサネット（登録商標）などの有線または無線によりパケットを遣り取りするデバイスが採用される。通信インターフェイス５０８としては、Ｂｌｕｔｏｏｔｈ（登録商標）などの無線デバイスが採用されることが好ましい。但し、ネットワークインターフェイス５０６および通信インターフェイス５０８を共通のデバイスで実現してもよい。
【００５０】
入力部５１０は、ユーザからの操作を受付けるデバイスであり、例えば、キーボード、マウス、タッチパネルなどにより構成される。出力部５１２は、ユーザに対して各種情報を提示、または、他の装置に対して各種データを出力するデバイスであり、例えば、ディスプレイ、各種インジケータ、プリンタなどにより構成される。
【００５１】
二次記憶部５２０は、収集された映像データおよび運動データを格納するとともに、プロセッサ５０２にて実行されるＯＳ（Operating System）およびアプリケーションプログラムを格納している。例えば、二次記憶部５２０は、映像収集部３０、運動情報収集部３４および位置情報収集部３５、ならびに、映像特徴量算出部３２、運動特徴量算出部３６および位置特徴量算出部３７の機能を実現するための特徴量算出プログラム５２２、および、イベント系列抽出機能を実現するためのイベント系列抽出プロラム５２４を格納している。なお、特徴量算出プログラム５２２およびイベント系列抽出プロラム５２４は、ＯＳが提供するライブラリなどを利用して、目的のプログラムを実行する場合もある。この場合であっても、これらのプログラムは、本願発明の範囲に含まれ得る。
【００５２】
典型的には、特徴量算出プログラム５２２およびイベント系列抽出プロラム５２４は、一体として、または、別々に、光学ディスクなどの記録媒体を介して流通する。あるいは、インターネットワークなどを介して、ダウンロードの形で、特徴量算出プログラム５２２およびイベント系列抽出プロラム５２４を配布するようにしてもよい。この場合には、特徴量算出プログラム５２２および／またはイベント系列抽出プロラム５２４を格納した記録媒体自体も本願発明の範囲に含まれ得る。
【００５３】
図５は、センサ信号から予測した意味コンセプトを組み合わせて、イベントタイムラインを作成した例を示す図である。
【００５４】
図５に示した例では、イベント系列抽出部３８は、タイムスタンプが付与された意味コンセプト（walk、sit_down、coffee、cracker、kitchen、living_room）をセンサ信号から推定し、複数のコンセプトの中から、適切な組み合わせを選んで 尤もらしいイベント系列を生成する。たとえば、以下のようなイベント系列が生成されうる。
【００５５】
［ｗａｌｋ、＊、ｌｉｖｉｎｇ＿ｒｏｏｍ］→［ｐｕｔ、ｃｒａｋｅｒ、ｌｉｖｉｎｇ＿ｒｏｏｍ］→［ｅａｔ、ｃｒａｋｅｒ、ｌｉｖｉｎｇ＿ｒｏｏｍ］）  
すなわち、イベント系列抽出部３８は、与えられたセンサデータから日常生活行動に関する時間的に順序付けられたイベント系列を生成する。イベント系列抽出部３８は、センサ信号から作られた複数の意味概念を結合し、最終的にイベントのタイムラインを作成する。
【００５６】
図６は、イベント系列抽出部３８が、イベント系列を生成する手順を説明するための第１の概念図であり、図７は、イベント系列を生成する手順を説明するための第２の概念図であり、図８は、イベント系列を生成する手順を説明するための第３の概念図である。
【００５７】
まず、図６に示すように、イベント系列抽出部３８は、実環境をセンシングして得られた信号をその内容を表す意味コンセプトに変換する。意味コンセプトは、コンセプト名、コンセプトタイプ、コンセプトが観測された開始時刻と終了時刻で構成されている。
【００５８】
図６では、運動データに基づいて、イベント系列抽出部３８が実行する処理を示しており、コンセプトタイプとしては、「行動」であり、所定の時間間隔（スライディングウィンドウ）ごとに、運動ラベルの算出が行われ、コンセプト名としては、「歩行（walk）」、「着座（sit down）」、「飲む（drink）」が割り振られている。
【００５９】
より一般には、コンセプト名はセンサ信号の意味を表すラベルであり、コンセプトタイプは行動・物体・場所のカテゴリを表す。
【００６０】
例えば、何かを飲んだときのセンサ信号は、行動を表す意味コンセプトに変換される。センサ信号を一旦意味コンセプトに変換さえすれば、イベント系列の予測を行うため、任意の環境センサまたはウェアラブルセンサを使用することができる。
【００６１】
図７は、イベント候補を生成する手続きを示す図である。
【００６２】
次に、イベント系列抽出部３８は、所定の時間ウィンドウ内で、複数の意味コンセプトの中から各行動の意味コンセプトと時間的に近いコンセプトの組み合わせを選択することで、イベントの候補を生成する。
【００６３】
図８は、イベント系列の生成方法を説明するための図である。
【００６４】
イベント系列抽出部３８は、図７のようにして得られたイベント候補の中から、後述するようにして、意味コンセプト同士の時間的な関連性、外部の言語資源、イベント間の変化のモデルを手がかりに 尤もらしいイベント系列を選択する。
［イベント系列抽出部３８の処理］
以下では、イベント系列抽出部３８の行う処理の一例として、屋内環境の日常生活行動に関するイベントのタイムラインを生成する枠組みについて説明する。
【００６５】
この手続きでは、センサ信号からの意味コンセプトの作成、イベント候補の作成、実世界の特性を用いた隠れマルコフモデル（HMM）の遷移・出力確率の学習とイベント系列の予測の３つの構成要素から成る。
【００６６】
イベント系列抽出部３８において、実世界の状態をイベントの系列ｅを以下のように定義する。
【００６７】
【数１】
2019046304.tif 000003
【００６８】
各イベントeiは、意味コンセプトｃは、タプル(c1，…，ｃN)で表現される。ここで、「タプル」とは、複数の構成要素からなる組を意味する。
【００６９】
ここで、各意味コンセプトｃは意味コンセプトが観測された時刻を表すタイムスタンプc.tと コンセプト名c．ｗ、コンセプトタイプｃ．ｔｙｐｅ∈｛a、o、p｝の属性を持ち、aは被験者がした行動、oは被験者が観測した物体、pは被験者がいる場所を表す。
【００７０】
本実施の形態では、(c1.type＝a、c2.type＝o、c3.type＝p)の順序で、コンセプト名を並べて表すものとし、各要素がそれぞれ行動、物体、場所の意味コンセプト名を表す。つまり、本実施の形態では、３つの意味コンセプト名のタプル(c1 、c2 、c3)をイベントの内容と定義する。つまり、１つのイベントの内容は、（c1.w, c2.w，c3.w）を表し、これとイベントの開始時間を表すタイムスタンプe.tとで、各イベントが定義される。
【００７１】
ただし、物体を表す意味コンセプトc2を観測していない場合（例えば、「歩く」「立つ」）は、シンボル“＊”を代わりに使う。また、コンセプトタイプc.typeによって、コンセプト名は予め決まっている。
【００７２】
図９は、行動、物体、場所のコンセプトタイプごとのコンセプト名を示す表である。
【００７３】
図９に示すように、各イベントは日常生活行動を表すものなので、イベントの時間e.tはイベント内の行動を表すコンセプトの開始時刻と定義する。例えば、「男が屋内で8時31分55秒にリビングルーム(living_room)でコーヒー(coffee)を飲んでいる(drink)」場合、e=(c1.w=drink、c2.w=coffee、c3.w=living_room) として表現でき、e.t=8:31:55となる。なお、全てのイベントはタイムラインを構成するために、タイムスタンプe.tによって時間順に並べられる。
（意味コンセプト推定処理）
次に、図６にしたがって、イベント系列抽出部３８が、センサ信号からイベントを構成する可能性のある行動・物体・場所の意味コンセプトを作成する手順について、より詳しく説明する。
【００７４】
センサ信号は連続している信号なので、特徴抽出のために滑走窓法を用いる。滑走窓法（スライディングウィンドウ法）では、各時間窓（窓サイズのサンプル数はＮ）内にあるセンサ信号に対して、系列ラベリングを用いてラベルを予測する。
【００７５】
系列ラベリングのために、特に限定されないが、たとえば、再起型ニューラルネットワークの一種であるゲート付き再帰型ユニット（ＧＲＵ：Gated Recurrent Unit） を用いることができる。
【００７６】
このようなＧＲＵについては、たとえば、以下の文献に開示がある。
【００７７】
公知文献１：Chung, J．；G”ulccehre, cC.; Cho, K．； and Bengio, Y. ”Empirical evaluation of gated recurrent neural networks on sequence modeling．” In The NIPS 2014 Deep Learning and Representation Learning Workshop．
ここで、各ステップｔのＧＲＵの入力データｘtと隠れ状態ｈtとする。ＧＲＵの関数は下記のように定義される。
【００７８】
【数２】
2019046304.tif 000004
【００７９】
ここで、σはシグモイド関数、○はアダマール積、を表し、以下のように定義される。
【００８０】
【数３】
2019046304.tif 000005
【００８１】
ここで、次元nIは、入力ベクトルのサイズ、次元ｎHは隠れベクトルのサイズ、ｂ(Z)，ｂ(r)，ｂ(h)はバイアス項である。上記の関数をｈt＝ＧＲＵ（ｘt、ｈt-1）と表記する。
【００８２】
また、コンセプトは任意の時間に観測されるので、ＧＲＵを用いて各時間窓のラベルを予測した後は、時間的に隣接してかつ同じラベルであれば１つに結合する。結果として、図５や図６のように、時間軸に並べられた複数の意味コンセプト（意味コンセプトストリーム）を生成することができる。
（イベント候補生成処理）
以下では、図７にしたがって、イベント系列抽出部３８が、意味コンセプトストリームからコンセプトの組み合わせ選択して統合することで、実世界を表すイベントの候補を生成する方法について紹介する。
【００８３】
意味コンセプトストリーム中では、どのコンセプトの組み合わせがイベントになるのかは自明ではない。そこで、滑走窓を用いて、窓内のコンセプトからイベントの候補を生成する。まず、行動のコンセプトごとに窓ｗ＝（ｗ1，…ｗ｜w｜）を作る。
【００８４】
ここで、窓|w|の数は、観測された行動の数に等しくなる。図７は、イベント系列抽出部３８が、意味コンセプトストリームに滑走窓を用いて、イベント候補を生成した例である。
【００８５】
ここでは、行動の意味コンセプトの開始時刻c.tを窓の中心として、固定長の時間窓（窓のサイズのサンプル数はＭ）を用いる。この時間窓内で時間的に重複するコンセプトを見つけ出し、タプル(c1 、c2 、c3)を満たすイベントの候補を生成する。
【００８６】
例えば、行動の意味コンセプト「飲む（drink）」に8時31分55秒から8時31分58秒の時間窓を設ける場合、窓と重複する「テレビ（TV）」、「コーヒー（coffee）」、「テーブル（table）」が イベント候補内の物体の意味コンセプトになり、「居間（living_room）」がイベント候補内の場所の意味コンセプトになる。
【００８７】
その結果、複数のイベント候補ｅ＝(c1 、c2 、c3)として、(c1.W 、c2.W 、c3.W) = (drink、TV、living_room)、(drink、table、living_room)、(drink、coffee、living_room)、(drink、*、living_room)がこの窓について生成される。
【００８８】
次に、実世界の性質を用いて、イベント候補の中から尤もらしいイベント系列を推定する方法について紹介する。
【００８９】
各窓のイベント候補の中から尤もらしいイベント系列ｅ*を効率的に見つけるため、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）を用いる。ＨＭＭは、隠れ状態間の遷移確率と隠れ状態と出力状態の出力確率から構成される。ここでのＨＭＭは、次の関数を最大化することで、イベント候補郡の中から最適なイベント系列ｅ*を推定する。
【００９０】
【数４】
2019046304.tif 000006
【００９１】
ここで、ＨＭＭのwが隠れ状態、eが出力に相当する。この出力wは２値を持ち、イベント候補が存在する場合は１、そうでない場合は０の値になる。
【００９２】
また、Ｐ（ｅi｜ｗi）は出力確率で、窓ｗiからイベントｅiが出力される確率を表す。また、Ｐ（ｗi｜ｗi-1）は遷移確率に相当し、イベント候補を含む窓間の遷移し易さを表す。さらに、イベントの時間の性質とイベントの言語的な尤もらしさは独立であると仮定し、Ｐ（ｅ｜ｗ）＝Ｐ（ｅl｜ｗ）Ｐ（ｅt｜ｗ）とする。ここで、Ｐ（ｅl｜ｗ）はイベントの言語モデル、Ｐ（ｅt｜ｗ）は時間のモデルを表す。もし、窓内にイベント候補がなければ、状態ｗは出力がないとする。以下に説明するように、Ｐ（ｅi｜ｗi）として、Ｐ（ｅl｜ｗ）に加えて、Ｐ（ｅt｜ｗ）も考慮することで、より尤もらしいイベント候補を選択することができる。
【００９３】
以下に各確率の定義について紹介する。
（時間関係モデル）
まず、時間関係のモデルＰ（ｅt｜ｗ）を定義する。
【００９４】
ここで、ｅt＝(c1.ｔ 、c2.ｔ、c3.ｔ)とする。これは人の行動と物体・場所に関する意味コンセプトが観測された時間を表している。ここで、行動が行われた時間付近に物体や場所が観察されると両者には関係があると仮定する。例えば、人はコーヒーを飲むという行動をするときに、コーヒーカップという物体を見る。このコンセプト間の時間的関係を考慮することで、行動と無関係な物体や場所を含むイベント候補を除去することができる。
【００９５】
意味コンセプト間の時間的関係を次式で定義する。
【００９６】
【数５】
2019046304.tif 000007
【００９７】
ここで、e.tはイベントの時間、c.tはコンセプトが観測された開始時刻を表す。
【００９８】
Ｐ（ｅt｜ｗ）をイベント系列モデルを表すＨＭＭの出力確率の一つとする。
（イベント言語モデル）
コンセプトの組み合わせの尤もらしさを表現するため、言語コーパスからマイニングした言語知識を利用する。
【００９９】
言語コーパスには、現実世界の常識的知識が反映されているので、この性質を用いて人間の行動と物体・場所を表す意味コンセプトの尤もらしさを表す。
【０１００】
例えば、人はクラッカーを飲むことはないが、コーヒーは飲むことがある。また、人はトイレでコーヒーを飲むよりも、リビングルームでコーヒーを飲むほうが尤もらしいと考えられる。このような実世界の常識的知識を表現するため、言語コーパスから言語モデルを利用する。
【０１０１】
言語モデルは単語列に対する確率分布であり、イベントの言語モデルをＰ（ｅl｜ｗ）とする。ここで、ｅ1＝(c1.W 、c2.W 、c3.W) とする。イベントの言語モデルには、リカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）言語モデルを用いる。
【０１０２】
このＲＮＮ言語モデルは、入力の単語埋め込みベクトルの系列を内部状態のベクトルを通して出力の単語埋め込みベクトルの系列へ 対応づけを学習したものである。
【０１０３】
ＲＮＮ言語モデルには、ＧＲＵを用いることができる。ＧＲＵを用いた言語モデルは、以下の文献にも記載されるとおり、tanh関数を用いた標準的なRNN言語モデルよりも良い性能を示すことが知られている。
【０１０４】
公知文献２：Chung, J．；G”ulcehre, C．； Cho, K．； and Bengio, Y. 2015. ”Gated feedback recurrent neural networks．” In ICML, 2067-2075.
図１０は、単語埋め込みベクトルとＧＲＵを用いたＲＮＮ言語モデルの構成を示す概念図である。
【０１０５】
ＲＮＮ言語モデルでは、k番目の単語が出現する確率を以下のように定義する。
【０１０６】
【数６】
2019046304.tif 000008
【０１０７】
ここでは、ｋ番目の単語をone-hot vector（該当する単語の箇所を1にしたベクトル）で表現している。
【０１０８】
ただし、実世界で観測されるコンセプトが、学習用の言語コーパス中に現れるとは限らない。そこで、単語の意味的な類似度を考慮してこの問題に対処する。単語の類似性を考慮するため、以下の文献に開示されたGloVe で学習した単語埋め込みベクトルをＧＲＵに用いる。
【０１０９】
公知文献３：Pennington, J.; Socher, R.; and Manning, C. D. 2014. Glove: Global vectors for word representation. In EMNLP, 1532-1543.
イベント内のコンセプト名ｃi.wを単語とみなし、この単語の単語埋め込みベクトルをｘkとすると、イベント内のコンセプトに対応する単語埋め込みベクトルすべてを読み込んだときの同時確率は以下の式になる。
【０１１０】
【数７】
2019046304.tif 000009
【０１１１】
これが言語モデルの尤度になる。
（イベント系列モデル）
日常生活では、異なる行動を逐次的に行うため、日常生活行動を表すイベントが前後で少しずつ変化する。例えば、人はスリッパを脱いで後にスリッパを再び履くよりも靴を履くことが多い。本実施の形態では、このイベントの変化をＨＭＭの遷移確率に利用する。
【０１１２】
イベントを表現するベクトルの非類似度をイベントの遷移確率Ｐ（ｅi｜ｅi-1）として、以下のように表す。
【０１１３】
【数８】
2019046304.tif 000010
【０１１４】
ここで、ｑiはイベントｅi 中の末尾単語の埋め込みベクトルを読み込んだ際のＧＲＵの隠れ状態ベクトルを表す。Ｐ（ｅi｜ｅi-1）がＨＭＭによるイベント系列モデルの遷移確率になる。
【０１１５】
図１１は、イベントの遷移の例を示す概念図である。
【０１１６】
例えば、イベントの経路（remove、shoe、entrance）→（wear、slipper、entrance）→（walk、*、living_room）、は他のイベント経路（remove、shoe、entrance）→（wear、shoe、entrance）→（walk、slipper、entrance）よりも尤もらしい経路であると考えられる。
【０１１７】
その理由は、イベント (wear、slipper、entrance)のベクトル表現 は(wear、shoe、entrance)のベクトル表現と比較して (remove、shoe、entrance)よりも似ていないからである。これらのイベント遷移を考慮して、尤もらしいイベントの系列を選択する。
（イベント系列の選択）
次に、図８にしたがって、イベント系列抽出部３８が、イベント系列を選択する手順について、より詳しく説明する。
【０１１８】
意味コンセプトストリームの各窓の中には複数のイベント候補が存在しており、窓間で、イベント候補の 経路は複数考えられる。図８に、イベントの経路を表すＨＭＭのラティス構造を示す。
【０１１９】
上述の通り、本実施の形態では、イベントの系列にＨＭＭを用いているので、これまで計算したイベント間の遷移確率Ｐ（ｅi｜ｅi-1）と 正規化した出力確率Ｐ（ｅ｜ｗ）＝Ｐ（ｅl｜ｗ）Ｐ（ｅt｜ｗ）を用いることで、ビタビアルゴリズム で効率的に最適なイベントの系列を見つけることができる。この最適なイベント系列がイベントタイムラインとなる。
【０１２０】
以上のようなイベント系列抽出部３８の構成により、未知の場所に汎化するようにイベントタイムライン（イベント系列）をセンサ信号に基づいて抽出することが可能である。
［実験結果］
以下では、日常生活行動データセット用いて本実施の形態のイベント系列生成手法をベースラインと比較して評価する。この日常生活行動データセットは複数の被験者が屋内で日常生活行動をシミュレーションした結果を言語化したものである。
【０１２１】
本実施の形態のイベント系列抽出部３８の動作の評価を行うために、日常生活行動データセットを用いる。
【０１２２】
このデータセットは日常生活行動の検索で用いられたデータセットであり 、モーション信号（加速度とジャイロ）とヘッドマウントカメラで撮影した一人称視点映像で構成されている。
本データセットは、日常生活行動のセンシングにウェアラブルセンサを用いているので、場所を移動しても逐次被験者の行動の詳細を追跡することができる。このデータセットでは、８人の被験者がモーションセンサとウェアラブルカメラを装着して２０個の日常生活行動を１セッションとして、異なる場所でワークシートに記述された場所固有の行動を被験者の意思に従って任意のタイミングで行う。
【０１２３】
例えば、被験者はソファに座ってリビングルームでテレビを見ながらコーヒーを飲み、その後、台所に移動して皿を洗う、といった日常生活行動を行う。この一連の行動を１０回繰り返して、１人につき１０セッション、合計で約１７時間分のデータが収録されている。このセミナチュナルな実験プロトコルによるデータ収集は、限られた環境の中で多様な行動についてのセンサデータを集めるために、行動認識の研究で頻繁に用いられる。
【０１２４】
図１２は、実験で使用された家の間取りと被験者が行った２０個の場所固有の行動を示す図である。
【０１２５】
図１２（ａ）は、家の間取り図を示し、図１２（ｂ）は、行動を示す。
【０１２６】
たとえば、場所のラベルとしては、「台所」「居間」「寝室」「玄関」「トイレ」「洗面所」がある。
【０１２７】
また、行動のラベルとしては、らとえば、「玄関(entrance)」では、「靴をはく（put on shoes）」「靴を脱ぐ（remove shoes）」がある。
【０１２８】
あるいは、「台所（kitchen）」では、「サンドイッチクッキーを作る（make a sandwiched cookie）」「コーヒーをいれる（make coffee）」「手を洗う（wash hands）」「皿を洗う（wash the dishes）」などがある。
【０１２９】
「居間（living room）」では、「コーヒーを飲む（drink coffee）」「サンドイッチクッキーを食べる（eat a sandwiched cookie）」「床をふく（mop the floor）」「エアコンをつける／消す（turn on/off A/C）」「テレビをつける／消す（turn on/off TV）」などがある。
【０１３０】
「寝室（bedroom）」「トイレ（bathroom）」「洗面所（washroom）」についても、それぞれ、固有の行動が予め規定されている。
【０１３１】
イベントタイムラインの生成手法を評価するため、この日常生活行動データセットに行動・物体・場所を表すイベント文の記述を行う。
【０１３２】
データセットの作り方は以下のようになる。まず、２人の作業者が、被験者の頭部に装着された装着型カメラからの映像を見ながら、２７個の行動、３９個の物体、６つの場所についての意味コンセプトのラベルを人手で付与する。
【０１３３】
次に、クラウドソーシングサービスを使用して、６人の作業者がラベリングされた意味コンセプトの中からイベントを構成する意味コンセプトを選んび 正しいイベントになるように手動で意味コンセプトの並び替えを行った。
【０１３４】
例えば、drink（行動）、coffee（物体）、living_room（場所）コンセプトが観測されたときに「ある人が居間のコーヒーを飲む」となるように コンセプトの並び替えを行った。
【０１３５】
結果、合計５５０件の固有のイベントと11,501個の行動コンセプト、13,087個の物体コンセプト、931個の場所コンセプト、11,280個の イベントを作成することができた。
【０１３６】
本実施の形態のイベント系列抽出部３８は、与えられた意味コンセプトから自動的にイベントの系列であるイベントタイムラインを生成する。この生成したイベント系列と手動でラベル付けしたイベント系列を一致度を見ることで、本実施の形態のイベント系列抽出部３８の性能を評価する。
【０１３７】
（実験条件）
ウェアラブルセンサから取得したセンサデータから意味コンセプトを作成する。特徴抽出の方法は、同データセットを用いた以下の文献に開示されたのと同様の方法で行った。
【０１３８】
公知文献：Miyanishi, T.; Hirayama, J.-i.; Maekawa, T.; Kong, Q.; Moriya, H.; and Suyama, T. 2016. Egocentric video search via physical interactions. In AAAI, 330-336.
モーションデータの特徴抽出として、25Hzのデータに対して窓サイズ75サンプルで1サンプルづつずらして 短時間フーリエ変換を用いて特徴抽出を行った。
【０１３９】
動画像の特徴抽出には、まず各画像についてImageNetで事前学習したVGG のモデルの最終層の活性化関数の値を用いて画像の特徴抽出を行い、滑走窓を用いて動画特徴を抽出した。
【０１４０】
ＶＧＧモデルについては、以下の文献に開示がある。
【０１４１】
公知文献：Simonyan, K., and Zisserman, A. 2015. Very deep convolutional networks for large-scale image recognition. In ICLR.
さらに、モーションデータとVGGの画特徴を0.2秒ごとにダウンサンプリングして 一つのベクトルに結合し、３秒間の窓内のベクトルを作成し、このセンサデータのベクトルからＧＲＵを用いて意味コンセプトのラベルの予測を行った。行動と場所の意味コンセプトは、時間的に重複しないので、交差エントロピー損失を用いて多クラス分類でラベルの予測をした。一方、物体の意味コンセプトは複数観測されるので時間的に重複する場合がある。そこで、物体のラベルの予測には最大エントロピーに基づく1対全の損失を用いてマルチラベル分類でラベルの予測をした。最後に、隣接したラベルを結合して任意の時間幅を持つ意味コンセプトを作成した。結果、14,444個の行動、34,923個の物体、1,113個の場所の意味コンセプトを予測した。
(イベント系列の生成)
センサ信号から推定した意味コンセプトを用いて尤もらしいイベントの系列を作成する。イベントの言語モデルの学習には、Montreal Video Annotation Dataset (M-VAD)コーパスを用いた。このM-VADコーパスから、動詞とその係り先をStanford係り受け解析器を用いて抽出した。
【０１４２】
使用する単語の係り先としては、動詞の主部と補語とXCMOPに限定した。イベント構成要素の語彙は、頻度高い上位4,000個の主部、4,000個の動詞、6,000個の動詞の係先の名詞を選んだ。イベント言語モデルの訓練データは合計51,564個のイベントで、検証データに6,871のイベントを使用した。また、イベントの言語モデルに使用する単語の埋め込みベクトルは、Wikipediaの英語版で学習したGloveを用いて作成した。
【０１４３】
ここで、Gloveの隠れ層の次元は300、語彙は40万個の単語を使用した。それ以外の単語は、未知のトークンに置き換えて学習を行った。言語モデルの学習にはＧＲＵを使い、最適化手法はAdam を用いて、学習率を0.01、バッチサイズを32にして、検証データの損失を見て10エポックで学習を打ち切った。ＧＲＵの300次元の隠れ層は正規分布N(0、0.01)に従って初期化した。イベントタイムラインの生成については、１つの場所のイベント系列をテストデータ、他の場所でのイベント系列を訓練データとする leave-one-place-outの交差検定で本実施の形態のイベント系列生成手法のパラメータＮ、Ｍを調整し、評価を行った。
【０１４４】
本実施の形態のイベント系列生成手法の優位性を検証するため、ベースライン手法を用意した。FullRandomは、全イベント候補からランダムにイベントを選んでイベント系列を作成する。WindowRandomは、各窓のイベント候補の中からランダムにイベントを選んでイベント系列を作成する。Unigram (MVAD)は、各窓のイベント候補をMVADコーパスで学習したユニグラムの尤度に基づいて順位付けしてイベント系列を作成する。Bigram (MVAD)は、各窓のイベント候補をMVADコーパスで学習したバイグラムの尤度に基づいて順位付けしてイベント系列を作成する。Video2TextGenerateは、与えられたセンサデータからsequence-to-sequence を用いて直接イベントを生成する。これは と同様の手法である。Video2TextRankingは、各窓のイベント候補をsequence-to-sequenceの尤度を用いて順位付けしてイベント系列を作成する。
【０１４５】
本実施の形態のイベント系列生成手法について、モデルの各構成要素の効果を見るため、RNN-Lang、RNN-Lang + Time、RNN-Lang + Time + Contextを用意した。RNN-Langは、各窓のイベント候補をMVADコーパスで学習したRNN言語モデルの尤度に基づいて順位付けしてイベント系列を生成する。RNN-Lang + Timeは、RNN-Langに時間モデルを追加して、RNN言語モデルの尤度に時間モデルのスコアを足して、合計スコアに基づいてイベントの順位付けを行い、イベント系列を生成する。RNN-Lang + Time + Contextは、RNN-Lang + Timeにイベントの変化モデルを追加して、RNN言語モデルの尤度と時間モデルのスコアにイベント間の遷移確率を考慮して、HMMを用いてイベント系列を生成する。
【０１４６】
（イベント生成のパフォーマンス）
以下では、単語の統計情報を用いたベースラインUnigram (MVAD)、Bigram (MVAD)と、動画の説明文生成の課題でよく用いられるsequence-to-sequeceによるイベント生成手法 Video2TextGenerate、Video2TextRankingと比較することで、提案するイベントタイムライン生成手法RNN-Lang + Time + Contextの性能を評価する。
【０１４７】
用意したベースラインは、コンセプト間の時間モデルやイベント間の変化などの実世界の性質は使用していない。
【０１４８】
イベントタイムラインの評価には、人手でラベリングした意味コンセプトからイベント系列を生成する条件と、ＧＲＵで予測した意味コンセプトからイベント系列を生成する条件の２通りの評価を行う。これらの２つの条件をそれぞれ正解コンセプト（TrueConcept）と予測コンセプト（PredConcept）と明記する。人手でラベリングした意味コンセプトを使用することで、イベントタイムライン生成のみの性能を評価することができ、予測した意味コンセプトを使ってイベント系列を予測することで、ノイズが多いより現実に近い条件でイベント系列手法の評価ができる。
【０１４９】
イベントタイムラインの生成手法を評価する指標として、BLEU 、METEOR 、CIDEr を用いる。これらの指標は、画像の説明文を生成する手法を評価するために標準的に用いられる 。
【０１５０】
これらの指標については、以下の文献に開示がある。
【０１５１】
公知文献：Fang, H．；Gupta, S.; Iandola, F．；Srivastava, R. K，；Deng, L．；Doll’ar, P．；Gao, J，；He, X．；Mitchell, M．；Platt, J. C．；et al. 2015. From captions to visual concepts and back. In CVPR, 1473-1482.
特に、BLEUとMETEORは機械翻訳システムの評価で標準的に用いられ、BLEUは予測したイベントと正解のイベントの重複するN-グラムの一致度をみる。CIDErは画像から生成した説明文を評価するために用いられ、予測した文にある単語が正解の文の単語集合にどれだけ含まれるかを評価する。
【０１５２】
ベースラインと本実施の形態のイベント系列生成手法によって生成したイベント系列と人手で作成したイベント系列を比較して BLEU、METEOR、CIDErのスコアの計算を行う。これらのスコアが高いほどイベントタイムラインの生成手法の性能が高いことを示す。
【０１５３】
以下では、イベントタイムラインの全体的な性能を評価する。
【０１５４】
図１３は、抽出されたイベントタイムラインの評価結果を示す図である。
【０１５５】
図１３では、正解コンセプト（TrueConcept）と予測コンセプト（PredConcept）を用いたときの ベースラインと本実施の形態のイベント系列生成手法の全体的な結果を示す。
正解コンセプトの結果から、これらの手法は同じ言語コーパスを使用して言語モデルを構築しているにもかかわらず、RNN-LangはUnigram (MVAD)やBigram (MVAD)よりも すべての評価指標に対して上回っていることがわかる。この結果は、標準的なユニグラムやバイグラムの言語モデルと比較して、任意長の単語列を表現できるRNN言語モデルを利用したRNN-Langは、より正確に実世界の状態を表現できることを示唆している。
【０１５６】
さらに、RNN-Langはsequence-to-sequenceを用いたVideo2TextGenerateやVideo2TextRankingと比較して、すべての評価指標で上回っている。
【０１５７】
これは、sequence-to-sequenceを用いた手法が、ある特定の環境で収集したセンサデータに過適合してしまい、他の場所でのイベントを予測できなかったからである。
【０１５８】
また、Video2TextGenerateはイベント候補の中からランダムに選択するモデル（FullRandom）と結果がほぼ同じである。これは、異なる環境でイベント系列の生成の性能を汎化させるためには、センサとその説明文の並列コーパスで学習するのではなく、外部の言語資源を用いて実世界の状態を表す単語列を学習する必要があることを示唆している。
【０１５９】
つまり、動画像の説明文生成で用いられるsequence-to-sequenceは、場所が変化するような環境でのイベントタイムラインの生成に適していない。正解コンセプトを用いた結果から、提案するイベント系列生成手法RNN-Lang、RNN-Lang + Time、RNN-Lang + Context、RNN-Lang + Time + Contextがベースラインを上回っている。
【０１６０】
これは、日常生活行動に関するイベント系列を生成するために、実環境の特有の性質を取り入れることが効果的であることを示している。特に、RNN-Lang + TimeはRNN-Langよりも良い性能を示していることから、コンセプト間の時間的近さを考慮することが、実世界のイベントを生成する上で 重要だということがわかる。また、RNN-Lang + Time + Contextの性能がRNN-Lang + Timeを上回っていることから、イベントの変化を考慮したモデルを用いることで、より正しいイベント系列を生成できることがわかった。RNN-Lang + Time + Contextの性能がRNN-LangとRNN-Lang + Timeを上回っていることから、コンセプトの組み合わせの尤もらしさを表す常識的知識だけでなく、行動と物体・場所を表すコンセプトの時間的近さや、さらに 時間とともに変化する日常生活行動を表すイベント間の遷移を追加してモデル化することが日常生活のイベントタイムラインを生成する上で効果的だとわかる。
【０１６１】
次に、予測コンセプトを用いてイベント系列を生成した結果を紹介する。
【０１６２】
当然ながら、予測コンセプトには誤りがあるので、予測コンセプトを用いた結果は、正解のコンセプトを使った場合と比べて評価指標の値は低下している。
【０１６３】
図１３から、提案するRNN-LangはベースラインのUnigram (MVAD)を上回っているが、RNN-LangとBigram (MVAD)は同程度である。
【０１６４】
これは、イベント候補の中に誤って予測されたコンセプトが含まれるためにRNN-Langの性能が低下したためと考えられる。しかし、常識的知識に時間のモデルを加えたRNN-Lang + TimeはRNN-Langと比較してイベント系列生成の性能を向上させることができており、その結果、Unigram (MVAD)、Bigram (MVAD)の性能を上回っている。
【０１６５】
これは、より実用的な条件でもコンセプトの時間的近さを考慮することでイベント生成の性能を向上できることを示している。さらに、正解のコンセプトを使ったときと同様に、RNN-Lang + Time + Contextは、RNN-LangとRNN-Lang + Timeを上回っている。
【０１６６】
この結果は、ノイジーな条件でもイベントの変化を考慮することで、実世界の状態を表す正しいイベント系列を選択しやすくなることを示している。また、本実施の形態のイベント系列生成手法のRNN-Lang + Time + Contextを用いた手法が全ての手法に対して全ての評価指標で上回ってる。この結果は、実世界の特性をモデリングすることで、実環境でセンシングしたデータを使っても正確なイベントタイムラインを生成できることを示している。
【０１６７】
以上説明したように、本実施の形態のイベント系列抽出部３８では、意味コンセプトの時間的な近さや、コンセプトの組み合わせの言語的な尤もらしさや、イベントの時間変化変化などの実世界の特徴をモデル化している。日常生活行動に関するデータセットを使用して評価実験を行った結果、実世界の特徴をモデル化することで、逐次的に変化するイベントの系列を正しく生成できる。
【０１６８】
今回開示された実施の形態は、本発明を具体的に実施するための構成の例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲および均等の意味の範囲内での変更が含まれることが意図される。
【符号の説明】
【０１６９】
１  イベント系列抽出装置、２  被験者、１０  ウェアラブルカメラ、２０  モーションセンサ、３０  映像収集部、３２  映像特徴量算出部、３４  運動情報収集部、３５  位置情報収集部、３６  運動特徴量算出部、３７  位置特徴量算出部、３８  イベント系列抽出部、４０  データ格納部。
【図１】
2019046304.tif 000011
【図２】
2019046304.tif 000012
【図３】
2019046304.tif 000013
【図４】
2019046304.tif 000014
【図５】
2019046304.tif 000015
【図６】
2019046304.tif 000016
【図７】
2019046304.tif 000017
【図８】
2019046304.tif 000018
【図９】
2019046304.tif 000019
【図１０】
2019046304.tif 000020
【図１１】
2019046304.tif 000021
【図１２】
2019046304.tif 000022
【図１３】
2019046304.tif 000023