複数の時系列データを処理する基盤技術の開発と応用
理学専攻 情報科学コース
小林瑞季

1

はじめにセンサなどによって観測される情報の殆どは時系列データであり，ビッグデータを扱う時代においては，観測された時系列データの中から有益な情報を取得し，その内容を理解する手法の開発が重要となる．本研究では，時系列データを言葉で表現することを目的とし，まず，時系列データ間の関連性を言語で説明する手法として，複数の時系列データの関連性発見に基づくテキスト生成手法を提案する．また，観測された時系列データの振る舞いを言語で説明する手法の一つとして，Kinect から得られた動画像の情報を入力とした確率的なテキスト生成手法を提案する．

2

時系列データ間の関連性に基づく言語化

2.1

概要

大量の時系列データを扱う際，個々の時系列データの振る舞いだけでなく，それぞれの時系列間の関連性をみる必要性が生じ，複数の時系列データの関係を俯瞰するのは難しくなる．そのような背景から，本研究では，複数の時系列データを比較し，それらの関係をわかりやすく言葉で説明することを目的とする

2.2

提案手法

二つの時系列データの相関係数をとることより，おおまかに，(i) 類似の動きをするもの，(ii) 対称の動きをするもの，(iii) 関連性がないもの，の 3 つのタイプに分類する． それぞれの分類に対して，SAX 法 [1] を用いて数値データを記号化し，編集距離 [2] を拡張し，2つのデータの特徴的な箇所を抽出し，言語で表現する．
通常の編集距離は，対応する個々の記号の比較において，記号が異なる数，または，記号を一致させるのに必要なコストを 2 つの時系列データの距離 (差異) とするが，本研究では，記号列の動向を比較し，同じ動向を持つ記号列に変更するのに要するコストを新たに編集距離として採用する (図 1 中，アルファベットの下の数値がそれぞれの時系列データの動向を示す)．

-正負は違うものの，動きを示す値の絶対値が全く同じ箇所 (図 4 中，枠参照)．
(4) 対称に類似した動き-動きを示す値が，正 (上昇) なら「＋」を，負 (下降) なら「‐」を当てはめ，その記号が全く逆の箇所 (図 5 中，枠参照)．

図 2: 同じ動き

図 3: 類似した動き

図 4: 対称の動き

図 5: 対称に類似した動き

2.3
2.3.1

実験
実験の手順および結果

step 1. データ入力
2011 年 12 月 5 日の日経平均 17 業種別株価 (全 17個) について，それぞれ，9:00〜15:00 (休憩時間11:30〜12:30) を 5 分足でとってきた時系列デー
タ (データ数：62) を使用する．
step 2. 相関係数によるタイプ分け
相関係数を求め，3 つのタイプ (i) 類似の動きをするもの，(ii) 対称の動きをするもの，(iii) 関連性がないもの，に分類する．
step 3. 比較
SAX 法と拡張した編集距離を用いてマッチングを行い，それぞれの特徴点を抽出する．
step 4. 言語化
発見されたデータ間の特徴点を言語化のためのテンプレートに照らし合わせて，文章とグラフを用いて表示する．図 6 に例を示す．

図 1: 編集距離の拡張
また，抽出されたこの 2 つの数値列をマッチングすることによって動向を比較し，2 つの時系列データ間の以下に示す 4 つの関係を取得する．
(1) 同じ動き-動きを示す値が全く同じ箇所 (図 2 中，枠参照)．
(2) 類似した動き-動きを示す値が，正 (上昇) なら「＋」を，負 (下降) なら「‐」を，0(一定) なら「0」を当てはめ，その記号が同じ箇所 (図 3 中，枠参照)．
(3) 対称の動き．

図 6: 特徴点を示す文章とグラフの対応

2.3.2

考察

被験者実験でのアンケートにて，５段階評価の内，「とても一致している」「一致している」と答えた人の割合が 9 割を超えていることから，出力結果は妥当といえる．

図 7: 動画像を入力とする確率的テキスト生成の枠組み

3

動画中の人の動作を説明する言語生成

3.3.2

概要

「左手をあげる」「右手を上げる」「両手を下げる」「ボールを取る」の動作に対して，構築した識別機を用いてテストデータから判別された中間表現は，順に，3.1

ロボットなどが複数のセンサによって取得された時系列データの情報に基づき状況を認識する必要がある
場合，取得された情報をより抽象度の高いレベルで観測されたデータを表現する必要がある．そのことに着目し，観測された時系列データの振る舞いを言語で説明する手法の開発を目指し，その一つとして，Kinectから得られた動画像の情報を入力とした確率的なテキスト生成手法を提案する．

3.2

提案手法

本研究の概要を図 7 に示す．まず，Kinect[3] がもつ人の骨格を追跡するライブラリとパーティクルフィル
タ [4] を用いることで，人と物の動きを時系列データとして取得する．取得された時系列データはいくつかの次元圧縮作業を行い，データと自然言語の仲立ちをする中間表現とともにデータベースに格納される．その後，データベース内に蓄積された時系列データと中間表現の対応関係を対数線形モデルを用いて学習することで，動作識別器を作成する．テキスト生成に用いられる言語資源は，人の動作の表現を被験者実験によって収集し，それぞれの中間表現に対してバイグラムモデルを構築する．これにより中間表現を選択すると，その中間表現に対応したバイグラムモデルが選択され，そのモデルに動的計画法を適用することで，人の動作を表現するもっともらしい語の組み合わせを選ぶことができる．

3.3
3.3.1

実験
実験設定

言語化の対象となる動作を「左手をあげる」「右手を上げる」「両手を下げる」「ボールを取る」「ボールを置く」「両手を上げる」「右手を下げる」「左手を下げる」の 8 つの基本動作から成ると定義する．また，それぞれの動作に対し，自然言語での説明文を生成することとする．被験者実験として，対象となる人の動作の Kinect ビデオを観賞し，それについて自然言語で説明してもらうという実験を 12 人に対し行った．収集した日本語の説明文を形態素解析機 MeCab を用いて単語ごとに分け，これを言語資源としてバイグラムモデルを構築した．

実験結果および考察

1. “up((left hand),null)”
2. “up((right hand),null)”

3. “down((left hand,right hand),null)”
4. “up((right hand),green)”となった．次に，選ばれた中間表現に対して予め構築されたバイグラムモデルに動的計画法を適用することで，動作を説明する尤もらしい文を生成する．
結果として，それぞれの動作に対して尤度の高かった上位 3 文を表 1 に示す．実験結果から，人の動作を正確に表現する文が生成出来ていることが確認できた．
表 1: 各動作に対する生成文の上位 3 文
12

3

44

生成文
• 左手, を, 上げる, 。, null 5, null 6, null 7, null 8, EOF• 左手, を, 上げる, 。, null 4, null 5, null 6, null 7, null 8• 左手, を, ひじ, を, 上げる, 。, null 4, null 5, null 6• 右手, を, 上げる, 。, null 4, null 5, null 6, null 7, null 8• 右手, を, 上げる, 。, null 5, null 6, null 7, null 8, EOF• 右手, を, すこし, あげる, 。, null 4, null 5, null 6, null 7• 両手, を, 下ろす, 。, null 4, null 5, null 6, null 7, null 8, null 9• 両手, を, 下ろす, 。, null 5, null 6, null 7, null 8, null 9, EOF• 両手, を, 同時に, 下げる, 。, null 4, null 5, null 6, null 7, null 8• ボール, を, 持ち上げる, 。, null 5, null 6, null 7, null 8, null 9, EOF• 左手, で, ボール, を, 持ち上げる, 。, null 6, null 7, null 8, null 9• ボール, を, 左手, で, ボール, を, 持ち上げる, 。, null 6, null 7

尤度
1.76e-12
1.57e-12
1.19e-14
8.63e-13
5.40e-13
3.98e-15
2.91e-14
2.68 e-14
1.49e-16
2.64e-14
2.03e-14
2.77e-15

おわりに

本研究では，はじめに，時系列データ間の関連性に基づく言語化として，複数の時系列データを比較することによりそれらの関連性を分かりやすく言葉で説明する手法を提案した．また，時系列データの振る舞いの言語化として，動画像中の人の動作を表現する確率的言語生成の枠組みを提案した．現在，言語化の際に構文制約を取り入れてはいないため，今後は、多様な時系列データの関係、振る舞いをより正確に捉え、構文制約などを取り入れた言語化をおこないたいと考える．

参考文献[1] Lin, J. et al. Lin, J., Keogh, E., Lonardi, S. and Chiu,B. : A Symbolic Representation of Time Series, withImplications for Streaming Algorithms, DMKD’ 03，2003[2] Levenshtein VI. “Binary codes capable of correcting
deletions, insertions, and reversals “Soviet Physics
Doklady，1996．
[3] http://www.microsoft.com/en-us/kinectforwindows/[4] 樋口知之: 粒子フィルタ，電子情報通信学会誌，Vol.88，
No.12，pp.989-994(2005)．