地球環境研究，Vol.21（2019）

ストリームデータの動的統計分析―統計処理教育へのアプローチ―
吉岡茂＊

キーワード：ストリームデータ、スライディングウィンドゥ、ビッグデータ、IOT、VBA

１

されている過去のデータを一括して分析するが、ストはじめにリームデータ処理では、データが発生する都度継続的にストリームデータは気象情報や為替・株価などの金融処理を行う。そのためストリームデータ処理結果は刻々情報、医療機関でのバイタルデータ、交通情報、ツイーと変化し、一般的には古いデータは徐々にその重要さをトデータのような時刻順に到来する終わりのないビッグ失ってゆくことが多い。またデータの変化に応じて処理データのことで川の流れに例えられる。近年の産業や社方法（分析方法）をダイナミックに変更することもでき会におけるIOT（Internet Of Things）の普及とデータる。

サイエンスの進歩によって、これまで気づかずに捨てら本論は情報処理や統計処理教育を主眼に、時間軸にれてきたビッグデータや、気づいていてもデータ取得技沿ってダイナミックに変化する東京証券取引市場や上海術の未発達により見過ごされてきたデータを処理するこ市場等の株式や為替レートに関するストリームデータをとが可能になった。

利用した動的統計分析を試みたものである。

IOTで得られた交通情報を利用すれば信号機の切り替え時間の最適化が可能となり、さらに気象情報を組み合わせることで高い精度で交通事故の発生確率を予測し、運転者に対して事故発生可能性を警告することが可能になる。また目的地までの到着時間の推定の精度を高めることも可能となり、現在のカーナビ機能の大幅な向上による運転者の安全確保と負担軽減に貢献でき、省エネルギー対策としても有効である。
表１

ストリームデータと利用例

データ

利用例

・金融情報（為替、株価） 損失回避
・犯罪発生予測

犯罪防止

・交通情報

事故予防・渋滞回避

・バイタル

救急治療

・消費電力

ブラックアウト回避

・気象情報

熱中症予防

・放射線情報被ばく予防

図１

A data-stream-management system

［１］

（２

Jure Leskovec, Anand Rajaraman, Jeff Ullman）

ストリームデータの動的処理

無限に流れ込んでくるストリームデータの中から標本ストリームデータ処理技術は、データベースに蓄積さを選ぶ方法のひとつにスライディング（Sliding）ウィンれた過去のデータを扱う「ストック型」の伝統的なデードウがある。例えば１秒ごとに到来する時系列データのタ処理技術とは異なる「動いている終わりのないデー処理を100秒間に到達した100標本について処理し、次のタ」を扱う新しい技術である。通常のデータ処理は固定処理は１秒後のデータを最新データとしてすでに到達済＊

立正大学地球環境科学部
35ストリームデータの動的統計分析（吉岡）みの99標本と合わせた100標本について再度処理する方る米国の影響力の大きさは圧倒的である。NASDAQの法である。実際の統計処理では、一番古い標本１個を減株価指数はニューヨーク市場の株価指数Dowに代表さらし、新たに到達した標本１個を付け加える差分処理をれると考えると、東京証券取引所の株価指数Nikkei225行うことになる。

は、世界の主要証券取引所の取引時間の関係からニューヨーク証券取引所の株価指数Dowの影響を受けて始ま105 104 103 102 101 100

99 ・・・ 43210（開始）105 104 103 102 101 100

99 ・・・ 43210（1秒後）

105 104 103 102 101 100

99 ・・・ 43210（2秒後）

図２
スライディングウィンドウの概念
図2 スライディングウインドウの概念［２］（日立製作所）り、午前10時半からは上海市場の総合指数SSEの影響も受け始めると考えられる。ロンドン市場は東京市場閉鎖後に開くので、翌営業日にニューヨーク市場のDowを通じて間接的に東京市場に影響を及ぼすと考えられる。
月曜日の東京市場のNikkei225は重大経済ニュースがな
い限り前週末のNikkei225とDow、取引開始時のドル円為替レート（DY）の影響を受けて始まり、その後上海

２．
１

ストリームデータ

市場のSSEの影響も受けるようになると考えられる。

本論では極めて短時間に大量のデータが発生し、しか表２もインターネットを使用することにより無償でデータ入手の可能な東京証券取引所の株価と為替データを利用し取引所取扱高（2017）

取扱高（兆円）割合（％）

た動的統計処理を行う。2018年12月１日現在の東京証

NY

2,050

48.6

券取引所で扱う上場企業数は全体で3,635、そのうち第NASDAQ

820

19.5

一部上場企業2,111社、第２部504社、新興企業市場992

東京

530

12.6社、プロ市場28社である。一般に東京市場の株価は、直上海

425

10.1

前の株価、ニューヨーク（NY）証券取引所のダウ平均

ロンドン

390

9.3

計

4,215

100.0

株価、基軸通貨ドルに対する円の為替レート及び重大経済ニュース等によって決まると考えられる。株価指数
Nikkei225は東京証券取引所市場第一部の225銘柄の株価から作成される指数であるため、225銘柄それぞれの株２．２モデル

以上から、Nikkei225を推計するモデルN225は次の様価の変動が指数に影響を及ぼす。世界の主要証券市場のな関数で示される。

取引時間（日本時間）は休憩時間を挟んで次のようにな（１）N225＝ｆ（N225－１、Dow、SSE、DY、News）＋εる。

こ こ で、N225：Nikkei225、N225－ １： １ 期 前（ 直 前 ）ニューヨーク（NY）市場

23：30～６：00（サマータイム 22：30～５：00）のNikkei225、Dow：ニューヨークダウ平均株価、SSE：
上海総合指数、DY：ドル円為替レート、News：重大

東京市場

９：00～15：00

経済ニュース、ε：平均０、分散σ２の正規分布に従う

上海市場

10：30～16：00

誤差項である。

ロンドン市場

16：00～０：30

東京市場の取引が始まる時点でニューヨーク市場は取引を終えているため、Dowは変数でなく定数となって23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
ＮY
東京
上海
ロンドン
図３

いるが、その増減率がNikkei225の大きな方向性に影響すると考えられる。そこで線形モデルを想定し、次のような重回帰式を考える。
（２）N225=β０＋β１N225－１DDoｗ＋β２SSE＋β３DY

主要証券取引所の取引時間（日本時間）＋β４News＋ε
ここでβⅰ は偏回帰係数であり、DDowは前日に対す

2017年の世界の主要５大証券取引所の取扱高を示しるDowの増減率（Dow/Dow－１）によって次のようなたのが表２である。ニューヨーク市場（NY）の取扱高値をとるダミー変数を仮定し、その値を取引開始時のは５大市場の48.6％を占め、さらに米国のNASDAQ市

N225－１に乗じて使用する。すでに終了しているニュー場の19.5％と合わせると68％に達し、金融市場におけヨーク市場のDowの上昇率または下落率が0.5％より大36

地球環境研究，Vol.21（2019）

きければ、前日の東京市場の終値N225－１を0.5％それぞストリームデータの取得方法はwebサイトstocks.finance.
yahoo.co.jpの中の株価データが記載されているソース（取引開始時）コード（HTML）をVBAで読み込み、必要な株価指数

DDow ＝れ調整する考えである。従って、
1.005

Dow/Dow－１ ＞ 1.005

等データを探して配列変数に蓄積したりEXCELシート

10.995 ≦ Dow/Dow－１ ≦ 1.005に書き込む。また重回帰分析を行い、分析結果と利用者0.995

Dow/Dow－１ ＜ 0.995に対する注意喚起等の情報をMSGBOXでコンピュータ画面に表示する。

（取引開始以降）
DDow ＝１となる。
モデル（２）ではニューヨーク市場の株価指数Dowの増減率の影響をN225に反映させるために、取引開始時のN225－１ の初期値をDDowの大きさで調整する。
Newsは重大ニュースがあった場合は１、なかった場合は０の値をとるダミー変数であるが、その重大ニュースが多くの投資家に知られるまでの間は１をとり、知られた後は０に変化する。しかし本論では単純化のためNewsをモデルから除外した。

３

データ取得と計算

３．
１

VBAによるデータ取得

Nikkei225や為替レート等のストリームデータは、yahoo

図４

図4 stocks.ﬁnance.yahoo.co.jpの株価のサイトとソースコード
stocks.finance.yahoo.co.jpの画面とソースコード（HTML）のwebサイト（URL：https://stocks.finance.yahoo.co.jp/
stocks/detail/?code=） か らEXCEL VBA（Visual Basicfor Applications）で読み込む。処理プログラムにEXCEL

例：Nikkei225のデータを取得するVBA

VBAを使用した理由は、インターネットサイトから直WEBサイトからVBA関数GetHtmlSourceを使用して、接データを読み込むことが出来るほか、EXCELと一体所要のデータを取得する。VBAでstocks.finance.yahooでデータ分析等処理が可能なためである。ただしこのサのソースコードからNikkei225の値を読み取る場合は、

イトの為替レート等データは20分遅れのデータであるた

下記のstrURLに代入するhttps://の中でcode＝998407.O

め、厳密には株価のようなリアルタイム情報とは同期しを指定することで可能になる。上海総合指数（SSE）をていない。ここでは金融情報として上記yahooのwebサ取得する場合はcode＝000001.SSを指定する。他の金融

イトから、前日のダウ平均株価（Dow）、東京市場第一情報についても、同様の方法でそれぞれのcodeを指定

部上場企業の株価指数Nikkei225（N225）、上海総合株することで取得可能になる。

価指数（SSE）およびドル円（DY）の為替情報を取得（VBAプロシジャーの一部）している。重大ニュース（News）については、上述し------------------------------------------------------------------------------------------------

た通り本論では計算を簡略にするため説明変数から省略

strURL=https://stocks.finance.yahoo.co.jp/stocks/detail/?code=998407.O

した。従って、最終的に使用したモデルは式（３）である。

strID = ""（３）N225＝β０＋β１N225－１DDow＋β２SSE＋β３DY ＋ε

strPass = ""ここで12月１日（金）のDowの終値25,538.46、同３日If Not GetHtmlSource（strURL, strRetVal, False, strID, strPass）Then（月）のDow終値25,826.43であるため、DDow＝1.005とMsgBox "情報を取得不能", vbCriticalなる（25,826.43/25,538.46＝1.0112＞1.005）。従って、12Exit Sub

月 ４ 日 の 初 期 値Nikkei225－ １ は 前 日 の 終 値22,574.76にEnd If1.005を乗じて使用される。

-----------------------------------------------------------------------------------------------37

ストリームデータの動的統計分析（吉岡）

３．
２

３．３

重回帰分析

処理結果と考察

こうして得たデータを利用して、重回帰式（２）を求図５は2018年12月４日14時38分22秒から14時44分10秒

める場合はEXCELの関数LINESTを利用したり、重回までのスライディングウインドウのサイズをｎ＝30とし、帰式を求めるVBAサブプロシジャーを作成して付加す標本を１個ずつずらして行った100回の重回帰分析による。必要な統計量を求めさらにデータから自由な加工をる自由度修正済み決定係数と偏回帰係数等統計量の変化行い見やすい形式で表示したい場合はVBAサブプロシを示したものである。ドル円為替（DY）レートの変化

ジャーを特別に用意するのが良いが、ここではスライに対し、重回帰式の定数項（ｂ０）は逆方向に動くこと

ディングウインドウのサイズをｎ＝30として、EXCEL-を視覚的に確認できる。

VBAのLINEST関数を利用して偏回帰係数とその検定処理時間が６分程度と短かったものの、この間に自由統計量ｔ値、VBAプロシジャーにより自由度修正済み

度修正済み決定係数（R ２）は0.32から0.94まで大きく変決定係数（R ２）を求めて、コンピュータ画面とEXCEL化した。同様に表４から偏回帰係数の変化についてみるシートに順に一行ずつ出力した。なお、データは平均２と、定数項は最大値30,852、最小値－74,377、N225－１の秒につき新たに１標本を取得し、さらに一番古い１標本偏回帰係数は最大値10,131、最小値4,100、上海総合指数を除外した30標本について重回帰分析を行った。こうし（SSE）のそれが最大値1,050,674、最小値－38,103、ドルた処理を100回（30標本×100回）繰り返した。スライ円レート（DY）のそれは最大値31,226、最小値－16,571

ディングウインドウのサイズをｎ＝30とした理由は、こであり、激しく変動していることが分かる。さらに各偏こで使用した金融データは１秒単位で激しく変動を繰り回帰係数の統計的有意性を示すｔ値の変化を示したのが返す性格を有しているため、重回帰分析の自由度も考慮

図６である。N225－１のｔ値は常に大きな値を有し統計しながら、１分間程度の標本ｎ＝30を分析対象とした的に有意である。また全体として上海総合株価指数SSEものである。一般にこのサイズを大きくすると実際ののｔ値は小さいが、５％有意水準2.06を上回る数値を示

N225の変化に対する重回帰式から求めた予測値N225p

すことも観察された。ドル円為替レートDYも同様の挙の追随が鈍感になり、小さくすると鋭敏すぎて予測値が動を示している。

大きな傾向を見失うため、ウィンドウサイズをいくつか金融データ自身が有する激しく変動する性格に起因変えてみることで妥当なサイズを見出す必要がある。

するものの、わずか６分間程度のストリームデータから求めた重回帰分析の結果は大きく変化したが、N225

表３
自由度修正
NO. 済決定係数
R２

偏回帰係数、ｔ値及び自由度修正済み決定係数
偏回帰係数

const/10

ｔ値

N225（－１）
SSE*100
*100

DY*10

const

N225（－１）

SSE

DY

10.8446－3,231.088.0－13.8

3,122.6－2.192

9.749－0.0952.398

20.8519－3,261.288.6

53.9

2,979.0－2.146

9.431

0.392

2.234

3

0.8625－2,910.0

93.4

17.7

2,660.8－1.896

10.547

0.129

1.975

4

0.8883－2,624.5

96.3

4.1

2,382.2－1.811

12.513

0.032

1.873

5

0.8988－2,614.1

96.5

7.3

2,362.0－1.76012.052

0.052

1.853

6

0.9062－2,641.9

96.2

10.4

2,386.6－1.77812.746

0.072

1.885

7

0.9122－2,580.9

96.8

2.2

2,339.5－1.75813.815

0.016

1.864

96

0.6574－2,002.8

78.8

646.2

670.3－0.868

6.776

0.705

1.195

970.7267－2,576.7

68.4

1,195.2

94.4－1.550

7.159

1.818

0.207

98

0.7787－1,816.4

90.7

479.0

665.2

－1.236

8.587

0.795

1.428

99

0.7821－1,650.2

92.0

395.9

687.7

－1.148

9.078

0.683

1.479

100

0.8118－1,115.5

97.2

124.7

749.3

－0.838

9.421

0.227

1.677

38地球環境研究，Vol.21（2019）の実際値とストリームデータから重回帰式で求めた予追跡していることが分かる。N225に対するN225pの誤測値N225pを示したのが図７である。この図から予測値差率は0.0048％と極めて小さい。
２誤差率：∑SQRT｛（N225p－N225）/N225）｝/100

N225pは全体としては実際値N225をかなり高い精度で
表４

偏回帰係数、ｔ値及びR2の最大値最小値

偏回帰係数
最大値

自由度修正済決定係数（R ２）

ｔ値

最小値

最大値

最小値

B０30,852－74,377

2.834－3.204

N225－１

10,131

4,100

19.1202.347

SSE1,050,674－38,103

3.196－0.724

DY

31,226－16,571

2.398－2.548

図５最大値
0.9436

最小値
0.3249統計量の変化

2015const

N225(‐1)

SSE

DY

10501
47101316
19222528
3134374043464952555861646770737679828588919497
100‐5

図６ 各偏回帰係数のｔ値
図６ 各偏回帰係数のｔ値

22,110Ｎ225

22,105N225p

22,10022,09522,09022,0852022,080
22,075147101316192225283134374043464952555861646770737679828588919497100円

図7

図７Ｎ２２５と推定値Ｎ２２５ｐの関係

N225と推定値N225pの関係

39

ストリームデータの動的統計分析（吉岡）４

おわりに（３）クラスター分析
ストリームデータの中の関心のあるデータの構造を視

本研究は情報処理教育を念頭に置いて開発したEXCEL-

覚的にとらえたい場合に適している。株価のデータであVBAによるWEBサイトからのストリームデータの取得とれば、値上がり銘柄と値下がり銘柄がそれぞれどのよう重回帰分析を例にとり、その統計処理について紹介したな為替や海外株価指数の影響を受けているのかといったものである。同様の方法で、気象、電力、交通、通信量ことをデンドログラムで表示できる。同じような動きをおよび放射線等に関するストリームデータの処理も可能する銘柄をグルーピングし、デンドログラムで表示し、である。ストックデータを利用した場合は、パターン発視覚でデータ構造の変化をとらえることが出来る。

見や情報要約、クラスタリングなどの分析結果は一意に（４）判別分析決定された固定的な構造が得られるが、ストリームデー

株価のストリームデータだと、値上がり銘柄と値下がタを利用した場合は処理結果が時間とともにダイナミッ

り銘柄に二分し判別式を求め、得られた判別式の係数かクに変化してゆくことになる。

ら値上がり要因と値下がり要因を発見する。判別式を用

ストリームデータに対する動的な統計処理法として、

いて値上がり銘柄と値下がり銘柄を予測し、判別効率次のような方法論があげられる。

（正しく判定した銘柄数/全銘柄数）が大きければ実用に（１）変数選択による回帰分析耐えうる。また回帰分析と同様に、変数選択による判別ストリームデータの中のある変数を回帰式で予測した式の導出も可能である。

い目的変数としたとき、説明変数の組み合わせの中からもっとも予測効率の高い組み合わせを選択し、偏回帰係

今後の課題は、こういった方法論をストリームデータ数等統計量を出力するほか、得られた回帰式を使用してに適用することでその有用可能性を実証してゆくことで次期株価を予測する。スライディングウインドウのサイある。また分析対象とするストリームデータのウィンドズを指定することで、時間の推移に従って得られる回帰ウサイズは、事前にいくつかのサイズで自動的に試行す式も変化する。

るVBAサブプロシジャーを作成して、最適な大きさに（２）主成分分析決定することである。

ストリームデータの中から関心のある複数のデータについて主成分分析を行い、固有値と固有ベクトルを求め参考文献

る。時間の推移とともに、第一主成分となる最大固有値［１］Jure Leskovec, Anand Rajaraman, Jeff Ullman、Miningの全固有値（計算対象とした変数の個数に一致する）に占める割合と固有ベクトルの符号と絶対値の変化を観測し、変数間の構造に変化が起きていないかどうかを調べる。さらに最小固有値が極めて小さい場合、固有ベクトルを係数とした変数間に線形関係がほぼ成立しているの

of Massive Datasets、
http://infolab.stanford.edu/~ullman/mmds/ch4.pdf、2018［２］日立製作所、「今」を分析するストリームデータ処理技術、
http://www.hitachi.co.jp/Prod/comp/soft1/cosminexus/
sdp/download/HSDP.pdf、2018［ ３］SAS and all other SAS Institute Inc.、Understanding

で、ある変数を他の変数から求めることが可能となる。

Data Streams in IoT,

株式データなら、ある銘柄の株価を他の銘柄の株価からhttps://www.sas.com/content/dam/SAS/en_us/doc/推定できることになる。

whitepaper1/understanding-data-streams-in-iot-107491.pdf、

40

2018

地球環境研究，Vol.21（2019）

Dynamic statistical analysis of real-time streaming dataYOSHIOKA Shigeru＊＊

Faculty of Geo-environmental Science, Rissho University

Abstract:
In this article, We showed the example of the dynamic statistical analysis using a streaming data about theprice index of stocks and the foreign exchange. Specifically, We read financial data from WEB Site in EXCELVBA and performed a multiple regression analysis to predict price index of stocks Nikkei225. We took Nikkei225
just before that, Shanghai stock prices Composite Index（SSE）and USDJPY in an explanation variable. This
multiple regression analysis was repeated 100 times with the size of Sliding Window 30. Finally, We showed thecharacteristics of these statistics from the regression analysis.
Key words: Streaming Data, Sliding Window, Big Data, IOT, VBA

41