情報処理学会第 73 回全国大会

2C-5

環境情報データベース向け高性能センサデータ圧縮方式
加藤守†

宏一†

谷垣三菱電機株式会社

郡光則†

情報技術総合研究所†

1. はじめに大量の電力量センサ・室内温度センサ等から収集する環境データ向けのデータ圧縮方式として、DGR (Difference, Gamma, Run-length)符号化方式を提案する。本方式は、時系列上の変化が緩やかで連続的であるという環境データの特徴を利用した予測符号化方式であり、速度要件の厳しい商用環境情報データベースへの適用において、実用的な圧縮性能を得ることができる。
オフィス環境で収集された環境データを用いた評価実験の結果より、本方式の有効性を示す。

算で実現可能であり、一連のデータ処理の速度ボトルネックとならないこと。
(3)高圧縮率： 上記要件を満たしつつ可能な限り高い圧縮率が得られること。

4. DGR符号化方式

前 述 の 要 件 を 満 た す 圧 縮 方 式 と し て 、 DGR(Difference, Gamma, Run-length)符号化方式を提案する。本符号化方式は、予測符号化＋ガンマ符号化＋ランレングス符号化により構成する。
4.1.
予測符号化
計算量の面で有利な、直前の値との差分を符号化する方式とする。センサデータの観測値時2. 背景と課題系列を(x0,…,xt,…)とするとき、時刻 t の観測
改正省エネルギー法の施行により、環境・省値 xt の予測値として xt-1 を用い、予測誤差 rt =エネへの取り組みが重要な経営課題と位置付けxられるようになってきた。これに対し、我々は、 t - xt-1 を後述の方法で符号化する。
4.2.
ガンマ符号化
電力・温度など省エネに関係するセンサデータ
予測誤差を可変長符号により符号化する。計をリアルタイムに収集し一元管理する環境情報
算量を減らすためにガンマ符号を用いるが、ガデータベース向けの高速集計検索エンジン AQL
ンマ符号は正整数のみに対して定義されている(Analytical Query Language)[1] の 開 発 に 取 りため、予測誤差 rt を正整数に写像して対応する組んできた。AQL は元々データウェアハウス向け符号を得る。整数全体に拡張したガンマ符号にに開発したものであり、ログデータなどでは品よる予測誤差 rt の符号語 ExGamma(rt)は、元のガ名・取引先名などのデータ項目毎に限られた種ンマ符号 Gamma(rt)を用いて次式により求める。
類のデータが出現することが多いという特性に
Gamma(2rt )(rt  0)
着 目 し た RID(Run-length, Index and
ExGamma(rt )  Gamma(2 rt 1) (rt  0)
Difference)符号化方式[2]によるデータ圧縮を
1(rt  0)採用している。一方、センサデータは、連続的に変化する数値データであり、ログデータとは4.3.
ランレングス符号化異なる特性を持つため、センサデータの効率的環境データの中には、例えば室内湿度のような圧縮が課題であった。にほぼ一定値を保つよう制御されているデータがある。そうした変化の少ないデータに対してはランレングス符号化が有効である。
3. AQL向けデータ圧縮の要件
予測誤差 r が n 回連続するとき、次の３方式
AQL 向けのセンサデータ圧縮方式は、以下の要のいずれかにより符号化を行う。これらの方式件を満たす必要がある。
を対象データに適用し、実際に最も良い圧縮率(1)ストリーム独立処理： センサ単位にストリが得られる方式に圧縮ブロック毎に切り換える。
ームデータの圧縮・伸張が可能であり、他の・方式 G： ランレングスを使わず、符号語センサの値に依存しないこと。
ExGamma(r)を n 回出力する。
(2) 高速処理： 圧縮・伸張処理の速度が、スト・方式 G0R： r＝0 の場合はランレングスを使い、レージのデータ転送速度と同程度に高速な計
ExGamma(r)と Gamma(n)を出力する。r≠0 の場合は方式 G 同様に ExGamma(r)を n 回出力する。
A High-performance Sensor Data Compression forG01R： r∈{-1, 0, +1}の場合はランレン・方式
Consolidated Electricity Consumption Database
Mamoru Kato, Koichi Tanigaki, Mitsunori Kori
グスを使い、ExGamma(r)と Gamma(n)を出力す
Information Technology R&D Center, Mitsubishi Electricる。それ以外の場合は、方式 G 同様に、
Corporation

1-559

Copyright 2011 Information Processing Society of Japan.
All Rights Reserved.

情報処理学会第 73 回全国大会

1分

室内湿度

1分

0.250
0.200
0.150
0.100
0.050
0.000

湿度
1分

5.2. 評価環境
評価には表 2 に示す PC サーバを用いた。
表2OSCPUMemory
HDD

RID
DGR度

室内温度

評価データ
データ量13.8MB (36 計 測 点 × 100,562
レコード×4 バイト整数)
31.6MB (77 計 測 点 × 107,650
レコード×4 バイト整数)
12.3MB (30 計 測 点 × 107,164
レコード×4 バイト整数)

湿

計測間隔1分

圧縮率

表1種類
電力量

10分
60温 分
度
温 1分
度
1温 0分
度
電 60分
力電 量1力 分量
電 10力 分量
60分

本圧縮方式の有効性を検証するため、AQL への実装を行い、実際の環境データを用いて圧縮率および速度性能の評価を行った。
5.1. 評価データ
評価データとしてオフィス環境で収集した電力量、室内温度・湿度のデータを使用した（表1）。これらのデータは計測間隔 1 分で計測したデータであるが、計測間隔の違いが圧縮率に与える影響を見るために、10 分、60 分間隔でリサンプリングしたデータを作成した。

度

5. 評価

ロードした後、ヒット数 0 となる検索問い合わせの実行時間を計測した。圧縮前のデータ量は2.5 億レコード、37GB である。
伸張速度の比較を表 3 に示す。CPU コア当りの伸張スループットは 396MB/秒で、従来方式の64%となり、実用的に充分な性能が得られることが確認できた。大規模ストレージの処理ではしばしば、本実験のようにディスク I/O がボトルネックとなって、CPU 使用率が 100%にならない。
このような条件下の実行時間は、ディスクからの読み出しデータサイズに比例する。このため、データ圧縮率の高い本方式では、CPU 負荷が従来方式と比べ増加しているにもかかわらず、実行時間を短縮することができる。

湿ExGamma(r)を n 回出力する。

評価環境

データ種類・サンプル間隔

Windows Server 2008 SP2 Standard 32 bitIntel Xeon E5345 2.33GHz (Quad core)× 1
6 GB
台数：2 台(RAID1), 回転速度：15,000rpm,
接続 I/F：SAS

5.3. 圧縮率
各データに本圧縮方式(DGR)を適用した際の圧縮率を従来方式(RID) [2]と比較した結果を図 1に示す。但し、圧縮率は圧縮サイズ／非圧縮サイズとし、圧縮サイズはデータを AQL にロードしたときのファイルサイズ、非圧縮サイズは表 1に示すように 1 計測値を 4 バイト整数とし、計測点数×レコード数×4 バイトで計算した。
本 DGR 方式により、オリジナル（１分間隔）の湿度・温度・電力量データを 1%～5%に圧縮することができた。サンプリング周期を広げると本方式が仮定する時系列上の冗長性が減少するため、圧縮率も劣化する傾向が見られるが、60分間隔まで広げた場合でも 7%～18%の圧縮率が得られる。従来の RID 方式と比べると 44%～77%に圧縮できている。
5.4. 速度性能
集計・検索の高速処理に重要な伸張速度について、従来の方式との比較を実施した。データは電力量（60 分間隔）を AQL に 2500 回繰り返し

図1

圧縮率比較

表3

伸張速度比較

圧縮方式

圧縮率

DGR(提案)
RID

11%
22%

実行
時間55 秒
111 秒

CPU使用率44%14%

CPU コ ア 当 り の伸張スループット
396MB/秒
617MB/秒

6. おわりに
環境情報データベース向けのセンサデータ圧縮方式を提案し、商用システム上に実装した。
実データを用いた評価結果より本方式の有効性を確認した。

参考文献[1] 山岸義徳,他：高速集計検索エンジンとセン
サデータベースへの応用，三菱電機技報，
Vol.83，No.12, pp.11-14(2009）[2] 郡光則:データウェアハウス向け高性能デー
タ圧縮方式, 情報処理学会論文誌, Vol.47,
No.SIG13, pp.58-73(2006)[3] 竹田義聡,他：環境情報データベース向けリ
アルタイムセンサデータロード方式，情報処理学会第 73 回全国大会

1-560

Copyright 2011 Information Processing Society of Japan.
All Rights Reserved.