SOFIT Super REALISMHigh Speed Data Processing Engine

Copyright © 2012 Nippon Software Knowledge Corp. All Right Reserved01. SuperREALISMとは■”高速データ処理エンジン”とその”コントロールインターフェース”

SuperREALISM
コントロールインターフェース・マクロ命令をウィザード型のGUIで設定できます。
・一度実行した複合的なマクロ命令を保存して定型処理化（アプリケーション化）が可能です。
・豊富な実績から積み上げられたライブラリーも提供されます。

オンメモリー
高速データ処理エンジン

最大２０億行
最大５１２項目
最大４ＫＢ/項目

・巨大な二次元データシート■ノンプログラミング→ アプリケーションを開発する必要はありません。ウィザード型のコントロールインターフェース（GUI）で、導入後直ぐにデータ処理を開始できます。

■オンメモリーデータ処理→ データベースIOが存在せず、超高速処理が実現できます。
（目安： 数百万行 → 秒単位、数千万行 → 秒〜分単位）
Copyright © 2012 Nippon Software Knowledge Corp. All Right Reserved

12. 利用方法■CSV形式のファイルを取り込み処理しますSuperREALISMCSVDBCSVDB

コントロールインターフェース

オンメモリー
高速
データ処理エンジン※ファイル授受の自動化は、オートパイロットシステムを別途開発することで実現できます。

Excel出力

スクロール■全データを可視化した上で、超高速処理します

Copyright © 2012 Nippon Software Knowledge Corp. All Right Reserved※データが何億行あろうが、スクロールすれば実データを確認できます。

2

3. 利用シーン
1）データ移行・DB設計・データクレンジング。
旧システムから新システムへのデータ移行（移行パス設計）を支援します。
＜従来＞＜SuperREALISM＞
2nd.

旧DB

1st.サンプル
.

3rd.

新DB設計

旧DB

新DB

新DB
2nd. 全データ移行

全データ移行

イレギュラー
データ

イレギュラーデータが移行できずに失敗

旧DB・CSV

1st. 全データを可視化し、イレギュラーデータを確認。
マクロでデータパスを設計、または新DBを設計。

2）データ統合（名寄せ）異なるDB構造を、マクロで調整します。

3）高速バッチ処理
超高速処理により夜間バッチ処理が不要となり、システム運用フローが飛躍的に改善します。

4）大量ログデータ高速解析
溜まる一方で処理不能だったログが、生き返ります。
数理モデル（分析）の計算プラットフォームとしても活躍します。

5）BI経営者がエクセルと同じ感覚で、全社データを分析できます。
Copyright © 2012 Nippon Software Knowledge Corp. All Right Reserved

34. 競合技術との比較■vs. RDBMSSuperREALISMのデータ処理技術「LFM（Linear Filtering Method/成分分解法）」のデータ処理スピードは、RDBMSの比ではありません。
下記は、ベンチマークテストの一例です。
テストサーバ仕様

ファイル仕様受注（過去） 受注（本年）
ﾄﾗﾝｻﾞｸｼｮﾝ
ﾄﾗﾝｻﾞｸｼｮﾝ
19
19

CPU

ﾃﾞｭｱﾙｺｱｲﾝﾃﾙ（R）Xeon E5540（2.53Ghz）

OSWindows Server 2008 Standerd Edition

メモリ36GB

項目数

17HDDRAID10 300GB×3

件数

2,218,589

8,411,507

3,221,586

CSVサイズ

0.4GB

1.8GB

0.7GB

ファイル名

顧客マスター

合計サイズ

2.9GB

処理速度比較
SuperREALISM
読込み時間

時間差

2分02秒

10分50秒

1.4GB
6秒
3秒

3.8GB

ファイルサイズ
処理時間（創生時間）

RDBMS

結合
マッチング

20分10秒

効果

8分48秒 5倍のｽﾋﾟｰﾄﾞ
36%圧縮
20分01秒130倍のｽﾋﾟｰﾄﾞ

合計

9秒

検索時間（部分一致）・結果1,831件

12秒

2分14秒

2分02秒 11倍のｽﾋﾟｰﾄﾞ

集計時間（4項目名寄せ）・結果629件

12秒

35秒

23秒 3倍のｽﾋﾟｰﾄﾞ

集計データCSV出力

2秒

2秒

0秒

2分37秒

33分51秒

合計処理時間Copyright © 2012 Nippon Software Knowledge Corp. All Right Reserved

431分14秒 17倍のｽﾋﾟｰﾄﾞ

4. 競合技術との比較■vs. HadoopHadoopは複数サーバによる並列処理で、スピードアップを図るソリューションです。
SuperREALISMとDBMSとの速度差を、並列処理を多重化することで縮めることができます。
しかし、各サーバにIOが存在する限り、IOが存在しないオンメモリー処理のSuper REALISMが誇る桁違いのスピードに、決して追いつくことはできないのです。
従って、データ分析などのオフライン処理ではHadoopを採用する理由はなく、SuperREALISMに軍配があがります。

＜Hadoopの構成例＞＜SuperREALISM＞
コントロール
インターフェース

オンメモリー

Mapフェーズ
情報の分解・抽出

行数： 最大２０億行
列数： 最大５１２項目
１項目あたり： 最大４ＫＢ

Reduceフェーズ
情報の集約・計算

Copyright © 2012 Nippon Software Knowledge Corp. All Right Reserved

54. 競合技術との比較■vs. ETL（Extract Transform Load）

例：Data Spider、Asteria

ETLは複数サーバ/複数アプリケーション配下に分散するデータを、リアルタイムに連携させるシステムです。様々なアプリケーション環境に向けた「アダプター」が用意されています。
（課題１）接続先のDBのパフォーマンス設計が崩れるため、DBベンダーの保証が受けられなくなる可能性があります。
（課題２）接続先のDBにイレギュラーなデータが存在すると、システム停止する可能性があります。
（課題３）データクレンジングができないため、データ移行作業ツールには使えません。

＜ETLの構成例＞＜SuperREALISM＞

A,B,Cを活用する
アプリケーションコントロール
インターフェース

ETL

オンメモリー

Adapter

行数： 最大２０億行
列数： 最大５１２項目
１項目あたり： 最大４ＫＢ
DB-A

DB-B

DB-C

Copyright © 2012 Nippon Software Knowledge Corp. All Right Reserved

65. パッケージング■アプライアンスサーバ（WEBサーバ）にSuperREALISMを搭載し出荷します。
＜クライアント推奨環境＞
Interner Explorer 7,8
FireFox V4.0以降
またはGoogle Chrome
CPUはiCore2以上
メモリは2GB以上

INTERNETor LAN
製品ラインナップモデル

最大行数/1ユーザ

最大メモリ/1ユーザ

同時利用
ユーザ数

小規模版

1000万行

16GB

4ユーザ

中規模版

5000万行

32GB

8ユーザ

大規模版

1億行

64GB

16ユーザ

巨大規模版

20億行

ハード仕様
Xeon X5540(2.53GHz/8MB)
Win Server 2008×64 Standard
ﾒﾓﾘ 32GB(4GB×8)
DISK 600GB(RAID10)
Xeon X5540(2.53GHz/8MB)
Win Server 2008×64 Enterprise
ﾒﾓﾘ 64GB(8GB×8)
DISK 900GB(RAID10)
Xeon X5540(2.53GHz/8MB)
Win Server 2008×64 Enterprise
ﾒﾓﾘ 144GB(8GB×18)
DISK 1350GB(RAID10)※別途提案※共通仕様： 列数（項目数）は最大512項目、1項目は最大4KB（約2,000文字）＜その他パッケージ内容＞●REALISMソフトウェア、活用術、基本操作マニュアル １式●REALISMソフトウェア出荷インストールサービス １台●初期サポートサービス（コンサルＳＥ１日、オペレーション指導２日）●運用サポートサービス（お電話、E-MAILによる受付サポート）●デモンストレーション用プログラム
Copyright © 2012 Nippon Software Knowledge Corp. All Right Reserved

7

価格

10,000千円

30,000千円

50,000千円

6. 導入事例・効果

Copyright © 2012 Nippon Software Knowledge Corp. All Right Reserved

8