Zoomdataを試してみよう（番外編）

過去三回に分けて、**Zoomdata**の導入と利用についてご紹介させて頂きましたが、今回は番外編として**Zoomdata**が持つ便利な機能としての**Fusion**をご紹介させて頂きます。
前回までのご紹介の中で、**マイクロクエリー**という単語が出てきたかと思いますが、この機能が持つもう一つの側面として、**必要なタイミングで、必要なだけ、必要なデータソースを見に行く**という特性を活かし、**異なるデータソース間に存在する、共通のキーを有するデータの仮想結合**（実際に結果として実データを書き換える訳ではありませんので）と、その**高速な可視化分析の実現**が有ります。
また、この機能を上手く利用する事で、**適材適所に散在する異なるビッグデータ**のデータソース間で、共通のキーを上手く設定し、運用しているデータ（この場合は**データーレイク**の規模を越えて・・・**データオーシャン**とでも呼ばなければいけない規模になるかもしれませんが・・・）を透過的に一つのソースとして取り扱う事が出来る様になり、**ビッグデータ**の運用効率の向上や、そこから新たに創造される付加価値の獲得といった事が可能になります。
#（１）準備
今回の実験に使うデータは、**IoT**系のセンサーデータの出力をイメージした物が手元にありましたので、そのデータを幾つかに分割して使う事にします。（基本的な仕組みの確認ですので、以下の手順を参考にしてテストデータを作成してみてください）

![f21.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/219c92dc-d863-00ad-87ab-9d8be18733fe.jpeg)

なんちゃってデータ数としては、4個のセンサーからそれぞれ6360個のデータをサンプリングした形になっており、便宜上時系列にシーケンシャルのサンプル**ID**を付与した形になっています。因みにこのデータをそのまま読み込んで可視化したチャートが

![f22.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/f82e0968-dbb4-ffd1-9ace-4e3d48044c1e.jpeg)

なので、最終的に**4個のなんちゃってセンサーデータをFusion**して、同じ表示のチャートに纏まればゴールという事になります。
では、まずはデータの分割を行います。今回は、Unit-1,Unit-2,Unit-3&4の3分割としました。

![f23.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/452122e7-7673-c024-46c9-b56bd412d55e.jpeg)

#（２）**Fusion**の設定について

最初に**admin**で**Zoomdata**に入ってデータソースの設定を行います。（手順等は前回までと同じなので省略）

![f24.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/34f44706-30af-af6b-fb47-17272b6d9639.jpeg)

設定が完了したら、**Fusion**を選択してください。（**Source**リストの一番左端に有ります）

![f25.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/dc46798e-c514-8738-272b-8f7d001f3b12.jpeg)

**Next**を選択して、**Fusion**対象のデータを選択します。

![f26.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/31fbf91d-7595-64a6-c237-73010564eb78.jpeg)

**Next**を選択して具体的な設定を開始します。

![f27.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/e645a1d5-99b0-c5d4-2109-825f94b0cb43.jpeg)

今回はデータ**ID**を共通情報にしますので、それぞれの元データから**ID**属性を取り出してドラッグアンドドロップで登録していきます。

![f28.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/d8a52731-a950-ffae-101d-504f532f9cf7.jpeg)

![f29.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/80b24bf0-37a9-a2c6-33c9-64fa8d0ac2a4.jpeg)

基本構造が自動的に定義されましたので、同様に作業を進めます。

![f30.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/5c1c40e3-6318-0dcc-fd40-c574267dd67e.jpeg)

３つのデータソースに対する設定が終わったら**Next**を選択します。

![f31.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/4106c7c7-b8f9-228c-7364-4abd2a773c40.jpeg)

指示に従って生成されたテーブルが表示され、さらに細かい設定が出来るようになりますが、今回はサクッと操作の流れをご紹介する事が目的ですので、そのまま**Save & Next**を選択します。

![f32.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/6ec10722-ccc6-4978-96b6-5e837450e8e4.jpeg)

**Time Bar**の設定画面になりますので、今回は便宜上1番目のデータソースの時間データと同期させる設定を行い**Finish**を選択します。
無事に作業が終了すると、見慣れたデータソースのトップページになります。

![f33.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/77d57ba0-5d7c-7e59-b25f-255ee7fd981f.jpeg)

#（３）チャートの作成と検証
次に、冒頭の単体でのチャートと同じ出力が得られるかの確認をしてみます。ますは左側上のアイコンで一番左のアイコンを選択し、**Data Source**のリストに先程の**Fusion Data Source**が有る事を確認して選択してください。

![f34.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/3f61f394-837c-52fd-ea42-476dec950374.jpeg)

利用可能なチャートが出てきますので、**Line Trend:Multiple Metrics**を選択します。

![f35.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/39770ac4-2e91-ecc6-08ac-f382374c630f.jpeg)

![f36.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/66522990-5a2b-18ee-2cc4-fc51be8d90fc.jpeg)

最初のグラフが出てきますので、可視化対象を増やします。

![f37.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/3e475ccb-3bc0-b2d5-479d-203ac29c88f9.jpeg)

![f38.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/191dc03b-57d5-cf5a-86ef-c4b3ae35d218.jpeg)

チャート下部にある時間単位を**DAY**から**MINUTE**に変更します。

![f39.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/63da2a58-a9e8-c04e-6299-33491e8f0780.jpeg)

無事に同じ可視化チャートになりました。連携されているかの確認を兼ねて、今度は**MINUTE**から**HOUR**に変更してみます。

![f40.jpg](https://qiita-image-store.s3.amazonaws.com/0/197589/5f8cd09b-69cc-2d78-52ec-975880c20d82.jpeg)

**Fusion**されたデータは、完全に**Zoomdata**の管理下に入りましたので、条件を変えての再描画もスムーズに行われる事が確認できます。

#（４）今回のまとめ
今回は、お試しの番外編ということなので、シンプルな形での**Fusion**に関する基本的な手順のご紹介となりました。
ポイントとしては
（１）異なるデータソース間でも同様に利用可能
（２）**マイクロクエリー**効果で**ビッグデータ**同士の場合でもを高い効率と性能が維持できる
（３）**Fusion**構造は、運用の途中でも柔軟に変更する事が可能
等があります。

**ビッグデータ**に対して、従来型の**フルクエリー**経由での扱いを前提とした仕組みの場合、効率的で実用的な取り扱いを定常的に実現する事は非常に難しく、逆にそのような要求が発生しないような設計と運用を工夫して行っているのが実情かと思います。**「データの最終形を作り出す過程にこそ、新たな戦略や付加価値、また問題解決の新たな糸口がある」**という**ビッグデータ指向の発想**や、実用領域に入った**機械学習やAI**等との効率的な連携を考えた場合に、データの収集・保存・可視化・解析といった領域へのアプローチも仕方が、今後の企業や団体活動における、データハンドリングの重要なポイントになるステージに来ているのかもしれません。

**過去の存在しないデータを取り扱う事は非常に困難**ですが、**出来るだけデータをリアルタイムで詳細に取り込んで、そのプロセスを高速に可視化分析し、仮設をオンストリームで検証しながら柔軟に修正・変更を加える事により、現場での対応や迅速な判断、行動を支援できるような、新たな仕組みの実現**こそが、**ビッグデータ**の新たな未来なのです。

**事実は、会議室で起きているのではなく、現場で起きている・・・**この現実を制した者が、次の市場制覇や効率的な問題解決を獲得できるのだという事なのかもしれません。

次回は、いよいよビッグデータとの連携についてご紹介したいと思います。