【Big Data】クラウド上にビッグデータウェアハウスを設計する利点とは？

この記事では以下のことに関して、記述していきます

- クラウドデータウェアハウスの利点
- オペレーショナルデータストア、ETL、データ統合：クラウドのその他のメリット
- クラウド上のビッグデータ：スケーラビリティ、低コスト、機能

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/614998/061d98d2-2e9f-9c8c-6d58-7596c655c9dd.png)


データパイプラインのオプションを検討する場合、何が機能しているかをしっかりと評価することが重要です。間違えてはならないのは、最新のテクノロジーを利用できるからといって、必ずしも最新のテクノロジーを使用する必要があるわけではありません。たとえば、監視ツールとして[Prometheus](https://www.metricfire.com/hosted-prometheus)の方が新しいかもしれませんが、多くの場合、[Graphite](https://www.metricfire.com/graphite-as-a-service)の方の利用が適しているケースが多いのです。

明確に定義されたスキーマを必要とするリレーショナルデータベース管理システム（RDBMS）（ "schema on wwrite"）と、スキーマを必要としないファイルストレージシステムApache Hadoop（ "schema on read"）の間にも選択肢があります。そしてもちろん、監視スタックでどの時系列データベースが最適に機能するかを考慮する必要があります。

[MetricFire](https://try.metricfire.com/japan/?utm_source=blog&utm_medium=Qiita&utm_campaign=Japan&utm_content=https%3A%2F%2Fwww.metricfire.com%2Fblog%2Fdesigning-a-big-data-warehouse-on-the-cloud)では、時系列データベースをホストしますので、そこは心配する必要はありません。データストレージは、会社の成長に応じて自動的に拡張され、何かが発生した場合の3倍の冗長性を備え、すべてが含まれたパッケージで監視を提供しています。ここで[無料トライアル](https://www.hostedgraphite.com/accounts/signup-metricfire/?signup=japan&utm_source=blog&utm_medium=Qiita&utm_campaign=Japan&utm_content=https%3A%2F%2Fwww.metricfire.com%2Fblog%2Fdesigning-a-big-data-warehouse-on-the-cloud)にサインアップして開始してみてください。

#クラウドデータウェアハウスを使用する利点
クラウド上にデータウェアハウスを配置することには、いくつかの利点があります。特に、データに合わせて拡張および変更でき、予算内に収めることができることは魅力的でしょう。 

ただし、企業がオンプレミスの監視設定を維持している理由もいくつかあります。これらの理由にもかかわらず、クラウドデータウェアハウスは、オンサイトウェアハウスシステムよりも単純に機能し、コストが低くなることが一般的になりつつあります。 ここでは、クラウドソリューションがほとんどの会社や組織に最適である5つの具体的な理由を示していきます。

##1）スケーラビリティと柔軟性
クラウドインスタンスはすぐにスケールアップできます。 例えば、[Redshift](https://www.metricfire.com/blog/aws-cloudwatch-custom-metrics-vs-prometheus-custom-metrics)などの専用データウェアハウスサービスは簡単にアップグレードできます。 これは、オンサイトでのデータウェアハウスのスケーリングとは対照的であり、通常これには、新しいハードウェアを購入してインストールする時間のかかるプロセスが含まれます。

ただ、残念ながら、このスケーラビリティの容易さは、必ずしもすべてのクラウドソリューションに当てはまるとは限りません。 たとえば、クラウド上のOracleデータベースなどの従来のソリューションは、オンサイトのデータウェアハウスよりもスケーリングに時間がかかる場合があります。 Oracleに新しいインスタンスを設定するのは比較的簡単ですが、データの転送には労力がかかる可能性があるのです。

MetricFireでは、データを[ホストするプロバイダーを選択](https://qiita.com/MetricFire/items/0431570afb4fb007f9df)でき、それに応じて監視を設定します。 データは常に会社に既存されるものであり、いつでもデータを別のプロバイダーまたは社内に移行できます。

###2）価格
仮想化とハードウェアメンテナンスの軽減により、クラウドデータウェアハウスの価格は、必要最低限のオプションよりもはるかに安価です。 従量課金制の料金体系と優れた弾力性により、マシンを24時間365日稼働させて電力を消費するのではなく、実際のインスタンスの使用料のみを支払う形になります。

MetricFireでは、コストのどの部分がデータストレージから発生しているのかを正確に把握できます。 予算内で支出を続けるために、それに応じてストレージを調整できます。

###3）バックアップとリカバリ
クラウドウェアハウスには通常、バックアップが組み込まれています。 また、データはさまざまな場所に保存されるため、洪水や火事などの自然災害後の損失に対して脆弱ではありません。

このような場合、オンサイトのハードウェアを失う可能性がありますが、必要な情報はすべてクラウドに安全に保管されます。 これは、重要なデータを保持していて、手動のバックアッププロセスに時間がかかると考える人にとって重要です。

MetricFireは冗長性を管理するため、データは常に安全です。 すべてのデータは3回保存され、失われるものがないことを確認します。

###4）安全性
ほとんどのクラウドデータウェアハウスに備わっている高レベルのセキュリティーは、組織が機密データを保護するのに役立ちます。 すべてのデータは安全に保管する必要がありますが、健康、財務、または個人情報を収集する人は、データが安全であることを確認したいと考えていると思います。 ほとんどのクラウドデータウェアハウスの標準は、データを保護し続けます。

GDPRへの準拠を維持したい場合は、EUでホストされているデータを維持する必要があります。 また、クラウドストレージとの間でデータを安全に送信する方法も検討する必要があります。 データベースを安全に操作するためのアドバイスについては、[このリソース](https://www.hostedgraphite.com/blog/securely-sending-metric-data-to-hosted-graphite?_gl=1*1btcixt*_gcl_aw*R0NMLjE1ODk4OTA3NTMuRUFJYUlRb2JDaE1JNDh1c3lQU182UUlWUWxSZ0NoMGRPd0lZRUFBWUFTQUFFZ0wzSFBEX0J3RQ..&_ga=2.27704444.11884028.1590374378-2038175526.1567400116&_gac=1.237119924.1589890752.EAIaIQobChMI48usyPS_6QIVQlRgCh0dOwIYEAAYASAAEgL3HPD_BwE)をお読みください。

###5）DWaaSとリレーショナルデータベースの選択
クラウドデータウェアハウスを構築する方法はいくつかあります。 1つのオプションは、[Amazon Redshift](https://www.xplenty.com/blog/hadoop-vs-redshift/)などのサービスとしてのデータウェアハウス（DWaaS）を使用することです。 別のオプションは、Amazon EC2、IBM Cloud、Rackspaceなどの仮想クラウドインスタンスサービスに独自のリレーショナルデータベースをセットアップすることです。 つまり、クラウドエコシステム内でも、ビジネスに適した設定を見つける柔軟性があります。

複数のデータベースを保持することもできますが、監視を設計すると、これに関する課題が実現します。 幸い、MetricFireは複数のデータソースのデータをすべて1つのダッシュボードに統合できます。 MetricFireを使用する場合、オプションを1つだけ選択する必要はありません。

#オペレーショナルデータストア、ETL、データ統合：クラウドのその他のメリット
オペレーショナルデータストア、ETL、およびデータ統合は、クラウドでの高いスケーラビリティ、弾力性、および低コストという同じ利点を享受できます。 Apache Hadoopを使用する場合、Amazon EMRなどの[Hadoop-as-a-Service](https://www.xplenty.com/what-is-hadoop/)ソリューションの上で実行することもできます。

#優位性の高いデータストレージ
ローカルまたは仮想のHadoopインスタンスを使用してデータを保存する代わりに、[Amazon S3](https://www.metricfire.com/blog/aws-microservices-overview)などのファイルストレージサービスを使用できます。 それらは非常に低価格は言うまでもなく、Hadoop分散ファイルシステム（HDFS）よりも優れたスケーラビリティ、耐久性、永続性を備えています。

Qlik Replicate™などのツールは、オンサイトデータをクラウドに転送するのに役立ちます。 最近では、Webログやソーシャルデータなどのソースからのデータがすでにクラウドに保存されています。 それにもかかわらず、多くの組織には、クラウドストレージへの移行を必要とする可能性があるオンサイトまたはレガシーシステムからのデータがあります。

#優れたレポート機能
クラウドデータウェアハウスを最大限に活用するのに役立つ強力なレポート製品がいくつかあります。 Azure Stream Analytics、Zoho Analytics、Domo、IBM Cognosはその一部です。 既存のシステムとシームレスに動作するため、データを変換して保存できるだけでなく、必要に応じて解釈や分析を行うことができます。

MetricFireが[Hosted Grafana](https://www.metricfire.com/hosted-grafana)もこれに役立ちます。 データを表示し、MetricFireプラットフォームで直接Grafanaダッシュボードを使用して実行可能にします。

#まとめ
###クラウド上のビッグデータ：スケーラビリティ、低コスト、高機能
ビッグデータ用のクラウドデータウェアハウスを設計すると、スケーラビリティと弾力性を高めながらコストを削減できます。 独自の仮想インスタンスのセットアップからホストされたサービスの使用まで、幅広いソリューションが利用可能です。 データストレージはクラウド上で非常に便利であり、レポートや変換のためのさまざまなオプションがあります。

[MetricFire](https://try.metricfire.com/japan/?utm_source=blog&utm_medium=Qiita&utm_campaign=Japan&utm_content=https%3A%2F%2Fwww.metricfire.com%2Fblog%2Fdesigning-a-big-data-warehouse-on-the-cloud)は、データを最大限に活用するのに役立ちます。 私たちがどのように役立つかを学ぶには、[デモを予約](https://calendly.com/metricfire-chatwithus/chat?utm_source=blog&utm_medium=Qiita&utm_campaign=Japan&utm_content=https%3A%2F%2Fwww.metricfire.com%2Fblog%2Fdesigning-a-big-data-warehouse-on-the-cloud)してください。相談受付中です。 MetricFireの[無料トライアルに登録](https://www.hostedgraphite.com/accounts/signup-metricfire/?signup=japan&utm_source=blog&utm_medium=Qiita&utm_campaign=Japan&utm_content=https%3A%2F%2Fwww.metricfire.com%2Fblog%2Fdesigning-a-big-data-warehouse-on-the-cloud)して、今すぐメトリックの監視を開始することもできます。

それでは、次の記事で！