Azure Data Explorer ことはじめ

この記事は、[Microsoft Azure Advent Calendar 2018](https://qiita.com/advent-calendar/2018/azure) のための記事となります。
2018年9月のIgnite でプレビューが発表された Azure Data Explorer (Azure データ　エクスプローラー）についてのお話です。 今日現在で東日本及び西日本リージョンでプレビューが開始されています。
![Screen Shot 2018-12-03 at 17.43.35.png](https://qiita-image-store.s3.amazonaws.com/0/135357/9d7605ad-c0e4-ab64-2cab-4895a327f72d.png)

__本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります__

# Azure Data Explorer 概要
## Azure Data Explorer とは
Microsoft Azure では、プラットフォーム問わずで利用可能な Web アプリケーションのモニタリングのツールとして [Application Insights](https://docs.microsoft.com/ja-jp/azure/application-insights/app-insights-overview) とインフラストラクチャのログモニタリングツールとして [Azure Monitor Log Analytics](https://docs.microsoft.com/ja-jp/azure/log-analytics/log-analytics-tutorial-viewdata?toc=/azure/azure-monitor/toc.json) のふたつのログを分析を元にしたソリューションがあります。いずれも、Microsoft Azure のバックエンドの運用監視と同じ Kusto というテクノロジーを使用しており、Azure Data Explorer はこの Kusto エンジンをお客様の任意のデータに対して使用してもらうことができるマネージドサービスです。

## Azure Data Explorer の特徴
ログデータや利用統計などのテレメトリデータの検索に向いています。マルチノード構成で動作するため、リニアにスケールするため大容量のデータの探索に向いています。また、Kusto のクエリを使用することで高度なデータ分析が可能です。
ログデータのような非構造化データと json のような構造化されたデータの両方を分析可能で他のサービスやアプリケーションと連携させることによって機械学習等の高度な技術の恩恵を受けることも可能です。

では、早速触ってみましょう！
# Azure Data Explorer ことはじめ
## 全体のながれ
Azure Data Explorer は PaaS (Platform as a Services) や IaaS (Infrastructure as a Services)のいいとこどりをした実装をしており、ほかのデータ解析系のサービスである Azure HDInsight や Azure Databricks のように管理用のサービスから任意のサイズの IaaS インスタンスを使ったノードをクラスターとしてデプロイしその上にデータベースを管理用サービスから構築して使用するという実装をしています。
この一連の流れが驚くほど簡単なので、今回は触ってみることが目的なので、下記のながれのうち、1、2の手順を行った後でWeb UI を使用してクラスタにつないでみます。
1. クラスターの作成
2. データベースの作成
3. データの取り込み
4. クエリの実行
5. データの視覚化（PowerBI との連携）

## Azure Data Explorer クラスターとデータベースを作成する
Azure portal にログインして作業します。詳細はドキュメント[クイック スタート: Azure Data Explorer クラスターとデータベースを作成する](https://docs.microsoft.com/ja-jp/azure/data-explorer/create-cluster-database-portal)を参考に。
今回は __geisha__ というクラスターを __geisha__ というリソースグループに作成しました。
余談ですが、[Geisha](https://www.fazer.com/products/our-international-brand-selection/geisha/) とは美味しいフィンランドのヘーゼルナッツのフィリングが入った🍫の名称です。
![Screen Shot 2018-12-03 at 17.49.20.png](https://qiita-image-store.s3.amazonaws.com/0/135357/3b5a0b6c-acee-d7b2-f774-976c5978574a.png)

クラスターができたらデータベースを作成します。
![Screen Shot 2018-12-03 at 18.19.02.png](https://qiita-image-store.s3.amazonaws.com/0/135357/a9303bf4-3923-b1b4-184a-11400ced2f36.png)

![Screen Shot 2018-12-03 at 18.29.04.png](https://qiita-image-store.s3.amazonaws.com/0/135357/c079be8e-09db-62da-b60d-a9e82f77adf2.png)

作成されたらURIをメモしておきます。（この例では https://geisha.japaneast.kusto.windows.net )です。

## Web UI からアクセスする
[https://dataexplorer.azure.com](https://dataexplorer.azure.com)もしくは、Azure Portal の ![Screen Shot 2018-12-03 at 18.48.50.png](https://qiita-image-store.s3.amazonaws.com/0/135357/0a95ba64-9937-223c-546a-28aa00a79ced.png)
からアクセスします。
![Screen Shot 2018-12-03 at 18.48.34.png](https://qiita-image-store.s3.amazonaws.com/0/135357/3b48903e-3abc-0160-f146-cb32e058a1b5.png)

接続できました。_.show database_ というクエリを貼り付けて実行します。
![Screen Shot 2018-12-03 at 19.01.17.png](https://qiita-image-store.s3.amazonaws.com/0/135357/af5fa68f-02b2-7c37-8f8b-9c640d511798.png)
この状態では空のクラスターなので、データベースのプロパティのみが表示されます。
次回は実際にデータを投入して触ってみます！
投入用のデータの準備はこちらに書きました！[サンタの軌道に思いを馳せたドキュメント型のデータを VS Code で準備する](https://qiita.com/mihochannel/items/65cf17dea3ec054c7684)
[Microsoft Azure Tech Advent Calendar 2018](https://qiita.com/advent-calendar/2018/microsoft-azure-tech)で公開予定です。おたのしみに。

# 参考リンク
- [Azure データ エクスプローラーのドキュメント](https://docs.microsoft.com/ja-jp/azure/data-explorer/)
- [Application Insights とは何か?](https://docs.microsoft.com/ja-jp/azure/application-insights/app-insights-overview)
- [Log Analytics のログ検索で収集されたデータの表示または分析](https://docs.microsoft.com/ja-jp/azure/log-analytics/log-analytics-tutorial-viewdata?toc=/azure/azure-monitor/toc.json)
- [Reference](https://docs.microsoft.com/en-us/azure/kusto/)
- [クイック スタート: Azure Data Explorer クラスターとデータベースを作成する](https://docs.microsoft.com/ja-jp/azure/data-explorer/create-cluster-database-portal)
- [サンタの軌道に思いを馳せたドキュメント型のデータを VS Code で準備する](https://qiita.com/mihochannel/items/65cf17dea3ec054c7684)