Azure キャッチアップ

# わからなかった単語

- ADLS
- U-SQL
- Hive (Apache)
- Hadoop
- HDInsight
- Blob
- Jupyter Notebook
- Data Warehouse
- Data lake store
- Azure
- Azure ML製品
- Azure Note
- コラボラトル
- AWS S3
- Spark
- Azure ML Studio
- Chainer
- HDFS
- Ambari

## キャッチアップまとめ
### Azure

米Microsoftが開発し提供するクラウドサービス

#### 特徴

- 企業が利用することを前提に考えられているクラウドサービス
- IaaSとPaaSを包含したクラウドサービス
- モバイルファースト＋クラウドファーストを目指すプラットフォーム
- パブリッククラウドに属するサービス
- Azureが各サービスを提供している

#### 参考

- [Azure とは](https://azure.microsoft.com/ja-jp/overview/what-is-azure/)
- [まだ知らない人のための最新Microsoft Azure入門](https://www.buildinsider.net/web/azure/01)
- [知っておきたいIaaS、PaaS、SaaSの違い](https://www.cloud-ace.jp/report/detail01/)
- [Microsoft Azureをより良く知るための基礎知識【第1回】](https://it.impressbm.co.jp/articles/-/13520)
- [Azure コラム 第1回 「Microsoft (Azure) vs Amazon (AWS)」](http://www.intellilink.co.jp/article/column/azure01.html)
- [Azure コラム 第2回 「事例から見るAzure活用のポイント」](http://www.intellilink.co.jp/article/column/azure02.html)
- [オンプレミス](https://www.idcf.jp/words/on-premises.html)
- [IaaS とは](https://azure.microsoft.com/ja-jp/overview/what-is-iaas/)
- [PaaS とは](https://azure.microsoft.com/ja-jp/overview/what-is-paas/)

### Azure Data Lake Store

####  参考

- [Data Lake Store](https://azure.microsoft.com/ja-jp/services/data-lake-store/)
- [はじめての Azure Data Lake ~ そもそも Data Lake って何？ ~](https://blogs.msdn.microsoft.com/dataplatjp/2017/02/22/はじめての-azure-data-lake-そもそも-data-lake-って何？/)
- [Azure Data Lake Store の概要](https://docs.microsoft.com/ja-jp/azure/data-lake-store/data-lake-store-overview)
- [Azure Data Lake を試してみました](https://qiita.com/zaburo/items/abf62670f4bb6f00331b)
- [HDFS 【Hadoop Distributed File System】](http://sp.e-words.jp/w/HDFS.html)
- [Azure Data Lake Analytics で100GBくらいのCSVファイルを処理 - Qiita](https://qiita.com/kokumura/items/29c96eb83b6e72ed41cd)

### Azure Data Lake Analytics

#### 参考

- [Data Lake Analytics - Microsoft Azure](https://azure.microsoft.com/ja-jp/services/data-lake-analytics/)

###  U-SQL

####  参考

- [U-SQL プログラミング ガイド](https://docs.microsoft.com/ja-jp/azure/data-lake-analytics/data-lake-analytics-u-sql-programmability-guide)
- [新しいビッグ データ処理言語の U-SQL を Azure Data Lake に導入](https://blogs.technet.microsoft.com/jpitpro/2015/11/08/u-sql-azure-data-lake/)
- [U-SQL を使ってみる](https://docs.microsoft.com/ja-jp/azure/data-lake-analytics/data-lake-analytics-u-sql-get-started)

### Hadoop

#### 参考

- [Apache Hadoop - Wikipedia](https://ja.m.wikipedia.org/wiki/Apache_Hadoop)
- [Hadoopとは - Qiita](https://qiita.com/uenohara/items/8d71ce907886422734e2)
- [Hadoop(ハドゥープ)とは？：ビッグデータ処理を支える「基盤」｜データ分析用語を解説](https://www.google.co.jp/amp/s/www.graffe.jp/blog/899/amp/)
- [HadoopとはFujitsu](http://www.fujitsu.com/jp/products/computing/storage/lib-f/tech/beginner/hadoop/)
- [分散処理技術「Hadoop」とは](https://oss.nttdata.com/hadoop/hadoop.html)

### HDInsight

#### 参考
- [HDInsight—クラウド向け Hadoop、Spark、R ソリューション | Microsoft .](https://azure.microsoft.com/ja-jp/services/hdinsight/)
- [第1回 HDInsightとは何か？：HDInsightを知る～ビッグデータ×クラウド ...](http://gihyo.jp/dev/serial/01/hdinsight/0001)
- [はじめての Azure Data Lake ～ Azure Data Lake に HDInsight(Hadoop ...](https://blogs.msdn.microsoft.com/dataplatjp/2017/06/14/%E3%81%AF%E3%81%98%E3%82%81%E3%81%A6%E3%81%AE-azure-data-lake-%EF%BD%9E-azure-data-lake-%E3%81%AB-hdinsighthadoop%E3%80%81storm%E3%80%81spark-%E7%AD%89-%E3%81%8B%E3%82%89%E3%82%A2%E3%82%AF%E3%82%BB/)

### Hive

#### 参考

- [Hiveとは？：Hadoop上で稼動するデータベースマネージメントシステム(DBMS)｜データ分析用語を解説](https://www.graffe.jp/blog/884/)
- [Hadoop＋Hive検証環境を構築してみる (1/3)](http://www.atmarkit.co.jp/ait/articles/0902/27/news129.html)
- [Apache Hive と HiveQL とは - Azure HDInsight | Microsoft Docs](https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/hdinsight-use-hive)
- [Azure HDInsight で Hadoop と Hive を使用する | Microsoft Docs](https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-linux-tutorial-get-started)
    - これを元にHDInsightを作成した

### Jupyter Notebook

#### 参考

- [はじめるJupyter Notebook - Qiita](https://qiita.com/icoxfog417/items/175f69d06f4e590face9
- [Jupyter事始め - Qiita](https://qiita.com/taka4sato/items/2c3397ff34c440044978#jupyter%E3%81%AE%E4%BD%BF%E3%81%84%E6%96%B9)

### Microsoft Azure Machine Learning Studio

#### 参考

- [Machine Learning Studio - Microsoft Azure](https://azure.microsoft.com/ja-jp/services/machine-learning-studio/)

### Ambari

- [Apache Ambari](https://ambari.apache.org/)

---

# ADFからの動的なファイル名のU-SQLの実行

- [Azure Data Lake Analytics で U-SQL スクリプトを実行してデータを変換 | Microsoft Doc](https://docs.microsoft.com/ja-jp/azure/data-factory/transform-data-using-data-lake-analytics)
    - 動的なファイル名をパラメータにしている例が載っている
- [Azure Data Lake と Azure Data Factory を使用してビッグ データ パイプラインを作成する | Microsoft blog](https://blogs.technet.microsoft.com/jpitpro/2015/11/14/azure-data-lake-azure-data-factory/)
    - 上と同様、動的なファイル名をパラメータにしている例が載っている
- [Azure Data Factory を使用してファイル システムをコピー先またはコピー元としてデータをコピーする | Microsoft Doc](https://docs.microsoft.com/ja-jp/azure/data-factory/connector-file-system#sample-linked-service-and-dataset-definitions)
    - 上と同様、動的なファイル名をパラメータにしている例が載っている
- [Azure Data Factory の ForEach アクティビティ | Microsoft Doc](https://docs.microsoft.com/ja-jp/azure/data-factory/control-flow-for-each-activity)
    - ADFでループを回す


---

# HiveでCSVファイルからデータ取得

## やりたいこと

## 注意事項

** HDInsightのクラスタは起動しているだけで課金されるため、使い終わった瞬間にクラスタを削除すること **

## 全体の流れ

1. AzureでHDInsightクラスタの作成
2. クエリの実行


## AzureでHDInsightクラスタの作成

[Hive](http://hive.apache.org/)は[Apache Hadoop](http://hadoop.apache.org/)の上で動くアプリケーションなので、Hadoopクラスタを作成する
クラスタの作成は、下記の公式ドキュメントを参考にする
[Hadoop チュートリアル: HDInsight で Hadoop を使用する | Microsoft Doc](https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-linux-tutorial-get-started)

## クエリの実行

[HDInsight Hadoop #1 Hive クエリ実行 (CUI編) | OSS on Azure 技術ブログ](http://azure.sios.jp/archives/4147)

- これでやってみる

[Azure CLI 2.0 のインストール | Microsoft Doc](https://docs.microsoft.com/ja-jp/cli/azure/install-azure-cli?view=azure-cli-latest)

- 自分のOSにあったCLIをインストール

[Azure CLI 2.0 を使ってみる | Microsoft Doc](https://docs.microsoft.com/ja-jp/cli/azure/get-started-with-azure-cli?view=azure-cli-latest)

- 使ってみよう
- できなかった

[HDInsight Hadoop #2 Hive クエリ実行 (Apache Ambari編) | OSS on Azure 技術ブログ](http://azure.sios.jp/archives/4620)

- CLIでできなかったので、GUIでやってみる
- [Apache Amabri](https://ambari.apache.org/)での作業についての手順がわかりやすい