Glueのアップデート履歴

# 自分のための履歴

抜け漏れあるかもなので参考程度に

## 履歴


* 20170815：Glue GA
        https://aws.amazon.com/jp/blogs/news/launch-aws-glue-now-generally-available/
	
* 20170929：Supports Filter and Map transforms
	https://aws.amazon.com/jp/about-aws/whats-new/2017/09/aws-glue-now-supports-filter-and-map-transforms/

* 2017101x：ジョブ中断できる

* 2017102x：New map filter
	http://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-api-crawler-pyspark-transforms-filter.html

* 20171024：CFｎ対応
	https://aws.amazon.com/jp/about-aws/whats-new/2017/10/aws-glue-can-now-be-configured-using-aws-cloudformation-templates/
	
* 20171107：CloudTrail対応
	https://aws.amazon.com/about-aws/whats-new/2017/11/aws-glue-api-calls-are-now-recorded-and-available-in-aws-cloudtrail/

* 20171223：東京リージョンリリース
	https://aws.amazon.com/jp/about-aws/whats-new/2017/12/aws-glue-is-now-available-in-the-asia-pacific-tokyo-aws-region/

* 201801xx：View機能(Glue-Tablesの右上の"SaveView"があり検索条件を保存する機能)

![スクリーンショット 0030-01-13 19.12.39.png](https://qiita-image-store.s3.amazonaws.com/0/27932/8c57d6ce-0730-8907-a978-3cdc8b207d80.png)

* 20180112：Scalaリリース
        https://aws.amazon.com/jp/blogs/big-data/aws-glue-now-supports-scala-scripts/

* 20180112:Trigerイベント追加
        https://aws.amazon.com/jp/about-aws/whats-new/2018/01/aws-glue-now-supports-additional-job-events-as-trigger-conditions/

* 20180206:なんとGlueのメニューにWhat'sNewが追加されてた(20180206)

もうこのQiitaいらないんじゃw

![スクリーンショット 0030-02-08 8.32.02.png](https://qiita-image-store.s3.amazonaws.com/0/27932/6848f49b-7436-6be4-ca78-e50b0db93913.png)

* 20180411:Spark2.2サポート
https://aws.amazon.com/jp/about-aws/whats-new/2018/04/aws-glue-now-supports-apache-spark-221/

* 20180412:ジョブにタイムアウト値追加
https://aws.amazon.com/jp/about-aws/whats-new/2018/04/aws-glue-now-supports-timeout-values-for-etl-jobs/

* 20180418:ジョブに実行時間が秒単位に。オーバーヘッド時間が含まれないようになったっぽい(ジョブIDをクリックしたあとに出る時間はオーバヘッド時間が含まれている)

* 20180506:AWS Glueクローラー「MergeNewColumns」に新しい設定オプションを追加しました(クローラがテーブルメタデータの変更を検出すると、そのテーブルに新しい列が追加され、グループデータカタログの既存の既存メタデータは上書きされません。 新しい列は、ネストされたデータ型を含め、遭遇したときに追加されます。 しかし、既存の列は削除されず、その型は変更されません)
https://forums.aws.amazon.com/ann.jspa?annID=5696

* 20180525:JobのパラメータにDelay notification thresholdが追加(ジョブの遅延を指定した時間を超えると通知)
https://forums.aws.amazon.com/ann.jspa?annID=5770

* 20180711:DDBをデータソースとしてサポート
https://aws.amazon.com/jp/about-aws/whats-new/2018/07/aws-glue-now-supports-reading-from-amazon-dynamodb-tables/
対応記事：[DynamoDBをデータソースにする](https://qiita.com/pioho07/items/6370144fb98af294853f)

* 20180714:Glue JobのCWメトリクスをサポート
https://aws.amazon.com/jp/about-aws/whats-new/2018/07/aws-glue-now-provides-additional-ETL-job-metrics/
対応記事：[ETL ジョブの CloudWatch メトリクス確認](https://qiita.com/pioho07/items/4b97b61f2ec098afb695)

* 201807未明:Glue コンソールが日本語になってた

* 20180824頃:保管時のデータ暗号化サポート
https://aws.amazon.com/jp/about-aws/whats-new/2018/09/aws-glue-now-supports-data-encryption-at-rest/

* 20181008:GlueがSamemakerのJupyter notebookをサポート
https://aws.amazon.com/jp/about-aws/whats-new/2018/10/aws-glue-now-supports-connecting-amazon-sagemaker-notebooks-to-development-endpoints/
対応記事：[Jupyter NotebookをGlueの開発で使う](https://qiita.com/pioho07/items/29bd779f84b4add9cf2c)

* 20181016:データカタログのリソースベースのポリシーとリソースレベルの権限をサポート
IAMユーザーごとに見えたり操作できるテーブルを制御できる
テーブルのクロスアカウントによるアクセス可能
https://aws.amazon.com/jp/about-aws/whats-new/2018/10/aws-glue-now-supports-resource-based-policies-and-resource-level-permissions-and-for-the-AWS-Glue-Data-Catalog/
対応記事：[GlueやAthenaで見えるテーブルを制限する](https://qiita.com/pioho07/items/69274f6cb07d2ca72faa)

* 20181117:クロスアカウント、クロスリージョンのGlue Connection
https://aws.amazon.com/jp/blogs/big-data/create-cross-account-and-cross-region-aws-glue-connections/

* 20190116:Glue Catalogのデータベースとテーブルに変更があったときのCloudWatchイベントによる通知をサポート
https://docs.aws.amazon.com/glue/latest/dg/doc-history.html
対応記事：[CloudWatchイベントのGlue関連対応](https://qiita.com/pioho07/items/443fc446634a218722c1)

* 20190122:Python Shell
https://aws.amazon.com/jp/about-aws/whats-new/2019/01/introducing-python-shell-jobs-in-aws-glue/
対応記事：[GlueのPython shell を使う](https://qiita.com/pioho07/items/a24d188d67fe97034b34)

* 20190205:Glue データカタログクライアント向けの Apache Hive メタストア用ソースコードがダウンロード可能に
https://aws.amazon.com/jp/about-aws/whats-new/2019/02/source-code-for-the-aws-glue-data-catalog-client-for-apache-hive-metatore-is-now-available-for-download/

* 20190315:AWS Glue enables running Apache Spark SQL queries
https://aws.amazon.com/jp/about-aws/whats-new/2019/03/aws-glue-enables-running-apache-spark-sql-queries/

* 20190321:リソースタグ
https://aws.amazon.com/jp/about-aws/whats-new/2019/03/aws-glue-now-supports-resource-tagging/

* 20190406:Glue Job WorkerType
https://aws.amazon.com/jp/about-aws/whats-new/2019/04/aws-glue-now-supports-additional-configuration-options-for-memory-intensive-jobs/

* 20190510:AWS Glue crawlers now support existing Data Catalog tables as sources
https://aws.amazon.com/about-aws/whats-new/2019/05/aws-glue-crawlers-now-support-existing-data-catalog-tables-as-sources/

* 20190529:AWS Glue now enables continuous logging for Spark ETL jobs
https://aws.amazon.com/jp/about-aws/whats-new/2019/05/aws-glue-now-enables-continuous-logging-for-spark-etl-jobs/
GlueのログがDriverログとExecutorログに分けて詳細に出せるようになりました

* 20190604:GlueのVPCエンドポイント対応
https://aws.amazon.com/about-aws/whats-new/2019/06/aws_glue_now_provides_vpc_interface_endpoint/

* 20190606:python shellでpython3.6対応
https://aws.amazon.com/jp/about-aws/whats-new/2019/06/aws_glue_supportscripts/

* 20190621:worflow機能
https://aws.amazon.com/jp/about-aws/whats-new/2019/06/aws-glue-now-provides-workflows-to-orchestrate-etl-workloads/
ジョブとクローラーとのワークフローだけで良い時

* 20190726:Spark 2.4.3（Python 3)サポート
https://aws.amazon.com/jp/about-aws/whats-new/2019/07/aws-glue-now-supports-ability-to-run-etl-jobs-apache-spark-243-with-python-3/
Spark2.4、Python3で開発したい時

* 20190726:開発エンドポイントで大規模メモリのWorkerTypeオプションをサポート
https://aws.amazon.com/jp/about-aws/whats-new/2019/07/aws-glue-now-supports-additional-configuration-options-for-memory-intensive-jobs-submitted-through-deployment-endpoints/
開発エンドポイントで大きいメモリ使いたい時

* 20190727:BookmarkがparquetとORCに対応
https://aws.amazon.com/jp/about-aws/whats-new/2019/07/aws-glue-now-provides-ability-to-bookmark-parquet-and-orc-files-using-glue-etl-jobs/

* 20190807:Shared VPCでのGlue起動対応
https://aws.amazon.com/jp/about-aws/whats-new/2019/08/now-launch-aws-glue-amazon-emr-and-aws-aurora-serverless-clusters-in-shared-vpcs/

* 20190810:ML Transforms
https://aws.amazon.com/jp/about-aws/whats-new/2019/08/aws-glue-provides-findmatches-ml-transform-to-deduplicate/

* 20190829:AWS Glueは、Glueジョブ用のGlue ETLライブラリのバイナリをリリースします(Glue binary Maven 経由で使えるようになりました)
https://aws.amazon.com/jp/about-aws/whats-new/2019/08/aws-glue-releases-binaries-of-glue-etl-libraries-for-glue-jobs/

* 20190905:Excluding Amazon S3 Storage Classes(Gracierのストレージタイプとかを処理の対象外にする
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-programming-etl-storage-classes.html

* 20190920:SparkUI対応
https://aws.amazon.com/jp/about-aws/whats-new/2019/09/aws-glue-now-provides-apache-spark-ui-to-monitor-and-troubleshoot-glue-etl-jobs/

* 20190920:DevEndpointのSpark2.4, Python3 対応
https://aws.amazon.com/jp/about-aws/whats-new/2019/09/aws-glue-supports-ability-to-test-glue-etl-scripts-on-development-endpoints/

* 20190929:Glue の Python シェルジョブと依存関係のある wheel ファイルをサポート
https://aws.amazon.com/jp/about-aws/whats-new/2019/09/aws-glue-now-supports-wheel-files-as-dependencies-for-glue-python-shell-jobs/

* 20191012:Glue JDBC Connectionにカスタム証明書を使用する機能を提供します
https://aws.amazon.com/jp/about-aws/whats-new/2019/10/aws-glue-now-provides-ability-to-use-custom-certificates-for-jdbc-connections/

* 20191024:ジョブブックマークを巻き戻す機能
https://aws.amazon.com/jp/about-aws/whats-new/2019/10/aws-glue-provides-ability-to-rewind-job-bookmarks-spark-etl-jobs/

* 20191123:GlueのSpark2.4.3(v1)でFindMatch MLトランスフォームをサポートしました
https://aws.amazon.com/jp/about-aws/whats-new/2019/11/aws-glue-supports-findmatches-ml-transform-apache-spark/

* 20191126:独自のJDBCドライバーをGlue Spark ETLジョブに追加できるようになりました
https://aws.amazon.com/jp/about-aws/whats-new/2019/11/aws-glue-now-enables-you-to-bring-your-own-jdbc-drivers-to-your-glue-spark-etl-jobs/

* 20200116:GlueジョブからS3に出力と同時にクローラー実行したりadd partitionするオプション
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/update-from-job.html

* 20200117:SparkアプリケーションがS3のデータセットを操作するための新しい変換（パージ、移行、およびマージ）の追加
https://aws.amazon.com/jp/about-aws/whats-new/2020/01/aws-glue-adds-new-transforms-apache-spark-applications-datasets-amazon-s3/

* 20200404:AWS GlueがGlue Spark ETLジョブからパーティションを更新する機能をサポートするようになりました
https://aws.amazon.com/jp/about-aws/whats-new/2020/04/aws-glue-now-supports-the-ability-to-update-partitions-from-glue-spark-etl-jobs/

* 20200404:DocumentDB対応
https://aws.amazon.com/jp/about-aws/whats-new/2020/04/aws-glue-now-supports-reading-from-amazon-documentdb-and-mongodb-tables/

* 20200428:Streaming ETL対応
https://aws.amazon.com/jp/about-aws/whats-new/2020/04/aws-glue-now-supports-serverless-streaming-etl-jobs/

* 20200811:Glue v2
https://aws.amazon.com/jp/about-aws/whats-new/2020/08/aws-glue-version-2-featuring-10x-faster-job-start-times-1-minute-minimum-billing-duration/
GlueのVPC内リソースでの実行に10分待つことがあったが、1分くらいになりました。

* 20200813:Glue workflow stop & restart
https://aws.amazon.com/jp/about-aws/whats-new/2020/08/aws-glue-provides-ability-stop-restart-glue-workflows/

* 20200924:Glue Studio
https://aws.amazon.com/jp/about-aws/whats-new/2020/09/announcing-aws-glue-studio/

* 20201009:Glue Streaming ETLジョブは、スキーマの検出と進化をサポートします
https://aws.amazon.com/jp/about-aws/whats-new/2020/10/aws-glue-streaming-etl-jobs-support-schema-detection-and-evolution/

* 20201016:Glue Streaming で Avro サポート（これまでは JSON, CSV, Parquet, XML のみ対応）
https://aws.amazon.com/about-aws/whats-new/2020/10/aws-glue-streaming-etl-jobs-support-reading-records-in-apache-avro-format/

* 20201016:Glue Crawler が Document DB/mongo DB 対応
https://aws.amazon.com/about-aws/whats-new/2020/10/aws-glue-crawlers-support-amazon-documentdb-mongodb-compatibility-mongodb-collections/

## その他

Glueの使い方まとめ
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f