Glueの使い方的な

<font color="Red">この記事は更新をやめました。見てくださったみなさんありがとうございました!!!(もしかしたら再開するかもですが)。20210324</font>

# Glueのすぐ使えそうな操作

1.[Glueの使い方的な①(GUIでジョブ実行)](https://qiita.com/pioho07/items/c9ce1d0677777f974ffe)
GUIだけでcsv->parquet変換処理してAthenaで見たい時

2.[Glueの使い方的な②(csvデータをパーティション分割したparquetに変換)](https://qiita.com/pioho07/items/523aec26ca5dc5bc9697)
元データにタイムスタンプが入ってるデータを、パーティションによるディレクトリ構成にしてデータ配置とフォーマットなど変換したい時

3.[Glueの使い方的な③(CLIでジョブ作成)](https://qiita.com/pioho07/items/aca43eb9d89ca9a0c52a)
CLIでジョブ作成などしたい時

4.[Glueの使い方的な④(ブックマーク)](https://qiita.com/pioho07/items/80dfdfd70db5b959af9a)
処理したデータを2回目は無視させたい時。
それがGlueのブックマークと言う機能。

5.[Glueの使い方的な⑤(パーティション分割してるcsvデータをパーティション分割したparquetに変換)](https://qiita.com/pioho07/items/9c897b03e452d49b80ef)
パーティション分割して配置されてるcsvを同じパーティション分割してparquetにしたい時

6.[Glueの使い方的な⑥(監視モニタリング)](https://qiita.com/pioho07/items/f92354fd07468584e897)
Glueの監視したい時

7.[Glueの使い方的な⑦(StepFunctionsでジョブフロー)](https://qiita.com/pioho07/items/f8a2fd946fc391f89c97)
Glueでジョブフロー作りたい時。
Glueクローラー実行して処理が終わったらGlueジョブを実行するフローを作る

8.[Glueの使い方的な⑧(依存jarを使う)](https://qiita.com/pioho07/items/99ff9f2259cdb65012f7)
GlueジョブやJupyterで依存jarを使いたい時

9.[Glueの使い方的な⑨(Data Catalogのバックアップリストア)](https://qiita.com/pioho07/items/beaddf437704da0a25fe)
DataCatalogのバックアップ/リストアしたい時

10.[Glueの使い方的な⑩(カスタムClassifierの手始め)](https://qiita.com/pioho07/items/bad843a268c2cc707387)
クローラーで独自なログフォーマットを認識させたい時

11.[Glueの使い方的な⑪(DynamicFrameでpartitionByが使えるようになった)](https://qiita.com/pioho07/items/8764b50349808ff0ec43)
DynamicFrameでもpartitionByしたい時

12.[Glueの使い方的な⑫(DynamicFrameのPre-Filtering機能)](https://qiita.com/pioho07/items/bcc4852374a3ce66f5d2)
S3から必要なパーティションだけをロードしたい時

13.[Glueの使い方的な⑬(Glueを試してみる！チュートリアル集)](https://qiita.com/pioho07/items/82ad3783c584f138adc7)
Glueの公式チュートリアルをやりたい時

14.[Glueの使い方的な⑭(クローラー(Crawler)のSchemaChangePolicyその１)](https://qiita.com/pioho07/items/45b5b6412141e73c552d)
Glueクローラー実行時、スキーマに変更があった場合の動作のオプション設定1

15.[Glueの使い方的な⑮(クローラー(Crawler)のConfiguration optionその２)](https://qiita.com/pioho07/items/4a5ed0be404eea166c24)
Glueクローラー実行時、スキーマに変更があった場合の動作のオプション設定2

16.[Glueの使い方的な⑯(出力ファイル数をまとめる)](https://qiita.com/pioho07/items/2735828902d690b61ae5)
出力ファイルがいっぱいできちゃう時

17.[Glueの使い方的な⑰(DynamoDBをデータソースにする)](https://qiita.com/pioho07/items/6370144fb98af294853f)
DynamoDBで集計するなって言われた時

18.[Glueの使い方的な⑱(ETL ジョブの CloudWatch メトリクス確認)](https://qiita.com/pioho07/items/4b97b61f2ec098afb695)
Glueで取得できるCloudWatchメトリクスの見方

19.[Glueの使い方的な⑲(ユーザー設定)](https://qiita.com/pioho07/items/23ad661384ad8e88e379)
ジョブやクローラー作る際に毎回IAMロール選んだり一時ディレクトリ選んだりがめんどい時
Glueの"ユーザー設定"でデフォルト値を設定できる

20.[Glueの使い方的な⑳(クローラーオプション_Grouping behavior for S3 data)](https://qiita.com/pioho07/items/0a6bd63d3b97a3e45cfe)
クローラーで判別するスキーマを、しっかり区別したい時or一緒にしちゃいたい時

21.[Glueの使い方的な㉑(セキュリティ設定 ＆ データカタログ暗号化)](https://qiita.com/pioho07/items/68bf93f0865133b47d31)
データの暗号化をしたい時

22.[Glueの使い方的な㉒(csvデータをパーティション分割したparquetに変換_2)](https://qiita.com/pioho07/items/e36261d82570ac09ec09)
元データに"2018/08/26 12:00:01"みたいなタイムスタンプが入ってるデータを、タイムスタンプでパーティションによるディレクトリ構成にしてデータ配置とフォーマットなど変換

23.[Glueの使い方的な㉓(DevEndpointとNotebookの使い方_2018夏)](https://qiita.com/pioho07/items/1744a3f043d2bc00a2fd)
Glueで開発する時。ノートブックを使いたい時
zeppelin編

24.[Glueの使い方的な㉔(S3からRedshiftにロード_準備編)](https://qiita.com/pioho07/items/05c912333e88788a1391)
S3からRedshiftに変換してロードしたい時

25.[Glueの使い方的な㉕(S3からRedshiftにロード_実行編)](https://qiita.com/pioho07/items/3a07cf6dccb8dfe046ff)
S3からRedshiftに変換してロードしたい時

26.[Glueの使い方的な㉖(S3のオブジェクトのリストを取る)](https://qiita.com/pioho07/items/7f71f92634aeb1f03250)
S3のオブジェクトのリストを取得したい時

27.[Glueの使い方的な㉗(Jupyter NotebookをGlueの開発で使う)](https://qiita.com/pioho07/items/29bd779f84b4add9cf2c)
Glueで開発する時。ノートブックを使いたい時。
jupyter編

28.[Glueの使い方的な㉘(DataFrameでデータ読み込み)](https://qiita.com/pioho07/items/277721eb23d0c52df1bf)
DataFrameを使いたい時

29.[Glueの使い方的な㉙(セキュリティグループの自己参照ルール)](https://qiita.com/pioho07/items/7223c77f341b7909431e)
自己参照ルールが意味わからない時

30.[Glueの使い方的な㉚(Step FunctionsでAWSサービスのAPI使ったジョブフロー(今後も更新))](https://qiita.com/pioho07/items/44149a10254ae7b13d74)
ジョブフローを作りたい時2

31.[Glueの使い方的な㉛(GlueやAthenaで見えるテーブルを制限する)](https://qiita.com/pioho07/items/69274f6cb07d2ca72faa)
Glue Data Catalogのテーブルを他のユーザーには見せたくない時

32.[Glueの使い方的な㉜(Python Shellを使う)](https://qiita.com/pioho07/items/a24d188d67fe97034b34)
普通のPythonをGlueで動かしたい時

33.[Glueの使い方的な㉝(別のAWSアカウントのS3バケットに出力時の権限のアレ)](https://qiita.com/pioho07/items/f13cf2714d40cb6eefce)
別のアカウントのS3に出力したデータが誰もさわれなくて困った時

34.[Glueの使い方的な㉞(環境変数を使う)](https://qiita.com/pioho07/items/d33ddd058e8bf411077a)
環境変数使いたい時

35.[Glueの使い方的な㉟(RDBにwhereでロードするデータを絞る)](https://qiita.com/pioho07/items/1e52672fb58ee88e9aa7)
RDBからロードする時メモリエラーする時。
whereする

36.[Glueの使い方的な㊱(RDBからの読み取りを並列化する)](https://qiita.com/pioho07/items/c4638504a2b134af88de)
RDBからロードする時メモリエラーする時
hashfield、hashexpression、または hashpartitionsなどのオプションで緩和

37.[Glueの使い方的な㊲(GlueDataCatalogのテーブルにSpark SQLクエリを直接実行)](https://qiita.com/pioho07/items/34716b2b63761100096a)
Spark SQL使いたい時

38.[Glueの使い方的な㊳(WorkerTypeとは)](https://qiita.com/pioho07/items/29b40f7b88822caa1d5b)
Executorのメモリエラーする時。Executorのメモリ量変えたい時。
Spark Executorのメモリ調整

39.[Glueの使い方的な㊴(RDSからAmazon Elasticsearch Serviceにロード)](https://qiita.com/pioho07/items/e792a612e0a0d0f99361)
RDBからElasticsearchに書き込みたい時

40.[Glueの使い方的な㊵(Workflowsでジョブフローの可視化)](https://qiita.com/pioho07/items/0cd0ae27b61f5914f78d)
クローラーとジョブとのジョブフローをビジュアライズして作りたい時

41.[Glueの使い方的な㊶(Workflows/ジョブ間でパラメータを受け渡す)](https://qiita.com/pioho07/items/6d85b0c6b27f56e58d8f)
ワークフローで環境変数を受け渡ししたいとき

42.[Glueの使い方的な㊷(XMLで出力)](https://qiita.com/pioho07/items/c09f458ccd0e6d8b13e9)

43.[Glueの使い方的な㊸(DynamicFrameのMerge)](https://qiita.com/pioho07/items/e5549fb63c244ae50c73)

44.[Glueの使い方的な㊹(S3データセットの操作 Transition/Purge)](https://qiita.com/pioho07/items/b30845c74a82515481f7)

45.[Glueの使い方的な㊺(Python shellでPythonから他の.pyを読み込む)](https://qiita.com/pioho07/items/91a5feb465ed2e2e200d)

46.[Glueの使い方的な㊻(update-table)](https://qiita.com/pioho07/items/5b773f2e65e2445b75b5)

47.[GlueではないけどManaged AirflowのMWAAでGlueのワークフロー作ってみた](https://qiita.com/pioho07/items/97ebd1351916177d50f3)

## Lake Formationの使い方まとめ

https://qiita.com/pioho07/items/76554a7ac4252858b450

## TIPS

101.[S3 Selectでparquetファイルを開く(parquet-tools入れるより楽かも)](https://qiita.com/pioho07/items/402a3620898e95b6a03d)

102.[PySparkのshow()で...な時](https://qiita.com/pioho07/items/741f2821748dd3b97a0f)

103.[CloudWatchイベントのGlue関連対応](https://qiita.com/pioho07/items/443fc446634a218722c1)

104.[Glueのアップデート履歴](https://qiita.com/pioho07/items/a2c66786c8dce2d5ac4f)

105.[Glue python shell アイデア集](https://qiita.com/pioho07/items/6f15977c4a0b55f994a8)
ネタやアイデアを書いたら是非教えてください。リンクはらせてくださいmm

##　外部

[GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス](https://aws.amazon.com/jp/blogs/big-data/best-practices-to-scale-apache-spark-jobs-and-partition-data-with-aws-glue/)

[多くの小さなファイルをまとめて読み込むgroupFiles/groupSize指定でパフォーマンスを改善する_クラメソ](https://dev.classmethod.jp/cloud/aws/20180708-aws-glue-how-togroupfiles/)

[AWS Glue を使用して非ネイティブ JDBC データソースに対して ETL　ジョブを実行する](https://aws.amazon.com/jp/blogs/news/use-aws-glue-to-run-etl-jobs-against-non-native-jdbc-data-sources/)

[GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス](https://aws.amazon.com/jp/blogs/news/best-practices-to-scale-apache-spark-jobs-and-partition-data-with-aws-glue/)

[入力データを絞り込む_cloudpack](https://cloudpack.media/43703)
CloudPackさんの、Glue入力データを絞り込む方法

[VPCの設計_オフィシャルブログ](https://aws.amazon.com/jp/blogs/news/connecting-to-and-running-etl-jobs-across-multiple-vpcs-using-a-dedicated-aws-glue-vpc/)

[Glueのパフォーマンス・チューニング re:Invent2018資料](https://www.slideshare.net/AmazonWebServices/metricsdriven-performance-tuning-for-aws-glue-etl-jobs-ant332-aws-reinvent-2018)
パフォーマンス・チューニングのポイントをまとめた良資料。英語です。

[Sansanさんの節約のための工夫。実装コストもかかるので苦労もともないそう](https://www.slideshare.net/matetsu/awseight-121480234)
Glueジョブの中で並列処理を行うちょっと変わった使いたかですが、Sansanさんらしくうまく使いこなしている

[Glueジョブ作成のTIPS](https://qiita.com/hiroakiyoshii/items/66f11d86556914f1453d)

[timestamp型について](http://www.techscore.com/blog/2018/12/08/aws-glue-timestamp-issue/)

[Glueの基本的な使い方](https://www.qoosky.io/techs/0964aa9fdc)

[GMOさんのAdventCalender Sparkのrepartitionによるチューニング](https://techblog.gmo-ap.jp/2018/12/03/spark-%E4%B8%A6%E5%88%97%E5%8C%96%E3%83%81%E3%83%A5%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0%E3%81%AE%E4%B8%80%E4%BE%8B/)

[Continuous LoggingでDriverとExecutorのログを分けた出力とリアルタイムロギング](https://dev.classmethod.jp/cloud/aws/20190615-aws-glue-continuous-logging/)

[S3からDynamoDBに書き込み](https://aws.amazon.com/jp/blogs/news/how-realtor-com-maximized-data-upload-from-amazon-s3-into-amazon-dynamodb/?sc_channel=sm&sc_campaign=AWS_Blog&sc_publisher=TWITTER&sc_country=Japan&sc_geo=JAPAN&sc_outcome=awareness&trk=how-realtor-com-maximized-data-upload-from-amazon-s3-into-amazon-dynamodb_TWITTER&sc_content=how-realtor-com-maximized-data-upload-from-amazon-s3-into-amazon-dynamodb&sc_category=Amazon+Simple+Storage+Service+S3,Amazon+DynamoDB,Amazon+Athena,AWS+Glue&linkId=81929298)

[Glueブックマークのログの見方](https://aws.amazon.com/jp/blogs/big-data/load-data-incrementally-and-optimized-parquet-writer-with-aws-glue/)

[RDSのデータを簡単にAthenaで分析](https://dev.classmethod.jp/articles/lets-create-athena-from-rds-using-aws-glue/)

### Glueの誕生日

2017/08/15
https://aws.amazon.com/jp/blogs/news/launch-aws-glue-now-generally-available/

### Glueの東京リージョン記念日

2017/12/21
https://aws.amazon.com/jp/about-aws/whats-new/2017/12/aws-glue-is-now-available-in-the-asia-pacific-tokyo-aws-region/