2024年に参加した勉強会をデータカタログで振り返る

# この記事について
- この記事は[datatech-jp Advent Calendar 2024](https://qiita.com/advent-calendar/2024/datatech-jp)の12月25日分として記載しています
- 🎅{Merry Christmas!)
---


- connpass上で確認できる自分の活動実績を簡単に可視化してみました

- 自分のconnpassのサイトは以下です
https://connpass.com/user/ShumpeiKubo/?page=1

- 2024年に参加した勉強会は59ありました
    - 59個程度で良かったです〜。まだ手作業で済むサイズなので。
    - 1年の営業日をだいたい260日（365 * 5/7）と考えると、59日はその23%に当たるので、週に1回以上のペースで勉強会に参加していたようです。
---

# データの整備

- これを以下のように整形、保存しました
    - connpass の自分のページをコピペして、テキストに貼り付けて整形
    - それをさらにエクセルに貼り付けて整形
    - タイトルなどはメインタイトル、サブタイトル、など、分析しやすいように列を適当に増やしました。
    - そういう事をしながら、こう思いました。
        - 「ああ、オリジナルのタイトルは保存しておけばよかったな」
![スクリーンショット 2024-12-23 20.14.32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/a9f2ade2-58e6-a543-99b9-9a891d4d877a.png)
- 正直このコピペして整形する時間が作業時間の8割くらいでした。
- まじでデータ整備って全体工数の8割くらいかかりますよね。。。


---

- エクセルでcsv保存にするとなぜか文字化けしたので、

```
shumpei.kubo@ShumpeinoMacBook-Pro Downloads % head connpass2024.csv 
???t,?j??,?J?n????,???,?T?u?^?C?g??1,?T?u?^?C?g??2,?T?u?^?C?g??3,?ꏊ,?o?^?l??,????l??,?Q????,?Q??????
2024/12/17,??,19:00,?f?[?^????,???Z?ƊE?̃f?[?^?}?l?W?????g?őO??,#4,,?I?????C?? ,124,230,54%,??
2024/12/7,?y,20:00,?O??IT?T?o?C?o???p??,?m?yNight,vol.6,?e?[?}?u?????v?y?O??IT?T?o?C?o???p?? ?ԊO?ҁz,?I?????C?? ,14,,#DIV/0!,??
2024/12/3,??,19:00,?Z?p?Ɩ{?ƔL,?Z?p???Ƃ????̘b ?~?̖?,,, ?????s?`??Ճm??2-6-1 ?Ճm??q???Y ?X?e?[?V?????^???[ 36F  ,63,105,60%,??
2024/11/20,??,19:00,datatech-jp,Data Contract???ዤ?L??,,,?????s?`?擌?V??1-5-2 ?????V?e?B?Z???^?[ 35?K  ,44,45,98%,??
2024/11/19,??,15:00,???? ?a?^,?????OK?I?G???W?j?A?????????Ă????ׂ?IBM Planning Analytics?̃R?c?ƃc?{,,,?I?????C?? ,7,50,14%,??
2024/11/14,??,12:00,?t?@?C???f?B?^Findy,ISUCON?폟?R?c?̓??̒??`?????o?[?W?߂?????????̔閧?܂Ł`,,,?I?????C?? ,799,,#DIV/0!,_
2024/11/6,??,19:00,CARTA HOLDINGS,DATA ENGINEER NIGHT,#1,#DataEngineerNight,?????s?`??Ճm??2-6-1 ?Ճm??q???Y ?X?e?[?V?????^???[ 36F   ,61,100,61%,??
2024/10/30,??,19:00,Finatext Holdings Ltd.  ,DataOps Night,#5,?Z?L?????e?B?ƃA?W???e?B?𗼗????邽?߂̃v???N?e?B?X,?????s???c???i?k1????8??10?? (?Z?F?s???Y??i?r?? 9?K)   ,251,340,74%,??
2024/10/29,??,19:00,Forkwell Community,Data Engineering Study,#26,?f?[?^???p?ɂ?????l???f?[?^?̎?舵??,?I?????C?? ,474,,#DIV/0!,??
shumpei.kubo@ShumpeinoMacBook-Pro Downloads % 
```

- Macのターミナル上でviを起動してそこに貼り付けて.tsv 形式で保存しました

```
shumpei.kubo@ShumpeinoMacBook-Pro Downloads % cat connpass2024.tsv 
日付	曜日	開始時間	主催	サブタイトル1	サブタイトル2	サブタイトル3	場所	登録人数	上限人数	参加率	参加実績
2024/12/17	火	19:00	データ横丁	金融業界のデータマネジメント最前線	#4		オンライン 	124	230	54%	◯
2024/12/7	土	20:00	外資ITサバイバル英語	洋楽Night	vol.6	テーマ「復活」【外資ITサバイバル英語 番外編】	オンライン 	14		NA	◯
2024/12/3	火	19:00	技術と本と猫	技術書とお金の話 冬の夜			 東京都港区虎ノ門2-6-1 虎ノ門ヒルズ ステーションタワー 36F  	63	105	60%	◯
2024/11/20	水	19:00	datatech-jp	Data Contract事例共有会			東京都港区東新橋1-5-2 汐留シティセンター 35階  	44	45	98%	◯
2024/11/19	火	15:00	清水 和真	これでOK！エンジニアが押さえておくべきIBM Planning Analyticsのコツとツボ			オンライン 	7	50	14%	◯
2024/11/14	木	12:00	ファインディ／Findy	ISUCON常勝軍団の頭の中〜メンバー集めから解き方の秘密まで〜			オンライン 	799		NA	✗
2024/11/6	水	19:00	CARTA HOLDINGS	DATA ENGINEER NIGHT	#1	#DataEngineerNight	東京都港区虎ノ門2-6-1 虎ノ門ヒルズ ステーションタワー 36F   	61	100	61%	◯
2024/10/30	水	19:00	Finatext Holdings Ltd.  	DataOps Night	#5	セキュリティとアジリティを両立するためのプラクティス	東京都千代田区九段北1丁目8番10号 (住友不動産九段ビル 9階)   	251	340	74%	◯
2024/10/29	火	19:00	Forkwell Community	Data Engineering Study	#26	データ活用における個人情報データの取り扱い	オンライン 	474		NA	◯
2024/10/28	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう	第10章		オンライン 	3	15	20%	◯
2024/10/22	火	19:00	株式会社ZOZO	【オフライン開催】ZOZO Tech Meetup ～データガバナンス / データマネジメント～			 東京都千代田区紀尾井町1-3 ガーデンテラス紀尾井町17F  	88	70	126%	◯
2024/10/21	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう	第9章		オンライン 	2	15	13%	◯
2024/10/7	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第25回	【最終回】	オンライン 	2	12	17%	◯
2024/10/3	木	19:00	インフラエンジニアBooks	30分でわかる「AWS継続的セキュリティ実践ガイド」			オンライン 	211		NA	✗
2024/9/30	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう 			オンライン 	3	15	20%	◯
2024/9/26	木	19:00	Sansan株式会社	データマネジメントのリアル 〜BtoB企業3社の歩みとこれから〜 			東京都渋谷区神宮前5-52-2 青山オーバルビル 13F  	53	60	88%	◯
2024/9/9	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第24回		オンライン 	3	12	25%	◯
2024/9/3	火	18:00	日本データマネジメント・コンソーシアム	エンタメ業界のデータマネジメント最前線			オンライン 	245	300	82%	✗
2024/9/3	火	18:00	日本データマネジメント・コンソーシアム	エンタメ業界のデータマネジメント最前線			渋谷ストリーム	56	58	97%	◯
2024/9/2	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう			オンライン 	2	15	13%	◯
2024/8/26	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第23回		オンライン 	2	12	17%	◯
2024/8/21	水	19:30	datatech-jp	みんなの考えた最強のデータ基盤アーキテクチャ	2024前半おまとめ拡大版SP！		オンライン 	1236		NA	◯
2024/8/19	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう			オンライン 	3	15	20%	◯
2024/8/15	木	19:00	松尾研	LLMコミュニティ松尾研LLMコミュニティBeginning LLM	Level 7		オンライン 	639	1100	58%	✗
2024/8/5	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第22回		オンライン 	2	12	17%	◯
2024/7/30	火	12:00	ファインディ／Findy	データ利活用のミソ DataOps実現のための取り組みとは？ Lunch LT			オンライン 	421		NA	◯
2024/7/29	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう			オンライン 	3	15	20%	◯
2024/7/26	金	19:00	激突！データ基盤プロレス大会	激突！データ基盤プロレス大会	【第一回】		オンライン 	243	11103	2%	✗
2024/7/22	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第21回		オンライン 	2	12	17%	◯
2024/7/11	木	12:00	さくらインターネット	さくらのテックランチ	vol.7	〜ガバメントクラウドとチームビルディング〜 	オンライン 	43		NA	✗
2024/7/10	水	19:00	Finatext Holdings Ltd.  	DataOps Night	#4	データプロダクト/分析基盤開発の舞台裏	東京都中央区築地1-13-1(銀座松竹スクエア)	360	1070	34%	◯
2024/7/8	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう			オンライン 	4	15	27%	◯
2024/7/1	月	19:00	外資ITサバイバル英語	 英語でデータ可視化を学ぼう	第20回		オンライン 	2	12	17%	◯
2024/6/24	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第34回	Fundamentals of Data Engineering	オンライン 	1	15	7%	◯
2024/6/19	水	20:00	インフラエンジニアBooks	30分でわかる「つくって、壊して、直して学ぶ Kubernetes入門			オンライン 	136		NA	✗
2024/6/17	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第19回		オンライン 	4	12	33%	◯
2024/6/10	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第33回	Fundamentals of Data Engineering	オンライン 	2	15	13%	◯
2024/6/9	日	22:30	技術書典	【定期開催】技術に出会える - 技術書典16スペシャルオンラインイベント			 YouTube Live 	81		NA	◯
2024/6/3	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第18回		オンライン 	4	12	33%	◯
2024/5/27	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第32回	Fundamentals of Data Engineering	オンライン 	3	15	20%	◯
2024/5/20	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第17回		オンライン 	4	12	33%	◯
2024/5/13	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第31回	Fundamentals of Data Engineering	オンライン 	3	12	25%	◯
2024/5/8	水	21:00	技術書同人誌博覧会	技書博ラジオ	技書博１０直前スペシャル！	全サークル紹介	オンライン 	43		NA	◯
2024/4/30	火	20:00	外資ITサバイバル英語	しごとスキルアップ夜会	4月	「実力も運のうち」を考える	オンライン 	28		NA	◯
2024/4/23	火	19:30	CARTA HOLDINGS	DATA ENGINEER NIGHT	#0	#DataEngineerNight	東京都港区虎ノ門2-6-1 虎ノ門ヒルズ ステーションタワー 36F 	112	120	93%	◯
2024/4/23	火	19:00	#ssmjp	ssmonline	#41		オンライン 	56		NA	✗
2024/4/22	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第16回		オンライン 	5	12	42%	◯
2024/3/28	木	18:30	datatech-jp	みなさん、データのメタデータ管理ってどうやってますか？			オンライン 	786	1000	79%	◯
2024/3/25	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第14回		オンライン 	4	12	33%	◯
2024/3/19	火	20:00	外資ITサバイバル英語	しごとスキルアップ夜会	3月	 覚悟を決めて生きる	オンライン 	13		NA	◯
2024/3/11	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第13回		オンライン 	7	12	58%	◯
2024/3/4	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第27回	Fundamentals of Data Engineering	オンライン 	9	12	75%	◯
2024/2/26	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第12回		オンライン 	6	12	50%	◯
2024/2/7	水	19:00	総関西サイバーセキュリティLT大会	総関西サイバーセキュリティＬＴ大会	第39回		大阪市北区梅田3-1-3 ノースゲートビルディング（受付19階） 	118	1054	11%	✗
2024/2/5	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第11回		オンライン 	8	12	67%	◯
2024/2/1	木	19:00	AWSコスト削減 天下一武道会	AWSコスト削減 天下一武道会	第1回 		東京都港区東新橋1丁目5-2 汐留シティセンター35階 	3692		NA	✗
2024/1/29	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第26回	Fundamentals of Data Engineering	オンライン 	4	12	33%	◯
2024/1/22	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第10回		オンライン 	12	12	100%	◯
2024/1/16	火	20:00	datatech-jp	みんなの考えた最強のデータアーキテクチャ	24新春-最新版SP！【大好評につき定員再び増枠x2】		オンライン 	1054	1200	88%	◯
2024/1/15	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第25回	Fundamentals of Data Engineering	オンライン 	4	12	33%	◯
shumpei.kubo@ShumpeinoMacBook-Pro Downloads % 
```

- それを検証用のデータカタログの、プロジェクトと呼ばれる作業場所にUploadして可視化しました。
- プロジェクトというのは、[このスライド](https://speakerdeck.com/shumpei3/design-and-build-about-dataops-hands-on?slide=18)右下の「プロジェクト」に該当します。（下図）
![スクリーンショット 2024-12-25 12.42.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/a7a67b11-bac4-f135-a422-4057043539d6.png)



# データ内容の簡単な可視化

- 以下、画像をクリックして拡大して見てみてください。

## データのプレビュー

![スクリーンショット 2024-12-23 20.27.51.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/39201559-9c05-09a4-7d8f-916187123d1e.png)


## データのプロファイル（統計情報）

![スクリーンショット 2024-12-23 20.28.38.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/fa39cf9d-22ea-0cec-e4a6-14ad66de2c6c.png)
![スクリーンショット 2024-12-23 20.29.19.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/ed77e8c5-1216-f20a-685c-4d375a69999d.png)

- 以下、列の中で気になるところを見てみます

### 「主催」列
- 「外資ITサバイバル英語」主催のイベントが一番多いですね。
- これは「英語で技術書を読もうシリーズ」等の定期開催に出席していたのが大きかったと思います。!

![スクリーンショット 2024-12-23 20.34.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/c845cc31-5a87-5f66-09cd-da4a153fd1c2.png)


![スクリーンショット 2024-12-23 20.32.41.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/5d5f9bef-5736-8f4d-3170-0b7674f674b3.png)

![スクリーンショット 2024-12-23 20.34.50.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/3e742101-11d3-c678-b8c1-ce37e3b1c7e1.png)


### 「場所」列
- 「オンライン」がほとんどなのですが、なぜか3つある。。。
- （スペースが前後に入ったりしているのか？）
    - これは後で修正します。
![スクリーンショット 2024-12-23 20.39.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/fd7c5a92-c321-f896-91b6-551869f211f4.png)

![スクリーンショット 2024-12-23 20.40.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/8ee5e74f-4ff5-84d4-515b-6ed9266d4bd6.png)


- 以下、場所が虎ノ門ステーションタワーも2つエントリしていますが、varchar(34)とvarchar(35)なので、おそらくスペースが紛れているのでしょうね。
    - これも後で修正します。
![スクリーンショット 2024-12-23 20.40.50.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/31f3e9a4-c31e-a784-a53b-e84e43ccfd78.png)



### 「参加実績」列

- 8割以上は参加していましたが、しかし参加できなかったのが10回もあったとは…

![スクリーンショット 2024-12-23 20.37.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/63d2631d-b79b-d126-1be2-026a4004cc06.png)
![スクリーンショット 2024-12-23 20.37.17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/73609f37-5b51-7e07-6c91-8cca24031434.png)



## データの品質

- データの品質についてはきちんとセットアップしていないので、おおまかな概略だけを表示します
- なお、品質を表示するには別途「メタデータエンリッチメント」という処理を実施する必要がありますが、ここでは割愛します。

![スクリーンショット 2024-12-23 20.45.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/36e06386-6170-d2fc-0cc0-29f29343b3a1.png)

![スクリーンショット 2024-12-23 20.45.51.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/3496670b-345f-dd1b-90f2-16a159cdd896.png)



# データの精製
- 「場所」列で「オンライン」という項目が3つに分かれていたり、「虎ノ門ヒルズステーションタワー」という場所も同じはずなのに2項目に分かれていたり、一部品質に課題がありましたので、それを修正します。
- 今回使用したデータはtsvファイルでタブ区切りなので、そこがスペースと見分けがつかなかったのもあるのではないかと思います。

## Data Refinery

- データカタログに同梱されているデータ精製ツール「Data Refinery」を使って、「場所」列から、「サブストリングの置換」で余計な空白（スペース）を除去してみました。
- 「Data Refinery」の詳細については、[こちら](https://qiita.com/Shumpei_Kubo/items/78274f839205e703a8a6#5%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AE%E6%95%B4%E5%BD%A2data-refinery)をご参照ください。
![スクリーンショット 2024-12-24 12.22.22.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/c9ebcf61-1d80-c67b-8b26-c1a086471198.png)

## 精製後の「場所」列（きれいなデータになっている）
- オンラインの比率は8割くらいあることがわかりました。

![スクリーンショット 2024-12-24 12.24.22.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/ae320ebc-09e2-dd6d-c0ef-7cc401460402.png)

![スクリーンショット 2024-12-24 12.24.45.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/a148f678-2578-bfe5-c7d8-fcc708676a13.png)

- 「虎ノ門ヒルズステーションタワー」も1項目にまとまりました。
![スクリーンショット 2024-12-24 12.25.07.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/295123/14468cca-8596-c8ec-feb5-5e7990a4d9f8.png)




# 最後に
- 2024年は頻度で言えば「英語で技術書を読もう」が大半を占める活動実績ではありましたが、それ以外に参加した勉強会も非常に学びが多かったです。
- 当然connpassに載らない勉強会にも多数参加していまたので、これで全てというわけではないのですが。
- 英語で技術書を読もう！シリーズも終わったし、来年は全く異なる傾向になるんだろうなー。
- 来年もよろしくお願いいたします。