データエンジニアRadio アーカイブ

# この記事について

[Cloudera](https://jp.cloudera.com/) のソリューションエンジニアが、毎週木曜日に X（旧Twitter）のSpace でゆる〜く開催している #データエンジニアRadio のアーカイブです。

お散歩や通勤のおともに聞いていただき、データエンジニアリングの最新情報に触れたり、ITの歴史や昔話を楽しんだりしていただければ幸いです。

また、Twitter でハッシュタグ #データエンジニアRadio を検索していただくと、配信に関わるツイートも眺めることができて二度美味しいのでおすすめです♪

# アーカイブ

### 第36回 #新大久保ネットワーク 留学の話
2024/12/5(木) 配信 メインスピーカー：さの

https://x.com/i/spaces/1OwxWNkbvlVJQ

:::note
ネットワーク恐怖症の克服のため、日本のアジア・新大久保にあるネットワークの学校で三ヶ月学んできた思い出＆体験記。今後の入学を希望する方への、驚きの紹介特典も・・・！
:::

:::note warn
この週のハッシュタグは #新大久保ネットワーク留学  です
:::

### 第35回 Apache NiFi Meetup の振り返り
2024/11/28(木) 配信 メインスピーカー：ALL

https://x.com/i/spaces/1ypKdpOPdAvKW

:::note
第3回目を迎えた [Apache NiFi Meetup](https://nifi.connpass.com/) の振り返り回です。
:::

### 第34回 ノーコード・ローコードって実際どう？
2024/11/21(木) 配信 メインスピーカー：さの

https://x.com/i/spaces/1mrGmMnjEjwGy

:::note
コマンドラインこそ正義と思っているエンジニアは、ノーコード・ローコードツールを軽視しがち？ いやいや、それは偏見…？ という話に始まり、データエンジニアリングにおけるノーコード・ローコードの活用を考えてみましょうの回です。
:::

### 第33回 Erasure Coding について学ぼう
2024/11/14(木) 配信 メインスピーカー：すぎやま

https://x.com/i/spaces/1dRKZdezkddJB

:::note
新生 #データエンジニアRadio の技術ネタ一発目は、Erasure Coding について！ Erasure Coding って一体何？ これを使うとデータ量を最適化できるらしいのに、そんなに使われている感がないのはなぜ？ といった話を、楽しくわかりやすくほどほどに深く教えてもらいましょうの回です。
:::


### 第32回 これからの #データエンジニアRadio をどうするか
2024/10/31(木) 配信 メインスピーカー：ALL

https://x.com/i/spaces/1kvKpbQXdADJE

:::note
Bin さん卒業を受けて、これからの #データエンジニアRadio をどうしていくか、取り上げたい話題などを
:::

### 第31回 🎓Binさん卒業記念😭🌸🎓 ありがとうSP
2024/10/24(木) 配信 メインスピーカー：ALL

https://x.com/i/spaces/1lDxLlRkODQxm

:::note
チームの大黒柱だった Bin さんが、ついに Cloudera を卒業・・・😭🌸🎓 思い出や感謝のエピソードを振り返りながら、思わずガチ泣きしてしまったシーンもありました。 Bin さん行ってらっしゃい ＆ いつでも戻ってきてください！
:::


### 第30回 ㊗️30回㊗️ 記念振り返りSP
2024/10/17(木) 配信 メインスピーカー：ALL

https://x.com/i/spaces/1YqGovEVAqlKv

:::note
なんだかんだで30回を迎えたデータエンジニアRadioを一挙振り返り！
:::

### 第29回 クラウド研修の振り返り
2024/10/10(木) 配信 メインスピーカー：ALL

https://x.com/i/spaces/1BdGYEdNLaXGX

:::note
インドとオーストラリアとシンガポールから同僚がやってきて、まる２日みっちりやってきたクラウド研修の振り返り
:::

### 第28回 ものづくりワールド大阪 生中継！
2024/10/3(木) 配信 メインスピーカー：ALL

https://x.com/i/spaces/1lDxLlNYPWvxm

:::note
雨の降る大阪から、出展中の「ものづくりワールド大阪」のもようをお届け！
:::

### 第27回 製造業のデータ活用
2024/9/26(木) 配信 メインスピーカー：ALL

https://x.com/i/spaces/1YqJDkbvyeBGV

:::note
10/2〜4に出展するものづくりワールド大阪に向けて、メンバーの意気込みなどをおはなし！
:::

### 番外編
2024/9/19(木) 配信 スピーカー：さの

https://x.com/i/spaces/1MnxnDzVLkOGO

:::note
合宿先の軽井沢から、これまでの Radio の振り返りや、佐野の個人的な思いなどを率直に語った番外編です。
:::

### 第26回 わいわい雑談
2024/9/12(木) 配信 メインスピーカー：ALL

https://x.com/i/spaces/1rmxPoByPdjJN

:::note
ゆる〜い雑談をしようかなぁと思っていたら、キー重複や件数アンマッチなど意外とがっつりしたデータエンジニアリングの話になりました。
:::

### 第25回 データ型の話
2024/9/5(木) 配信 メインスピーカー：びん

https://x.com/i/spaces/1yoKMyOwwBeKQ

:::note
データエンジニアリングにおいて、型などを含むスキーマの管理はとっても大切。今回は、日付系の型でハマった話をお届けです。
:::

### 第24回 NiFi Meetup 振り返り
2024/8/29(木) 配信　メインスピーカー：ALL

https://x.com/i/spaces/1jMJgBaZQlPGL

:::note
前日8/28(水)に行われた [NiFi Meetup Japan](https://nifi.connpass.com/event/320718/) の熱気と興奮冷めやらぬまま、振り返りと、今後のミートアップをもっとよくするには？ という話。
:::

### 第23回 わいわい雑談 〜シンガポールから１週間、調子どう？〜
2024/8/22(木) 配信　メインスピーカー：ALL

https://x.com/i/spaces/1kvJpbzobdDKE

:::note
シンガポールの疲れもあって、今日は雑談回。ゆるゆるトークになるかと思いきや、データエンジニアとしての心構えや、製造業における今アツいデータ活用の話など、意外と盛りだくさんのトークになりました。
:::

### 第22回 シンガポール見聞録
2024/8/8(木) 配信　メインスピーカー：ALL

https://x.com/i/spaces/1ypJdpzNQOdJW

:::note
会社のイベントでシンガポールに行ってきたメンバーが、シンガポールの街やアジアのIT動向についての気づきを語り合います。
:::

### 第21回 NiFi はいいぞ
2024/8/1(木) 配信　メインスピーカー：びん

https://x.com/i/spaces/1djGXrbERqNxZ

:::note
NiFi の「ココをおさえればもっと便利に使える」というポイントを、びん先輩がレクチャー！ ラウンドロビンとシングルノードの使い分け・・・なるほど！
:::

### 第20回 データエンジニアの仕事 ここが好き・ここがツライ
2024/7/25(木) 配信　メインスピーカー：さの

https://x.com/i/spaces/1ZkJzRPaMwyJv

:::note
データエンジニアの仕事って、実際どうなん？ という方たちに向けて、データエンジニア経験者のメンバーが好きなところ・ツライところを赤裸々におはなし！
:::

### 第19回 NiFi2.0  の話
2024/7/18(木) 配信　メインスピーカー：よしだ

https://x.com/i/spaces/1gqxvNvdAwkxB

:::note
NiFi2.0 って、実際 NiFi 1.x系と何が変わったの？ 追加されたプロセッサーや整理されたプロセッサー、エクスポートのやりかたなど、具体的な変更ポイントをおさらい！
:::

### 第18回 Apache Ozone の話
2024/7/4(木) 配信　メインスピーカー：すぎやま

https://x.com/i/spaces/1mrGmyBpbbvGy

:::note
最近話題の Iceberg とは違うんだけど実は似てる？ スモールファイル問題やパフォーマンスの問題を解決するストレージレイヤーのソリューション・Apache Ozone についてのおはなし！
:::

### 第17回 MLflow / MLOps の話
2024/6/27(木) 配信　メインスピーカー：びん

https://x.com/i/spaces/1nAKEapaoBZKL

:::note
所属企業がMLOpsの会社を買収したことに伴い、MLOpsってなんだ？ を改めて勉強。「モデルのためのDB」があることに驚き、そこからやっぱり Iceberg につながるのか・・・！ といったお話まで。
:::


### 第16回 Iceberg Catalog の話
2024/6/20(木) 配信　メインスピーカー：よしだ

https://x.com/i/spaces/1mrGmyyergqGy

:::note
Iceberg の中枢をなす Iceberg Catalog について、どんな選択肢があるのかや、使い分け方などを一緒に学んだ回です。
まとめの記事はこちら！
https://qiita.com/IQ_Bocchi/items/b7846533005d9d964f90
:::


### 第15回 Iceberg本が届いたので読んでみた 〜第1章 Iceberg 誕生の歴史と概要〜
2024/6/13(木) 配信　メインスピーカー：さの

https://x.com/i/spaces/1gqxvQyzApkJB

:::note
予約購入していたオライリーの Iceberg 本が、ついに届きました〜！ ということで、まずは概要編の第一章の内容をダイジェストでお届け！
みんなで楽しく「ナイスバーグ！」と叫びあった記録として、こちら↓のまとめもあわせてご覧ください。
https://togetter.com/li/2382957
:::


### 第14回 Iceberg Summit 参加してみた
2024/6/6(木) 配信　メインスピーカー：すぎやま

https://x.com/i/spaces/1djGXNPjYdvxZ

:::note
開催されたばかりの Iceberg Summit で、ビッグデータの最前線に触れてきたレポート。いまどきらしい配信スタイルや、 Iceberg の産みの親・Ryan Blue の熱いメッセージなどをゆるく楽しくお届けしています。
:::

### 第13回 生成AIのいまさら聞けない話
2024/5/30(木) 配信　メインスピーカー：びん

https://x.com/i/spaces/1BRJjPBammwKw

:::note
「生成AI イコール ChatGPT」の一歩先へ。生成AIが動く仕組みや、企業で活用する際のポイント、データ分析に関連する活用方法などをやさしく説明した回です。
:::

### 第12回 お台場の中心でデータ愛を叫ぶ
2024/5/23(木) 配信　メインスピーカー：よしだ

https://x.com/i/spaces/1nAJEadZnWeJL

:::note
お台場で3日間にわたって開催された、ガートナー社主催のD&A(データ&アナリティクス)サミットに参加したメンバーたちが、イベントで感じたデータ活用の最前線と、日本企業に向かって叫びたい熱い思いを海浜公園の夕焼けの中で叫びました。
:::

### 第11回 食材がベクトルになる？！ ベクトルデータのすごさ！
2024/5/16(木) 配信　メインスピーカー：さの

https://twitter.com/i/spaces/1OyJAWeLmyeKb

（本編は7:12頃〜）

:::note
今、ベクトルDBが熱い！ 今話題のLLM（ChatGPTなど）を実務レベルで活用したり、「ほうれん草のおひたしは小松菜でも作れる」という情報を得たり、さまざまな場面に応用できるベクトルDBについて、わかりやすくご紹介✨
ツイートのまとめもあわせてご覧ください。
https://togetter.com/li/2367366
:::

### 第10回 最近気になるデータエンジニアリングの話題（主に Iceberg ）
2024/5/9(木) 配信　メインスピーカー：すぎやま

https://twitter.com/i/spaces/1kvJpvOAbawKE

:::note
最近 Iceberg に どハマりしているすぎやまさんから、Iceberg に関する最新情報やイベント情報のお知らせをお届け✨
:::

### 第9回 実は簡単に始められるストリーミング
2024/4/25(木) 配信　メインスピーカー：Bin

https://twitter.com/i/spaces/1OdKrjpYlDpKX

:::note
「ストリーミング」という言葉がまだ浸透していなかった時代に、 Zookeeper を使ってストリーミングを自前で実装？！ そんな経験談を経て、今のストリーミングがいかに便利で簡単になったかをご紹介しつつ、第0回で浮上した「真のストリーミングとは？」の伏線もついに回収！
:::

### 第8回 初心者にやさしいストリーミングの前提知識
2024/4/18(木) 配信　メインスピーカー：さの

https://twitter.com/i/spaces/1MYxNopaQgNKw

:::note
前回の「ストリーミングことはじめ」で浮上した「Kuduはなんで速いのか？」という疑問に答えるべく、「そもそも Kudu が何で、どういう必要に迫られて登場したのか」を初心者なりに勉強して発表しました。絵も駆使しているので、[ツイートまとめ](https://togetter.com/li/2354445)と合わせてご覧ください✨
:::

### 第7回 ストリーミングことはじめ
2024/4/11(木) 配信　メインスピーカー：Bin

https://twitter.com/i/spaces/1dRKZEnRvvNxB

:::note
ストリーミングの話でご飯3杯はいけるという Bin さんによる「ストリーミングことはじめ」！ ラッキーセブンの放送回ながら、途中で「ラムダとカッパの呪い」と思しき怪現象も…？
まだまだ続く予感に満ちたストリーミング話の導入として、ぜひお聞きください。
:::

### 第6回 DE温故知新 あの技術の誕生秘話！

2024/4/4(木) 配信　メインスピーカー：よしだ＆すぎやま
https://twitter.com/i/spaces/1vOxwjvXZDoJB

:::note
最新技術がクラウドでよりどりみどりの現在ですが、そんな技術がどのように生まれてきたのか？ 誰の何の課題を解決するために、どんな苦労を経て生まれたのか？ そんな歴史を、いちエンジニアの目撃証言を通じてお伝えしています。
:::

### 第5回 Iceberg について語ろう

2024/3/28(木) 配信　メインスピーカー：すぎやま

https://twitter.com/i/spaces/1OwxWYAjMRDGQ

:::note
オープンソースで今いちばん熱いのは、Iceberg！（Iceだけど！）
Iceberg が何かわからない人も、ひとまず冷凍のハンバーグとは違うということさえわかってもらえれば・・・！
:::

### 第4回 Trino本発売記念

2024/3/21(木) 配信　メイン（ゲスト）スピーカー：高田美紀さん

https://twitter.com/i/spaces/1BRKjPVwdYWJw

:::note
[『分散SQLクエリエンジン Trino徹底ガイド』](https://www.amazon.co.jp/dp/4798071676?ref_=cm_sw_r_cp_ud_dp_T3JRRERC4D1B5Q5PNQ2A)の翻訳に参加された高田美紀さんを特別ゲストにお迎えし、Trinoの基本から運用のコツ、翻訳プロジェクトのお話などを伺いました。
この日のハッシュタグは、 #Trino本発売記念 です。
:::

### 第3回 クラウドやらかし事件簿

2024/3/14(木) 配信　メインスピーカー：Bin

https://twitter.com/i/spaces/1nAJEaknPPlJL

:::note
エンジニアなら誰しも一度はあるはずの、やらかし（or やらかされ）体験。
一流のデータエンジニアを目指すなら、一回くらい本番DBを drop しておくべき！？（←やめましょう）
:::

### 第2回 ビッグデータの歴史

2024/3/7(木) 配信　メインスピーカー：よしだ

https://twitter.com/i/spaces/1OyKAWvlgOyJb

:::note
金融企業でのストリーミングデータ分析導入から、ベンダーサイドまで様々な経験をされてきたわれらがリーダー吉田さんによる、ビッグデータの歴史トーク♪
:::

### 第1回 SMAPが解散したとき、サーバールームで起きていたこと

2024/2/29(木) 配信　メインスピーカー：すぎやま

https://twitter.com/i/spaces/1vOxwjRQVOgJB

:::note
第0回でアメリカに来られなかった杉山さんの自己紹介を兼ねて、ビッグデータの運用に関するリアルなネタをぶっちゃけトーク✨
:::

### 第0回 Cloudera 社員がマイアミで、真のストリーミングとは何かを語る

2024/2/15(木) 配信

https://twitter.com/i/spaces/1djGXNXgjVexZ

:::note
Cloudera 本社のあるアメリカの地から、テストを兼ねて第0回の配信✨
どんな感じになるのか探り探りの配信でしたが、「真のストリーミングとは？」という熱い議論も。
:::