Fluentd Update
Fluentdとパッケージの最新動向について

Kentaro Hayashi, Daijiro Fukuda
Fluentd ProjectOpen Source Conference 2024 Online/Spring2024-03-01
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

自己紹介✓ Fluentdプロジェクトのメンテナー

https://github.com/fluent/fluentd/graphs/contributors?
from=2022-01-01&to=2024-02-21&type=c
https://github.com/fluent/fluent-package-builder/graphs/contributors?
from=2022-01-01&to=2024-02-21&type=c
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

今回の発表内容✓ Fluentdとは✓ OSC2022 Online/Spring以降のできごと✓ Fluent Package LTSとは✓ Fluentd開発の最新トピック
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

今回の発表内容✓ Fluentdとは✓ OSC2022 Online/Spring以降のできごと✓ Fluent Package LTSとは✓ Fluentd開発の最新トピック
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

FluentdとはFluentd is an open source data collector thatunifies data collection and consumption.

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

Fluentdのないログ収集の世界

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

Fluentdのあるログ収集の世界

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

Fluentdを選ぶ理由✓ Flexibility✓ Scalability✓ Open source and community

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

Flexibility✓ 1000以上のプラグインを利用可能✓ プラグインを組み合わせることで様々な用途に利用可能✓ カスタムプラグインで拡張可能

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

プラグインは随時追加されていく✓ https://www.fluentd.org/plugins/all✓ 定期的にプラグインのリストを更新中✓ 2/末時点で1164プラグイン
直近2023/10以降だけでも+10増えた

Refs: [master], {upstream/master}
Author:ashie <ashie@users.noreply.github.com>
AuthorDate: Mon Feb 12 14:13:34 2024 +0000
Commit:ashie <ashie@users.noreply.github.com>
CommitDate: Mon Feb 12 14:13:34 2024 +0000
Update plugins.json
added plugins:* fluent-plugin-kafka-status

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

Scalability

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

Open source and community✓ 開発へ参加できるよ✓ https://github.com/fluent/fluentd✓ プラグインがコミュニティでメンテナンスされている✓ https://github.com/fluent-plugins-nursery

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

今回の発表内容✓ Fluentdとは✓ OSC2022 Online/Spring以降のできごと✓ Fluent Package LTSとは✓ Fluentd開発の最新トピック
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

OSC2022での発表(1)https://slide.rabbit-shocker.org/authors/kenhys/osc2022-online-spring-fluentd/
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

OSSを継続的にメンテナンスしていく
仕組みづくり (OSC2022)✓ パッケージをリリースするための仕組みを整備✓ プラグインを引き取る仕組みの紹介✓ よいフィードバックをもらうために工夫したことの紹介
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

OSC2022での発表(2)https://slide.rabbit-shocker.org/authors/ashie/osc2022-online-spring-fluentd/
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

Fluentdの最新情報 (OSC2022)✓ 開発体制の変化✓ v1.12〜v1.14のリリース内容の紹介✓ 最新情報の入手方法を案内✓ 今後の課題について
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

当時の発表内容のその後(1)✓ フィードバックをもらう工夫として
GitHub Issue Templateを整備😀

✓ ⇨サポートに必要な情報をもらいやすくなった
定型的な項目を記入して報告してくれる世界

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

当時の発表内容のその後(2)✓ GitHub Discussionsでのコミュニティサ
ポート😞

✓ 自由記入欄なので最初から必要な前提条件を共有してもらいにくい✓ わかっている人でないと相互の助け合いがしにくい✓ ⇨ GitHub DiscussionsのQ&Aにフォームテンプレートを導入✓ Q&A(Japanese)カテゴリの新設
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

Issue/Discussion テンプレート

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

当時の発表内容のその後(3)✓ td-agentの名前を変更するかも✓ ⇨fluent-packageに変更しました!

✓ LTS版を提供するかも✓ ⇨fluent-packageのLTS版提供をはじめました

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

当時の発表内容のその後(4)✓ v1.15系のリリース✓ YAML形式の設定ファイルを許容 GitHub#3712✓ out_fileの書き込み処理競合を修正 GitHub#3808✓ v1.16系のリリース✓ in_tailの不具合修正 GitHub#4208,GitHub#4327✓ 強制電源断等によるファイル破損への対応の強化
GitHub#3970

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

Open Source Summit Japan 2023での発表

https://slide.rabbit-shocker.org/authors/daipom/open-source-summitjapan-2023-fluent-package/
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

OSSummit Open Source Summit
Japan 2023での発表(2)✓ Fluent Package LTSの紹介✓ アップグレードするときの注意事項案内✓ 主要な変更点の紹介
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

今回の発表内容✓ Fluentdとは✓ OSC2022 Online/Spring以降のできごと✓ Fluent Package LTSとは✓ Fluentd開発の最新トピック
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

Fluent Package LTS✓ 2023年8月にv5としてリリース✓ td-agent v4の後継パッケージ✓ 2023年12月にtd-agent v4.xはサポート終了
https://www.fluentd.org/blog/schedule-for-td-agent-4-eol✓ 長期の安定運用におすすめ✓ セキュリティー、バグフィックスのみ✓ サポート期間を事前アナウンス
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

td-agent✓ 元々は Treasure Data 主体✓ 現在は コミュニティ 主体

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

Fluent Package✓ コミュニティ主体であることをパッケージ名に反映！

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

通常版とLTS版との違い

通常版
LTS (長期サポート版)

Fluentd Update - Fluentdとパッケージの最新動向について

サポート期間
約3ヶ月(td-agent相当)
約2年(事前アナウンス)
Powered by Rabbit 3.0.4

リリースサイクル
Scheduled Support lifecycle for Fluent Package
v4.5.0v4.5.1v4

v4.5.2v5.0.0v5.0.1v5.0.2v5.x

v5.0.x (fluentd 1.16.x T.B.D.)
v5.1.x (fluentd 1.17.x T.B.D.)
v5.0.x (LTS fluentd 1.16.x)
v5.0 (LTS)

Fluent Package v6.0.x (LTS)2023-07

2023-102024-012024-042024-072024-102025-012025-04

https://www.fluentd.org/blog/fluent-package-scheduled-lifecycle
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

LTSへの移行
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

LTS版へ移行するメリット✓ 長期間に渡り安心してアップデート可能！
✓ メジャーアップデートを計画的に準備可能！

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

td-agent v4からの移行方法✓ 基本的には通常のインストール方法でアップデート可能！
✓ 場合によってはマイグレート作業が必要✓ 移行方法はガイドを参考にしてね!
https://www.fluentd.org/blog/upgrade-td-agent-v4-to-v5✓ 日本語版もあるよ!

https://www.clear-code.com/blog/2024/1/24/upgrade-to-fluentpackage-v5-from-v4.html

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

プラグインの移行方法✓ 独自に追加したものは再インストールが必要✓ fluent-diagtoolで検出できるよ(v1.0.3以降)
td-agent v4では、まずツールをアップデート
Windowsでは、fluent-package v5.0.3から使えるようになる予定$ sudo td-agent-gem install fluent-diagtool$ /opt/td-agent/bin/fluent-diagtool -t fluentd -o /tmp...
[Diagtool] [INFO] [Collect] td-agent manually installed gem information isstored in tmp/20230901075350/output/gem_local_list.output[Diagtool] [INFO] [Collect] td-agent manually installed gems:[Diagtool] [INFO] [Collect] * fluent-plugin-concat...
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

今回の発表内容✓ Fluentdとは✓ OSC2022 Online/Spring以降のできごと✓ Fluent Package LTSとは✓ Fluentd開発の最新トピック
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

直近のリリース予定(1)✓ Fluentd v1.16.4✓ チャンクのサイズ制限を超えたときに例外が発生することがある不具合を修正
https://github.com/fluent/fluentd/pull/4342✓ T.B.D.

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

直近のリリース予定(2)✓ fluent package v5.0.3をリリース予定✓ Fluentd v1.16.4✓ Windowsにおける起動不具合の修正✓ td-agentからの移行処理の改善✓ 重複起動の防止 v5.0.4以降
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

Windowsにおける起動不具合✓ 環境によってはワーカープロセスを起動できない
td-agent v4.5.0以降
https://github.com/fluent/fluent-package-builder/issues/616✓ Windowsサービスの開始がタイムアウトエラーになることがある
fluent-package v5.0.0以降
https://github.com/fluent/fluent-package-builder/issues/618

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

td-agentからの移行処理改善✓ rpm: サービスの自動起動設定を引き継げるように改善
https://github.com/fluent/fluent-package-builder/pull/613✓ deb rpm: アップグレード時にファイル移行に失敗することがある不具合を修正
空白文字などを含むファイルに対応
https://github.com/fluent/fluent-package-builder/pull/615

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

重複起動の防止✓ 誤操作による重複起動の防止策を実装予定
https://github.com/fluent/fluent-package-builder/issues/611✓ e.g. バージョン表示すべくサービス起動中に/usr/sbin/fluentd -vを実行してはダメ-vはデバッグログレベルの指定。--versionが正しい

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

今後の課題・展望(1)✓ Fluentd✓ OpenTelemetry対応(プロトコル仕様の拡張)
Forward Protocol Specification v1.5

✓ in_tailの機能改善と整備✓ ダウンタイムなしの設定リロードとアップデート✓ 2038年問題への対応
T.B.D. See https://github.com/fluent/fluentd/milestone/13
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

今後の課題・展望(2)✓ Fluent Package LTS✓ 継続的な開発・リリース✓ fluent-packageの配布インフラをCNCFプロジェ
クトにスポンサーしてもらう✓ 持続可能なコミュニティサポート
Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4

まとめ✓ Fluentdの長期サポートが必要ならLTS版おすすめ！
✓ td-agent v4.xはEOLなのでfluent-packageLTSに移行しよう!

Fluentd Update - Fluentdとパッケージの最新動向について

Powered by Rabbit 3.0.4