Kubernetes 1.31: SIG-Network の変更内容

[Kubernetes 1.31](https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.31.md) の SIG-Network の変更内容をまとめました。v1.31ではnftablesがfeature gateの指定なしに設定可能となったり、ServiceのtrafficDistributionが利用可能となりました。

<details><summary>過去の SIG-Network の変更内容</summary><div>

- [Kubernetes 1.29: SIG-Network の変更内容](https://qiita.com/tkusumi/items/452d8ba0d7fa2e42b1be)
- [Kubernetes 1.28: SIG-Network の変更内容](https://qiita.com/tkusumi/items/eaec7845fb391346c768)
- [Kubernetes 1.27: SIG-Network の変更内容](https://qiita.com/tkusumi/items/e50129395698d2a15e73)
- [Kubernetes 1.26: SIG-Network の変更内容](https://qiita.com/tkusumi/items/bc3b6c8073c5b3785741)
- [Kubernetes 1.25: SIG-Network の変更内容](https://qiita.com/tkusumi/items/a41ed4ffd67dd7b3ed23)
- [Kubernetes 1.24: SIG-Network の変更内容](https://qiita.com/tkusumi/items/8ae63017abf763b0a22d)
- [Kubernetes 1.23: SIG-Network の変更内容](https://qiita.com/tkusumi/items/9516b7955c1c33d31e8e)
- [Kubernetes 1.22: SIG-Network の変更内容](https://qiita.com/tkusumi/items/2e3c69849ce2a4b50a90)
- [Kubernetes 1.21: SIG-Network の変更内容](https://qiita.com/tkusumi/items/a816626c258735bdc98f)
- [Kubernetes 1.20: SIG-Network の変更内容](https://qiita.com/tkusumi/items/5e1c420503cfa730d940)
- [Kubernetes 1.19: SIG-Network の変更内容](https://qiita.com/tkusumi/items/ee1e100d34465ff2d764)
- [Kubernetes 1.18: SIG-Network の変更内容](https://qiita.com/tkusumi/items/e72e255363f6deee3e9b)
- [Kubernetes 1.17: SIG-Network の変更内容](https://qiita.com/superbrothers/items/fd936c4046459a16609c)
- [Kubernetes 1.16: SIG-Network の変更内容](https://qiita.com/tkusumi/items/5fc2e12a4bb8931a2eed)
- [Kubernetes 1.15: SIG-Network の変更内容](https://qiita.com/summerwind/items/e1c8d649ed8c7ae44b83)
- [Kubernetes 1.14: SIG-Network の変更内容](https://qiita.com/summerwind/items/7ca97a5d6e3e2537ebca)

</div></details>

以下は、[Kubernetes v1.31 の Changelog](https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.31.md) を和訳したものです。:memo: の部分は筆者の補足になります。

## Deprecation

- なし

## API Change

<!--
- Added support to the kube-proxy nodePortAddresses / --nodeport-addresses option to accept the value "primary", meaning to only listen for NodePort connections on the node's primary IPv4 and/or IPv6 address (according to the Node object). This is strongly recommended, if you were not previously using --nodeport-addresses, to avoid surprising behavior. (This behavior is enabled by default with the nftables backend; you would need to explicitly request `--nodeport-addresses 0.0.0.0/0,::/0` there to get the traditional "listen on all interfaces" behavior.) ([#123105](https://github.com/kubernetes/kubernetes/pull/123105), [@danwinship](https://github.com/danwinship)) [SIG API Machinery, Network and Windows]
-->

- kube-proxyのnodePortAddresses / --nodeport-addressesオプションに、ノードの主要なIPv4および/またはIPv6アドレス（Nodeオブジェクトによる）のみでNodePort接続をリッスンするという意味の「primary」の値を受け入れるサポートが追加されました。これは、以前に--nodeport-addressesを使用していなかった場合、予期しない動作を避けるために強く推奨されます。（この動作はnftablesバックエンドでデフォルトで有効化されています。従来の「すべてのインターフェースでリッスンする」動作を得るには、そこで明示的に`--nodeport-addresses 0.0.0.0/0,::/0`を要求する必要があります。） ([#123105](https://github.com/kubernetes/kubernetes/pull/123105), [@danwinship](https://github.com/danwinship)) [SIG API Machinery, Network and Windows]

<!--
- Component-base/logs: when compiled with Go >= 1.21, component-base will automatically configure the slog default logger together with initializing klog. ([#120696](https://github.com/kubernetes/kubernetes/pull/120696), [@pohly](https://github.com/pohly)) [SIG API Machinery, Architecture, Auth, CLI, Cloud Provider, Cluster Lifecycle, Instrumentation, Network, Storage and Testing] [sig/network,sig/storage,sig/api-machinery,sig/cluster-lifecycle,sig/auth,sig/cli,sig/instrumentation,sig/testing,sig/architecture,sig/cloud-provider]
-->

- Component-base/logs: Go >= 1.21でコンパイルされた場合、component-baseはklogの初期化と共にslogをデフォルトロガーとして自動的に設定します。 ([#120696](https://github.com/kubernetes/kubernetes/pull/120696), [@pohly](https://github.com/pohly)) [SIG API Machinery, Architecture, Auth, CLI, Cloud Provider, Cluster Lifecycle, Instrumentation, Network, Storage and Testing]

<!--
- Graduated the `DisableNodeKubeProxyVersion` feature gate to beta. By default, the kubelet no longer attempts to set the `.status.kubeProxyVersion` field for its associated Node. ([#123845](https://github.com/kubernetes/kubernetes/pull/123845), [@HirazawaUi](https://github.com/HirazawaUi)) [SIG API Machinery, Cloud Provider, Network, Node and Testing] [sig/network,sig/node,sig/api-machinery,sig/testing,sig/cloud-provider]
-->

- `DisableNodeKubeProxyVersion` feature gateはベータへ昇格しました。デフォルトでkubeletはもはや関連するノードの`.status.kubeProxyVersion`フィールドをセットしようとしなくなります。([#123845](https://github.com/kubernetes/kubernetes/pull/123845), [@HirazawaUi](https://github.com/HirazawaUi)) [SIG API Machinery, Cloud Provider, Network, Node and Testing]

<!--
- Made kube-proxy Windows service control manager integration (`--windows-service`) configurable in v1alpha1 component configuration via `windowsRunAsService` field. ([#126072](https://github.com/kubernetes/kubernetes/pull/126072), [@aroradaman](https://github.com/aroradaman)) [SIG Network and Scalability] [sig/network,sig/scalability]
users on the system.) ([#124152](https://github.com/kubernetes/kubernetes/pull/124152), [@danwinship](https://github.com/danwinship)) [SIG Network] [sig/network]
-->

- kube-proxyのWindowsサービスコントロールマネージャー統合（`--windows-service`）を、v1alpha1コンポーネント設定の`windowsRunAsService`フィールドを通じて設定可能にしました。 ([#126072](https://github.com/kubernetes/kubernetes/pull/126072), [@aroradaman](https://github.com/aroradaman)) [SIG Network and Scalability] [sig/network,sig/scalability]
users on the system.) ([#124152](https://github.com/kubernetes/kubernetes/pull/124152), [@danwinship](https://github.com/danwinship)) [SIG Network]

<!--
- Updated the feature MultiCIDRServiceAllocator to beta (disabled by default). Users need to enable the feature gate and the networking v1beta1 group to be able to use this new feature, that allows to dynamically reconfigure Service CIDR ranges. ([#125021](https://github.com/kubernetes/kubernetes/pull/125021), [@aojea](https://github.com/aojea)) [SIG API Machinery, Apps, CLI, Etcd, Instrumentation, Network and Testing] [sig/network,sig/api-machinery,sig/apps,sig/cli,sig/instrumentation,sig/testing,sig/etcd]
-->

- MultiCIDRServiceAllocator機能をベータへ更新しました（デフォルトでは無効）。この新機能を使用するためには、ユーザーはfeature gateとnetworkin v1beta1グループを有効にする必要があります。これにより、Service CIDR範囲を動的に再設定することが可能になります。([#125021](https://github.com/kubernetes/kubernetes/pull/125021), [@aojea](https://github.com/aojea)) [SIG API Machinery, Apps, CLI, Etcd, Instrumentation, Network and Testing]

## Feature

<!--
- Added support for kube-proxy iptables mode to track packets that were wrongfully marked invalid by conntrack and subsequently dropped by introducing `kubeproxy_iptables_ct_state_invalid_dropped_packets_total` metric. ([#122812](https://github.com/kubernetes/kubernetes/pull/122812), [@aroradaman](https://github.com/aroradaman)) [SIG Instrumentation, Network and Testing] [sig/network,sig/instrumentation,sig/testing]
-->

- `kubeproxy_iptables_ct_state_invalid_dropped_packets_total`メトリックを導入することで、kube-proxyのiptablesモードがconntrackによって誤って無効とマークされ、その後ドロップされたパケットを追跡するサポートが追加されました。([#122812](https://github.com/kubernetes/kubernetes/pull/122812), [@aroradaman](https://github.com/aroradaman)) [SIG Instrumentation, Network and Testing]

<!--
- Kube-proxy's nftables mode (--proxy-mode=nftables) is now beta and available by default. ([#124383](https://github.com/kubernetes/kubernetes/pull/124383), [@danwinship](https://github.com/danwinship)) [SIG Cloud Provider and Network] [sig/network,sig/cloud-provider]
-->

- kube-proxyのnftablesモード(--proxy-mode=nftables)がbetaとなりデフォルトで利用可能となりました。([#124383](https://github.com/kubernetes/kubernetes/pull/124383), [@danwinship](https://github.com/danwinship)) [SIG Cloud Provider and Network]
  - :pencil: デフォルトで利用可能ではありますが、proxy modeのデフォルトはiptablesモードのままです

<!--
- Promoted the feature gate `KubeProxyDrainingTerminatingNodes` to stable ([#125082](https://github.com/kubernetes/kubernetes/pull/125082), [@alexanderConstantinescu](https://github.com/alexanderConstantinescu)) [sig/network]
-->

- `KubeProxyDrainingTerminatingNodes` feature gateがstableへ昇格しました([#125082](https://github.com/kubernetes/kubernetes/pull/125082), [@alexanderConstantinescu](https://github.com/alexanderConstantinescu))
  - :pencil: この機能が導入された[PR](https://github.com/kubernetes/kubernetes/pull/116470)を確認する限り、NodeオブジェクトがTerminating or ToBeDeletedByClusterAutoscaler taint が付与された場合に、kube-proxyのヘルスチェックで503を返す機能のようです
    - これにより、Nodeが削除されることをLBが事前に知ることができるので、LBのメンバーから安全に削除する準備を進めることができます
    - ToBeDeletedByClusterAutoscaler は名前からもわかるようにClusterAutoscalerで定義されたtaintであり、この機能を利用したい方はNodeオブジェクトの削除前にこちらのTaintをつけるような仕組みを用意する必要があります

<!--
- The Service trafficDistribution field has graduated to beta and is now available for configuration by default, without the need to enable any feature flag. Services that do not have the field configured will continue to operate with their existing behavior. Refer to the documentation https://kubernetes.io/docs/concepts/services-networking/service/#traffic-distribution for more details. ([#125838](https://github.com/kubernetes/kubernetes/pull/125838), [@gauravkghildiyal](https://github.com/gauravkghildiyal)) [SIG Network and Testing] [sig/network,sig/testing]
-->

- ServiceのtrafficDistributionフィールドがbetaへ昇格しデフォルトで設定可能となり、featureフラグの必要がなくなりました。そのフィールドが設定されていないServiceは既存の振る舞いを維持します。詳細は https://kubernetes.io/docs/concepts/services-networking/service/#traffic-distribution をご確認ください。 ([#125838](https://github.com/kubernetes/kubernetes/pull/125838), [@gauravkghildiyal](https://github.com/gauravkghildiyal)) [SIG Network and Testing]

<!--
- The iptables mode of kube-proxy now tracks accepted packets that are destined for node-ports on localhost by introducing `kubeproxy_iptables_localhost_nodeports_accepted_packets_total` metric.
This will help users to identify if they rely on iptables.localhostNodePorts feature and ulitmately help them to migrate from iptables to nftables. ([#125015](https://github.com/kubernetes/kubernetes/pull/125015), [@aroradaman](https://github.com/aroradaman)) [SIG Instrumentation, Network and Testing] [sig/network,sig/instrumentation,sig/testing]
-->

- kube-proxyのiptablesモードは、`kubeproxy_iptables_localhost_nodeports_accepted_packets_total`メトリックを導入することで、localhostのnode-portsに向けられた受け入れられたパケットを追跡します。これにより、ユーザーはiptables.localhostNodePorts機能に依存しているかどうかを特定し、最終的にiptablesからnftablesへの移行を支援します。([#125015](https://github.com/kubernetes/kubernetes/pull/125015), [@aroradaman](https://github.com/aroradaman)) [SIG Instrumentation, Network and Testing]

<!--
- The kube-proxy command line flag `--proxy-port-range`, which was previously deprecated and non-functional, has now been removed. ([#126293](https://github.com/kubernetes/kubernetes/pull/126293), [@aroradaman](https://github.com/aroradaman)) [SIG Network] [sig/network]
-->

- 以前に非推奨とされ機能していなかったkube-proxyのコマンドラインフラグである`--proxy-port-range`は削除されました。([#126293](https://github.com/kubernetes/kubernetes/pull/126293), [@aroradaman](https://github.com/aroradaman)) [SIG Network]

<!--
- The name of CEL(Common Expression Language) optional type has been changed from `optional` to `optional_type`. ([#124328](https://github.com/kubernetes/kubernetes/pull/124328), [@jiahuif](https://github.com/jiahuif)) [SIG API Machinery, Architecture, Auth, CLI, Cloud Provider, Network and Node] [sig/network,sig/node,sig/api-machinery,sig/auth,sig/cli,sig/architecture,sig/cloud-provider]
-->

- CEL（Common Expression Language）のオプショナルタイプの名前が、`optional`から`optional_type`に変更されました。([#124328](https://github.com/kubernetes/kubernetes/pull/124328), [@jiahuif](https://github.com/jiahuif)) [SIG API Machinery, Architecture, Auth, CLI, Cloud Provider, Network and Node]

<!--
- Windows Kubeproxy will use the update load balancer API for load balancer updates, instead of the previous delete and create APIs.
-->

- Windows Kubeproxyは、以前の削除と作成のAPIの代わりに、ロードバランサーの更新のための更新ロードバランサーAPIを使用します。

<!--
- Deletion of remote endpoints will be triggered only for terminated endpoints (those present in the old endpoints map but not in the new endpoints map), whereas previously it was also done for terminating endpoints. ([#124092](https://github.com/kubernetes/kubernetes/pull/124092), [@princepereira](https://github.com/princepereira)) [SIG Network and Windows] [sig/network,sig/windows]
-->

- リモートエンドポイントの削除は、終了したエンドポイント（古いエンドポイントマップには存在するが新しいエンドポイントマップには存在しないもの）のみがトリガーされ、以前は終了中のエンドポイントでも行われていました。 ([#124092](https://github.com/kubernetes/kubernetes/pull/124092), [@princepereira](https://github.com/princepereira)) [SIG Network and Windows]

## Failing Test

- なし

## Bug or Regression

<!--
- Added metrics for the nftables kube-proxy mode rather than it reporting
metrics with "iptables" in their names. ([#124557](https://github.com/kubernetes/kubernetes/pull/124557), [@danwinship](https://github.com/danwinship)) [SIG Network and Windows] [sig/network,sig/windows]
-->

- "iptables"の名前を報告する代わりに、nftables kube-proxyモードのメトリクスが追加されました。 ([#124557](https://github.com/kubernetes/kubernetes/pull/124557), [@danwinship](https://github.com/danwinship)) [SIG Network and Windows]

  - :pencil: モード毎に専用のメトリクスを用意したようです

<!--
- Fix endpoints status out-of-sync when the pod state changes rapidly ([#125675](https://github.com/kubernetes/kubernetes/pull/125675), [@tnqn](https://github.com/tnqn)) [SIG Apps, Network and Testing] [sig/network,sig/apps,sig/testing]
-->

- Podの状態が素早く変更された時、endpointsのout-of-syncステータスを修正しました。([#125675](https://github.com/kubernetes/kubernetes/pull/125675), [@tnqn](https://github.com/tnqn)) [SIG Apps, Network and Testing] [sig/network,sig/apps,sig/testing]
  - :pencil: EndpointsSliceではなくEndpoint Controllerに対する修正のようです

<!--
- Fixed "-kube-test-repo-list" e2e flag may not take effect. ([#123587](https://github.com/kubernetes/kubernetes/pull/123587), [@huww98](https://github.com/huww98)) [SIG API Machinery, Apps, Autoscaling, CLI, Network, Node, Scheduling, Storage, Testing and Windows] [sig/network,sig/scheduling,sig/storage,sig/node,sig/api-machinery,sig/autoscaling,sig/apps,sig/windows,sig/cli,sig/testing]
-->

- e2eフラグの"-kube-test-repo-list"が効果を発揮しない可能性がある問題を修正しました。([#123587](https://github.com/kubernetes/kubernetes/pull/123587), [@huww98](https://github.com/huww98)) [SIG API Machinery, Apps, Autoscaling, CLI, Network, Node, Scheduling, Storage, Testing and Windows]

<!--
- Fixed an issue where the Service LoadBalancer controller was not correctly considering the `service.Status new IPMode` field and excluding the Ports when checking if the status was changed, resulting in the changed field potentially not to update the `service.Status` correctly. ([#125225](https://github.com/kubernetes/kubernetes/pull/125225), [@aojea](https://github.com/aojea)) [SIG Apps, Cloud Provider and Network] [sig/network,sig/apps,sig/cloud-provider]
-->

- Service LoadBalancerコントローラが`新しいIPModeのservice.Status`フィールドを正しく考慮せず、ステータスが変更されたかどうかを確認する際にPortsを除外していた問題を修正しました。これにより、変更されたフィールドが`service.Status`を正しく更新しない可能性がありました。([#125225](https://github.com/kubernetes/kubernetes/pull/125225), [@aojea](https://github.com/aojea)) [SIG Apps, Cloud Provider and Network]

<!--
- Fixed the bug where if Endpointslices mirrored from Endpoints by the EndpointSliceMirroring controller they would not reconcile if modified. were not reconciled if modified ([#124131](https://github.com/kubernetes/kubernetes/pull/124131), [@zyjhtangtang](https://github.com/zyjhtangtang)) [SIG Apps and Network] [sig/network,sig/apps]
-->

- EndpointSliceMirroringコントローラによってEndpointsからミラーリングされたEndpointSlicesが修正された場合、それらが再調整されないというバグを修正しました。([#124131](https://github.com/kubernetes/kubernetes/pull/124131), [@zyjhtangtang](https://github.com/zyjhtangtang)) [SIG Apps and Network]

<!--
- Fixed: during the kube-controller-manager restart, when the corresponding Endpoints resource was manually deleted and recreated, causing the endpointslice to fail to be created normally. ([#125359](https://github.com/kubernetes/kubernetes/pull/125359), [@yangjunmyfm192085](https://github.com/yangjunmyfm192085)) [SIG Apps and Network] [sig/network,sig/apps]
-->

- kube-controller-managerがリスタート中にEndpointsリソースに対応するが手動で削除され再作成された場合、endpointssliceが正常に作成できない問題を修正しました。([#125359](https://github.com/kubernetes/kubernetes/pull/125359), [@yangjunmyfm192085](https://github.com/yangjunmyfm192085)) [SIG Apps and Network]

<!--
- Updated description of default values for `--healthz-bind-address` and `--metrics-bind-address` parameters. ([#123545](https://github.com/kubernetes/kubernetes/pull/123545), [@yangjunmyfm192085](https://github.com/yangjunmyfm192085)) [sig/network]
-->

- `--healthz-bind-address`と`--metrics-bind-address`パラメータのためのデフォルト値の説明を更新しました。([#123545](https://github.com/kubernetes/kubernetes/pull/123545), [@yangjunmyfm192085](https://github.com/yangjunmyfm192085))

## Other (Cleanup or Flake)

<!--
- "`kubectl describe service`" and "`kubectl describe ingress`" will now use endpointslices instead of endpoints.
([#124598](https://github.com/kubernetes/kubernetes/pull/124598), [@aroradaman](https://github.com/aroradaman)) [SIG CLI and Network] [sig/network,sig/cli]
-->

- "`kubectl describe service`"および"`kubectl describe ingress`"はendpointsの代わりにendpointslicesを利用するようになりました。([#124598](https://github.com/kubernetes/kubernetes/pull/124598), [@aroradaman](https://github.com/aroradaman)) [SIG CLI and Network]

<!--
- Added a testcase to check hostname and hostNetwork. ([#124428](https://github.com/kubernetes/kubernetes/pull/124428), [@yashsingh74](https://github.com/yashsingh74)) [SIG Architecture, Network and Testing] [sig/network,sig/testing,sig/architecture]
-->

- hostnameとhostNetworkをチェックするためのテストケースを追加しました([#124428](https://github.com/kubernetes/kubernetes/pull/124428), [@yashsingh74](https://github.com/yashsingh74)) [SIG Architecture, Network and Testing]

<!--
- Finished initial generic controlplane refactor of kube-apiserver, providing a sample binary building a Kubernetes-like control plane, but without container orchestration resources. ([#124530](https://github.com/kubernetes/kubernetes/pull/124530), [@sttts](https://github.com/sttts)) [SIG API Machinery, Apps, Cloud Provider, Network, Node and Testing] [sig/network,sig/node,sig/api-machinery,sig/apps,sig/testing,sig/cloud-provider]
-->

- kube-apiserverの初期の一般的なコントロールプレーンのリファクタリングが完了し、Kubernetesのようなコントロールプレーンを構築するサンプルバイナリを提供しますが、コンテナオーケストレーションリソースは含まれません。([#124530](https://github.com/kubernetes/kubernetes/pull/124530), [@sttts](https://github.com/sttts)) [SIG API Machinery, Apps, Cloud Provider, Network, Node and Testing]

<!--
- Kube-apiserver: the `--enable-logs-handler` flag and log-serving functionality which was already deprecated is now switched off by default and scheduled to be removed in v1.33. ([#125787](https://github.com/kubernetes/kubernetes/pull/125787), [@dims](https://github.com/dims)) [SIG API Machinery, Network and Testing] [sig/network,sig/api-machinery,sig/testing]
-->

- Kube-apiserver: すでに非推奨となっていた `--enable-logs-handler` フラグとログ提供機能は、デフォルトでオフになり、v1.33で削除される予定です。([#125787](https://github.com/kubernetes/kubernetes/pull/125787), [@dims](https://github.com/dims)) [SIG API Machinery, Network and Testing]

<!--
- Migrated the pkg/proxy to use [contextual logging](https://k8s.io/docs/concepts/cluster-administration/system-logs/#contextual-logging). ([#122979](https://github.com/kubernetes/kubernetes/pull/122979), [@fatsheep9146](https://github.com/fatsheep9146)) [SIG Network and Scalability] [sig/network,sig/scalability]
-->

- pkg/proxyが[contextual logging](https://k8s.io/docs/concepts/cluster-administration/system-logs/#contextual-logging)を利用するようにしました。([#122979](https://github.com/kubernetes/kubernetes/pull/122979), [@fatsheep9146](https://github.com/fatsheep9146)) [SIG Network and Scalability]

<!--
- Removed GA ServiceNodePortStaticSubrange feature gate. ([#124738](https://github.com/kubernetes/kubernetes/pull/124738), [@xuzhenglun](https://github.com/xuzhenglun)) [sig/network]
-->

- GAとなっているためServiceNodePortStaticSubrange feature gateを削除しました。([#124738](https://github.com/kubernetes/kubernetes/pull/124738), [@xuzhenglun](https://github.com/xuzhenglun))

<!--
- Kubelet flags `--iptables-masquerade-bit` and `--iptables-drop-bit` were deprecated in v1.28 and have now been removed entirely. ([#122363](https://github.com/kubernetes/kubernetes/pull/122363), [@carlory](https://github.com/carlory)) [SIG Network and Node] [sig/network,sig/node]
-->

- Kubeletの`--iptables-masquerade-bit`と`--iptables-drop-bit`はv1.28で非推奨となっており、現在は完全に削除されました。([#122363](https://github.com/kubernetes/kubernetes/pull/122363), [@carlory](https://github.com/carlory)) [SIG Network and Node]

<!--
- Removed the last remaining in-tree gcp cloud provider and credential provider.
Please use the external cloud provider and credential provider from https://github.com/kubernetes/cloud-provider-gcp
instead. ([#124519](https://github.com/kubernetes/kubernetes/pull/124519), [@dims](https://github.com/dims)) [SIG API Machinery, Apps, Auth, Autoscaling, Cloud Provider, Instrumentation, Network, Node, Scheduling, Storage and Testing] [sig/network,sig/scheduling,sig/storage,sig/node,sig/api-machinery,sig/autoscaling,sig/auth,sig/apps,sig/instrumentation,sig/testing,sig/cloud-provider]
-->

- 最後に残っていたin-tree gcp cloud providerとcredential providerを削除しました。代わりに https://github.com/kubernetes/cloud-provider-gcp のexternal cloud providerとcredential providerを利用してください。([#124519](https://github.com/kubernetes/kubernetes/pull/124519), [@dims](https://github.com/dims)) [SIG API Machinery, Apps, Auth, Autoscaling, Cloud Provider, Instrumentation, Network, Node, Scheduling, Storage and Testing]

<!--
- Updated CNI Plugins to v1.5.0. ([#125113](https://github.com/kubernetes/kubernetes/pull/125113), [@bzsuni](https://github.com/bzsuni)) [SIG Cloud Provider, Network, Node and Testing] [sig/network,sig/node,sig/testing,sig/cloud-provider]
-->

- CNI Pluginをv1.5.0へアップデートしました。([#125113](https://github.com/kubernetes/kubernetes/pull/125113), [@bzsuni](https://github.com/bzsuni)) [SIG Cloud Provider, Network, Node and Testing]

<!--
- `kubectl describe service` now shows internal traffic policy and ip mode of load balancer IP. ([#125117](https://github.com/kubernetes/kubernetes/pull/125117), [@tnqn](https://github.com/tnqn)) [SIG CLI and Network] [sig/network,sig/cli]
-->

- `kubectl describe service`はinternal traffic policyとload balancer IPのip modeを表示するようになりました。([#125117](https://github.com/kubernetes/kubernetes/pull/125117), [@tnqn](https://github.com/tnqn)) [SIG CLI and Network]