Cloud Native NFV がチームにもたらしたもの
LINE株式会社
ネットワーク開発チーム
市原裕史

About Me
Hirofumi Ichihara● LINE Corporation●○●Engineering Manager○●Network Development Team
SDN/NFVCareer○○○

2012.4 Join Telco Company as Research Engineer
2018.12 Join LINE as Software Engineer
2021.7 Engineering Manager in LINE

Private Cloud in LINE

3

Verda & LINE Infra Scale
All Physical Servers
Peak of User Traffic
Baremetal server
Hypervisor
Virtual Machine

70000+
3Tbps+46000+7600+100000+

4

Function

Kubernetes

MySQL

CI/CD PIPE

Redis

PaaS

Elasticsearch

KafkaManagedServiceIaaS
Identity

VM

Object Storage Shared FSNetworkDNSBaremetal Load Balancer

Image

NAT

Block Storage

5

LINE Private Cloud Network

6

LINE Full L3 Network7

SRv6 Network with BGP

8Cloud Native NFV

9What is Cloud Native
クラウドネイティブ技術は、パブリッククラウド、プライベートクラウド、ハイブリッドクラウドなどの近代的でダイナミックな環境において、スケーラブルなアプリケーションを構築および実⾏するための能⼒を組織にもたらします。 このアプローチの代表例に、コンテナ、サービスメッシュ、マイクロサービス、イミュータブルインフラストラクチャ、および宣⾔型APIがあります。
これらの⼿法により、回復性、管理⼒、および可観測性のある疎結合システムが実現します。 これらを堅牢な⾃動化と組み合わせることで、エンジニアはインパクトのある変更を最⼩限の労⼒で頻繁かつ予測どおりに⾏うことができます。
Cloud Native Computing Foundationは、オープンソースでベンダー中⽴プロジェクトのエコシステムを育成・維持して、このパラダイムの採⽤を促進したいと考えてます。 私たちは最先端のパターンを⺠主化し、これらのイノベーションを誰もが利⽤できるようにします。
https://github.com/cncf/toc/blob/main/DEFINITION.md

10What is NFV

物理アプライアンスとして実現されていたネットワーク機器を仮想化環境上で実現

11Non-Cloud Native NFV

12Why is Non-Cloud Native?

●●●

API/リソースは独⾃定義
API ServerもGoでフルスクラッチ
管理⽤CLIも独⾃実装

13

Why is Non-Cloud Native?

●●●

宣⾔型のアーキテクチャを独⾃実装
リソースの⾃動復旧周りのロジックを独⾃に実装
etcdに関連するissueに度々遭遇

14

Why is Non-Cloud Native?
●

NAT Server構築はAnsibleによるデプロイ●

スケールアウト等で⼿動オペレーション

15

What is Cloud Native
クラウドネイティブ技術は、パブリッククラウド、プライベートクラウド、ハイブリッドクラウドなどの近代的でダイナミックな環境において、スケーラブルなアプリケーションを構築および実⾏するための能⼒を組織にもたらします。 このアプローチの代表例に、コンテナ、サービスメッシュ、マイクロサービス、イミュータブルインフラストラクチャ、および宣⾔型APIがあります。
これらの⼿法により、回復性、管理⼒、および可観測性のある疎結合システムが実現します。 これらを堅牢な⾃動化と組み合わせることで、エンジニアはインパクトのある変更を最⼩限の労⼒で頻繁かつ予測どおりに⾏うことができます。
Cloud Native Computing Foundationは、オープンソースでベンダー中⽴プロジェクトのエコシステムを育成・維持して、このパラダイムの採⽤を促進したいと考えてます。 私たちは最先端のパターンを⺠主化し、これらのイノベーションを誰もが利⽤できるようにします。
https://github.com/cncf/toc/blob/main/DEFINITION.md

16

Kubernetes based Cloud Native NFV (KloudNFV)●●●NFV Controller は k8s operator
として実装
NFV server は OpenStack VM
多様な機能を共通プラットフォーム(k8s)の上で実装

17

NFV Cloud Router Architecture

18

KloudNFV base resources

19

https://www.janog.gr.jp/meeting/janog48/linenfv-en/

KloudNFV resource managed by kubectl

20

Cloud Native NFV が何をもたらしたのか︖

21

NFV Rolling Update
対象のNFVのステータスをメンテナンスに移⾏し、ネットワークの経路から外す

NFVコンポーネントの更新を実施し、経路の広報を再開

次の対象のNFV VMに対して同様の⼿順で更新を実施

22

NFV Rolling Update
対象のNFVのステータスをメンテナンスに移⾏し、ネットワークの経路から外す

このアウトプットを(⾮ネットワークエンジニアの)バイトの学⽣がBGPの勉強から始めて2ヶ⽉で実施
NFVコンポーネントの更新を実施し、経路の広報を再開
https://engineering.linecorp.com/ja/blog/rollingupdate-vrouter-cluster/

次の対象のNFV VMに対して同様の⼿順で更新を実施

23New Feature: ACL Policy24New Feature: ACL Policy

実装⾃体はチームメンバー1⼈で2週間程度で完了

25

All products to KloudNFV

26

Cloud Native NFV がチームにもたらしたもの●●

開発速度の⼤幅な向上•

Kubernetes Operator ベースにすることで開発⼿法や運⽤を定形化、正解がわからない時は他社事例やOSSを参考にできる•

新規メンバーもすぐに⼿を動かすことができる

オペレーションミスやオペレーション時間の短縮•●

NFVサービスを宣⾔的APIとアルゴリズムで制御可能になったことで、オペレーションの⾃動化を加速させることができる

新しい⼈材の確保•

Kubernetes⼈材を積極的に採⽤できる/応募を期待できる

27

採⽤情報
• Software Engineer / Network Infrastructure / Private Cloud Platform
https://linecorp.com/ja/career/position/564• Senior Software Engineer / Network Infrastructure / Private Cloud Platform
https://linecorp.com/ja/career/position/3570

28

Thank you29