第 203 号・2023 年 7 月

住友電工テクニカルレビュー

情報通信

高い信頼性と可用性を備えた小型・高密度の高速イーサネット装置
High-Speed Ethernet Equipment with High Reliability and Availability

濱田洋平 *齊藤裕也

Yohei Hamada

Yuya Saito

芝晋吾

Shingo Shiba

滝澤神山真一井上徹

Shinichi Kouyama

康裕

Yasuhiro Takizawa

Toru Inoue

近年、様々なサービス分野と情報通信技術が融合し私達の生活に深く浸透することで便益がもたらされる一方で、通信インフラの障害が日常生活に及ぼす影響は大きく、通信機器はより高い信頼性、可用性が求められている。当社は高品質な5G 無線システムの運用に貢献する高速イーサネット装置を開発した。本稿では可用性に加えて上位通信装置の通信帯域に合わせた送信制御が可能なMC-LAG、高精度時刻同期の高信頼化の実現について述べる。

In recent years, the convergence of several services and information technologies has revolutionized our daily lives.
However, failures in communication infrastructures can have profound consequences, necessitating higher reliability andavailability of communication equipment. This paper focuses on our research and development efforts for high-speed
Ethernet equipment, specifically addressing MC-LAG (multi-chassis link aggregation) and precision time synchronizationin supporting high-quality 5G wireless systems.
キーワード：イーサネット装置、高可用性、高精度時刻同期、装置冗長、MC-LAG

1.

緒言

いる。

現代社会においてネットワークは不可欠な存在となってインターネットを含めたネットワークで広く利用されている。インターネットやクラウドサービスなど、様々なサーいる通信規格としてイーサネットがある。イーサネットはビスがネットワークを通じて提供されるようになり、私たIP（Internet Protocol）との親和性が高いことにより、家ちの日常においてネットワークは必要不可欠なインフラス

庭内やオフィス内などの LAN（Local Area Network）のトラクチャ―に位置づけられる。ネットワークを利用する

みならず、データセンター間や5G モバイルフロントホール

サービスは、高画質な映像や音声など、データ量の大きいなど多岐のネットワークで汎用的に利用されるようになっコンテンツが増加し、また、IoT（Internet of Things）てきた。

やビッグデータなど、データの収集や処理が必要な分野のサービス利用が増加している。

当社がイーサネットを利用した製品として、各家庭と通信局舎間を接続する FTTH（Fiber To The Home）向けシ

これらのサービスには、高速なネットワークが必要であステムがあり、2006年に開発した GE-PON システム（2）、り、年々ネットワークの帯域は増えている。令和4年版情ならびに2017年に開発した10G-EPON システム（3）が挙げ

報通信白書では、新型コロナウイルス感染症の感染拡大直られる。これらのシステムでは、物理的なネットワークの前の2019年11月から2021年11月までの2年間の間に、接続形態とは独立した仮想的な LAN セグメントを作ること国内のインターネットトラフィックは約2倍に増加していができる VLAN（Virtual LAN）や、ネットワークポート（1）る 。の冗長性を向上させる LAG（Link Aggregation）などのまた、企業や組織においては、クラウドサービスや SaaSイーサネットに関する技術を利用してきた。

（Software as a Service）などネットワークを利用するネットワークの高速化や様々なネットワークにイーササービスが普及している。従来のオンプレミス環境に比べネットを利用するという社会ニーズに対し、当社が保有すてコスト低減や柔軟性の向上などのメリットはある一方、るイーサネット技術を利用したイーサネット装置を開発しネットワークの信頼性が重要視されるようになっている。例

たので、本稿で報告する。

えばクラウドサービスの利用には常にインターネットに接

本稿の構成は以下の通りである。第2章では開発した高続している必要があり、ネットワークの不具合やトラブル

速イーサネット装置の装置仕様と、利用されるシステム構が業務の支障へ繋がる恐れがある。このような背景から、成を述べる。第3章ではネットワークの高信頼化を実現すネットワークの信頼性への要求が高まっており、特にリアる MC-LAG（Multi Chassis LAG）機能と、ネットワークルタイム性が求められるサービスや、クラウドサービスを内で高精度な時刻同期を実現する時刻同期機能（SyncE/利用する企業や組織においては、高い信頼性が求められてPTP）を紹介する。
高い信頼性と可用性を備えた小型・高密度の高速イーサネット装置

24（1）住友電工テクニカルレビュー

2.
2－1

第 203 号・2023 年 7 月

高速イーサネット装置

装置構成

視制御網と接続するための SSH ポートを2つと制御端末と直接接続するためのシリアルポートを1つ持つ。また、外部インタフェースとしてストレージ用の SD カードスロッ

当社の高速イーサネット装置の筐体外観を図1に、筐体トを持つ。

諸元を表1に示す。
本高速イーサネット装置の筐体は、制御ユニットが実装

表2

される制御用スロット1つと複数サイズのラインユニットを実装できるライン用スロット4つを持つ。

制御ユニット諸元

項目

仕様

ユニットサイズ（単位: mm）

79.0（W）×203.0（D）×37.5（H）※突起部含まず保守管理ポート

イーサネット（管理用） RJ45 2ポート

外部ストレージ

RS-232C

RJ45 1ポート

SDカード

SDHC 1スロット

ラインユニットの諸元を表3に示す。本ラインユニット(a) 筐体全体は4スロット分のサイズがあり、筐体あたり1個のラインユニットが実装できる。本ラインユニットは光トランシー
バ用ポートとして SFP28、QSFP28及び QSFP-DD フォー
ムファクタに対応したポートを搭載する。転送能力は最大800Gbps のスイッチ容量と2GB のパケットバッファを持ち、多数のユーザが同時に通信する状況においてもユーザ制御ユニットごとに専用バッファを割り当て、公平な通信を実現するこラインユニット(b) 筐体前面とが可能である。

表3

電源ユニットファンユニット

図1

筐体外観図

表1

筐体諸元

項目

仕様

ユニットサイズ（単位：mm）

330.4（W）×200.0（D）×37.5（H）※突起部含まずスイッチ容量800Gbps

パケットバッファ

2GB

MAC登録数

256千件

インタフェース

1/10/25GbE

SFP28×32ポート

100GbEQSFP28×2ポート
QSFP-DD×2ポート

電源ユニット(c) 筐体背面

ラインユニット諸元

本装置の基本機能諸元を表4に示す。ネットワークト項目

仕様

装置サイズ
（単位：mm）

筐体（19インチラック 1RU）
440（W）×450（D）×44（H）※突起部含まずスロット構成制御用

1スロット

続の管理・監視を可能とする CFM（Connectivity Fault

ライン用

4スロット

Management）などの機能を持つ。

電源

DC48VまたはAC100V
冗長構成／ユニットタイプ

空冷方式

ファンによる強制空冷ユニットタイプ、3スロット

消費電力

最大400W

ポロジに合わせて活用可能な Ethernet Service や VLAN
ごとに8class の QoS（Quality of Service）制御、L2接

表4
項目

仕様

Ethernet Service

MEF, E-LAN, E-Line, E-Tree

QoSClassification

8 class/VLAN

Ingress Policer

Port, VLAN, Class

Egress Shaper

Port, VLAN

本筐体では、制御部にもスロット方式を採用しており、用途に応じた装置制御インタフェースをもつ制御ユニットに入れ替えることを可能とする。制御ユニットの諸元を表2に示す。本制御ユニットは保守管理ポートとして、監基本機能諸元

Ethernet CFM

IEEE 802.1ag MEP/MIP

高精度時刻同期

IEEE 1588v2 BC/TC（Telecom Profile）
G.8273.2 Class C, SyncE

高い信頼性と可用性を備えた小型・高密度の高速イーサネット装置

25（2）住友電工テクニカルレビュー
2－2

第 203 号・2023 年 7 月

システム構成例

本高速イーサネット装置を用いたシステム構成例として
図2にモバイル基地局例を示す。

地域内網で活用するシステム構成例を図3に示す。本構
成例では局舎間を結ぶように本装置を用いる。MAC 学習を不要とした VLAN ベースのリング転送機能で通信することで、MAC 学習による意図せぬループトラフィックの増殖を抑止する機能を将来開発する予定である。

3.
3－1

高信頼性・可用性機能

MC-LAG

MC-LAG とは、マルチシャーシ・リンクアグリゲーションの略であり、2台のイーサネット装置を接続・連携させたリンクアグリゲーションを指す。リンクアグリゲーションとは、複数のポートを束ねて論理的に1リンクとして扱う技術である。一般的に、リンクアグリゲーションには2つの目的があり、第一に通信帯域の負荷分散、第二に冗長性の向上である。本稿では冗長性の向上（装置故障や装置停止を伴うメンテナンスによる通信サービスへの影響を最小化する）について述べる。
イーサネット装置を単独で運用したとき、装置あるいは
図2 システム構成例（モバイル基地局）

接続経路で障害が生じた場合にはサービスを維持することが困難となる。MC-LAG による冗長性の向上について図4に概要図を示す。

本構成例では、通信局舎の局側 SW として本装置を用いる。本装置は O-RAN アライアンスに準拠しており、異なるベンダー間の相互運用性に対応する。5G 以降では基地局サイトのセル範囲が狭まり、基地局サイト数が増加することから少ない光ファイバにより経済的かつ効率的に基地局サイトを収容するネットワーク網の構築が求められる。通信局舎において本装置を組み合わせることで冗長構成を持たせ、いずれかの経路が不通になった場合でも他の経路を通すことでサービスを継続することが可能である。また、親局装置の物理的なポート数が限定されている場合であっても本装置をハブとして用いることでより多くの子局装置を同時に接続することが可能とする。

図4

MC-LAG 冗長性の向上

本装置間をインタフェースポートを介して接続し、装置間連携として IEEE802.1AX-2020で規定された静的なリンクアグリゲーション、あるいはプロトコル（LACP: LinkAggregation Control Protocol）のハンドシェークを用いた動的なリンクアグリゲーションのいずれかを選択するこ
図3 システム構成例（地域内網）とができる。いずれのリンクアグリゲーションであっても2台の本装置が仮想的な1台として振る舞うため、2台の本高い信頼性と可用性を備えた小型・高密度の高速イーサネット装置

26（3）住友電工テクニカルレビュー

第 203 号・2023 年 7 月

装置の状態を意識することなく、対向装置（図中の5G モバも一定の送信レート上限を保つことが望ましい。これを実イルコア）を運用することが可能である。本装置間ではプ現するために、ポートの障害の前後で、そのポートの属すロトコル（DRCP: Distributed Relay Control Protocol）

論理的リンクの送信レートが上限帯域を超えないことを可を用いて対向装置との経路状態を含む情報を常に相互伝達能とする独自方式を組み込んでいる（図6）。

しており、経路障害が生じた場合には装置間で通信経路を調停の上、新たな通信経路を取り決める。また、装置故障により装置間の相互伝達が一定時間途絶えた場合、装置を跨ぐ通信経路を切り離し、各装置が独立して送受信する。
本装置の MC-LAG を利用した冗長性能として、障害発生時の切替性能を図5に示す。計測方法は、通信経路に1秒間に1000フレームを疎通させた状態から光ファイバを抜き、経路障害として経路切替時のフレーム欠損を測るものとした。

図6

図5

当社独自 通信量調整

通信経路切替性能

なお、論理的リンクの送信レート上限を一定に保つ独自方式は特許出願済みである。
3－2

高精度時刻同期

経路障害により経路切替が動作し、切替後のポートから本装置はモバイルネットワークなど、高精度な時刻同期疎通開始までは90ミリ秒、切替前と同等のレートに回復すに対応するため、SyncE（Synchronous Ethernet）、およるまで120ミリ秒、フレーム欠損数は121であった。切替び PTP（Precision Time Protocol）をサポートする。そ性能はフレーム欠損数から121ミリ秒となる。

れぞれの機能と本装置の性能を紹介する。

MC-LAG による冗長性の向上について述べてきたが、（1）SyncE冗長化の経路変更に伴うリンクの帯域変動が好ましくない

SyncE は ITU-T“International Telecommunication

ケースが存在する。リンクアグリゲーションは複数のポー

Union-Telecommunication Standardization Sector”

トを論理的に1リンクに束ねているが、リンクを構成してい（国際電気通信連合の電気通信標準化部門）で規定された

る一部のポートで障害や復旧が生じたとき、リンクの最大同期イーサネット（4）の規格で、参照となる転送元ポートの帯域が上下し、それに連動してリンクに流れるトラフィッ

イーサネット信号からクロック信号を抽出して、転送先ポークのレートが上下した場合、対向装置の受信部にて輻輳がトのイーサネット信号をクロック信号に同期させることで生じかねない。輻輳は、通信障害のよく知られているトリイーサネット網の周波数同期を可能にする（図7）。

ガーである。また、輻輳が想定される場合、その対応として受信側の装置に、例えば、高優先度トラフィックだけは遅延させないようにするための複雑な優先制御などが必要になり、ネットワークの設計が複雑になるだけではなく、高度な QoS 機能を備えたデバイスが必要になってコスト増につながる。
無線基地局装置と5G モバイルコア網の間に本装置を設置した場合を例にとって説明する。5G モバイルコアの高負荷は通信障害に繋がるため、本装置から5G モバイルコ

図7

SyncE 機能

ア網への送信レートは、平常時とメンテナンス時のいずれ高い信頼性と可用性を備えた小型・高密度の高速イーサネット装置

27（4）住友電工テクニカルレビュー

第 203 号・2023 年 7 月

図8に本装置の SyncE の同期精度を TIE（Time IntervalError）の測定結果として示す。TIE は転送元のクロック信号に対する転送先のクロック信号のタイミングのずれで、クロック信号が完全に同期していると TIE は変化しない。
測定は10G ポート間で行い、SyncE 無効の状態から測定を開始、約20秒後に有効、約40秒後に無効と変化させた。
開始時は無効（非同期状態）で周波数オフセットが58ppb（parts per billion; 10億分の1）とずれており TIE が増加している。有効（同期状態）に切り替わることで TIE が一定となり、周波数オフセットで -0.4 ppb と高い精度で同期している。無効（非同期状態）に戻した後もホールドオーバ

図9

PTP 動作モード機能で保持したクロック信号で動作しており、2.5ppb の周波数オフセットで動作できている。これは、ITU-T G.8262で規定される目標周波数精度の4600ppb を満足する。
本装置の PTP の時刻同期精度を Max｜TE｜（Time Error）の測定結果として表5に示す。Max｜TE｜はマスタ装置 - ス
レーブ装置間の最大時刻誤差である。図10は測定系の構成であり、PTP テスタの2つのポートがマスタ装置とスレーブ装置に相当し、2台の本装置に直列接続している。PTP
テスタと本装置は10G イーサネットで接続し、本装置間は10G、もしくは100G イーサネットで接続した。時刻同期精度は装置間の上り／下り伝搬遅延の差が誤差要因となる。本装置内のイーサネット LSI 内の遅延は時刻同期処理で補正されるが、上り／下りのファイバ長のずれや、光トランシーバの電気処理に起因する遅延変動が誤差要因とな
図8る。例えば、100Gbps 超の光トランシーバでは、電気イ

SyncE 同期精度（TIE: Time Interval Error）

ンタフェースにマルチレーン伝送プロトコルが利用されて（2）PTPおり、アライメント処理による遅延変動が懸念される。ま（5）
PTP は IEEE1588で規定された時刻同期プロトコル
で、た、光変調方式や誤り訂正処理等のデジタル信号処理によっマスタ装置 - スレーブ装置間で PTP メッセージを交換してても遅延変動が発生しうる。そこで、本装置間の伝送に種伝送路遅延を算出して補正することで、スレーブ装置の時別の異なる4種類の光トランシーバを使用して、時刻同期刻をマスタ装置に同期させる。

精度への影響を検証した。

本装置はTelecom ProfileのPTPに対応しており、マスタ装置 - スレーブ装置間に設置され、BC（Boundary Clock）と TC（Transparent Clock）の2種類のモードで動作することができる。
BC モードでは、マスタ装置に対して本装置がスレーブとなって時刻同期を行う。本装置が PTP パケットを終端して時刻情報を保存し、スレーブ装置に対しては本装置がマスタとなって時刻同期を行う（図9（a））
。スレーブ装置が多数の場合、本装置がマスタ装置の処理を代替するため、マ図10PTP 時刻同期精度測定系の構成スタ装置の負荷を抑えることができる。
TC モードでは、マスタ装置 - スレーブ装置間の PTP パケットを中継する際、PTP パケットの中継時間を計測し、PTP パケットの補正フィールドに打刻する（図9（b））。こ

表5に、トランシーバ種別毎に伝送ファイバの芯数と長れにより、マスタ装置 - スレーブ装置の時刻同期処理におさ、PTP の動作モード（BC/TC）の条件を変えて測定したいて、本装置の中継時間を除去できる。

Max｜TE｜を示す。2芯の10～40km 光ファイバを使用し本装置ではネットワーク構成に応じて、BC と TC を選択た場合、上り / 下りのファイバ長差に相当する遅延分だけできる。また、高精度なハードウェア・タイムスタンプ機

Max｜TE｜が増加している。サーキュレータを利用して1芯能を有しており、ナノ秒レベルの時刻同期が可能である。

ファイバで伝送した場合には Max｜TE｜は増加していない。
高い信頼性と可用性を備えた小型・高密度の高速イーサネット装置

28（5）住友電工テクニカルレビュー

第 203 号・2023 年 7 月

また、今回の測定では光トランシーバの種別と動作モード

執 筆 者 ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー（BC/TC）による影響は小さく、Max｜TE｜が15ns 以下の濱田

洋 平＊ ：情報ネットワーク研究開発センター
グループ長

芝晋 吾 ：情報ネットワーク研究開発センター
主査

神山

真 一 ：情報ネットワーク研究開発センター
主席

齊藤裕 也 ：情報ネットワーク研究開発センター

滝澤康 裕 ：情報ネットワーク研究開発センター
主査

井上

徹 ：情報ネットワーク研究開発センター部長

良好な結果が得られた。
これは、ITU-T で規定される装置当り最大時刻誤差30nsの Class C を満足している。この結果は採用した光トランシーバでの結果で、適切な光トランシーバを選定することで、高精度な時刻精度を実現できることを確認した。また、ファイバ長差による時刻誤差は固定であり、オフセットとして補正することが可能と考える。

表5

最大時刻誤差 Max｜TE｜測定結果

光トランシーバ

伝送ファイバ

Max｜TE｜（ns）

種別

芯数

芯数

長さ（km）BCTC

10GBASE-LR22091001210100GBASE-LR4*1210413710811015721020417721*

100G Open ZR+*242240

1*4
100G-ER1-30*3

11014930

1210（*1）100Gbps伝送、強度変調型（NRZ）、4波長、誤り訂正なし（*2）100Gbps伝送、コヒーレント型、1波長、誤り訂正あり（*3）100Gbps伝送、強度変調型（PAM4）、1波長、誤り訂正あり（*4）サーキュレータを利用して1芯ファイバに接続

4.

結言ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー＊主執筆者

本稿ではモバイル基地局やメトロリングで利用できる、高い信頼性を備えた小型・高密度な高速イーサネット装置の装置仕様や高信頼性・可用性機能について説明した。
本装置はスロット型筐体を採用しており、社会ニーズに応じた通信速度やネットワークポート数のラインユニットを実装できる。今後は、プラガブルな光コヒーレントトランシーバが収容可能なユニットの検討を進め、高速化ニーズに対応する。

参 考 文 献（1）	総務省、情報通信白書、令和4年版（2）	村田拓史、「GE-PONシステムの開発」、SEIテクニカルレビュー第168号、p. 42-47（2006年3月）（3）	清水浩行、「1G-EPON の更新と運用コストの低減を狙った10G-EPON
局装置」、SEIテクニカルレビュー第191号、p. 27-31（2017年7月）（4）	ITU-T 勧告、G.8261、G.8262、G.8264、G.8273 他（5）	IEEE 1588, Standard for a Precision Clock Synchronization
Protocol for Networked Measurement and Control Systems

高い信頼性と可用性を備えた小型・高密度の高速イーサネット装置

29（6）