北海道企画振興部科学 IT 振興局

情報政策課御中

赤れんがギガネットを活用したブロードバンド基盤実証実験
第 3 四半期（2005 年 10 月～2006 年 3 月）
中間報告書（案）2006/03/31

特定非営利活動法人 北海道地域ネットワーク協議会

1

目次
1. 概要 ............................................................................................................................. 2
2. 実証実験と計測項目 .................................................................................................. 3
2.1.

inter-domain MPLS-IX実証実験 ....................................................................... 4

2.1.1.

LIVE! ECLIPSE 2005 Annular 中継実験の概要........................................... 4

2.1.2.

作業ログ.......................................................................................................... 72.2.

計測ツール検証................................................................................................. 102.3.

通信品質比較実証実験 ...................................................................................... 113. 考察 ........................................................................................................................... 133.1.

inter-domain MPLS-IX実証実験に関する考察 ................................................ 133.2.

計測ツール検証の考察 ...................................................................................... 163.3.

通信品質比較実証実験に関する考察................................................................. 173.4.

今期の総合評価と今後の課題 ........................................................................... 18

4. 今後の実証実験予定 ............................................................................................... 20
4.1.

distixとの相互接続(inter-domain MPLS-IX接続) ........................................... 204.2.

広域マルチメディアコミュニケーション通信品質実証実験............................. 204.3.

広報................................................................................................................... 20付録A. 参考文献...............................................................................................................21
付録B. 用語解説...............................................................................................................22
付録C. 実施計画...............................................................................................................24i

1. 概要本報告書では「赤れんがギガネットを活用したブロードバンド基盤実証実験」（以下「赤れんが実証実験」と略す）実施要領に基づいて、2005 年 10 月から 2006 年 3 月まで実施した作業・実験した結果をまとめる。
赤れんが実証実験は、電気通信事業者のバックボーン回線が未整備な過疎地域のブロードバンド化促進を図ることを目的としている。
このような趣旨を考慮して、本実証実験では、はじめに MPLS バックボーンの構築を行い、その後、ブロードバンドコンテンツの配信、品質計測技術の検証などの実験を行うものとする。MPLS を用いて構築されたバックボーンは、高速なバックアップ経路の切り替えを備えた高品質なインフラを実現するとともに、複数のサービスを相互に干渉させずに提供するために不可欠な「多重化・階層化」に対応したブロードバンド基盤として機能する。
今期は、「JGN2 上に構築されているMPLSを利用した広域分散IX（distix）」 と「赤れんが実証実験網」とを連携（以下「inter-domain MPLS-IX接続実証実験」と略す）し、2005
年 10 月 3 日にライブ！ユニバースを中心に実施された日食中継「 LIVE!ECLIPSE 2005Annular (L!E)」を道内 2 拠点（北海道大学「以後、”北大”と略す」、稚内北星学園大学「以後”wakhok”と略す」）に再配信を行い、検証の結果、inter-domain MPLS-IXが優位であることがわかった。
また、来期実施予定のトラフィックエンジニアリングを円滑に行う為の計測ツール検証と、北海道大学大学院理学研究科 – 名寄市立木原天文台間で使用するアプリケーションの挙動について事前に把握する為の通信品質測定を実施し、来期に繋がるデータを得る事が出来た。

2

2. 実証実験と計測項目
今期は、下記の実証実験及び計測を実施した。
１．inter-domain MPLS-IX 実証実験
2005 年 10 月 3 日に行われたライブ！ユニバースを中心に実施された日食中継「LIVE!ECLIPSE 2005 Annular (L!E)」を道内 2 拠点（北大、wakhok）に再配信を行いinter-domainMPLS-IXの運用要件について検証した。
使用計測ツール

計測用途

SmokePing

RTT（往復所要時間）計測

MRTG

通信量計測

２．計測ツール検証（Pathload）
パケットトレイン方式の計測ツールである Pathload により「赤れんが実証実験網の低負荷条件下での通信品質」を計測した。
使用計測ツール

計測用途

Pathload

可用帯域計測３．通信品質計測北海道大学大学院理学研究科 – 名寄市立木原天文台間で今後実施する予定である遠隔操作・遠隔会議等のアプリケーション挙動について事前に把握する為の通信品質計測（基礎データ取り）を実施した。
下記２つのルートの RTT 値を計測した。
①赤れんが実証実験網接続②インターネット経路接続

使用計測ツール

計測用途

SmokePing

RTT（往復所要時間）計測

3

2.1. inter-domain MPLS-IX 実証実験

2.1.1. LIVE! ECLIPSE 2005 Annular 中継実験の概要
実施日：2005 年 10 月 3 日
inter-domainMPLS-IX 実証実験を行う為に LIVE! ECLIPSE 2005 Annular 中継*（日食中継）を小金井から NORTH 北大 NOC を経由し wakhok、北大に伝送して、inter-domainMPLS-IX の運用要件等について検証した。
*ライブ！ユニバース、独立行政法人情報通信研究機構（NICT）等により行われた。
スペインマドリッドから東京小金井の NICT に伝送され、国内で受信希望拠点に再配信された。

マドリッド

NORTH boreo(MPLS-IX)

稚内北星学園大学
MPEG2-SD(PS)標質

boreo LSR*@札幌
distix LSR*@札幌

北海道大学
MPEG2-HD
高品位画質

ENOC
NICT@小金井

distix (MPLS-IX)
over JGN2* LSR : Label Switching Router
MPLSで使われる伝送機器

Copyright© 2005, Nextech Co.,Ltd. All Rights Reserved.

図1

LIVE! ECLIPSE 2005 Annular 中継実験概要図4

ネットワークの構成図及び計測経路を下図 2 に示す。

①RTT 計測②通信量計測(TO DISTIX CORE)

wakhok

稚内北星学園大

AYAME(wakhok)

R③通信量計測(To wakhok)④通信量計測(TO 北大学内)VideoBOX

boreo(MPLS-IX)
distix (MPLS-IX)

distixover JGN2

札幌 coreR

北大R
北大 LSR(J M5)

小金井
ENOC

R
AppGW
MPEG2-HDVideoBOXAppGW

CHIWAKU)

MPEG2-HDVideoBOX:
アナログビデオ信号の高画質MPEGリアルタイム圧縮・伸張が可能な小型セットトップボックス
AppGW：
MPEG2-HD映像配信・受信用ソフト（約22Mbpsのトラフィックを送信）

Copyright© 2005, Nextech Co.,Ltd. All Rights Reserved.

図 2 ネットワーク構成図と計測した経路

5

distix - boreo 間の詳細図を下図 3 に示す
distix 網と boreo 網は、NORTH 北大 NOC ルータ（Juniper M5）の内部で BGP によって経路交換されており、distix 網から一旦 NORTH 北大 NOC ルータで受信し、そこから boreo 網（北大、wakhok 等）へ配信している。

図３distix - boreo 間詳細図

distix (MPLS-IX)
over JGN2NORTH
北大NOC
ルータ

BGP

6boreo(MPLS-IX)

2.1.2. 作業ログ
中継実験時の準備作業工程を以下に示す。
１．映像受信地点のアレンジ
北大理学部（情報基盤センターへ再配信）：
MPEG2 HD を受信
稚内北星大学：帯域が 10Mbps なので MPEG2 を配信する Video BOX を使用
２．L2 と L3 のアレンジ
映像はマドリッド→小金井
小金井から RIBB 経由で全国へ
TODO：
北大と小金井の間で LSP を作成して、BGP で経路交換
稚内と小金井の間で LSP を作成して、BGP で経路交換
３．NORTH 北大 NOC ルータの役割①

MPLS 網のコアルータとして機能させる（稚内の LSP を distix に「中継」するため）②

distix のラベル配布と、boreo のラベル配布の中継ぎをする③

distix から BGP-MP でラベルをもらって、boreo 内に LDP で再配布する④ 自分も小金井と LSP を作成し、BGP で経路交換
４．wakhok の役割①

distix から割り当てられた/32 のアドレスのラベルを boreo 網内に配布②

distix からのラベル（北大経由）を受け取る③

小金井と LSP を作成して BGP で経路交換

7

LIVE! ECLIPSE 2005 Annular 中継実験時の赤れんが実証実験網における計測結果を以下に示す。
ライブ中継時の北大 – wakhok 間の①RTT 計測結果は次の図の通りである。

図4①網品質の安定度計測

8北海道大学に設置してある Juniper M5 ルータの赤レンガネットワーク接続インタフェースでの各通信量計測結果は下記図の通りである。

図 5 ②通信量計測（TO DISTIX CORE）

図 6 ③通信量計測（TO wakhok）

図 7 ④通信量計測（TO 北大学内）

9

0
12:00
13:00
14:00
15:00
16:00
17:00
18:00
19:00
20:00
21:00
22:00
23:00
0:00
1:00
2:00
3:00
4:00
5:00
6:00
7:00
8:00
9:00
10:00
11:00
12:00
13:00
14:00
15:00
16:00
17:00
18:00
19:00
20:00
21:00
22:00
23:00
0:00
1:00
2:00
3:00
4:00
5:00
6:00
7:00
8:00
9:00
10:00
11:00
12:00
13:00
14:00
15:00
16:00
17:00
18:00
19:00
20:00
21:00
22:00
23:00
0:00
1:00
2:00
3:00
4:00
5:00
6:00
7:00
8:00
9:00
10:00
11:00
12:00

2.2. 計測ツール検証

前期ではパケットペア方式である pathrate を使用したが、今回はパケットトレイン方式である pathload 計測ツールによる可用帯域幅測定検証を行った。

可用帯域計測結果は図の通りである。

Mbps
可用帯域幅測定値

302520

15

105

wakhok→北大（下限）wakhok→北大（上限）北大→wakhok（下限）北大→wakhok（上限）

図 8 赤れんが実証実験網の可用帯域幅計測

10

2.3. 通信品質比較実証実験北海道大学大学院理学研究科 – 名寄市立木原天文台間で今後実施する予定である遠隔操作・遠隔会議等の双方向通信のアプリケーション挙動について、事前に把握する為の通信品質計測（基礎データ取り）を実施した。
下記２つのルートの RTT 値を計測した。
①赤れんが実証実験網接続②インターネット経由①
赤れんが実験網

計測対象機器

計測機器

木原天文台

大学院理学研究科
北海道大学ネットワーク②The Internet
図 9 名寄木原天文台 - 北大院 理学研究科間計測※北海道大学内のネットワークは外部からの ping（ICMP）を遮断している為、計測には echoping による http ポートの応答で RTT 計測を行った。尚、同条件で比較する為、赤れんが実証実験網接続①も同様な方法で行った。

11

当期の、ある 10 日間の RTT（Round Trip Time：往復所要時間）計測結果を下図に示す。

図 10 網品質の安定度計測（①赤れんが実証実験網）

図 11 網品質の安定度計測（②インターネット経由）

12

3. 考察
以下に各計測結果に対する考察を述べる。

3.1. inter-domain MPLS-IX 実証実験に関する考察
inter-domain MPLS-IX を実装する事によって、接続している IX に限定するのではなく、各地域の IX 同士を連携（協働）する事により、階層的に広域な 2 拠点間の通信を可能にする。

上位 MPLS-IX

他の MPLS-IX に接続しているユーザーと通信する場合、IX

同 MPLS-IX 内では連携同士を連携し可能にする。

する必要はない

MPLS-IX

ユーザー

図 12 inter-domain MPLS-IX 階層イメージ図
今回の実証実験により遠隔地域のユーザーとピアリングし、高品質（高帯域）な映像を受信する事が実証できた。
次に今回の計測結果の詳細について下記に述べる。
図 5 から分かるように北海道大学に設置してある Juniper M5 ルータは、distix core からの大きなトラフィックを 17:00～18:20 と 18:50～19:20 間と２度受信している。
１度目のトラフィックは、wakhok 向けのトラフィック（図 11 参照）、2 度目のトラフィックは、北大向けトラフィック（図 12 参照）を受信しており、それぞれ図 6、図 7 にも送信トラフィックとして計測されている。
wakhok 向けの帯域は 10Mbps に制限されている為、MPEG2 を配信する VideoBOX を使用し、中継映像を効率よく受信（約 8Mbps）する事が出来た。図 4 の北大- wakhok 間
RTT 計測結果にも影響が表れている。
北大向けの帯域については特に帯域制限はされていない為、MPEG2 HD により、高品質な映像を受信（約 28Mbps）する事が出来た。

13稚内北星学園大(wakhok)boreo③ To wakhok

distix (MPLS-IX)(MPLS-IX)

over JGN2
distix札幌 coreRR

北大北大 LSR

小金井(J M5)

図 13 wakhok 向けのトラフィック(17:00～18:20)② TO DISTIX CORE

稚内北星学園大(wakhok)over JGN2

boreo③ To CHIWAKU

distix (MPLS-IX)(MPLS-IX)

distix札幌 core

RR北大 LSR

小金井(J M5)

図 14 北大向けトラフィック(18:50～19:20)

14北大これらの結果から、inter-domain MPLS-IX 下でも大容量のトラフィックを安定した状態で送受信する事が可能である事が実証された。
前回の沖縄中継時の RTT 計測では特に揺らぎはほとんど見られなかったが、今回のライブ中継中の RTT 計測（図 4）では揺らぎが計測された。この理由について、前回は 100Mbpsの物理帯域中約 40Mbps のトラフィックが流れており余剰帯域が充分（60Mbps 程度）であったのに対し、今回は 10Mbps 物理帯域中約 8Mbps のトラフィックが送信されており、余剰帯域の割合が少なかった為に計測に現れたと推測できる。
逆にこの少ない余剰帯域の中でも特に品質を落とす事なく映像配信できた事は、このinter-domain MPLS-IX 実証実験での成果は非常に大きい。

15

3.2. 計測ツール検証の考察
図 7 から分かるように、wakhok→北大向けの帯域計測結果は、20Mbps 前後の数値が計測された。これは、帯域制限の干渉によりこのような値になってしまったと推測でき、本来の帯域から考えても非常に予測がつき難い結果になった。
結論として pathload 計測は、シェーピング、ポリシングによる帯域制限下での計測については、正確な値を割り出す事は困難だといえる。
下図のように前回の pathrate での計測結果では物理帯域の値が安定して計測された。

Mbps
120
100
80
60
40

wakhok→北大（下限）wakhok→北大（上限）北大→wakhok（下限）北大→wakhok（上限）

9:00

10:00

8:00

7:00

6:00

5:00

4:00

3:00

2:00

1:00

0:00

23:00

22:00

21:00

20:00

19:00

18:00

17:00

16:00

15:00

14:00

13:00

12:00

11:00

9:00

10:00

8:00

7:00

6:00

5:00

4:00

3:00

2:00

1:00

00:00

20

図 15 pathrate での計測結果
余剰帯域をもとめる現在有効な手段としては、pathrate 計測結果から、MRTG による通信量計測で得られたトラフィック量を差し引いた値を余剰帯域と推測するのが妥当であると考える。

16

3.3. 通信品質比較実証実験に関する考察
今期は、echoping による http ポートの応答で RTT 計測を行った為、TCP の３ハンドシェイク（パケットの送受信を 3 回行なう）により*下図 16 の ping 時の RTT と比較し 3 倍近い値になっている事に注意して頂きたい。
*赤れんが実証実験網接続①経路での計測対象に近いノードに対して ping によって実施した RTT 測定結果

図 16 ping を用いた RTT 計測
RTT 値について、図 10 と図 11 のグラフを比較した場合、縦軸の目盛の桁数に違いがあるので分かりにくいが、比較的インターネット回線の方も RTT 値の揺らぎは少なく安定した値が計測された。
しかし、①赤れんが実証実験網接続の RTT 値に対し②インターネット経由は、およそ 6倍近くの遅延が計測されており、遠隔会議や遠隔操作で使用するアプリケーションが安定よく動作するには、いささか困難だと予測される。
今回の計測により、今後実際にアプリケーションの操作感の比較をする上で参考になる計測結果が得られた。

17

3.4. 今期の総合評価と今後の課題
今 期 は 異 な る 運 営 組 織 の ネ ッ ト ワ ー ク イ ン フ ラ （ MPLS-IX ） を 階 層 的 に 連 携（inter-domainMPLS-IX）し、遠隔 2 拠点間の安定した大容量通信を実現した。
inter-domainMPLS-IX を利用する場合と、利用しない場合のコスト比較を以下に示す。

単一組織の MPLS-IX

利用者
利用者

inter-domainMPLS-IX※ 利 用 者 と MPLS-IX ② 間（同地域内）のアクセス回
線は低費用（2 万～3 万）なのでコストとして省く

MPLS-IX同士を連携させる事で遠隔 2 拠点間の通信を実現。

C4

MPLS-IX①

C2利用者（n）

MPLS-IX②

C3C1
仮に利用者が直接アクセス回線を引利用者

こうとすると莫大な費用が掛かる

C1：MPLS-IX①に対しての利用者側接続時の設定コスト
C2：MPLS-IX②に対しての利用者側接続時の設定コスト
C3：利用者側がアクセス回線を負担する場合のコスト
C4：運営側が連携作業によって発生するオペレーション技術や労力のコスト
n ：利用者数※C3 のコスト例：アクセス回線料金（釧路 ― 帯広間）10Mbps イーサネット月額 ¥284,000

図 17
1. 上記図 17 から C1+C3 と C2+C4 の比較である事が分かる。

18

2. 接続時の設定コストは、ほぼ同じなので C1 と C2 の値は比較対象から外す（C1≒C2）
3. 利用者数（n）が増えた場合 C3 は増えるが、C4 は一箇所のみでいいので増える事はない。
C3×n と C4 との比較となる
結果、利用者が増える度、inter-domainMPLS-IX を利用しない場合のコストは更に大きくなる事が分かる。加え、C4 のコストについては inter-domainMPLS-IX 実証実験は今回初めての試みであり、今後、運用手順を確立する事によってこのコストを削減する事も可能であると考えられる。このように今回の実証実験では inter-domainMPLS-IX の優位性を検証する事が出来た。今後の課題として、利用者が増え C3×n に対して C4 のコストの割合が減ってきた時に、いかに利用者負担（１人当たり）へ転嫁できるか等の枠組みを考えていく必要がある。
更に、帯域制限下での回線網の余剰帯域計測手法について検証を行った。（今日では、帯域制限下での余剰帯域計測手法は検討段階の状況である為、網利用者側から、計測する手法は確立されていない）。今回検証した結果として、3.2 の考察にあるように、どのような手法で余剰帯域を推測するかどうかについては、おおよそ絞る事が出来た。また、3.3 の考察で述べているように改めて２つの経路の RTT 値（遅延）に大きな差がある事が分かり、双方向通信を実施する上で参考になる計測結果が得られた。
次の四半期では、赤れんがギガネットの業務系の通信が保護されるべき場合（他の通信が影響を及ぼす恐れがある場合）を想定し、優先度の低い通信を他の回線網（インターネット回線等）に円滑に迂回させるようなトラフィックエンジニアリングを行っていく。計測手法についてはおおよそ絞られてきたものの、リアルタイムで計測値を把握する事についてはまだ課題が残っており、トラフィックエンジニアリングで即時性を高くする為にも克服する必要がある。そして、第 1～第 3 四半期までの結果を踏まえ、赤れんがギガネット網の評価と総合的な検証を行う。

19

4. 今後の実証実験予定
4.1. distix との相互接続(inter-domain MPLS-IX 接続)
・稚内北星学園大学による 東京遠隔 接続実験
日時：未定
稚内北星学園大学の東京サテライト校（秋葉原）と稚内北星学園大学本校との接続実証実験

4.2. 広域マルチメディアコミュニケーション通信品質実証実験
・遠隔会議システムを用いた boreo ミーティング
定期的に実施し、双方向通信の品質を計測する。

4.3. 広報「赤れんが実証実験」に関る広報を以下で行っている。
NORTH boreo ホームページ http://www.north.ad.jp/boreo/

20

付録 A. 参考文献

“Multiprotocol Label Switching Architecture”：IETF RFC3031“LDP Specification”：IETF RFC3036“smokeping” ：http://people.ee.ethz.ch/~oetiker/webtools/smokeping/
江崎浩、大橋信孝、中川郁夫、永見健一．MPLS 教科書“MRTG” ：http://people.ee.ethz.ch/~oetiker/webtools/mrtg/“Distix” ：http://www.distix.net/“JGN2” ：http://www.jgn.nict.go.jp/
IT 用語辞典 e-Words

21

付録 B. 用語解説¾

MPLSLSP（Label Switching Path）と呼ばれるパスに沿ってパケットを転送する高速コネクション型ネットワークを構築する技術。従来、ルータが他のルータから受け取ったパケットを別のルータに転送する際には、ルーティング情報として IP ヘッダを利用するが、MPLＳではこれの代わりに「ラベル」と呼ばれる短い固定長の識別標識を利用する。RFC3031 で、MPLS アーキテクチャを規定している。

¾LDP
MPLS がパケット転送に使用するラベルを配布するプロトコル。隣接ルータ間でラベル情報の交換を行う。RFC3036 で、LDP のアーキテクチャを規定している。

¾LSR
MPLS 対応ルータ(Label Switching Router : LSR)。

¾

ピアリング、プライベートピアリング相互接続することを意味する（インターネットトラフィックの交換）。プライベートピ
アリングは、２つの ISP を専用の回線によって接続することで相互接続を行う方法。これに対して IX を用いた相互接続では、多数の ISP が集まる「場」として IX を構築し、多数の ISP 間での相互接続（パブリックピアリング）を実現する。

¾BGP
大規模な TCP/IP ネットワークは、各組織が保有・運用する小規模なネットワークである「AS」(Autonomous System)を単位として、これを相互に接続した形態になっており、境界にあるルータなどの接続機器は経路情報を交換する必要がある。BGP はこの情報交換を行なうための規約の一種で EGP-2 に代わって登場した規格である。
現在では、インターネット上の AS 間での通信プロトコルの主流となっている。
最新のバージョンは BGP-4 で、EGP-2 と違って TCP を利用することで信頼性を上げ、また経路状態に変化があった時にのみ更新情報を送るなど、EGP-2 の問題点の多くが解消されている。ポリシー経路制御によって、経路設定にある程度の意図を持たせることも可能になっている。

¾

SmokePing
遅延やパケットロスをグラフィカルに表示することができる遅延計測ツール。

22

¾

RTT
RTT（Round Trip Time）は 2 点間におけるパケットの往復に所要する時間である。

¾

MRTG
MRTG（Multi Router Traffic Grapher）は、SNMP エージェントから取得したデータを加工してグラフ化するツール。

¾JGN2
独立行政法人情報通信研究機構が平成 16 年 4 月より運用を開始した全都道府県ならびに米国にアクセスポイントを持つ研究開発テストベッドネットワーク。次世代高度ネットワークを国内外の産・学・官・地域連携によって早期実現させ、我が国、経済社会の活性化と国際競争力の向上を目的としている。

¾distix
次世代 IX 研究会。distix が技術検証で構築している網は MPLS を利用した広域分散 IXである。（詳細は下記 URL 参照）
http://www.distix.net/¾NORTH boreo
北海道内学術・研究機関高速ネットワーク（詳細は下記 URL 参照）。
http://www.north.ad.jp/boreo/boreo_mpls_granddesign.files/frame.htm¾Pathrate
pathrate は，パスの中で最小の物理帯域幅となるボトルネックリンクの物理帯域幅の上限値と下限値を推定するツールである。pathrate は，パケットペアによる推定とパケットトレインによる推定を用いる¾Pathload
pathload はパスの可用帯域幅を推定するツールである。 pathload はパケットトレイン転送方式を用いて，測定対象パスの片道遅延の変化から可用帯域幅の推定を行う。

¾可用帯域推定ネットワーク内のあるリンクにおける利用可能な帯域を推定する。

¾トラフィックエンジニアリング
特定の通信回線だけにトラフィックの負荷が偏らないようにする（均衡にする）技術。

23

付録 C. 実施計画

スケジュール（予定）は以下の通りである。
実験項目‘04 年度
101112‘05 年度
123456706 年度
891011121234567

MPLS コアネットワー
ク構築

コンテンツ配信実験
QoS 向上実証実験(データ採取)総合検証
表 1 実施スケジュール

2004 年度下期
2004 年度は、参加組織の赤れんがギガネットワークへの接続を行い、さらに MPLS バックボーンの構築を行う。
2005 年度上期
本年度は、2004 年度下期に構築した MPLS バックボーンにブロードバンドコンテンツを配信し、通信計測を行う。
2005 年度下期
赤れんがギガネットワーク上に計測機器、被計測機器を設置して通信の信頼性を計測する。さらに inter-domain MPLS-IX 接続実証実験を行う。
2006 年度上期
これまでの結果を踏まえ、コンテンツの定期的な配信および計測・統計による通信状態の把握を通して赤れんがギガネット網の評価と総合的な検証を行う。

2489