論

インターネットアーキテクチャ技術論文特集

文

多重ルーチング型マルチホームアーキテクチャの提案
仁†∗

小柏 伸夫†∗∗

永見 健一††

中川 郁夫††

篠田 陽一†††

江崎宇多

近藤 邦昭††浩††††

A New Multi-Homing Architecture Based on Overlay Network
Satoshi UDA†∗ , Nobuo OGASHIWA†∗∗ , Kenichi NAGAMI†† , Kuniaki KONDO†† ,Ikuo NAKAGAWA†† , Yoichi SHINODA††† , and Hiroshi ESAKI††††

あらまし インターネットの発展に伴い，重要度の高いネットワークへの到達性の向上を目指したマルチホーム接続が広く行われるようになった．しかし，現在用いられているマルチホーム方式は，インターネット経路制
御に対するインパクトが大きく，更なるマルチホーム利用者の増加に耐えられない．また，障害時の到達性向上は実現できるが，流入トラヒックの制御が困難であるために，正常時にマルチホームによる複数の接続を有効に使い分けることが困難である．我々は，本論文で，これらの問題点を解決する新たなマルチホームアーキテク
チャとして多重ルーチングを用いたマルチホームアーキテクチャを提案する．本方式により，マルチホームの主目的である障害時の到達性の向上を実現しつつ，利用者数に対する対規模性の向上と，流入トラヒックの柔軟な制御を可能とする．
キーワード

インターネット，マルチホーム，多重ルーチング

1. ま え が き線で接続するマルチホーム接続 [1], [2] が広く利用されている．

インターネットは急激に拡大を遂げ，現在では，情現在広く用いられているマルチホーム接続は，利用

報通信における社会基盤の一つとなっている．この者網に対する経路到達性を経路制御システムの作用でように成長したインターネットにおいては，接続され冗長化し実現するものが一般的である．この方式では，

るネットワークの重要度も様々である．重要度の高い

特に，利用者網あてトラヒックの制御が難しいために，

ネットワークにおいては，接続回線の障害やふくそう

複数の接続をより柔軟かつ効率的に利用したいといっなどによるサーバへの到達性の喪失などの問題を回避た利用者の要求にこたえることが困難である．更には，するために，複数の接続事業者（ISP）等と複数の回

インターネット上の経路情報数の増加といった大きな問題を抱えており，更に多くの利用者がマルチホーム†

北陸先端科学技術大学院大学情報科学研究科，石川県
School of Information Science, Japan Advanced Institute of Science and Technology (JAIST), 1–1 Asahidai,

接続を利用することは困難である．
本論文では，既存マルチホーム技術の問題点をまとTatsunokuchi, Ishikawa-ken, 923–1292 Japan

めた上で，指摘した問題点を解決する新たなマルチ（株）インテック・ネットコア，東京都

ホームアーキテクチャとして多重ルーチング技術を用††

Intec NetCore Inc., 1–3–3 Shinsuna, Koto-ku, Tokyo,†††

136–0075 Japan

いたマルチホーム接続を提案する．そのアーキテク北陸先端科学技術大学院大学情報科学センター，石川県

チャに基づいてプロトタイプ実装及び運用実験を行っCenter for Information Science, Japan Advanced Institute of Science and Technology (JAIST), 1–1 Asahidai,
Tatsunokuchi, Ishikawa-ken, 923–1292 Japan††††

東京大学情報理工学系研究科，東京都

た経験をまとめる．

2. マルチホーム技術の現状と問題点

Graduate School of Information Science and Technology,
The University of Tokyo, 7–3–1 Hongo, Bunkyo-ku, Tokyo,
113–8656 Japan∗∗∗

現在，北陸先端科学技術大学院大学情報科学センター
現在，（株）インテック・ネットコア

1564

電子情報通信学会論文誌 B Vol. J87–B

現在のマルチホーム技術は，利用者網を複数の ISPへ接続し，経路制御システムの作用により利用者網に対する経路到達性を向上させるものが一般的である．
No. 10 pp. 1564–1573 2004 年 10 月

論文／多重ルーチング型マルチホームアーキテクチャの提案

マルチホーム接続利用者網は，そのアドレス空間を経の小さなアドレス空間の経路が占めるに至っている

路制御プロトコルを用いインターネットへ広告する．

（表 1）．これは，マルチホームをはじめとする小さな

該当利用者網あてのパケットは，この経路情報に基づ

アドレス空間の利用者の経路がインターネットの経路

き，いずれかの接続 ISP を介し該当利用者網へ到達の半数以上を占めていることを示す．

2. 2 複数接続の柔軟な制御と有効利用

する．
インターネットの適用領域が拡大し，情報化社会の

既存マルチホーム技術の大きな問題として，定常時

社会基盤となりつつあることから，エンドユーザ環境に複数の回線を効率的に運用することが困難なことがにおいてもインターネット接続の頑健性が重要となり挙げられる．マルチホーム接続の主目的は，障害時のつつある．しかし，既存マルチホーム技術は，次のよ

到達性の確保であるが，定常時に保持する複数の回線

うな課題を抱えており，そのままの形でエンドユーザを効率的に利用したいという要求は強い．

環境を含む広範囲に展開することは困難である．

•••

既存マルチホーム技術では，トラヒックの回線選択

インターネット上の経路情報の増加

は，経路制御システムの作用によりなされる．このた

複数接続の柔軟な制御と有効利用の難しさ

め，経路制御の枠内での制御に限られ，複数のリンク

マルチホーム利用者網の運用の難しさの使い分けは，パケットの始点とあて先の情報のみに

2. 1 インターネット上の経路エントリ数

基づいたものに限られる．例えば，マルチホーム接続

2003 年末にはインターネット上の経路数は 12 万において各接続 ISP の特性に違いがある場合（一方が経路を超え，今なお増加を続けている．経路数の増

広帯域・低品質，もう一方が狭帯域・高品質など），利加は，バックボーンルータのメモリ空間を圧迫するた用アプリケーションごとにこれらのリンクを使い分け

め，大きな問題となっている．このような経路数の増たいといった要求が生じるが，既存マルチホーム技術

加を抑制するため，CIDR（Classless Inter-Domainでは，このような要求にこたえることは困難である．

Routing）を用いたプロバイダ集約が広く用いられている [3], [4]．マルチホーム接続では，複数の接続を介クを制御し効率的な回線選択を行う取組みがなされてしての利用者網への経路到達性を確保するため，利用

おり，RouteScience PathControl（注 2），BIG-IP Link

者網のアドレス空間を利用者網が接続するすべてのController（注 3）等が製品化されている．これらは，受このような問題に対し，利用者網からの流出トラヒッ

ISP から広告する必要がある．つまり，多くの場合，
各 ISP は，マルチホーム接続する利用者のアドレス空表1間を経路集約することなくインターネットへ広告する

Table 1

必要があり（図 1），マルチホーム接続利用者ごとにインターネット上の経路数が 1 つずつ増加することになる（注 1）．
現在では，インターネット上の経路数の半数以上である約 6 万経路を，プレフィックス長 24 ビット以上

図 1 既存マルチホーム接続における経路広告
Fig. 1 Route advertisements on traditional
multi-homing.

インターネット上の経路数（プレフィックス長ごと）
A number of route entries on the Internet(by each prefix length).

Prefix 長
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

エントリ数
0
0
0
0
0
0
0
21
5
8
13
53
98
256
469
7,400

Prefix 長
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

エントリ数
1,666
2,991
8,446
8,458
6,011
8,997
8,498
59,378
78
87
13
19
31
1
0
20

（注 1）：利用者網の接続先 ISP が単一 ISP であれば該当 ISP における経路集約が可能であるが，冗長性確保の点で不安が残るため，このような形態は極めてまれである．
（注 2）：RouteScience 社：http://www.rootscience.com/（注 3）：F5 Networks 社：http://www.f5networks.com/

1565

電子情報通信学会論文誌 2004/10 Vol. J87–B No. 10

信者との間の経路特性を計測しつつ，動的に最適な経路を選択し，パケット送出リンクを制御するものである．しかし，これらは，CDN（Contents Distribution
Network）事業者等を主な対象とする製品であり，利用者網からの流出トラヒックの制御を目的としており，
流入トラヒックの制御においては，既存のマルチホーム方式と同等である．エンドユーザ環境での利用を意
識すると，流入トラヒックの制御が重要となるが，これらの手法では流入トラヒックの制御の実現は困難である．

2. 3 利用者側ルータの運用

図 2 提案マルチホームアーキテクチャの概要
Fig. 2 Overview of our proposed multi-homingarchitecture.

既存マルチホーム技術においては，マルチホーム利用
者網と ISP との間の経路制御には AS（Autonomous

ンネル等の仮想接続を用いて接続する．また，利用者

System）間経路制御プロトコルである BGP-4（Border Gateway Protocol version 4）[5] が用いられる．
BGP-4 による経路制御は，インターネットのバックぶ装置を導入し，仮想接続を終端する．例えば，二つ

ボーン上で用いられる高機能で複雑な経路制御プロトする利用者網は，2 種類（ISP-A 経由及び ISP-B 経

コルであり，この運用には高い技術を要する．

由）の仮想接続で DR と結ばれることとなる．UR に

利用者網側ルータにおいて，複雑な経路制御プロト

網側では利用者側終端装置（UR: User Router）と呼の ISP（ISP-A，ISP-B）を用いてマルチホーム接続

おいてこの仮想接続を終端する端点アドレスには，各コルである BGP-4 を運用する必要があることはマル

接続 ISP から割り当てられたアドレスを用いる．つまチホームの広範囲への適用において高い障壁となる．

り，ISP-A 側のリンクに割り当てられたアドレス，及更に，複数の接続のより有効な利用には，この BGP-4

び，ISP-B 側のリンクに割り当てられたアドレスであによる経路交換において繊細なパラメータ調整が必要

る．このように ISP-A 及び ISP-B から見ると利用者となる．エンドユーザ環境へのマルチホーム接続の導網は，それぞれの ISP のアドレスのみを用いた通信入を意識すると，より簡易な運用が可能な方式が求めを行っているように見え，また，インターネット上のられる．

ノードから見て，利用者網は DR の先に接続されてい3. 多重ルーチング型マルチホーム

るように見える．つまり，DR の運用事業者は仮想接前章で述べた既存マルチホーム技術の問題点を解決となる．

続により利用者にインターネット接続を提供する ISPするために，我々は経路制御技術だけに頼らない，多利用者網あてトラヒックは，DR においてパケット

重ルーチング技術に基づいたマルチホームアーキテク

解析とポリシに応じたパケット配送経路選択が行わ

チャを提案する．

れ，利用者あて仮想接続のいずれかを用いて UR へと

3. 1 提案アーキテクチャ概要

転送される．DR–UR 間の仮想接続は，利用者網の物

既存のマルチホーム方式において，流入トラヒック

理的な接続に対応しており，この DR の選択機能によの制御が困難な点に着目すると，その原因として，利り，利用者網あて各パケットの通るべき物理回線等を用者網へパケットを送出する側のルータが利用者の制

選択することが可能である．この経路選択機構におい御可能範疇にないことが挙げられる．そこで，提案方ては，一般的な経路選択手法（つまり，あて先アドレ

式では，トラヒック分散制御装置（DR: Distribution
Router）と呼ぶ装置をインターネットバックボーン（任意の ISP）上に導入し，利用者網あてのトラヒック

スのみに基づいた経路選択）を超えて，より詳細なパケットの特性まで解析した経路選択が可能である．例
えば，リアルタイムアプリケーションの通信に対してを DR を介して転送することとした．DR では，利用は低ジッタの経路選択を行うようなことも可能となる．

者網あてパケットを解析し利用者のポリシに応じたパ

また，各物理リンクのトラヒック状況を計測し，そのケット配送経路選択等を実現する（図 2）．

結果を回線選択ポリシにフィードバックすることで，利用者網と DR の間は，マルチホーム接続ごとにト1566

複数のリンクのトラヒックを同等にし回線の利用率を

論文／多重ルーチング型マルチホームアーキテクチャの提案

高めるような制御も可能である．

近い DR を経由し，仮想接続を通して各利用者網に設もちろん，マルチホーム接続において一部接続の障置された UR へと配送されることとなる．つまり，分害時にも利用者網への到達性を維持することは最も重散配置した DR は通常時は全 DR が利用者網あての要なことである．本アーキテクチャにおいては，経路

パケット配送を行うこととなる（図 3）．このように，選択機構と利用者網を接続する仮想接続の状態を，生全 DR が同等なパケットの中継処理等を行うために，

存確認パケットの利用などの手法で常時監視する．経

択ルールを変更する．これにより，障害のある経路をDR 間で利用者網などに関する情報を常に共有する．
DR の障害時，あるいは，DR の保守作業時には，DR からの利用者網経路情報広告を停止することで，該当 DR による利用者網あてパケットの中継処理を安パケット転送に用いなくなり，利用者網への接続性は全に停止することが可能である．該当 DR からの経路維持される．

広告が停止すると，それまで該当 DR で処理されてい路選択機構では，障害による仮想接続の切断を検出し，該当仮想接続を利用しない経路選択へと動的に経路選

3. 2 利用者網経路情報の広告

たトラヒックは，経路制御システムの作用により自動提案方式においては，利用者網が利用するアドレス

的に次候補の DR において処理されることとなる．

空間は，DR を運用する事業者に対して割り当てられまた，この構成により，DR の障害に対する耐故障

た CIDR ブロックから割り当てる．利用者網の経路情性の向上のみならず，パケット配送遅延の低減と並列

報は，複数の利用者網の経路情報を経路集約した上で処理によるトラヒック集中の回避といった利点も挙げ

広告する．

られる．先に述べたとおり，提案アーキテクチャでは，

これは，提案方式では，各利用者網が物理的にどの利用者網あてトラヒックは常に DR を介して配送さような ISP 等を介して接続されているかにかかわられるが，この影響で利用者網に対して直接配送を行っず，DR の先に同等に接続されているかのように見えた場合に対しての配送遅延が生じる．ここで，複数のるため，DR における経路集約が可能となるのである．
して挙げた，経路数の増加による経路制御システムへ

DR がインターネット上に分散配置されることで，この配送遅延を小さなものとできる．また，単一 DR 構
成では利用者網あてのトラヒックがすべて単一の DRの影響を大幅に改善することが可能である．

を介して配送されるために，DR の負荷増大が懸念さ

これにより，既存マルチホーム技術の問題点の一つとまた，利用者網の物理接続先に変更が生じた場合においても，本方式では，仮想接続の利用者網側端点が変更となるのみで，アドレス・リナンバリングなどのれるが，DR の複数化により DR でのパケット転送処
理を分散化できる．

3. 4 利用者網発トラヒックの取扱い必要はない．これも，仮想接続の利用者網側端点の変提案アーキテクチャでは，DR から UR の間に仮想

更後も，利用者網は変更前と同等に DR の先に接続さ接続を確立し，利用者網あてパケットは DR を介し仮れているかのように見えるためである．

想接続により利用者網へ配送される．本節では，逆方

3. 3 DR の複数化

向，つまり，利用者網発トラヒックの取扱いに関して

上述のアーキテクチャにより，利用者網への流入ト

述べる．

ラヒックの制御は可能となる．また，マルチホーム接続の本来の目的である，一部接続の障害時における利用者網への到達性の維持も可能である．しかし，利用者網あてトラヒックがすべて DR を介して配送される
アーキテクチャをとっているため，DR が単一点障害（a single point of failure）の要因となる．
この回避のために，複数の DR をインターネット上に分散配置することとする．全 DR は利用者網の URとの間に仮想接続を確立し，すべての DR から隣接

ISP 等に対し利用者網の経路情報を広告する．これにより，利用者網あてのトラヒックは，インターネット
上の経路制御システムの作用により，発信点から最もFig. 3図 3 複数の DR を用いた構成
Using multiple DRs for increasing reliability.

1567

電子情報通信学会論文誌 2004/10 Vol. J87–B No. 10

利用者網発のトラヒックに対しては，そのインター

経路切換が完了し到達性が回復する．

ネットへの送出手法として，仮想接続を用い DR を介

次に，マルチホーム利用者数の増加がインターネッ

して送出する手法と，仮想接続を用いず隣接 ISP を介

ト上の経路数に与える影響について述べる．既存方式

して直接送出する手法が挙げられる．

では，先にも述べたとおり，通常，利用者一つの接続

ところが，ISP においては，始点 IP アドレスを詐称ごとにインターネット上の経路エントリが一つ増加すした攻撃などを予防する目的で，自らが割り当てたアる．提案方式では，インターネットバックボーンへのドレス以外を始点とするパケットを拒絶する運用が広

経路広告は経路選択機構が行い，この広告時に経路集く行われている．このようなことから，直接隣接 ISP

約が可能である．これにより，利用者数の増加はバッへと送出する手法は実運用上現実的ではない．

クボーン上の経路数にほとんど影響を与えない．

そこで，本提案アーキテクチャにおいては，利用者

また，マルチホーム接続の複数の接続を有効に活用

網発のトラヒックも仮想接続を用い DR を介して配送するという点では，BGP-4 の広告コスト調整のみでしする．具体的には，UR においてパケットには仮想接か流入トラヒックを制御できない既存方式は，複数の続のためのカプセル化が施され，Anycast 技術を用いリンクにトラヒックを均等に割り振るといった制御や，ることで，利用者網から最近傍の DR へと導き，該当

アプリケーションの要求に応じた品質のリンクを使用

DR を介してインターネットへ配送する．

する制御などは不可能である．提案方式では，経路選

4. 評

価

択機構による柔軟な経路選択（ポリシルーチング）に
より利用者の要求に柔軟に応じられ，UR 側トラヒッ

4. 1 既存方式との比較

ク監視機能との連携により先に挙げたようなトラヒッ

本節では，我々の提案する多重ルーチング型マルチ

クの割振りなどが実現可能である．更に，この応用にホームアーキテクチャの評価として既存方式に基づく

より，パケット転送の拒否，あるいは，一定帯域幅にマルチホーム方式との比較を行う．ここでは，マルチ制限するといった処理も可能である．これは，利用者

ホームを行う主目的である障害時の利用者網（保護対網あての DoS（Deny of Service）攻撃などに対して

象ネットワーク）への到達性向上とともに，2. で述有効である．

べた既存マルチホームの問題点として挙げられる以下の項目に着目し比較した．

•

マルチホーム利用者の増加がバックボーン上の経路数に与える影響••

複数のリンクの有効な使い分けの容易さ

更に，マルチホーム利用者側の運用コストに関して
は，既存方式に高度な経路制御知識が必要であったのに比べ，提案方式では，経路制御などの複雑な運用は

DR の運用者（マルチホームサービスの提供者）が行うこととなる．利用者側は，UR の設置・運用を行う

マルチホーム接続ネットワークの運用の難しさことになるが，UR に実装されるユーザインタフェー

まず，マルチホーム接続の主目的である，障害時のス次第で利用者の作業は簡素なものとできる．特に，対象ネットワークへの到達性の向上効果に関して述べ

ポリシに基づくトラヒック制御などといった高度な機

る．既存マルチホームアーキテクチャでは，障害時に能を必要としないエンドユーザにおいては，提案方式

障害個所での BGP-4 による経路交換が停止すること

では「DR のアドレス」及び「利用者識別情報」のみ

により障害個所を経由する利用者ネットワークあてのの設定でマルチホーム接続の恩恵を得られる．

経路情報が消失し，他のネットワークを経由するもの

ここまで述べた項目を含め，表 2 にまとめた．これに変わることで実現されている．ところが，そもそもから，我々の提案手法は，既存手法の問題点を解決し

BGP-4 は頻繁な経路変更を想定したプロトコルでは利用者の要求にこたえつつ基本的機能である障害時のないために，障害を検出した後，経路が安定し到達性

到達性回復時間の短縮も実現していることがいえる．

が回復するまでにはネットワークの構成にもよるが 10

ここまでは，主にマルチホーム利用者の要求に基づ

秒から数分程度の時間を要する．我々の提案方式では，

いて比較を行ったが，インターネット全体の視点からDR–UR 間の生存確認により障害を検出し，該当トン
ネルを向いた DR の経路表エントリを非障害トンネル網に及ぼす影響に関しても考察する必要がある．特に，側に変更するのみで経路切換が完了する．このため，

下記の 2 点に関して比較する．

生存確認間隔にも依存するが，1〜数秒程度の時間で1568

インターネット全体に大きな影響を及ぼすものとして，•

トラヒック増加によるインターネットへの負荷

論文／多重ルーチング型マルチホームアーキテクチャの提案の増大

割当は，プロバイダ集約による経路集約効果を期待し，•制御情報の増加によるインターネットへの影響

一般に 20 ビット長前後で行われている．この結果か

まず，トラヒック増加によるインターネットへの負ら，ISP が RIR から割り当てられたブロックについ

荷増加に着目すると，提案方式ではマルチホーム利用て，ブロック全体の経路の広告に加えて，該当ブロッ

者網あてのパケットがすべて DR を経由して配送されク中のより細かな経路を広告するパンチングホールがることから，常に最短の経路によりトラヒックが配送多数行われていることが予想できる．

されるとは限らず，これにより全体として見た負荷のパンチングホールによる経路広告の多くの用途はマ増大につながる．しかし，DR の配置場所を検討する

ルチホームの実現である．マルチホーム接続では，各ことで，その影響を抑えることは可能である．つまり，ISP は利用者網のアドレス空間を集約することなくイ

多くのトラヒックの集まるインターネットエクスチェ

ンターネットへ広告する必要があるためである．

ンジ近傍に DR を配置することで大きな効果が期待で

表 3 は，より詳細な解析である．この表は，AS 17932
において受信した全経路情報から CIDR に従った割

きる．
次に，制御情報の増加によるインターネットへの影当が行われているアドレス空間を抽出し，RIR が割響に着目すると，ここまでも述べてきたとおり，既存当を行う際の最小割当単位と，実際にインターネット

方式ではマルチホーム利用者数の増加に伴うインター

上に流通している経路情報を比較している．この表か

ネット全体の経路情報の増加が深刻な問題となってら，最小割当単位が 20 ビット長程度のブロックでは，いる．経路数の増大は，インターネットの広い範囲の最小割当単位より細かな経路が多数存在しパンチング

ルータに大きな負荷を強いる．このことから，既存方ホールが多数生じていることが分かる．また，最小割式により，更に多くのマルチホーム利用者を収容する

当単位が 24 ビット長以上の空間では，最小割当単位

ことは，大きな危険性をはらんでいる．

4. 2 経路集約の効果
前節でも述べたとおり，提案方式では，経路広告時に経路集約が可能である．本節では，現状のインター
ネット上の経路数にマルチホーム接続が与えている影響をまとめ，提案方式の経路集約効果について既存マルチホーム方式と比較しその効果を評価する．

2. 1 で示したように，現在では，インターネット上の経路数の半数以上である約 6 万経路を，プレフィッ
クス長 24 ビット以上の小さなアドレス空間の経路が占めるに至っている．その一方で，RIR（Regional

Internet Registries）から ISP 等へのアドレス空間のTable 2表 2 既存方式と提案方式の比較
Comparison the proposed architecture withthe traditional method.

障害時に対する頑健性
トラヒック分割
ポリシに応じた制御
構造
セッション維持性
パケットフィルタリング
利用者数増大に対する耐性
ルータへの影響
ホストへの影響
運用・管理
ISP との協調

既存方式 提案方式
良
良
困難
良
困難
良
単純
やや複雑
良
良
困難
良
低
高
大
小
無
無
難解
容易
必要
不要

表 3 インターネット上の経路数（CIDR ブロックごと）
Table 3 Routing entries in the Internet in each CIDR
block.
ブロック
RIR
最小割当 経路数 過小経路広告
24.0.0.0/8
ARIN
20
0
0
20
1,169
442 (37%)
60.0.0.0/7 APNIC
62.0.0.0/8
RIPE
19
1,248
611 (48%)20
2,835 2,516 (88%)
63.0.0.0/8
ARIN
64.0.0.0/6
ARIN
20
13,703 10,703 (78%)
20
2,990 1,831 (61%)
68.0.0.0/7
ARIN
80.0.0.0/7
RIPE
20
1,656
715 (43%)20
31
5 (16%)
82.0.0.0/8
RIPE
193.0.0.0/8
RIPE
29
3,974
0 (0%)
194.0.0.0/7
RIPE
29
5,396
0 (0%)
24694
0 (0%)
196.0.0.0/8
ARIN
24
8,146
7 (0%)
198.0.0.0/7
ARIN
200.0.0.0/8 LACNIC
24
4,747
1 (0%)
2000
201.0.0.0/8 LACNIC
202.0.0.0/7 APNIC
24
13,39577 (0%)
24
14,26810 (0%)
204.0.0.0/6
ARIN
20
8,775 7,637 (87%)
208.0.0.0/7
ARIN
210.0.0.0/7 APNIC
203,665 1,951 (53%)
212.0.0.0/7RIPE
194,755 2,876 (60%)
216.0.0.0/8
ARIN
20
6,197 4,982 (80%)
20
1,514
843 (55%)
217.0.0.0/8
RIPE
20
1,301
360 (27%)
218.0.0.0/7 APNIC
220.0.0.0/7 APNIC
20473
212 (44%)
222.0.0.0/8 APNIC
2000
ARIN: American Registry for Internet Numbers
RIPE: Reseau IP Europeens
APNIC: Asia-Pacific Network Information Center
LACNIC: Latin American and Caribbean Internet
Address Registry1569

電子情報通信学会論文誌 2004/10 Vol. J87–B No. 10

より細かな経路はほとんど存在しない．しかし，これらの空間は，マルチホーム利用者への割当を前提とし最小割当単位を 24 ビット長程度に小さく設定されたものも多く，マルチホームの利用が細かな経路情報を増やしインターネット上の経路エントリ数を増大させていることに変わりはない．
提案方式によるマルチホームの実現では，複数のマルチホーム利用者間の経路集約が可能である．これにより，マルチホーム利用者ごとにパンチングホールが図 4 カプセル化によって生じる IP 断片化
Fig. 4 IP fragment arising in encapsulation.

生じることにはならず，通常のプロバイダ集約と同程度の集約が期待できる．現在，マルチホーム利用者の増加がインターネット上の経路数の増加に大きな影響を与えている．提案方式により，今後のマルチホーム
利用者増加による経路エントリ数の増加を抑制できる．

4. 3 仮想接続の利用による影響
4. 1 で触れたが，提案方式によるマルチホーム接続
では，トンネル等の仮想接続を介して転送を行うことによる影響が生じる．これは，パケットがトンネル中を配送される際，トンネル自体を示す IP ヘッダとトンネルヘッダがもとの IP パケットに付加されること

表 4 カプセル化前後のパケット長分布の比較
Table 4 Comparison a distribution of packet
lengthes between before/after encapsulation.
転送される
カプセル化前カプセル化後パケット長
構成比 （帯域） 構成比 （帯域）
20 〜
47
24.15
(2.16)
1.92(0.13)
48
2.89(0.27)
20.57(1.94)
255
32.23(5.28)
58.30(10.66)
49 〜
256 〜
511
7.31
(5.72)
6.24(4.77)
512 〜 1023
6.03
(7.73)
7.42(9.32)
1024 〜 1499
7.29
(19.67)
5.51(14.60)1500
20.10(59.17)22.06(64.94)計
100.00 (100.00) 122.02 (106.36)による．例えば，トンネル方式として GRE（Generic

Routing Encapsulation）[6] トンネルを用いた場合，最低 28 バイト（IP ヘッダ 20 バイトと GRE ヘッダ
8 バイト）が付加される．

ぞれ 100 として，パケット長ごとの比率をまとめた．

クを 24 時間観測し，パケット総数と消費帯域をそれ

インターネット上の各リンクには，そのデータリンク

更に，このトラヒックを提案手法におけるトンネルをの特性等に応じて MTU（Maximise Transfer Unit）

介して送った場合，つまり，48 バイト長のカプセル化が定められている．ここで，トンネル両端点間の MTU

ヘッダを付加し必要に応じて IP 断片化処理を行ったを 1500 と仮定すると，上記 GRE トンネルによる仮場合のパケット数及び消費帯域を示している．

想リンクの MTU は 28 バイトの縮退により 1472 バ

この結果から，カプセル化処理により，パケット数

イトとなる．ところが，実際のインターネット上には，が約 22%，帯域が約 6%追加消費されていることが分

パケットフィルタリング等の設定の誤りから MTU 超

かる．更に，パケット長ごとのパケット数分布にも変過の際の動作を正常に行えないネットワークが数多く化が見られる．まず，パケット長 48 バイトのパケッ

存在する．これは大きな問題であるが，MTU 超過処

トの増加が顕著だが，これはパケット長 1500 バイト

理を正しく行えないネットワークとの通信を維持するのパケットがカプセル化前により断片化された結果生ために，通常，構築するネットワークの MTU を 1500じたものである．更に，パケット長 1500 バイトのパ未満にしないという運用がなされている．先の GRE

ケットの増加，パケット長 48 バイト未満のパケット

トンネルの例では，仮想リンクの MTU として 1500の急減が見られる．

を維持すると，1472 バイトを超過するサイズのパケッ

このように，提案アーキテクチャがトンネルを用い

トをカプセル化した場合，トンネルの両端点間では IP

たインターネットと利用者網の接続を行っていること

断片化された状態で配送される．この場合，1500 バ

によりある程度の影響が生じることが観測された．こイト長の一つのパケットをトンネルを介して送達するの影響は，パケット数にしてみると 20%を超える増加

際には，1500 バイト長のパケットと 48 バイト長のパと大きなものであるが，帯域に対する影響はたかだか

ケットの二つのパケットに断片化し送達される（図 4）．

6%程度である．このたかだか 6%の帯域増に関しては，

表 4 は，インターネットバックボーン上でトラヒッ

提案アーキテクチャが提供するリンクの有効利用とト1570

論文／多重ルーチング型マルチホームアーキテクチャの提案

ラヒック制御に関する利点と比較するとその影響は限定的なものであるといえる．

5. プロトタイプ実装と動作実験
本提案の多重ルーチング型マルチホームアーキテク
チャの動作実証のため，プロトタイプ実装を行った．
本プロトタイプは，既存方式と比較し提案方式で新たに実現可能となった機能である利用者網への流入トラ
ヒックの細かな制御の実証を目的とした．本プロトタ
イプで実現した主要機能は，次のとおりである．

•••

DR–UR 間の仮想接続の確立
DR での利用者網あてパケット中継
DR からの利用者網経路広告•

DR における細粒度トラヒック制御
本実装は，UR 及び DR の実装から構成される．
DR–UR 間の仮想接続技術としては，IP over IP トン
ネリング技術の一つである GRE トンネルを採用した．
DR では，利用者網アドレス空間の経路広告機能，トラヒック制御に用いる仮想接続の管理，複数の仮想接
続へのトラヒック振分け，仮想接続の状態監視機能を実現する機能を実装した．UR では，仮想接続の確立
処理，仮想接続を介したパケットの受信処理を実現する機能を実装した．

UR 及び DR の実装は，ソフトウェアルータとしても広く用いられている NetBSD オペレーティング
システムに対して行った．この実装は，NetBSD 1.6
RELEASE に対するカーネル拡張と制御アプリケー
ションの実装からなる．
まずこの実装の機能試験として，実験網を用いた動作実験を行った．実験網は二つの ISP（AS1，AS2）とその両 ISP に接続する利用者網を模し，各 AS 内に DR（dr1，dr2）を，マルチホーム利用者網に UR（ur）を配置した（図 5）．この網上で，各 ISP 網内のノード（user）からマルチホーム利用者網内のノード
へのパケットが，提案アーキテクチャの設計どおり，

DR を介し，仮想接続（ここでは GRE トンネル）を
通り，UR へ伝送される基本動作の確認ができた．更に，DR において，利用者網あてトラヒックの処理ポリシを設定し，アプリケーション（ポート番号）ごとに異なった接続を介してパケットを配送することが可能となっている点も確認した．
また，上記実験網において一部の接続の障害時における障害検出と経路切換に関しても実験を行った．こ
こでは，利用者網の対外リンク 2 本を各々切断し，AS1

図 5 実験ネットワークトポロジー
Fig. 5 Topology of experimental network.

内のノード（user）と利用者網内のノード（user）との間での接続性を確認した．利用者網の接続のうち実際にトラヒックが流れている側の接続を切断したとこ
ろ，約 200 ms で仮想接続の生存確認機能が障害を検知しそのトラヒックが他方の接続を介しての配送へと自動変更されることを確認した（注 4）．更に，実アプリ
ケーションにおける実験として，DV（Digital Video）
による動画伝送アプリケーション DVTS（注 5）を用いた利用者網への動画配信中の回線切断実験を行ったが，回線切換の影響は目視上ほとんど気にならない範囲内（8 フレーム程度の脱落）であった．また，アプリケー
ションのセッション断なども生じないことを確認した．
更に，本提案システムの実運用における知見の獲得を目的とし，本実装を用いた実運用網上での広域運用実験を開始している．

6. 考察と課題
本アーキテクチャでは，利用者網あてのパケットは，
常に DR を経由して配送される．このため，利用者網
うへの最短経路による配送と比較すると，DR へと迂回するためにパケット配送時間の増加が懸念される．しかし，DR はインターネットバックボーン上に分散配置されるため，十分な数の DR を分散配置することで，その送達遅延の増加は軽微なものとできると考える．
この送達遅延時間の増加問題に関しては，DR の配置
状況と遅延時間に関し，予定している実ネットワーク（注 4）：今回の実験では，AS1 内の DR と利用者網の間の遅延が約20 ms であった．これに対し，仮想接続の生存確認間隔を 100 ms と静的に設定し実験を行った．
（注 5）：DVTS は DV フレームを UDP を用いて配送するアプリケー
ションであり，比較的高品質な網を想定しており，パケット脱落時の再送や受信側アプリケーションでのバッファリングは行われない．映像のフレームレートは 30 フレーム/秒で，約 30 Mbit/s の帯域を必要とす
る．

1571

電子情報通信学会論文誌 2004/10 Vol. J87–B No. 10

上での広域運用実験を通して評価する予定である．
マルチホームにおいて，障害時にも利用者網への到達性を確保することは重要であり，提案アーキテク
チャでは生存確認パケットによる障害検出が大きな役割を担っている．現状のプロトタイプでは，5. で述べたように生存確認間隔は静的に設定する必要がある．しかし，この確認間隔等は，DR–UR 間の帯域幅や送達遅延・ジッタなどに応じて適正値が異なることは明らかである．そこで，DR–UR 間の帯域幅や送達

Fig. 6図 6 複数の DR 群を用いた構成
A structure based on multiple DRs.

遅延・ジッタなどに応じて，確認動作のパラメータを動的に更新する拡張を施す必要がある．

り多くの利用者の収容が可能となる．実際には，イン本アーキテクチャは，既存のマルチホームアーキテ

ターネット上に分散して DR 設置個所を確保し，各個クチャの完全な代替をねらったものではない．DR は所に利用者グループ数ずつの DR を設置することと隣接 ISP に利用者網の経路を BGP-4 により広告する

なる．

こととなる．実際，DR を複数の ISP に接続するよう

また，4. 3 においては，トンネリングによる MTUな形態で運用する場合には，既存マルチホームアーキ

縮退の問題に関して述べた．筆者らは，トンネリング

テクチャに基づいた経路広告を行うこととなる．しかによる MTU 縮退の影響を回避するために，MTU 値

し，ここでの広告は利用者網経路が集約された状態でに影響を与えないトンネリング手法の開発を試みてい行われることから，マルチホーム利用者の増加がインる．これは，利用者網のアドレス空間が比較的狭域でターネット上の経路数に与える影響は軽微なものとなあることなどを利用し，カプセル化の際，IP ヘッダ圧る．このように，比較的大きなアドレス空間をマルチ縮技術等を用いることで MTU 縮退を防ぐものである．

ホーム接続する用途においては，既存アーキテクチャ
も有効な手段であるといえる．その一方で，提案アー

7. む す び

キテクチャは，既存アーキテクチャではなし得なかっ

本論文では，既存マルチホーム技術の問題点をまとた，エンドユーザを含めた広範囲へのマルチホームのめ，その解決として多重ルーチング型マルチホーム

適用を可能とするものである．

アーキテクチャを提案した．このアーキテクチャは，

エンドユーザへの本マルチホームの適用を考慮する

インターネット上の経路数の増加といった既存マルチと，対規模性に関する考察が不可避である．先に述べホームの大きな問題を解決するばかりでなく，利用者

たように，提案アーキテクチャでは複数ユーザ間でのアプリケーションの要求特性に応じた回線選択といっ

経路集約が可能となり，利用者数の増大が経路制御シた新たなサービス体系の実現への可能性をもっている．

ステムに与える影響は回避できた．更に，3. 3 で述べ更に，特に利用者網への流入トラヒック制御を実現た DR の複数設置により，DR でのパケット転送処理

するプロトタイプ実装を行い，その動作を確認した．

を分散化することは可能である．しかし，全 DR がまた，広域運用実験へ向けて，現在進めている実装の各利用者あての仮想接続を保持しているために，利用拡張や制御プロトコルの設計に関して議論した．

者数の増加により利用者や仮想接続の管理負荷が増大

謝辞

本研究は，総務省戦略的情報通信研究開発推する．このような利用者数の増加に対して，前章で述進制度「国際技術獲得型研究開発」の助成によって行

べた DR 群を複数用意することで対規模性の向上がわれている．関係者各位に深謝する．

可能である．最も単純な手法としては，図 6 のように，あらかじめ利用者を複数のグループに分け（1 群，

文[1]2 群，...），各グループに対応する DR 群（1 群の利用

port for multi-homed multi-provider connectivity,”

者を収容する DR 群として DR1A, DR1B, ...）を設置する．この場合，各 DR 群は群間で完全に独立してIETF, Jan. 1998.
[2]

1572

J. Hagino and H. Snyder, “RFC 3178: IPv6 multihoming support at site exit routers,” IETF, Oct.

動作可能であり，利用者の増加に対し，利用者グルー
プ及びそれに対応する DR 群を追加設置することでよ

献T. Bates and Y. Rekhter, “RFC 2260: Scalable sup-

2001.
[3]

Y. Rekhter and T. Li, “RFC 1518: An architecture論文／多重ルーチング型マルチホームアーキテクチャの提案
for IP address allocation with CIDR,” IETF, Sept.
1993.
[4]

V. Fuller, T. Li, J. Yu, and K. Varadhan, “RFC 1519:
Classless inter-domain routing (CIDR),” IETF, Sept.
1993.

[5]

Y. Rekhter and T. Li, “RFC 1771: A border gateway[6]

D. Farinacci, T. Li, S. Hanks, D. Meyer, and P.

protocol 4 (BGP-4),” IETF, March 1995.

中川郁夫

1993 東工大理工学研究科了．
（株）インテック入社．同社研究所にて，ネットワー

ク管理，大規模経路制御技術，次世代イン
ターネットに関する研究に従事．2002（株）
インテック・ネットコア取締役．現在，ネットワークの信頼性に関する研究に従事．

Traina, “RFC 2784: Generic routing encapsulation(GRE),” IETF, March 2000.

（平成 16 年 1 月 14 日受付，5 月 7 日再受付）

篠田

陽一

1983 東工大・工卒．1985 同大工学部博

士前期課程了．1988 東工大工学部助手．
1989 東京工業大学工学部（工博）．1991

宇多仁 （正員）

北陸先端科学技術大学院大学情報科学研究科助教授．現在，同大学情報科学センター
教授．

1997 東京理科大・理工卒．1999 北陸先端科学技術大学院大学情報科学研究科博士前期課程了．2004 同博士（情報科学）了．
同情報科学センター助手．現在，インターネットの高機能化及び運用技術に関する研
究に従事．

小柏

伸夫 （正員）江崎

浩 （正員）

1987 九州大学大学院修士課程了．同年，（株）東芝入社．CSR/MPLS 等の研究開発に従事．1998 東京大学博士（工学）．1998
東京大学計算機センター助教授．現在，同大学情報工学系研究科助教授．

1999 芝浦工大・システム工卒．2001 北

陸先端科学技術大学院大学情報科学研究科
博士前期課程了．2004 同博士（情報科学）
了．現在，（株）インテック・ネットコア勤務．インターネット経路制御に関する研究開発に従事．

永見

健一

1992 東工大理工学研究科了．
（株）東芝入社．CSR/MPLS 等の研究開発に従事．2001 東京工業大学工学部博士（工学）．
2002（株）インテック・ネットコア入社．現在，インターネット経路制御とネットワー
ク監視技術の研究開発に従事．

近藤邦昭

1992 神 奈川 工 大情 報 工学 科 了．1997（株）インターネットイニシアティブ入社．
BGP-4 の監視運用システムの開発等に従事．2002（株）インテック・ネットコア入社．現在，インターネット経路制御とネッ
トワーク監視技術の研究開発に従事．

1573