微視的計測へのトライアル-- ADVNET2009 (2009/06/30)-慶應義塾大学 DMC機構
金子晋丈
本発表の一部は、(独)情報通信研究機構の委託研究「新世代ネットワー
クサービス基盤構築技術に関する研究開発」として実施しています。

Outline
微視的計測の必要性
過去の4K伝送の経験から計測技術の現状
e2e微視的計測の実例
ネットワーク内微視的計測システム

Keio University, DMC, kaneko@dmc.keio.ac.jp2

背景What is “4K”?

4K Quality
DCI 4K: 4096x2160
Quad HD: 3840x2160

Cinema quality
Resolution

2160

8M pixels image
HDHDHDHD

4096/3840

35mm film equivalent or moreless than 65mm film

Color space
Larger than TV(Rec.709)

Standards
DCI (Digital Cinema Initiative)
Keio University, DMC, kaneko@dmc.keio.ac.jp

5

4K Quantity
Still Picture
RGB 16bit: 50MB4096[pixel] x 2160[pixel] x 3[color] x 16[bit]

RGB 8bit: 25MB
4096[pixel] x 2160[pixel] x 3[color] x 8[bit]Motion Picture
YCbCr422 12bit 29.97fps Progressive: 6Gbps
3840[pixel] x 2160[pixel] x 3[color] x 12[bit] x  x 29.97[frm/sec]
1 min. : 41GB (recorder) -> 83GB (RGB TIFF 16bit)
25 min. : 1TB (recorder) -> 2TB (RGB TIFF 16bit)

Keio University, DMC, kaneko@dmc.keio.ac.jp

6Why 4K networking?

4K was originally developed for theapplication of optical fiber broadbandtransmission
4K data is too large to handle only within
one computer

Keio University, DMC, kaneko@dmc.keio.ac.jp

7Difficulties of4K Networking

GLIF 2007 Demonstration
GLIF: Global Lambda Integrated Facility
GLIF is an international virtual organization that
promotes the paradigm of lambda networking.

Keio University, DMC, kaneko@dmc.keio.ac.jp

9Technical Challenges
Venue: Prague in Czech
Remote color grading
HD Uncompressed Transmission
Color Grading control signal Transmission
Bi-directional HD teleconference

4K compressed streamingJPEG2000 transmission (~500Mbps) frommultiple sites over the world.

Keio University, DMC, kaneko@dmc.keio.ac.jp

10

4K Compressed
Transmission System
Video CODEC
JPEG 2000

Maximum Resolution
4096 x 2160

Sound Card
1000Base-T

JPEG2000 realtime
CODEC board

Color Space
RGB(4:4:4), YCbCr(4:2:2)

Color Depth
12bit

Frame Rate
24p, 30p

Audio
ADAT(8ch) x 3 = 24chOS
SuSE 9.1 (2.6.9smp)
Keio University, DMC, kaneko@dmc.keio.ac.jp

11Streaming Network

Shared withlocal Internet Services

Keio University, DMC, kaneko@dmc.keio.ac.jp

12

GLIF 2007
We couldn’t get smooth streaming
streaming application couldn’t receive all thedata in time.
Night time was OK. Day time was NG.
Amsterdam and San Diego were OK. Tokyo was NG.

What’s the problem?
Problem was that we didn’t have the way toevaluate the system.
OK or NGThe origin of the problem is still uncertain.
Shared network is the problem?
Other traffic? TCP spike?

Long distance transmission is the problem?
Multiple hops makes additional jitter.

End system itself?
Keio University, DMC, kaneko@dmc.keio.ac.jp

13Difficulties
It is very difficult to distinguish between
network problems and system problems.
SystemHardware? OS? applications?
Wiring? Cabling?
Clock?

NetworkHardware?
Configuration?
Bottleneck?
Packet loss?
Jitter?

Any tiny problem can make big troubles.
Keio University, DMC, kaneko@dmc.keio.ac.jp

14

計測技術の現状

ユーザが見る統計情報
MRTG
Weather Map
5分更新

Keio University, DMC, kaneko@dmc.keio.ac.jp

16

管理者が見る統計情報
show コマンド
router proxy

最短統計間隔30秒(設定可能：30-300)

エラーが0ならいい?!
エラーが0でも,,,telnet@DMC-SR_RX4#sho inter eth 1/1
10GigabitEthernet1/1 is up, line protocol is up
Hardware is 10GigabitEthernet, address is 000c.dbf5.2300 (bia 000c.dbf5.2300)
Configured speed 10Gbit, actual 10Gbit, configured duplex fdx, actual fdx
Configured mdi mode AUTO, actual MDIX
Member of 22 L2 VLANs, port is tagged, port state is Forwarding
STP configured to ON, Priority is level0, flow control disabled
Force-DSCP disabled
mirror disabled, monitor disabled
Not member of any active trunks
Not member of any configured trunks
Port name is T-LEX_5/3
MTU 9212 bytes, encapsulation ethernet
30 second input rate: 7899125248 bits/sec, 485253 packets/sec, 79.46% utilization
30 second output rate: 7899073478 bits/sec, 485203 packets/sec, 79.46% utilization
662628917809 packets input, 1084488069153242 bytes, 0 no buffer
Received 685242349 broadcasts, 169743351 multicasts, 661773932109 unicasts
0 input errors, 0 CRC, 0 frame, 0 ignored
0 runts, 0 giants, DMA received 662628917809 packets
781988184188 packets output, 1531667027540444 bytes, 0 underruns
Transmitted 29238196 broadcasts, 73093622 multicasts, 781885852370 unicasts
0 output errors, 0 collisions, DMA transmitted 781988184188 packets
Keio University, DMC, kaneko@dmc.keio.ac.jp

17

e2e微視的計測の例

e2e微視的計測の目的
安心してデモできる環境を構築したい「ネットワークを通過することでなにが起きるか」を利用者がパケット単位で正確に把握できるようになること
利用者
トラブル時に：「ネットワークの問題だよね」

ネットワーク管理者
苦情受付時に：『どうせネットワークの問題じゃないよ』
Keio University, DMC, kaneko@dmc.keio.ac.jp

19

e2e微視的計測の例
DMCからUCSDへの4K JPEG2000伝送6Gbps級のバックグラウンドトラヒック有り
エンドツーエンドの計測
パケットがネットワークを通過するのに要した時間を事後計算、度数分布化
2地点の時刻はハードウエアNTPで同期(同期のゆらぎはμsオーダ)
Keio University, DMC, kaneko@dmc.keio.ac.jp

20

計測方法
2つのパケットプローブの設置
エンドホストの前後に設置
プローブ間の時刻は高精度に同期済みパケットの通過時刻を計測

同期パッシブプローブ

 

パケットのハッシュ値も計算

通過時刻の差分を計算  



ハッシュ値によりパケット識別滞留時間の計算

Keio University, DMC, kaneko@dmc.keio.ac.jp

21

微視的計測の例

Keio University, DMC, kaneko@dmc.keio.ac.jp22

e2e微視的計測環境
インターネットとL2の定量的な違い
遅延時間、ジッタ
UIC(Chicago)

Internet
DMC(Tokyo)UCSD(San Diego)

Keio University, DMC, kaneko@dmc.keio.ac.jp23

網内微視的計測技術

網内微視的計測の目的
ユーザが安心して通信できる環境を提供
網品質の定量化(パケットロス以外の品質指標)
場合によっては計測結果を利用者に提示「ネットワーク機器の挙動」をパケット単位で正確に把握できるようになること
ネットワーク管理者『またあのスイッチか。。。』『さっきから危険レベルに達していたし。。。』

ユーザ「あそこのネットワーク使うのやめようか？」
Keio University, DMC, kaneko@dmc.keio.ac.jp

25計測結果(イメージ)「パケットダイヤグラム」
パケット単位のネットワーク機器通過情報

滞留時間分布C B
A
滞留時間

ルータAでロス  

 A

Keio University, DMC, kaneko@dmc.keio.ac.jp26計測システム全体像'#$*./)

#"B '#$*./)
-/!C

'#$*./)

'#$*./)

'#$*./)

-/!A
'#$*./)

$,(# '#$%#+'#$



/&

Keio University, DMC, kaneko@dmc.keio.ac.jp

27

計測方法
2つのパケットプローブの設置
ルータの前後に設置
プローブ間の時刻は高精度に同期済みパケットの通過時刻を計測

同期

パッシブプローブ
パケットのハッシュ値も計算

通過時刻の差分を計算 A


ハッシュ値によりパケット識別

滞留時間の計算

Keio University, DMC, kaneko@dmc.keio.ac.jp28

計測の流れ+>FB<50#%0'

+>FB<50#%0'

+>FB<50#%0'

+>FB<50#%0'
A6<>DHKC+>FB<50#%0'+>FB<50#%0'

94<;B A6<>DHKC
GK:C
,>FB<5=K ,>FB<5=K:0($! :0($!

A6<>DHKCGK:A,>FB<5=K:0($!(0"#%
A6<>0?<8EA6<>0&,>FB<5=K:0($!

*>FB<50
*>FB<50*>FB<50*>FB<50

*>FB<50*>FB<50)/12>FB<50(0->FB<50J 

web5F43I>

,>FB<5=K:0($!

,>FB<5=K:0($!

A6<>DHKCA6<>DHKCA6<>DHKC.>FB<500C BA

7K@     A

Keio University, DMC, kaneko@dmc.keio.ac.jp

29

まとめ

微視的計測の必要性
過去の4K伝送の経験からe2e微視的計測の実例
網内微視的計測システム

Keio University, DMC, kaneko@dmc.keio.ac.jp

30

Q&A