データ流通ワークショップ
発表要旨集

日時： 2016年3月29日（火）10時30分～17時15分
場所：東京大学地震研究所１号館２階セミナー室

本ワークショップは以下の研究プログラムの一部として援助を受け開催されたものです。
・災害の軽減に貢献するための地震火山観測研究計画(H26-30)研究課題「データ流通網の高度化」(課題番号1518)

当日参加者名簿（順不同）
植平 賢司
汐見 勝彦
晴山 智
増田 智彬
勝間田 明男大竹 和生
渡邊 智毅
関根 秀太郎
岩瀬 良一
村田 健史
一柳 昌義
岡田 和見
髙田 真秀
高橋 浩晃
山口 照寛
小菅 正裕
内田 直希
海田 俊輝
出町 知嗣
中山 貴史
平原 聡
山中 佳子
加納 靖之
山下 裕亮
松島 健
大久保 慎人
山品 匡史
平田 直
岩崎 貴哉
鷹野 澄
酒井 慎一
鶴岡 弘
宮川 幸治
出川 昭子
宮崎 裕子
工藤 佳菜子
藤田 園美
以上

37名

防災科研
防災科研
気象庁
気象庁
気象研
気象大学校
マリン･ワーク･ジャパン
地震予知総合研究振興会
JAMSTEC
情報通信研究機構
北大
北大
北大
北大
北大
弘前大
東北大
東北大
東北大
東北大
東北大
名大
京大防災研
京大防災研
九州大
高知大
高知大
東大地震研
東大地震研
東大地震研
東大地震研
東大地震研
東大地震研
東大地震研
東大地震研
東大地震研
東大地震研

データ流通ワークショップ
２０１６年３月２９日（火）10時30分～17時15分 地震研１号館２Fセミナー室
プログラム
座長

鶴岡

弘

10:30-10:40

平田直(地震研)

開会の挨拶

10:40-11:05

関根秀太郎(地震予知総合研究振興会)

地震予知総合研究振興会本部の観測点の2015年度の状況について
11:05-11:30

内田直希・平原聡・中山貴史・出町知嗣・鈴木秀市・海田俊輝・
堀修一郎・河野俊夫 (東北大学地震・噴火予知研究観測センター)

11:30-11:55

山品匡史・大久保慎人・田部井隆雄(高知大)東北大学のデータ流通網への接続と観測網運用
高知大学のデータ流通網への接続状況
11:55-12:20

一柳昌義・高橋浩晃（北大）, M. Valentin, Y. Levin（サハリン地震観測所）
日露地震観測併合処理による千島海溝沿いの震源決定の効果

12:20-13:20
座長

中川

昼食休憩

茂樹

13:20-13:25

テレメータ室の今後の体制について

13:25-13:50

村田健史（情報通信研究機構）・水原隆道、高木文博、福島啓介（クレアリンクテクノロジー）・
山本和憲、長屋嘉明（情報通信研究機構）・村永和哉（セック）・木村映善（愛媛大）13:50-14:15

松島

14:15-14:40

植平

14:40-15:05

大竹和生(気象大学校)

遅延・パケットロスに強い新しいデータ伝送プロトコルHpFP
健(九大)

衛星携帯電話利用のディマンド型テレメータおよびユビキタスユニット利用の間欠型テレメータの運用
賢司(防災科研)

日本海溝海底地震津波観測網（S-net）の進捗状況とWINフォーマットサンプルサイズ情報の追加
フレッツコアネットワークでのWINパケットの欠落について
15:05-15:20
座長

関根

休憩

秀太郎

15:20-15:45

加納靖之(京大防災研)
京都大学の利用状況とオープンサイエンスデータについて

15:45-16:10○鷹野澄・鶴岡弘・中川茂樹(地震研)

16:10-16:25

中川茂樹・鶴岡弘・鷹野澄・酒井慎一(地震研)

16:25-16:40○中川茂樹・鶴岡弘・酒井慎一(地震研)・加藤愛太郎(名大)・平田直(地震研)

16:40-16:55○鶴岡弘・中川茂樹・鷹野澄(地震研)

SINET5と次期JGNの今後の活用について
CIMSの改修について
長期間地震波形データ等解析システムについて
全国地震データ等利用系システムの改修について
16:55-17:15

討論

地震予知総合研究振興会本部の観測点の 2015 年度の状況について
公益財団法人 地震予知総合研究振興会 関根秀太郎（公財）地震予知総合研究振興会の観測点でデータを外部に送っている観測点
は長岡地域 40 点, 宮城 3 点，福島 5 点，下北地域（北海道側も含む）36 点の計
81 点の観測点のデータを各観測点から千代田区の振興会本部に送られた後，地震研究所経由で JDX-net に流れている．
（図 1）以下に各地域の観測点の状況を示す．
福島 A 地点および三程地点は，帰宅困難地域の設定がまだ解除されていない．
福島 A 地点に関しては，地震計等を引き上げ，休止観測点としている．また，三程地点はオフライン観測を行っている．
長岡地域の観測点においては，今年度は速度計がおかしくなった 4 観測点（下富岡，文納，高頭，東谷）において，地震計の引き上げ再設置を行った．また，
GLONASS 観測点においては，閏秒に伴いロガーの再起動を行った．
下北地域の観測点においては，今年度は，昨年度から導入を開始した電源制御装置を全点に導入した．
振興会本部のサーバにおいては，長らく受信部が一つしかなかった為，長期障害が発生した場合に非常に困るため，サーバの冗長化を行った．

図１：振興会公開観測点

東北大学のデータ流通網への接続と観測網運用
内田直希・平原聡・中山貴史・出町知嗣・鈴木秀市・海田俊輝
堀修一郎・河野俊夫 (東北大学	
  地震・噴火予知研究観測センター)

SINET/JGN-X 接続状況
	  東北大学では、JDXnet によるデータ交換を SINET と JGN-X により二重化している。
しかし、本年度末の SINET と JGN-X のプロジェクトの切り替わりにより、現在一連の構成の変更が進行中である。
	
  SINET は、2016 年 3 月 21 日に SINET4 から SINET5 へ切り替えが行われた。トラ
ブルにより、予定よりも時間がかかったが、無事移行が完了した。この移行に伴い、学内経路を光ファイバーの専用経路から学内ネットワーク（TAINS）に切り替えた。これにより、対外接続装置の障害による影響を受けにくくなった。
	
  JGN-X は次期プロジェクトでは、東北大のアクセスポイントがなくなるため、デー
タ交換の二重化を継続するため、SINET 回線を経由せず、東北大キャンパスに隣接す
る NICT 耐災害センターのアクセスポイントを活用して接続することを検討中である（４月中旬に協議）。ただし、物理的なケーブル敷設等の作業もあり、JGN-X でのデータ交換は一時中断される予定である。
地震/GNSS 観測点状況
地震観測点は、最適な通信回線への移行、電源バックアップの強化、データ伝送装置の更新等を進めている。特に、ISDN/ADSL 回線は新規申し込みが終了し、今後縮小していくことが見込まれる。可能な観測点は、他の回線への移行を検討し始めている。また、個別の観測点では青葉山、黒沢尻観測点での電車によるノイズの影響を調査し、比較的大きな影響がでていることを確認した。そのほか、地震観測点の波形の異常のチェックを省力化するため、観測データから異常を自動的に検出するための方法の検討を開始した。
GNSS 観測点では、機動性やランニングコストの削減のため、携帯電話を用いたデー
タ通信を積極的に用いている。今回、VPN ルータの設置により、通信回線が携帯電話である観測点においても VPN 構築を進めた。これによりセキュリティの強化や一部の通信サービスにおいてプライベート IP アドレスのみを払い出す仕様変更によるセンター側からのアクセスができなくなった問題の解決を行った。
	
 高知大学のデータ流通網への接続状況
高知大学理学部附属高知地震観測所

山品匡史・大久保慎人・田部井隆雄

はじめに
高知大学理学部附属高知地震観測所（以下「地震観測所」という。
）では昨年のデータ流通ワ
ークショップ以降、観測・データ流通関連で以下の作業を実施した。


全地震観測点における SINET DC 中継拠点利用への移行（2015 年 10 月 22 日～2016
年 3 月 23 日）



馬路観測点（KC.UMJ）の信号線の一部張替（2016 年 1 月 7 日）



全国地震データ等利用系システムの更新（2016 年 2 月 16 日～18 日）

高知大学 SINET4 → SINET5 切替（2016 年 2 月 28 日）

本発表では上記のうち、「SINET DC 中継拠点への移行」を中心に報告する。

SINET DC 中継拠点への接続
地震観測所では東京大学地震研究所の協力を得、高知大学の全地震観測点からの波形データ
を SINET DC 中継拠点を利用し JDXnet へ流通させる経路変更の作業を行った。接続のための申請や NTT 西日本への同意書の準備は 2015 年 2 月に終了したが、各観測点における移行作業
は 2015 年 10 月以降に始め、最終的に 2016 年 3 月に完了した（下表）。機器の設定ファイルの誤りなどによるトラブルを考慮し、移行作業開始当初は現地で作業を行ったが、設定ファイルや更新手順に問題がないことが確認できたことから後半は地震観測所からの遠隔作業により設定変更を行った。更新作業は、現地で、遠隔で行った場合共に 30 分程度で完了した。現地作業の場合、事前に新しい設定を行った予備機との交換を行うことで観測停止時間を 10 分程度に短縮できた。
なお、SINET DC 中継拠点を利用してのデータ流通については卜部ほか（2013, 2014）を、観測点

朝倉 (KC.AKR)

移行日2016-03-23（地震観測所）粟生 (KC.AOU)

回線

ルータ

デジタイザ

（NTT 西日本）（ヤマハ）（白山工業）

B フレッツRTX1200

LS-7000XT

ベーシック
2015-10-22

フレッツ ISDN

備考

ルータ更新
（旧：RTX1100）

NVR500LS-7000XT

粟生 2 (KC.AO2)

ルータ更新（旧：RT57i）

土居 (KC.DOI)

2016-01-25

フレッツ ISDN

RT57i

LS-7000XT

遠隔作業

石原 (KC.IHR)

2016-03-18

フレッツ ISDN

RT57i

LF-1100R / LF-2000R

遠隔作業

窪川 (KC.KUB)

2016-01-20

フレッツ ISDN

RT57i

LS-7000XT

遠隔作業

室戸 (KC.MUT)

2016-01-21

フレッツ ISDN

NVR500LS-7000XT

馬路 (KC.UMJ)

2015-11-05

フレッツ ISDN

RT57i

LS-7000XT

若宮 (KC.WMY)

2016-03-17

フレッツ ISDN

RT57i

LF-1100R / LF-2000R

遠隔作業

接続申請から実際の接続作業の流れなどに関しては堀川ほか（2015）や山品（2016）をご参考下さい。

その他のトピックス
馬路観測点（KC.UMJ）では信号配線に用いている鋼管柱の撤去を依頼された（2015 年 10月）
。幸いにも対象の鋼管柱が空中配線部の末端であり、また近くに旧衛星システムのアンテナ用鋼管柱および配線用の地中保護管が残っていたので、これらを利用し 2016 年 1 月 7 日に再配
線工事を行った。
「全国地震データ等利用系システムの更新」は、高知大学では 2016 年 2 月中旬に行われた。
新システム用スイッチ（富士通 SR-X316T2：1 Gbps）と地震観測所スイッチ（アライドテレシ
ス FS724TL：100 Mbps）との通信速度の違いが原因と思われる新システム側でのデータ受信
不具合が発生したが、新システム側で調整を行い正常に受信が行われるようになった。
高知大学における SINET4 から SINET5 への移行は 2016 年 2 月 28 日に行われた。地震観測所では移行作業に伴う特別な作業は必要なく、移行後も JDXnet/SINET L2VPN によるデータ
流通は正常に行われている。

謝辞
SINET DC 中継拠点への接続については、東京大学地震研究所 出川昭子さん、卜部 卓先生（当時）、鶴岡 弘先生に大変お世話になりました。馬路観測点の信号線再架線については、高知
大学施設企画課 笠井行治氏、財務課 上野靖啓氏および(有)タナノ電気にお世話になりました。
記して感謝申し上げます。
[参考]
堀川信一郎ほか, 2015, JDXnet/SINET 上に設置したデータ中継拠点の利用について, データ流通ワークショップ発表要旨集. http://eoc.eri.u-tokyo.ac.jp/ryutsu/data_ryutsu_WS_abstracts_150317.pdf
卜部 卓ほか, 2013, JDXnet/SINET4 上に設置した観測データ中継拠点の試験運用, データ流通ワークショップ発表要旨集. http://eoc.eri.u-tokyo.ac.jp/ryutsu/data_ryutsu_WS_abstracts_130326.pdf
卜部 卓ほか, 2014, JDXnet/SINET4 上の観測データ中継拠点の利用について, データ流通ワークショッ
プ発表要旨集. http://eoc.eri.u-tokyo.ac.jp/ryutsu/data_ryutsu_WS_abstracts_140326.pdf
山品匡史, 2016, 高知大学地震観測点の JDXnet/SINET4 データ中継拠点への接続, 平成 27 年度地震研
究所職員研修会アブストラクト集. http://www.eri.u-tokyo.ac.jp/kenshu_iinkai/H27_abs.pdf

日露地震観測併合処理による千島海溝沿いの震源決定の効果
一柳 昌義・高橋 浩晃（北大）, M. Valentin, Y. Levin（サハリン地震観測所）
千島列島の地震観測点の検測値を用い，北海道東部から千島列島で発生する地震に対して併合処理を行い，どの程度効果的な震源が得られる可能性があるかを調査した．千島海溝沿いでは 1994 年北海道東方沖地震（MJMA8.2）など過去に巨大地震が発生しているものの，この地域は日本とロシアの国境地域に位置しているため，それぞれの国の観測網でしか震源決定ができず，特に深さ方向の震源決定精度が著しく低下する．そこで，北海道東部とロシア科学アカデミー地球物理局極東支部サハリン地震観測所所属の千島列島の地
震観測点（色丹・国後・択捉島）の検測値を用いて震源決定を行った．用いた地震は 2010年 12 月 1 日から 2014 年 4 月 16 日までである．
図は併合処理で求めた震源と気象庁一元化震源を比較したもので，震央位置を比較すると気象庁一元化震源で東経 149 度よりも東で発生して地震は，併合処理することによって東側に大きく移動することが分かった．また 147 度付近よりも東側で発生した地震の多くは一元化震源では深さ 0km のものが多いが併合処理では深く決定されている．しかしながら，併合処理でも東経 153 度よりも東側では多くの地震が 50km よりも深く決まっている．これは震源が観測網から離れてしまうため，震源決定精度が低下していると考えられる．

2010 年 12 月 1 日から 2014 年 4 月 16 日までに発生した M5.0 以上の地震の併合処理で決定された震源（赤丸）と気象庁一元化震源の比較

KDDIがハクトのメインスポンサーに、月面での通信に技術協力も遅延・パケットロスに強い
新しいデータ伝送プロトコルHpFP○村田健史（NICT）・
水原隆道・高木文博・福島啓介（クレアリンク）・
山本和憲・長屋嘉明（NICT）・
村永和哉（セック）・木村映善（愛媛大）120160329 データ流通ワークショップ＠東大地震研

20160329 データ流通ワークショップ＠東大地震研

2

背景と目的

サイエンスクラウド補足説明：HpFP開発・LRNでの利活用の理由





• 背景
– パケットロス耐性のある信頼性のあるデータ通信プロトコルが世の中にほとんどない• 最低でもRTT100ms＋パケロス1%で10Gbpsを達成したい• TCPは基本的にパケットロスに弱い・PEPは高速なものが少ない• UDPをベースにした独自プロトコル– その多くではロスと遅延に強いことが「売り」– 多くは商用であり、情報が公開されていない– 10Gpbsを達成しているものは少ない




独自実装
(UDPベー
ス）







WANアクセラレータ（イ
ンターセプ
タ）

• おまけ
20160329 データ流通ワークショップ＠東大地震研

特徴

高速TCP
（TCP改良）

– 独自の高速データ伝送プロトコルHpFPの開発– HpFPによるネットワーク品質計測ツールhperfの実装と試
験（iperfに代わるツールになるか？）

3

分類

並列TCP

• 目的

– LFN＝パケロスのない高遅延ネットワーク？

LRN（パケロスあり）で10Gbps以上を達成できるトランスポート層プロトコルはHpFPとFASP（商品）のみ
OS/HWに非依存（ユーザランドで動作）のため利用範囲が広い⇒PC環境、モバイル環境、Intel系/ARM系環境等で幅広いアプリ開発
TCPではできない目標値設定による帯域制御⇒（例）SINETで確実に1Gbpsを保証する気象データリアルタイム処理・ゲノムシーケンサ解析
TCPではできないロス・遅延モニタリング可能⇒iperfに代わるLRN用通信環境測定ツール、各種Webアプリの学校利用（リアルタイム授業利用）



TCPの改良による高速化
オープンソース・研究系が多い

既存TCPの並列化により高速化
ファイル転送専用（アプリ層）
UDPベースの独自実装（OS/HWに非依存）
商用ツールが多い（研究利用のための改良不可）
公平性・親和性を達成している(HpFPは実装中）
ハードウェア（アプライアンス）によるTCP高速化
商用システムが多い

実装例（[商]は商品）

特徴（＊はロス1%、RTT150ms程度の場合）

LFTCP（東大）

 スループット63Gbps（ロス0%、RTT300ms）
 パケットロスに弱い

HSTCP（Scalable TCPやCUBICも同傾向）

 スループット200Mbps（ロス0.1％、RTT50ms）
 公平性・親和性に課題

Compound TCP

 スループット200Mbps（ロス0.1％、RTT50ms）
 公平性・親和性がよい

MMCFTP（NII）

 ファイル転送速度84Gbps（RTT26ms）

GridFTP（Globas）

 ファイル転送速度800Mbps（RTT200ms)

HpFP（NICT）

 スループット15Gbps*

FASP（Aspera社）[商] スループット10Gbps*

UNAP（富士通）[商] スループット3Gbps*

UDT（イリノイ大） スループット2Gbps*

SilverBullet（Skeed社）[商] スループット100Mbps*

RAPICOM（クレアリンク社）[商] スループット1Gbps*

RADIC‐TCP（日立）[商] 23Mbps（ロス0.5%、RTT40ms）

SteelHead（RiverBed社）[商] 利用するプロトコルによる（HSTCPなど）FASPの公平性

学術論文およびWeb公開情報を参考に作成

長距離ネットワーク（高遅延）＋パケットロス（実環境）＝Long Real Network（造語）420160329 データ流通ワークショップ＠東大地震研

4室内実験①: HpFP目標スループット9.1Gbps＋Iperf (UDP) 50Mbps

提案するHpFPプロトコルの基本性能と有効性

輻輳なし

10GbpsHpFP(9.1G)
UDP(50M)+ping

Iperf(UDP) Buffer size
56byte

RTT: 10ms, Loss: 1%

RTT

500ms遅延・1％パケロス環境[bps]

通信途絶（約10秒）

Loss

再送分優先送信

目標値
送出（再送分含む）
送出（再送分含まず）
到着

80秒

5

20160329 データ流通ワークショップ＠東大地震研

620160329 データ流通ワークショップ＠東大地震研

室内実験③: HpFP目標スループット9.7Gbps＋Iperf (UDP) 50Mbps

室内実験のまとめ強い輻輳

HpFP(9.7G)

Iperf(UDP) Buffer size
56byteUDP(50M)+ping

HpFP target

RTT (HpFP)

RTT (ping)

Loss (HpFP)

Loss (iperf/udp)

9.1Gbps10msec10msec1%

1%

15msec15msec1.4%

1.4%

15msec15msec

4.0%

2.5%

輻輳なし

RTT: 10ms, Loss: 1%

9.4Gbps

RTT

弱い輻輳

9.7Gbps強い輻輳• 輻輳がない場合は、HpFPとiperf(udp)/pingの遅延・ロス値はよい一致を示している。
• 弱い輻輳がある場合はHpFPとiperf(udp)/pingの遅延・ロス値はともに上昇するがよい一致を示している。
• 強い輻輳がある場合はHpFPのロス値はiperf(udp)のロス値よりも大きくなる。遅延は弱い輻輳で飽和している。
• 遅延はロス値よりも輻輳に敏感である。

Loss (HpFP)
Loss (UDP)

7

20160329 データ流通ワークショップ＠東大地震研

820160329 データ流通ワークショップ＠東大地震研

SC15 Experiment HpFP and Iperf(udp)/ping
日本←米国

SC15 LFN実験：ネットワーク構成
再掲載

NICT, Tokyo

Distributed filesystemControll
er

USA

Japan

10G
Switch

0.5% loss••

No loss

10Gbps•10G
SwitchHpFP
1G, 8G, 9G

HpFPスループット：おおむね目標スループット値を達成している
HpFP遅延測定：• 輻輳がない場合には正しい測定値（150ms）• 弱い輻輳・強い輻輳がある場合は過大な値（250ms）
HpFPパケットロス率測定：• 輻輳がない場合は正常値（0.5%）• 弱い輻輳がある場合は過大な値（～2%）

Weak congestion
RTT

RTT: 150ms

RTT

NICT Booth, Austin, TX

RTT

10G pipe

JGN
20160329 データ流通ワークショップ＠東大地震研•••

TCP理論値と衛星通信実験

HpFP
1G, 8G, 9G

HpFPスループット：輻輳がない・弱い輻輳ではおおむね目標値を達成
HpFP遅延測定：• 輻輳がない場合には正しい測定値（150ms）• 弱い輻輳・強い輻輳がある場合は過大な値（～300ms）
HpFPパケットロス率測定：• 輻輳がない場合・弱い輻輳がある場合は正常値（0.0%）• 強い輻輳がある場合は過大な値（～10%）

1.0E+09

1.0E+07

RTT

1.0E+06

1Mbps

1.0E+05

1.0E+04

1.0E+03

RTT 100ms
RWIN 1GB

1.0E+02

RTT

RTT

1Gbps

1.0E+08

弱い輻輳

強い輻輳

弱い輻輳

Loss

20160329 データ流通ワークショップ＠東大地震研

10

SC15 Experiment HpFP and Iperf(udp)/ping
日本→米国

Loss

Loss

TCPスループット[bps]99

HpFP (target: 1G, 8G, 9G)

1.0E+01

1.0E+00
0.000001 0.00001

Loss

Loss

Loss

0.0001

0.001

0.01

0.1

1

10

100

パケットロス率[%]

片山典彦，浅井敏男，川崎和義，高橋卓，WINDS 再生交換中継方式に適した TCP ウィンドウサイズ制御方法に関する一検討，2012.

11

20160329 データ流通ワークショップ＠東大地震研

1220160329 データ流通ワークショップ＠東大地震研

■通信基礎実験②
MT： 1.4Gbps x2
パケット固定： 884B
10G NIC
RTT： 約1,663ms
1G NIC
パケロス： 0%HpFP Client
ACK: 約8.2Kbps

WINDSデータ伝送実験システムと利用システムイメージ
WINDS衛星
3.2Gbps（実効2.76Gbps）
遅延（片方向）：250ms←RTTおおむね安定

SenderFPGAボード

FPGAボード

10G NIC

10G NIC

往路回線

10G NIC

復路回線

1G NIC

インターネット

インマルサット
衛星

ネットワーク的に孤立した被災地

20160329 データ流通ワークショップ＠東大地震研

20160329 データ流通ワークショップ＠東大地震研

14■その他の成果■
長距離実環境NW用通信プロトコル（HpFP：High‐performance and Flexible Protocol）
輻輳～H26実績
• SC04～SC14で長距離通信実験（日米回線）←研究開発のモチベーション• HpFPプロトコルの基本設計・基本実装（回線上のパケットロス、遅延、MTUなどをモニタして最適なペーシング・再送制御）

H27成果
•
•
•
•
•
•
•
•

H27.9 特許出願
H27.11 プレスリリース
H27.11 α版一般公開（DL数：136）
H28.1 日経エレクトロニクス紹介‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐WINDS衛星実験（2回）
昭和基地インテルサット実験（1回）
インマルサット通信実験（1回）
日米高速ファイル転送実験（SC15）

•
•
•
•

親和性・公平性実装
宇宙通信実験
β版一般公開長距離実環境NW用テストベッド

H28計画

15

まとめ

帯域の制約は大学のFWによる

目標スループットを達成•

測定スループット

背景・目的• フェーズドアレイレーダデータ伝送・ひまわり
Web等で十分な速度が達成できない• パケットロスがある長距離実環境NWで10Gbps
以上の高速通信を実現するプロトコルがない

1G
1G

1G
5G

1G
8G

1G
9G

1G
10
G

•

 SINET実験（JHPCN2105） 京大‐九大間で約1GbpsでFW帯域いっぱいで連続データ伝送（SINETによるリアルタイムデータシステムのための基礎実験） 基礎実験 設定目標帯域での通信（スループット）を達成（帯域保証・輻輳の確認）
WINDS衛星実験 ①50％以上のパケットロスにも関わらず500
Mbps(目標帯域1Gbps）を達成（高パケットロス耐性）、②54M×50コ
ネクションで2.3Gbps通信に成功（インターネットトンネリング技術基
盤確立）

–

•

① 復路：直結、コネクション数：1、RTT：250-430ms、Loss:50%② 復路：インマルサット、コネクション数：50、RTT：2100ms、Loss：0%①回目（H.27/9）•

バックグラウンド通信あり

•

被災地など

hpcopy (HpFP)

988.26992.85rcp (TCP）

13.47

8.97

 SC15実験 1Gbps（日米間）で150m遅延＋0.5%ロスでのファイル転送実験により多数の小規模ファイル
でもワイヤーレートで伝送（ストリーム伝送性能）

バックグラウンド通信なし

親和性開発状況
RTT 100ms
ロス 0.01%
100M

衛星通信で世界初の3Gbps級のファイル伝送（hperf, hpcopy）
インテルサットで高い変動帯域追随性能

今後の課題（HpFP）––（単位：Mbps） 1GB*1ファイル 1MB*1000ファイル

室内実験結果と良い一致（hperf）
高いファイル伝送効率（hpcopy）

衛星通信実験
–
–

インター
ネット

既存のiperf(UDP)やping測定と良い一致・輻輳への応答も予想通り
Hperfは10G環境でも利用できる実用的な測定ツール

SC15実験
––②回目（H.28/2）

パケットロスを伴う高遅延（長距離）ネットワークで高性能を発揮
既存のUDPベースプロトコルと比較しても高いスループットを達成
HpFPをもとにhperfおよびhpcopyを実装した

室内実験–

将来モデル：WINDS回線をトンネリングしてインターネット接続

20160329 データ流通ワークショップ＠東大地震研

HpFPはUDPをベースとした独自開発の通信プロトコル–––

RTT0.4ms、ロス0.1%
目標
スループット

HpFP Server

インマルサット端末
BGAN EXPLORER 500

インマルサット端末
BGAN EXPLORER 500

HpFPプロトコルの開発と基礎実験

1G NIC

10秒に一回程度スループットがドロップ（リターンパスの遅延変動による？）

1G NIC

450Kbps（実効上限384Kbps）
遅延（片方向・地上系含む）：2000ms以上←RTT不安定

13

10G NIC

インマルサット
インマルサット
端末
衛星

Receiver10G NIC直結

WINDS衛星

公平性・親和性実装
様々な分野でのhperfの活用

HpFP（CUBICと共存）
CUBIC（HpFPと共存）
CUBIC（単独） インテルサット（南極・昭和基地）通信実験
変動する空き帯域を活用できることを検証（変動帯域追随性能）15

16

20160329 データ流通ワークショップ＠東大地震研

ほぼ一致
＝親和性

2016 年 3 月 29 日 データ流通ワークショップ

衛星携帯電話利用のディマンド型テレメータおよびユビキタスユニット利用の間欠型テレメータの運用と九大データ流通網の問題
九州大学 地震火山観測研究センター 松島

健

日本海溝海底地震津波観測網（S-net）の進捗状況とWIN フォーマットサンプルサイズ情報の追加
国立研究開発法人

防災科学技術研究所

植平賢司

日本海溝海底地震津波観測網（S-net）の進捗状況
防災科研では文部科学省の補助金を受け，2011 年より日本海溝地震津波観測網（S-net）の整備を進めている．全体は 6 つのシステムで構成されており，今年度は茨城・福島沖（平成 27 年 5 月～9 月 CS すばるで実施）、宮城・岩手沖（平成 26 年 10～11 月、平成 27 年 3 月～5 月 CS KDDI パシフィックリンクで実施）、釧路・青森沖（平成 27 年 10 月～11 月、平成
28 年 2 月 CS すばるで実施）の海洋部の敷設工事を行い、海溝軸外側以外の 5 システムの敷設が終了した。陸上局についても南房総、鹿島、亘理、宮古、八戸の各陸上局設備の整備がほぼ終了している。
敷設済の 5 システムについては試験観測を開始し、現在、データを見ながらパラメータの確認・調整等を行っている。

WIN フォーマットサンプルサイズ情報の追加
WIN_pkg-3.0.0 からは WIN フォーマットの中のサンプルサイズの情報の所に新たな値「5」を追加した。WIN フォーマットでは隣り合うサンプル同士の差分を取り、その差分値が表現出来るだけ小さなサンプルサイズ（ただし、4, 8, 16, 24 または 32 ビット長から選択）で格納することにより圧縮効果を期待しているが、差分値が大きくなり 32 ビット（4 バイト）長になった場合は圧縮効果が無いばかりでな く、4 バイト長整数値で表現出来る値をオーバーフローしてしまう恐れがある。そこで、差分値が 3 バイト長以下で表現出来ない
場合は、差分値をとらずに値そのものを 4 バイトビッグエンディアン整数値で格納する事とし、その場合のサンプルサイズの情報の値は 5 で表現する事とした。今後はサンプルサ
イズ情報 4 のデータは作成しない事が望ましい。
サンプルサイズ情報

サンプルサイズ [Byte]

差分値か？

0 (8)

0.5

Yes

1 (9)

1

Yes

2 (10)

2Yes

3 (11)

3Yes

4 (12)

4Yes

5 (13)

4

No()内は高サンプリングバージョンの場合

データ流通ワークショップ 2016 年 3 月 29 日

フレッツコアネットワークでの WIN パケットの欠落について
大竹和生 (気象庁気象大学校)
WIN システムでの地震波形の伝送に NTT 東西のフレッツ網を用いる場合、しばしばパケット落ちが発生することが知られている。パケット落ちは伝送効率の悪化に直結するので、なるべく少ないことが望ましい。フレッツ網で発生するパケット落ちの性質についてまとめてみた。
トラフィックでときおり発生するバースト的な挙動はポアソン分布を仮定することが多い。recvt の生成するログファイルから再送要求を取り出し、その時間間隔について解析を行ない、ポアソン分布に従うかどうか確かめた。WIN の波形受信コマンド recvt はパケットの再送要求が発生した場合にそれを時刻と共にログに記録する。ログから時刻列を切り出し、その差分を求めることによって時間間隔を求める。ただし同一時刻に発生した再生要求は 1 つにまとめてある。
気象大学校では NTT 東日本のフレッツ VPN ワイドを利用して東京大学地震研究所から地震波形を受信している。足回りは光回線の 100Mbps である。今回は 2015 年 4 月 27 日
から 2016 年 2 月 15 日までのログを利用した。この期間中に受信したのは気象庁の速度
波形 1103 チャネルである。再送要求の間隔は 1 秒から 12842 秒まで 33424 データを得た。
図 1 に累積頻度分布を示す(○印)。これに指数分布の累積分布関数である 1-exp(-λx)をフィッティングさせた(実線)。λ=1.34e-3 としたときが最もよくフィットした。フィッティ
ングの良さから、パケット落ちはポアソン分布に近い発生様式であると考えられる。図 2には時間帯ごとのλの変化を 1 時間ごとに示した(実線)。日中大きく、深夜帯に小さくなり、実際の波形データ転送量 (○印: 2016 年 1 月 31 日～2 月 6 日までの実測値)と高い相関を示す。図 3 は曜日とλの関係を示したものである。実際の波形データ転送量 (○印: 同実測値)も示した。λは土日に若干の低下が見られるが、転送量には対応する顕著な落ち込みは見当たらない。
まれに図 4 に示されるような極端な再送トラフィックが発生する場合がある。今回の解析期間では 2015 年 7 月 8 日と 10 月 16～17 日に発生している。今回は異常値として解析
データから外しているが、これらの事象についても発生条件等の調査を進めていきたい。
以上の通りパケット落ちの発生頻度はおおむねポアソン分布に従うことがわかった。これは発生源が送信側・受信側ではなく通信経路にあることを示唆する。本研究をさらに進めることによって、地震波形の伝送系についてより精度の高い設計が可能となるであろう。

データ流通ワークショップ 2016 年 3 月 29 日

本研究は、東京大学地震研究所共同研究プログラムの援助を受け、課題「衛星通信等を用いた全国地震観測システムデータ受信利用」の下に実施されました。またネットワー
ク接続等に当たって、元地震研の卜部卓博士をはじめとするみなさまには大変お世話になりました。記して感謝いたします。

λ=1.34e-3

図 1 : 再送要求の時間間隔(秒)とその累積頻度

図 2 : ポアソン分布を仮定したときのパラメタλの時間帯による変化(左目盛)と波形データの転送量(右目盛)

図 3 : パラメタλの曜日による変化(左目盛)と波形データの転送量(右目盛)

図 4 : 極端な再送トラフィックの発生

JDXnetデータ流通ワークショップ 2016.3.29 ＠地震研

SINET5と次期JGNの今後の活用について
鷹野澄・鶴岡 弘・中川東京大学地震研究所

茂樹（ 概要 ）
１．SINET5の移行状況と今後の活用
２．JGN-Xの今後と次期JGNの活用
３．SINET5/次期JGNの今後の活用（研究促進に向けて）

1

SINET5 － 全国を100Gbps化
・ 国内回線： 全国をダークファイバと100Gbps技術で構成注）• 各ノード間をメッシュ状に接続することで任意地点間の遅延を最小化• 各ノード間での高信頼化（MPLS-TPパスでプロテクション）も実現
注）沖縄県は専用線で検討中

SINET4SINET5• エッジノード－コアノード間をス ター接続
• ノード間はデュアル専用線（現用＆予備）で接続• 各ノード間をメッシュ状に接続• ノード間はMPLS-TPパス（現用＆予備）で接続： 専用線（現用）： MPLS-TPパス（現用）： 専用線（予備）エッジエッジ： MPLS-TPパス（予備）（内部の記載省く）

GW

ノード
エッジ

ノード

コア

エッジ

コア

エッジ

ノード

エッジ

ノード

GW
ノード
ノード

コア

エッジ

エッジ

エッジ
エッジ

ノード

ノード

ノード
ノード

： 100Gbps© 2014 National Institute of Informatics

1

SINET4 DC接続への移行（接続形態）
・ 拠点機関（旧ノード校）へ接続している機関（旧ノード校を除く）は、原則平成26年度末までに SINET4データセンタ（DC）接続へ移行をお願いします。

SINET5DC

DC

DC

SINET4
エッジノードSINET4
エッジノードSINET5
ノード

WDM

WDM

大学A（拠点機関）

WDM

WDM

WDM

WDM

WDM

大学A

大学B

WDM
WDM

小型L2多重10G/1G

WDM

10G

大学A

1G

大学B

100M

大学C

10M

大学D

SINET4開始時（平成23年度当初）

大学A

大学B

大学C

大学D

大学C

大学D

SINET5開始時（平成28年度当初）

平成26年度末© 2014 National Institute of Informatics

SINET5移行状況（おまかせ移行）

JDXnet

北大： 3月14日（月）12:15-13:30
弘前大：3月24日(木)13:00-14:00
東北大：3月21日（月） 10:45～13:30→16:59
東大：3月29日(火) 12:00から
長野DC 2/7 松江DC 2/27
名古屋大：(1) 2/20（土） (2) 3/10（木）(3) 3/15（火）京大： 3/22→3/29(火) 20:00～22:00
高知大： 2月28日(日) 10:00-12:00
九大： 3月6日 (日) 10:30 ～ 12:30
4（広島大、長崎大、鹿児島大は？）2

JDXnetSINET5の今後の活用• クラウド型データ中継拠点の高度化– 中継拠点を複数に冗長化し仮想化（課題）– 複数ルートのある地方DC（スペース、電力）に追加（課題）複数中継拠点か、中継拠点の仮想化か？

• 複数の広域L2網（VLAN)の利用– 新たな観測データを専用VLANで流通– データ処理結果の全国大学での活用
5

3

検討中－未公開

4

JGN-Xの今後•大学設置のJGN-APは3月で終了
東北大AP：(3/28週で調整中) ⇒？
東大AP： 3/30終了予定 ⇒大手町接続維持
九大AP： 3/22終了 ⇒フレッツで京大接続（つくばAP：3/21終了 ⇒SINETに移行）（広島大は？）•JGN研究施設の接続は維持京大 ⇒JGNけいはんなAPに接続中名大 ⇒JGN名古屋APに接続中東大(大手町接続） ⇒JGN大手町APに接続中（但し移行期間4～6月は回線断あり）
10

5

複数ルートの問題
SINET5/次期JGN/フレッツ回線によるデータ交換回線の二重化②

JDXnet
次期JGN+フレッツ回線でバック
アップルート構築可能（申請要）

B

A

③

①

④
地震データ集配信装置
構内 光／VLAN

11

可能な限り二重化

NTTフレッツ① JGN-X/SINET4 二重化② JGN-X/フレッツ 二重化③ SINET4/フレッツ 二重化④ 異なるフレッツ網 二重化

JDXnet

次期JGN（テストベッド）の活用は？
• JGN‐Xのサービス

12

6

7

JDXnetSINET5/次期JGNの今後の活用• クラウド型データ蓄積・提供拠点の構築– 次期JGNのIP仮想化サービスを利用– 全国の地震データを蓄積（１～６ヶ月程度）– JGN/SINET経由でデータ提供• データ利用APIの開発（参考：IRIS DMC)
Command line Fetch scripts
Real time Streaming Service

15

16

8

17

18

9

JDXnetSINET5/次期JGNの今後の活用（まとめ）
研究促進に向けて• SINET5– クラウド型データ中継拠点の高度化– 複数の広域L2網（VLAN)の利用• 次期JGN+SINET5– クラウド型データ蓄積・提供拠点の構築– データ利用APIの開発• さらに– ビッグデータとしての活用（共同研究）– 大学等の防災力強化に活用（緊急地震速報等）
19

10

データ流通ワークショップ2016 年 3 月 29 日

チャネル情報管理システム（CIMS）の改修について
東京大学地震研究所 中川茂樹・鶴岡弘・鷹野澄・酒井慎一
我が国における地震に関する観測データの流通、保存及び公開や大学等の地震観測では、波形データフォーマットとして WIN フォーマット（卜部、1994）が広く一般に用いられている。この WIN フォーマットの特徴は地震波形データとチャネル表が分離していることである。チャネル表には、チャネル ID とそれに対応する観測点やデータの種類、緯度経度などの地理情報や観測機器に関するパラメータ（チャネル情報）が書かれており、WIN フォ
ーマットの地震波形データを用いた解析等を行う際にはチャネル表は必要不可欠である。
従来、このチャネル表は各大学・観測所など組織毎にテキストファイルで管理され、メールなどを用いて担当者間で交換し利用してきた。このような管理・交換方法では，情報の更新が遅くなりがちなこと、チャネル情報の履歴管理、特に遡っての修正が困難である
こと、といった欠点がある。東京大学地震研究所（以下、本所という。）では、チャネル情報及びその履歴を管理し、各大学等に設置された情報管理サーバを連係・協調させるチャ
ネル情報管理システム（Channels Information Management System; CIMS）を開発し、
平成 19 年 10 月から各大学での運用を開始した。これにより、各組織が管理する観測点の情報を CIMS に入力すれば、自動的に他組織に転送されて更新されるため、他組織の観測点の変更情報を迅速にかつ正確に利用できるようになった。
しかし、運用開始から 8 年が経過し、各大学の観測環境の変化などから他組織データの取扱いなどに関する CIMS の機能拡充や当初想定されていなかった利用方法による不具合の修正が必要となってきた。そこで、今回、下記の改修を行った。なお、改修バージョンの CIMS は、今年更新した全国地震データ利用系システム（鶴岡・他、本 WS）にインストールされている。
１．チャネル公開ランク修正不具合への対応
チャネル修正において公開ランクを「open」「close」「idonly」のいずれかから「inside」
への変更を不可能にする。
ここで、公開ランクの「open」は公開データ、「close」はグループ内公開データ、「inside」
は非公開で自組織のみで利用するデータ、「idonly」は非公開であるがチャネル ID のみ他組織に通知するデータ、を表している（以下同じ）。
２．他組織のデータ登録及び修正機能の追加
他組織のデータを登録及び修正ができるための機能を追加する。
１）ログイン可能とする他組織は、自組織の組織画面から登録、修正する。
２）ログイン画面にログイン可能な組織名をプルダウンメニューで表示する。
1

データ流通ワークショップ2016 年 3 月 29 日

３）ログイン後の画面のヘッダ部にユーザ名とログイン組織名を表示する。
４）他組織としてログインしたときのメニューは、「チャネル－一覧表示（簡略、詳細）、
追加・更新、グループ－チャネルグループ追加・更新、グループユーザ登録・変更」にする。
５）他組織でログインしたユーザのチャネル一覧（簡略・詳細）は、デフォルトグループ＋ログインした組織の公開グループとする
６）他組織でログインしたユーザが行うチャネル追加・更新作業の詳細は、以下の通りとする。
（１）新規観測点を指定した場合は、ログインした組織の観測点を追加する。
（２）ログインした組織の既存観測点を指定場合は、観測点の更新、所属チャネルデータの更新・追加を可能にする。
（３）ログインした組織以外の既存観測点を指定した場合は、「その観測点はログインした組織のものではありません」とエラーを表示する。
（４）観測点情報（観測点コード、観測点名、組織 ID）以外のデータは入力を無視して、
NULL や空白にする。
（５）チャネル情報の idonly については、チャネル ID、公開モード、開始・終了・更新時
刻、チャネル組織 ID、有効フラグのみを更新対象とする。
（６）
（４）
、
（５）については、複数のチャネルの同時修正に対しても対応する。
３．新規デフォルトグループの追加
１）デフォルトグループとして、「close（自組織）」、「close（全組織）」、「open+close（自組織）」、「open+close（全組織）」、「全て」の 5 種類を追加する。これらのグループは、グループユーザ登録画面から各グループに所属するユーザを設定できるようにする。
２）チャネル一覧画面において、ログインしたユーザのデフォルトグループ設定に従ってグループリストを表示する。
以上

2

データ流通ワークショップ2016 年 3 月 29 日

長期間地震波形データ等解析システムの開発
中川茂樹・鶴岡弘（東大震研）、加藤愛太郎(名大）、平田直（東大震研）

１．はじめに
昨今の計算機やストレージ、ネットワークの性能向上に伴い、長期間の地震波形データを用いた解析を行うことが現実的となった。例えば、テンプレート波形を使って連続地震
波形データから地震を検出し地震活動の推移を考察する研究（Kato et al., 2012 など）は、その好例である。しかし、技術的に可能となった解析ではあるが、その研究基盤（インフラ）の整備は遅れている。特に、過去の連続波形データの多くはベアドライブやテープ等に記録後、オフラインの状態で保管されている。このように保管されているデータを利用する際には、一時的にデータを展開する解析用ストレージ上で、データの読み出しを行う必要があり、解析に至るまでの準備時間が相当に必要となっている。
そこで、長期間の地震波形データ等を容易に解析するための研究基盤である「長期間地震波形データ等解析システム」の開発を行った。
２．導入したシステムの概要
前年度の検討で、クラウドとオンプレミスを比較し、経費と利用形態の観点からオンプ
レミスで整備することとした。導入したハードウェアは、大きく次の 3 つのコンポーネン
トから構成されている。それぞれの役割を記す。
１）高速ストレージ 48TB
約 1 年分の連続波形データを格納できる。
２）大容量ストレージ 52TB×24 台
過去（1989 年）から約 10 年後までの連続データを格納する。１分ファイル形式で格納し、そのディレクトリ名とファイル名は YYYY/MM/DD/YYMMDDhh.mm とした。
また、海域や陸域の臨時観測データも独立したパーティションに格納する。
３）解析サーバ 4 台
ユーザが解析を行うサーバ。上記のストレージ群と 10G の高速スイッチで接続されている。ユーザは、これらのサーバにログインして直接解析を行うことを想定している。
３．現在の状況
地震研で複写されたデータはすべて格納された。また、基本的な解析ツール（※）についてもインストールした。
（※）WIN system, GMT, SAC, Seismic Un*x, GNU Science Library, Intel Compiler1

データ流通ワークショップ2016 年 3 月 29 日

４．運用方法本システムは「地震データ利用システム」の一部として運用されるので、ユーザは「ガイドライン」に従って利用する。具体的には、現行の HARVEST システム（大学のデータ利用システム）と同等のユーザインタフェースを使って利用申し込みと関係機関への周知、利用の諾否、利用者への回答を行う。利用が許可されれば、本システムのアカウントが発行される。ユーザは解析サーバに遠隔ログインして、本システムを利用する。解析サーバ
は同じ環境で４台用意されており、ユーザは負荷の低いサーバを任意に選択して利用すればよい。ユーザのホームディレクトリは、全体で 50TB 用意されている。大容量のデータを解析するために、ユーザ単位でのクオータ制限は行っていないが、不要なデータはこまめに削除するなど、ユーザがお互いに譲り合って利用してほしい。
今後は、試験運用を開始し、システムの運用上の問題点等を検討したい。そのため、試験運用の参加者を募集する。

図 システム全体のイメージ。

2

16/03/30

全国地震データ等利用系システムの改修について
鶴岡弘・中川茂樹・鷹野澄（地震研）

全国地震データ等利用系システム WWWシステム

北海道大学大学院理学研究科地震火山研究観測センター

弘前大学理工学部地震火山観測所

東京大学地震研究所地震地殻変動観測センター

東北大学大学院理学研究科地震・噴火予知研究観測センター

名古屋大学大学院環境学研究科地震火山・防災研究センター

京都大学防災研究所地震予知研究センター

九州大学大学院理学研究院地震火山観測研究センター

鹿児島大学理学部南西島弧地震火山観測所

北海道大学
弘前大学
高知大学理学部高知地震観測所

東北大学
J-array システム

京都大学防災研究所

システム構成概要図
東京大学地震研究所
名古屋大学
概要
全国地震データ等利用系システムは，北海道大学から鹿児島大学まで，
高知大学
全国の９大学の１０ヵ所に設置されるもので，地震データ交換網の受信側
LANに接続され，送られてくる地震波形データの中から，各大学の個別の設定に従って，フィルタリングやイベント波形データの切り出し等を行ってデータベース化し，WWWを用いてインターネット上で研究者に広くデータを提供するためのシステムである．また，地震波形データの利用に不可欠なチャネル情報をデータベース化し管理・提供するシステムも含まれる．

WWWを用いてインターネットで全国の研究者にデータ提供（統一されたインタフェースの実現）

HARVESTシステムの特徴
UDP 7004

recvt

order

共有メモリ１１

共有メモリ１２w
ra/dat/mon/YYMMDDHH.MM

wdisk

wdisk

/dat/raw/YYMMDDHH.MM

on_m

共有メモリ１３pmon• WINシステムのフローを理解していなくても連続波形データ，イベント波形データ，震源情報，チャネル表，震源マップ等を簡単に利用可能．
• 同一のインタフェース• データ利用申請等の機能を含む

WINシステム フロー

pmon.out

events/dat/trg/YYMMDD.HHMMS S

elist

autopick,
automan/dat/picks/{man,auto}/YYMM

pick2finalb/dat/finals/{man,auto}/YYMM

cat

鹿児島大学

elist

九州大学

/dat/etc/evtemp.YYMM/dat/etc/final.man_bj2, _update, _update1

HARVESTの機能（１）連続波形

HARVESTの機能（2）イベント波形

1

16/03/30

HARVESTの機能（3）震源情報

HARVESTの機能（4）観測点情報

HARVESTの機能（5）チャネル情報

HARVESTの機能（6）地震活動マップ

HARVESTの機能（7) データ利用申請

システム改修のポイント• 連続波形画像の作成• リアルタイム波形モニター• 気象庁一元化震源との連携• データ利用申請（防災科研と連携）

2

16/03/30

連続波形画像

リアルタイム波形モニター

データ利用申請

おわりに機関毎のチェックbox
データ利用申請を防災科研へ
ペタサーバとの関連• システム改修は，数ヶ月で実施し，まずは，
東大地震研サイト(eoc)でプロトタイプのテストを行い，その後全国展開する．

気象庁一元化震源の活用
イベント波形データの作成

3